JP2005146725A - Door control device - Google Patents

Door control device Download PDF

Info

Publication number
JP2005146725A
JP2005146725A JP2003387841A JP2003387841A JP2005146725A JP 2005146725 A JP2005146725 A JP 2005146725A JP 2003387841 A JP2003387841 A JP 2003387841A JP 2003387841 A JP2003387841 A JP 2003387841A JP 2005146725 A JP2005146725 A JP 2005146725A
Authority
JP
Japan
Prior art keywords
vehicle
door
image
person
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003387841A
Other languages
Japanese (ja)
Other versions
JP4547897B2 (en
Inventor
Takayoshi Yamashita
隆義 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2003387841A priority Critical patent/JP4547897B2/en
Publication of JP2005146725A publication Critical patent/JP2005146725A/en
Application granted granted Critical
Publication of JP4547897B2 publication Critical patent/JP4547897B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Lock And Its Accessories (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem that generates in the case of having locked a door as a user leaves keys such as a smart key and a mechanical key in a vehicle. <P>SOLUTION: In the case that the user has separated from the vehicle as he or she leaves the keys in the vehicle, the door is automatically locked. In the case of such locking or in the case that it is difficult that the user unlocks the door from the outside of the vehicle in future so as to perform locking without using the keys is detected, face authentication is performed by using an image imaged in the vehicle and an image imaged in the outside of the vehicle to unlock the door. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、車両に設置されるドアの施錠を制御する装置などに適用されて有効な技術に関する。   The present invention relates to a technique effectively applied to a device for controlling locking of a door installed in a vehicle.

従来、車両のドアに対する施錠は、人の手によって意識的に行われていた。このため、施錠のし忘れにより、車両が無防備な状態で長時間に渡って放置されてしまう問題があった。   Conventionally, locking of a vehicle door has been consciously performed by a human hand. For this reason, there is a problem that the vehicle is left unprotected for a long time due to forgetting to lock.

このような問題の一つの解決手段として、スマートキーシステム(スマートエントリ)等の無線キーシステムがある。一般的に、スマートキーシステムでは、スマートキーと呼ばれる無線装置をユーザが携帯する。スマートキーに対応する車両には鍵ユニットが搭載されており、スマートキーと鍵ユニットとが無線通信により車両のドアに対する解錠・施錠を行うためのデータのやりとりを行う。このデータのやりとりによって、鍵ユニットは、スマートキーが、自身に対応するスマートキーであるか否か判断する。鍵ユニットは、このスマートキーが自身に対応するものであると判断した場合、ドアの施錠制御(解錠又は施錠)等を行う。例えば、車両にスマートキーが近づいてきた場合や車内において検知されている場合にはドアの解錠が実施され、スマートキーが車両から遠ざかっていく場合にはドアの施錠が実施される。このように、スマートキーシステム等の無線システムでは、ユーザがドアの施錠/解錠を意識することなく鍵ユニットにより自動的にドアの施錠/解錠が実施され、車両のセキュリティが維持される。   One solution to this problem is a wireless key system such as a smart key system (smart entry). Generally, in a smart key system, a user carries a wireless device called a smart key. The vehicle corresponding to the smart key is equipped with a key unit, and the smart key and the key unit exchange data for unlocking / locking the door of the vehicle by wireless communication. By this exchange of data, the key unit determines whether the smart key is a smart key corresponding to itself. When it is determined that the smart key corresponds to itself, the key unit performs door locking control (unlocking or locking) and the like. For example, when the smart key approaches the vehicle or when it is detected in the vehicle, the door is unlocked, and when the smart key moves away from the vehicle, the door is locked. As described above, in a wireless system such as a smart key system, the door is automatically locked / unlocked by the key unit without the user being aware of the locking / unlocking of the door, and the security of the vehicle is maintained.

ところで、従来のメカニカルキーやキーレスエントリシステムの場合には、車両のドアを施錠するためには、ユーザが意識的に施錠を行う必要があった。具体的には、メカニカルキーをドアのキーシリンダへ挿入し回転させる方法や、キーレスエントリシステムのキーに備えられたボタン等を押下する方法などをユーザが実施することにより施錠を行う必要があった。しかし、スマートキーシステムでは、ユーザは普段から「施錠」という行為を意識的に行う必要が無いので、自動的に施錠される環境に慣れてしまっている。このため、スマートキーシステムではユーザが車両から離れるときにスマートキーの携帯を忘れてしまったことに気づかない場合があり得る。ユーザが車内にスマートキーを置いたままで車外に出てしまった場合、鍵ユニットによって車内でスマートキーが検知されているため、施錠されない状態で車両が放置される可能性がある。   By the way, in the case of the conventional mechanical key and keyless entry system, in order to lock the door of a vehicle, the user had to consciously lock. Specifically, the user had to perform locking by inserting a mechanical key into a key cylinder of the door and rotating it, or pressing a button provided on a key of the keyless entry system. . However, in the smart key system, since the user does not normally need to consciously perform the act of “locking”, the user has become accustomed to an environment in which the locking is automatically performed. For this reason, in the smart key system, the user may not be aware that he / she has forgotten to carry the smart key when leaving the vehicle. When the user leaves the vehicle with the smart key left in the vehicle, the smart key is detected in the vehicle by the key unit, so the vehicle may be left unlocked.

このような問題を解決しようとする技術として、ドアが開放された時に車外でスマートキーが検知されるか否か判断し、検知されない場合にはスマートキーの携帯し忘れ等が発生していると判断しユーザに対して警報を行う技術がある(特許文献1参照)。
特開2001−114073号公報
As a technique for solving such a problem, it is determined whether or not the smart key is detected outside the vehicle when the door is opened, and if it is not detected, the smart key is forgotten to be carried. There is a technique for judging and warning the user (see Patent Document 1).
Japanese Patent Laid-Open No. 2001-114073

しかしながら、特許文献1記載の技術では、ユーザに対して警報が実施された場合であっても、ユーザがこの警報に気づかない場合には、施錠されない状態で車両が放置されてしまう可能性があった。例えば、このような警報がブザー等の音によって行われる場合、都市部の騒音の激しい場所やユーザがヘッドホン等を装着して音楽を聴いているような状況下では、ユーザがこのような警報に気がつかない可能性は十分にある。   However, in the technique described in Patent Document 1, even when an alarm is given to the user, if the user does not notice the alarm, the vehicle may be left unlocked. It was. For example, when such a warning is given by a sound such as a buzzer, the user may be alerted to such a warning in an urban area where there is a lot of noise or when the user is wearing headphones or listening to music. There is a good chance that you will not notice.

本発明の第一の目的は、上記のような問題を解決し、ユーザが車内にスマートキーを置
き忘れることにより生じる車両のドアに施錠が行われない状態を防止する技術を提供することである。
A first object of the present invention is to solve the above-described problems and provide a technique for preventing a state in which the door of the vehicle is not locked due to the user leaving the smart key in the vehicle.

また、ユーザが車内に鍵を置き忘れてしまった場合には、鍵がスマートキーではない場合(例えばメカニカルキーやキーレスエントリシステムのリモコン装置である場合:以下、メカニカルキーの場合を例に説明する)にも問題が発生する。一般に、車両のリアドアのドアロックにはセルフロック機構が設けられており、フロントドアにはセルフキャンセル機構及びキーレスロック機構が設けられている。セルフロック機構は、開状態のドアの車内側ノブ(室内ノブ)を施錠状態にしてドアを閉じると、そのままドアが施錠される機構である。セルフキャンセル機構は、開状態のドアの室内ノブを施錠状態にしてドアを閉じてもセルフロックしないようにする機構である。キーレスロック機構は、セルフキャンセル機構を有するドアであっても、ドアを開けた状態で室内ノブを施錠状態とし、ドアの外側に設けられたアウトサイドハンドルを引いた状態のままでドアを閉めると、ドアを施錠することができるようにする機構である。   In addition, when the user forgets to put the key in the car, the key is not a smart key (for example, a mechanical key or a remote control device of a keyless entry system: hereinafter, the case of a mechanical key will be described as an example) Problems also occur. Generally, the door lock of the rear door of the vehicle is provided with a self-lock mechanism, and the front door is provided with a self-cancel mechanism and a keyless lock mechanism. The self-locking mechanism is a mechanism that locks the door as it is when the door is closed with the inside knob (indoor knob) of the opened door locked. The self-cancelling mechanism is a mechanism that does not self-lock even when the door is closed with the indoor knob of the opened door locked. Even if the keyless lock mechanism is a door having a self-cancelling mechanism, when the door is opened, the indoor knob is locked, and the outside handle provided on the outside of the door is pulled and the door is closed. The mechanism that allows the door to be locked.

上記のようなセルフロック機構及びキーレスロック機構を持つ車両において、ユーザが車内にメカニカルキーを置き忘れたままで全てのドアに施錠すると、ユーザはドアを車両の外部から開けることが(解錠することが)できなくなってしまっていた。   In a vehicle having a self-locking mechanism and a keyless locking mechanism as described above, if the user locks all the doors while leaving the mechanical key in the vehicle, the user can open the doors from the outside of the vehicle (which may be unlocked). ) I couldn't do it.

本発明の第二の目的は、このような問題を解決し、メカニカルキー等が車内に置かれた状態でユーザによってドアに施錠がなされてしまった場合に、そのドアを車外から解錠することを可能とする技術を提供することである。   The second object of the present invention is to solve such a problem, and when the door is locked by the user with the mechanical key or the like placed in the vehicle, the door is unlocked from the outside of the vehicle. It is to provide technology that makes it possible.

〈第一の態様〉
上記第一の目的を達するため、第一の態様であるドア制御装置は、画像記憶手段,認証手段,人検知手段,ドア制御手段,及び鍵検知手段を備える。
<First embodiment>
In order to achieve the first object, a door control device according to a first aspect includes an image storage unit, an authentication unit, a person detection unit, a door control unit, and a key detection unit.

画像記憶手段は、車両内において撮像された人の顔の画像を記憶する。認証手段は、画像記憶手段に記憶された人の顔の画像と車両外において撮像された人の顔の画像とを用いて、車両外において撮像された人が画像記憶手段に記憶された画像に含まれる人と同一人物であるか否かの認証を行う。人検知手段は、車両内における人の存否を検知する。ドア制御手段は、車両のドアの解錠・施錠を制御する。鍵検知手段は、該車両のドアを解錠するための可搬性を有する鍵が車両内に位置することをこの鍵との非接触通信により検知する。   The image storage means stores an image of a human face imaged in the vehicle. The authentication unit uses the human face image stored in the image storage unit and the human face image captured outside the vehicle, and the person captured outside the vehicle is stored in the image storage unit. It is authenticated whether or not the person included is the same person. The person detecting means detects the presence or absence of a person in the vehicle. The door control means controls unlocking / locking of the door of the vehicle. The key detecting means detects that a portable key for unlocking the door of the vehicle is located in the vehicle by non-contact communication with the key.

このような構成において、ドア制御手段は、画像記憶手段に画像が記憶され、かつ人検知手段によって車両内で人が検知されないことを条件にドアに施錠を行う。また、ドア制御手段はさらに、上記条件に基づいて施錠を行った場合、鍵検知手段により車内において鍵が検知されることを条件に、認証手段による認証の結果に基づいて車両のドアの解錠を行う。   In such a configuration, the door control means locks the door on condition that an image is stored in the image storage means and no person is detected in the vehicle by the human detection means. The door control means further unlocks the door of the vehicle based on the result of authentication by the authentication means, provided that the key is detected in the vehicle by the key detection means when locking is performed based on the above conditions. I do.

ところで、認証手段によって認証された人物は車両の中に入ることができる可能性があり、さらには車両内に置かれた鍵を用いてエンジン等の動力源を起動させ該車両を操縦することもできる可能性がある。このため、認証手段において認証されるべき人物は当該車両の正規のユーザ(当該車両の所有者に限らず、例えば所有者によって当該車両を貸与された人物なども含む)でなくてはならない。従って、車外において撮像された人の顔の画像と対比させるために認証手段において利用される画像(即ち画像記憶手段に記憶される画像)は、正規のユーザの画像である必要がある。このような課題に対し、第一の態様におけるドア制御装置では、画像記憶手段が記憶する画像を「車内において撮像された」画
像と限定することにより解決を図っている。第一の態様におけるドア制御装置では、車内にいる人物は当該車両の本来の認証装置(スマートキーやメカニカルキー等の鍵を用いることにより解錠可能なドアの解錠装置)をパスした人物であると想定している。言い換えれば、車内において撮像を行うことが可能な人物は当該車両の正当なユーザであると想定している。そして、このような想定の元、車内において撮像された人の顔の画像を用いた認証を実施することにより、本来の認証装置による認証を行うことなく認証手段による顔画像の認証によってドアを解錠することにおけるセキュリティを担保している。
By the way, there is a possibility that a person who has been authenticated by the authentication means can enter the vehicle, and further, a power source such as an engine can be activated to operate the vehicle using a key placed in the vehicle. There is a possibility. For this reason, the person to be authenticated by the authenticating means must be an authorized user of the vehicle (not limited to the owner of the vehicle, for example, including a person lent the vehicle by the owner). Therefore, the image used in the authentication unit (that is, the image stored in the image storage unit) to be compared with the human face image captured outside the vehicle needs to be a regular user image. In order to solve such a problem, the door control device according to the first aspect attempts to solve the problem by limiting the image stored in the image storage means to the image “captured in the vehicle”. In the door control device according to the first aspect, the person in the vehicle passes the original authentication device of the vehicle (the door unlocking device that can be unlocked by using a key such as a smart key or a mechanical key). Assume that there is. In other words, it is assumed that the person who can take an image in the vehicle is a valid user of the vehicle. Based on this assumption, by performing authentication using the human face image captured in the vehicle, the door is unlocked by authentication of the face image by the authentication means without performing authentication by the original authentication device. Security is secured in locking.

このように構成されることにより、認証手段において使用される画像が画像記憶手段に記憶されていれば、車内に人がいないことが人検知手段によって検知された際にドア制御手段によって自動的にドアに施錠が実施される。このため、車両のユーザが施錠を忘れてしまった場合などであっても、車両が施錠されない状態で放置されてしまうことが防止される。言い換えれば、ユーザが車両のドアに施錠せずに車両から離れてしまった場合にも、車両のセキュリティが維持される。また、このような施錠、即ち人検出手段による検出結果に基づいた施錠が実施された場合、画像記憶手段には認証に用いられる画像が記憶されている。このため、ユーザは認証手段による認証を行うことができ、この認証をパスすることによりドアの解錠を行うことができる。即ち、ドア制御手段による自動的な施錠後にユーザが車両のドアを解錠できなくなってしまうようなことが防止される。   With this configuration, if the image used in the authentication unit is stored in the image storage unit, the door control unit automatically detects that there is no person in the vehicle by the human detection unit. The door is locked. For this reason, even when the user of the vehicle forgets to lock the vehicle, the vehicle is prevented from being left unlocked. In other words, even when the user leaves the vehicle without locking the door of the vehicle, the security of the vehicle is maintained. Further, when such locking, that is, locking based on the detection result by the human detection means, is performed, an image used for authentication is stored in the image storage means. For this reason, the user can perform authentication by the authentication means, and can unlock the door by passing this authentication. That is, it is possible to prevent the user from being able to unlock the door of the vehicle after automatic locking by the door control means.

第一の態様におけるドア制御装置は、車両内において鍵が検知された場合にこの車両のドアが解錠されるように構成される場合や、車両内において鍵が検知された場合にこの車両のドアが解錠され車両内において鍵が検知されない場合にこの車両のドアが施錠されるように構成される場合には、例えば、ドア制御手段は以下のように構成される。即ち、ドア制御手段は、画像記憶手段に画像が記憶され、かつ人検知手段によって車両内において人が検知されないことを条件にドアに施錠を行い、その後はドアが鍵検知手段の検知結果以外の方法によって解錠されるまでは鍵検知手段の検知結果に基づいた解錠を行わないように構成される。   The door control device according to the first aspect is configured so that the door of the vehicle is unlocked when a key is detected in the vehicle, or when the key is detected in the vehicle. In the case where the door of the vehicle is locked when the door is unlocked and no key is detected in the vehicle, for example, the door control means is configured as follows. That is, the door control means locks the door on the condition that the image is stored in the image storage means and no person is detected in the vehicle by the human detection means, and thereafter the door is not detected by the key detection means. Until the unlocking is performed by the method, the unlocking based on the detection result of the key detecting means is not performed.

車両内において鍵が検知された場合にこの車両のドアが解錠されるように構成される場合や、車両内において鍵が検知された場合にこの車両のドアが解錠され車両内において鍵が検知されない場合にこの車両のドアが施錠されるように構成される場合には、ユーザが車両内に鍵を放置してしまった場合、ドア制御手段によって施錠が行われてもすぐに解錠されてしまう可能性がある。しかし、上記のように構成されることにより、例え車両内に鍵が放置された場合であっても、鍵検知手段の検知結果に基づいた解錠が実施されることがなく、車両のセキュリティを維持することができる。   When the vehicle door is configured to be unlocked when a key is detected in the vehicle, or when the key is detected within the vehicle, the vehicle door is unlocked and the key is locked within the vehicle. If the vehicle door is configured to be locked when it is not detected, if the user leaves the key in the vehicle, it will be unlocked immediately even if it is locked by the door control means. There is a possibility that. However, by being configured as described above, even if the key is left in the vehicle, unlocking based on the detection result of the key detection means is not performed, and the security of the vehicle is reduced. Can be maintained.

また、第一の態様におけるドア制御装置は、ドア制御手段が上記の条件に基づいて施錠を行ってから所定時間が経過してもこの車両のドアがユーザによって解錠されない場合において、この車両の動力源が起動している場合に、この動力源を停止させる動力源停止手段をさらに備えるように構成されても良い。   Further, the door control device according to the first aspect is configured so that the door of the vehicle is not unlocked by the user even after a predetermined time has elapsed since the door control means performs locking based on the above conditions. The power source may be further provided with power source stop means for stopping the power source when the power source is activated.

このように構成されることにより、不必要に動作している可能性の高い動力源(エンジン,モータ等)が自動的に停止される。このため、エンジンによる燃料の浪費やモータによる電力の浪費、即ち動力源によるエネルギの浪費を防止することができる。   With this configuration, power sources (engine, motor, etc.) that are likely to be operating unnecessarily are automatically stopped. For this reason, waste of fuel by the engine and waste of electric power by the motor, that is, waste of energy by the power source can be prevented.

また、第一の態様におけるドア制御装置は、車両外を撮像する車外撮像手段をさらに備えるように構成されても良い。この車外撮像手段は、上記した条件に基づいてドア制御手段が施錠を行った場合に動作を開始するように構成されても良い。このように構成されたドア制御装置では、車両外を撮像する車外撮像手段は、上記した条件に基づいてドア制御手段が施錠を行うまでは撮像を行わない。ところで、上記した条件に基づいてドア制御手
段が施錠を行うまでは、認証手段による認証が行われないため、車外において人の顔の画像が撮像される必要はない。従って、ドア制御装置がこのように構成されることにより、車両外を撮像する車外撮像手段において不要な撮像が行われることを防止できる。
In addition, the door control device in the first aspect may be configured to further include an outside vehicle imaging unit that images outside the vehicle. The vehicle exterior imaging means may be configured to start operation when the door control means locks based on the above-described conditions. In the door control device configured as described above, the vehicle outside imaging unit that images outside the vehicle does not perform imaging until the door control unit locks based on the above-described conditions. By the way, since authentication by the authentication means is not performed until the door control means locks based on the above-described conditions, it is not necessary to take an image of a human face outside the vehicle. Therefore, by configuring the door control device in this way, it is possible to prevent unnecessary imaging from being performed in the outside imaging means for imaging outside the vehicle.

また、第一の態様は、車両に乗車している人を撮像する撮像手段と、
前記撮像手段によって撮像された前記人の画像を記憶する記憶手段と、
前記記憶手段に前記人の画像が記憶されている状態で、前記人が降車したことを検知する検知手段と、
前記検知手段によって前記人の降車が検知される場合に、前記車両のドアを施錠する施錠手段と、
前記施錠手段によって前記ドアが施錠された場合に、前記ドアを前記車両の外部から解錠するための鍵が前記車両内に位置しているか否かを判断する判断手段と、
前記判断手段によって前記鍵が前記車両内に位置していると判断される場合に、前記車両の外部にいる人を撮像する第2撮像手段と、
前記記憶手段に記憶された画像と、前記第2撮像手段で撮像された画像とを用いて、双方の画像中に含まれる人が同一人物か否かを判断する認証手段と、
前記認証手段によって前記双方の画像中に含まれる人が同一人物と判断される場合に、前記ドアを解錠する解錠手段とを含む車両のドアに対する施錠/解錠制御装置として特定することもできる。
Further, the first aspect is an imaging means for imaging a person who is in the vehicle;
Storage means for storing the image of the person imaged by the imaging means;
Detecting means for detecting that the person got off in a state where the image of the person is stored in the storage means;
Locking means for locking the door of the vehicle when the detection means detects the person getting off;
A judging means for judging whether or not a key for unlocking the door from the outside of the vehicle is located in the vehicle when the door is locked by the locking means;
A second imaging unit that images a person outside the vehicle when the determination unit determines that the key is located in the vehicle;
An authentication unit that determines whether or not the person included in both images is the same person using the image stored in the storage unit and the image captured by the second imaging unit;
When the authentication means determines that the person included in both images is the same person, the authentication means may also be specified as a locking / unlocking control device for a vehicle door including unlocking means for unlocking the door. it can.

〈第二の態様〉
上記第二の目的を達するため、第二の態様におけるドア制御装置は、画像記憶手段,認証手段,施錠検知手段,及びドア制御手段を備える。第二の態様における画像記憶手段及び認証手段は第一の態様における画像記憶手段及び認証手段と同じ構成をとることが可能であるため説明を省く。
<Second embodiment>
In order to achieve the second object, the door control device according to the second aspect includes image storage means, authentication means, lock detection means, and door control means. Since the image storage means and the authentication means in the second aspect can have the same configuration as the image storage means and the authentication means in the first aspect, a description thereof will be omitted.

施錠検知手段は、ドアを解錠するための鍵がユーザによって用いられることなくこのドアに対する施錠が実施されたことを所定の施錠方法による施錠の実施として検知する。ドア制御手段は、施錠検知手段において所定の施錠方法による施錠の実施が検知されたことを条件に、認証手段による認証の結果に基づいてこの車両のドアにおける解錠を行う。   The lock detecting means detects that the door is locked without using a key for unlocking the door as the execution of locking by a predetermined locking method. The door control means unlocks the door of the vehicle based on the result of authentication by the authentication means on the condition that the lock detection means detects the execution of locking by a predetermined locking method.

このように構成された第二の態様におけるドア制御装置では、ドアを解錠するための鍵がユーザによって用いられることなくドアが施錠された場合(例えば、ドアに設けられた
ドアロックが有するキーレスロック機構を用いてドアが施錠された場合)に、認証手段に
よるドアの解錠を行うことが可能となる。ドアを解錠するための鍵がユーザによって用いられることなくドアが施錠された場合、鍵がユーザの手元にない可能性、言い換えれば鍵が車内に残っている可能性がある。このような場合に、鍵を用いたドアの解錠ではなく顔画像を用いた認証手段によるドアの解錠が可能となるため、ユーザが例え車内にドアを解錠するための鍵を置き忘れたままで施錠してしまった場合であっても、認証手段による認証をパスすることによりドアの解錠を行う事が可能となる。
In the door control device according to the second aspect configured as described above, when the door is locked without the key for unlocking the door being used by the user (for example, the keyless included in the door lock provided on the door). When the door is locked using the lock mechanism), the door can be unlocked by the authentication means. If the door is locked without the key used to unlock the door being used by the user, the key may not be in the user's hand, in other words, the key may remain in the vehicle. In such a case, it is possible to unlock the door by the authentication means using the face image instead of unlocking the door using the key, so that the user forgets to put the key for unlocking the door in the car. Even when the door is locked, the door can be unlocked by passing the authentication by the authentication means.

また、一般的に鍵によって認証を行う場合と顔画像を用いた認証手段により認証を行う場合とでは、誤認証などにより後者の方がセキュリティのレベルが低い場合がある。そこで、ドアを解錠するための鍵がユーザによって用いられることなくドアが施錠された場合に限って認証手段による認証を可能とすることにより、認証手段による解錠をむやみに可能とすることにより車両のセキュリティのレベルを低下させることを防止できる。   In general, when the authentication is performed using a key and when the authentication is performed using an authentication unit using a face image, the latter may have a lower security level due to erroneous authentication or the like. Therefore, by enabling authentication by the authentication means only when the door is locked without the key for unlocking the door being used by the user, the unlocking by the authentication means can be made unnecessary. Decreasing the level of vehicle security can be prevented.

また、第二の態様におけるドア制御装置は、ユーザによる入力を受け付ける入力手段をさらに備え、入力手段を介してユーザからの入力があった場合、ドア制御手段は、例え施錠検知手段において所定の施錠方法による施錠の実施が検知されたとしても、認証手段に
よる認証の結果に基づいた車両のドアの解錠を行わないように構成されても良い。このように構成された第二の態様におけるドア制御装置では、ユーザは車内に鍵を置き忘れていないと確信している際にこの入力手段による入力を行い、認証手段による認証を意識的に無効にすることができる。このような入力手段は車外に設けられることが望ましい。このように構成されることにより、上記のように、認証手段による解錠をむやみに可能とすることにより車両のセキュリティのレベルを低下させることを防止できる。
The door control device according to the second aspect further includes an input unit that receives an input by the user, and when there is an input from the user through the input unit, the door control unit is configured to perform a predetermined locking in the locking detection unit, for example. Even if the locking by the method is detected, the door of the vehicle may not be unlocked based on the result of authentication by the authentication means. In the door control device according to the second aspect configured as described above, when the user is confident that the key has not been left in the vehicle, the user performs input by the input unit, and the authentication by the authentication unit is consciously invalidated. can do. Such input means are preferably provided outside the vehicle. By being configured in this way, as described above, it is possible to prevent the level of security of the vehicle from being lowered by making the unlocking by the authentication means unnecessary.

また、第二の態様におけるドア制御装置は、施錠検知手段によって所定の施錠方法による施錠が検知されてから所定時間が経過してもこの車両のドアが解錠されない場合において、この車両の動力源が起動している場合に、この動力源を停止させる動力源停止手段をさらに備えるように構成されても良い。このように構成されることにより、不必要に動作している可能性の高い動力源(エンジン,モータ等)が自動的に停止される。このため、エンジンによる燃料の浪費やモータによる電力の浪費、即ちエネルギの浪費を防止することができる。   Further, the door control device according to the second aspect provides a power source for the vehicle when the door of the vehicle is not unlocked even after a predetermined time has elapsed since the locking detection means detects the locking by the predetermined locking method. The power source may be further provided with power source stopping means for stopping the power source when the power source is activated. With this configuration, power sources (engine, motor, etc.) that are likely to be operating unnecessarily are automatically stopped. For this reason, waste of fuel by the engine and waste of electric power by the motor, that is, waste of energy can be prevented.

また、第二の態様におけるドア制御装置は、車外を撮像する車外撮像手段をさらに備えるように構成されても良い。この車外撮像手段は、施錠検知手段によって所定の施錠方法による施錠が検知された場合に動作を開始するように構成されても良い。このように構成されることにより、第一の態様におけるドア制御装置が同様の車外撮像手段を備える場合と同様の効果を得ることが可能となる。   In addition, the door control device in the second aspect may be configured to further include an outside vehicle imaging unit that images outside the vehicle. The vehicle exterior imaging unit may be configured to start an operation when locking by a predetermined locking method is detected by the locking detection unit. By being configured in this way, it is possible to obtain the same effect as in the case where the door control device in the first aspect includes the same outside-vehicle imaging means.

また、第一及び第二の態様におけるドア制御装置は、車内のみを撮像する車内撮像手段をさらに備え、画像記憶手段がこの車内撮像手段によって撮像された画像のみを記憶するように構成されても良い。車内撮像手段は、車内のみを撮像するように撮像するように設定可能な撮像装置が適用されても良い。この場合は、画像記憶手段は、車内のみを撮像するように設定されている場合に撮像された画像のみを記憶するように構成される。   The door control device according to the first and second aspects may further include an in-vehicle image capturing unit that captures only the interior of the vehicle, and the image storage unit may be configured to store only an image captured by the in-vehicle image capturing unit. good. An imaging device that can be set to capture only the interior of the vehicle may be applied to the in-vehicle imaging means. In this case, the image storage means is configured to store only the captured image when it is set to capture only the inside of the vehicle.

このように構成されることにより、画像記憶手段に記憶される画像が車内で撮影された画像であることが担保される。従って、本来の認証装置による認証を行うことなく認証手段による顔画像の認証によってドアを解錠することにおけるセキュリティの担保がより確実となる。   By being configured in this way, it is ensured that the image stored in the image storage means is an image taken in the vehicle. Therefore, security is ensured by unlocking the door by authenticating the face image by the authentication means without performing authentication by the original authentication device.

また、第一及び第二の態様におけるドア制御装置は、車両のドアが解錠された場合において、画像記憶手段に画像が記憶されている場合に、この画像を画像記憶手段から削除する削除手段をさらに備えるように構成されても良い。このように構成されたドア制御装置では、車両のドアが解錠される度に画像記憶手段から画像が削除される。このため、一度でもドアが解錠されると、次に認証手段によって行われる認証処理では、その後新たに車内において撮像された人の顔の画像が用いられる。従って、例え車内で一度撮影されたために認証されたことがある人物であっても、次回からは認証されるとは限らない。よって、車両におけるセキュリティが向上する。   Further, the door control device according to the first and second aspects includes a deletion unit that deletes the image from the image storage unit when the image is stored in the image storage unit when the door of the vehicle is unlocked. May be further provided. In the door control device configured as described above, the image is deleted from the image storage means every time the door of the vehicle is unlocked. For this reason, when the door is unlocked even once, the authentication process performed by the authentication means next uses a human face image newly captured in the vehicle. Therefore, even a person who has been authenticated because it was shot once in the car is not necessarily authenticated from the next time. Therefore, security in the vehicle is improved.

このように構成されたドア制御装置は、特にカーシェアリングやレンタカー等に用いられる車両のように、複数人のユーザによって利用される車両に適用されると特に有効である。複数人のユーザによって一台の車両が利用される場合下記のような問題が生じる。   The door control device configured as described above is particularly effective when applied to a vehicle used by a plurality of users, such as a vehicle used for car sharing or a rental car. When a single vehicle is used by a plurality of users, the following problems occur.

例え車内で一度撮影されたことがあるユーザ(ユーザA)であっても、他のユーザ(ユーザB)が同じ車両を正規に利用している場合には、ユーザAは認証手段によって認証されるべきではない。即ち、ユーザAの画像は認証手段における認証処理において使用されるべきではない。第一及び第二の態様におけるドア制御装置が上記のように構成されることにより、ユーザBが車両に乗り込むためにドアの解錠を行った時点で、画像記憶手段に
記憶されていた画像(例えばユーザAの画像)が削除される。従って、正規のユーザ(ここではユーザB)についてのみ認証を行うことが可能となり、少なくとも、以前その車両を使用したことがあるユーザであって現在はその車両の正規なユーザではない者(例えばユーザA)が認証手段によって認証されることは防止される。
For example, even if the user (user A) has taken a picture once in the car, the user A is authenticated by the authentication means when the other user (user B) uses the same vehicle in a regular manner. Should not. That is, the image of the user A should not be used in the authentication process in the authentication unit. When the door control device in the first and second aspects is configured as described above, the image stored in the image storage means when the user B unlocks the door to get into the vehicle ( For example, the image of user A) is deleted. Accordingly, it is possible to perform authentication only for a legitimate user (here, user B), and at least a user who has used the vehicle before and is not a legitimate user of the vehicle (for example, a user). A) is prevented from being authenticated by the authentication means.

また、第一及び第二の態様におけるドア制御装置が上記のように構成されることにより、車両のユーザが同一人物であっても、認証用に用いられる画像は毎度更新される。このため、ユーザの顔における経年変化などにも柔軟に対応することができる。   Moreover, even if the user of a vehicle is the same person, the image used for authentication is updated whenever the door control apparatus in a 1st and 2nd aspect is comprised as mentioned above. For this reason, it is possible to flexibly deal with secular changes in the user's face.

また、画像記憶手段は新たに画像を記憶する際に、それまで記憶していた画像を削除する、又は新たな画像をそれまで記憶していた画像に対して上書きするように構成されても良い。このように構成されることにより、上記と同様の効果を得ることが出来る。   The image storage means may be configured to delete the previously stored image or overwrite the previously stored image with the new image when storing the new image. . By being configured in this way, the same effects as described above can be obtained.

また、第一及び第二の態様におけるドア制御装置の認証手段は、外車内において最後に撮像された画像であって最後に施錠される前に撮像された画像を用いて認証を行い、車外において撮像された人がこの画像に含まれる人と同一人物であるか否かについて認証を行うように構成されても良い。このように構成された場合にも、第一及び第二の態様におけるドア制御装置が削除手段をさらに備えるように構成された場合と同様の効果を得ることが可能となる。   Further, the authentication means of the door control device according to the first and second aspects performs authentication using an image captured last before being locked inside the outer vehicle, and is performed outside the vehicle. You may comprise so that it may authenticate whether the imaged person is the same person as the person included in this image. Even when configured in this way, it is possible to obtain the same effects as when the door control device according to the first and second aspects is configured to further include a deleting means.

また、第二の態様は、車両に乗車している人を撮像する撮像手段と、
前記撮像手段によって撮像された人の画像を記憶する記憶手段と、
前記記憶手段に人の画像が記憶されている状態で、前記人が降車し且つ前記車両のドアがこのドアを前記車両の外部から施錠及び解錠するための鍵を用いることなく前記車両の外側から施錠されたことを検知する検知手段と、
前記検知手段で前記人の降車及び前記ドアの施錠が検知される場合に、前記車両の外部にいる人を撮像する第2撮像手段と、
前記記憶手段に記憶された画像と、前記第2撮像手段で撮像された画像とを用いて、双方の画像中に含まれる人が同一人物か否かを判断する認証手段と、
前記認証手段によって前記双方の画像中に含まれる人が同一人物と判断される場合に、前記ドアを解錠する解錠手段とを含む車両のドアに対する施錠/解錠制御装置として特定することもできる。
Further, the second aspect is an imaging means for imaging a person riding in the vehicle;
Storage means for storing an image of a person imaged by the imaging means;
In a state where an image of a person is stored in the storage means, the person gets out of the vehicle without using a key for the vehicle door to lock and unlock the door from outside the vehicle. Detecting means for detecting that the door is locked,
A second image pickup means for picking up an image of a person outside the vehicle when the detection means detects the person getting off and the door is locked;
An authentication unit that determines whether or not the person included in both images is the same person using the image stored in the storage unit and the image captured by the second imaging unit;
When the authentication means determines that the person included in the both images is the same person, it is also specified as a locking / unlocking control device for a vehicle door including unlocking means for unlocking the door. it can.

〈その他〉
第一及び第二の態様は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、上記した第一及び第二の態様における各手段が実行する処理を情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体をもって上述した作用及び効果が得られても良い。
<Others>
The first and second aspects may be realized by executing a program by the information processing apparatus. That is, even if the above-described operations and effects are obtained with a program for causing the information processing apparatus to execute the processing executed by each means in the first and second aspects described above, or a recording medium on which the program is recorded. good.

本発明によれば、ユーザが車内にスマートキーを置き忘れることにより生じる車両のドアに施錠が行われない状態を防止することが可能となる。   ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to prevent the state which is not locked to the door of a vehicle produced when a user misplaces a smart key in a vehicle.

また、本発明によれば、メカニカルキー等が車内に置かれた状態でユーザによってドアに施錠がなされてしまった場合に、そのドアを車外から解錠することが可能となる。   Further, according to the present invention, when a door is locked by a user with a mechanical key or the like placed in the vehicle, the door can be unlocked from the outside of the vehicle.

次に、図を用いて本発明によるドア制御装置の実施の形態について説明する。なお、ドア制御装置の構成についての以下の説明は例示であり、本発明の構成は以下の説明に限定されない。   Next, an embodiment of a door control device according to the present invention will be described with reference to the drawings. In addition, the following description about the structure of a door control apparatus is an illustration, and the structure of this invention is not limited to the following description.

[第一実施形態]
〔システム構成〕
まず、ドア制御装置の第一実施形態であるドア制御装置1aについて説明する。ドア制御装置1aでは、車内で人を検知できなくなった(人がいなくなった)こと等を条件として自動的にドアに施錠が行われ、さらに鍵が車内で検出されていることを条件として車外認証処理が開始される。そして、車外認証処理において顔画像を用いた認証処理が実施され、自動的に施錠が行われたドアについて鍵を用いずに解錠することを可能とする。
[First embodiment]
〔System configuration〕
First, the door control apparatus 1a which is 1st embodiment of a door control apparatus is demonstrated. In the door control device 1a, the door is automatically locked on the condition that the person cannot be detected in the vehicle (there is no more people), and the outside authentication is performed on the condition that the key is detected in the vehicle. Processing begins. Then, authentication processing using a face image is performed in the vehicle outside authentication processing, and the door that is automatically locked can be unlocked without using a key.

ドア制御装置1aは、ハードウェア的には、バスを介して接続されたCPU(中央演算処理装置),主記憶装置(RAM:Random Access Memory),各種センサ,補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるROM(Read-Only Memory:EPROM(Erasable Programmable Read-Only Memory),EEPROM(Electrically Erasable Programmable Read-Only Memory),マスクROM等を含む),FRAM(Ferroelectric RAM),ハードディスク等を指す。   In terms of hardware, the door control device 1a includes a CPU (Central Processing Unit), a main storage device (RAM: Random Access Memory), various sensors, an auxiliary storage device, and the like connected via a bus. The auxiliary storage device is configured using a nonvolatile storage device. The nonvolatile storage device referred to here is a so-called ROM (Read-Only Memory: including EEPROM (Erasable Programmable Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), mask ROM, etc.), FRAM (Ferroelectric RAM). ), Hard disk, etc.

図1は、ドア制御装置1aの機能ブロックを示す図である。ドア制御装置1aは、補助記憶装置に記憶された各種のプログラム(OS,アプリケーション等)が主記憶装置にロードされCPUにより実行されることによって、車内撮像部2,車外撮像部3,人検出部4,画像記憶部5,鍵検出部6,認証部7,ドア制御部8,エンジン制御部9,及び制御部10a等を含む装置として機能する。人検出部4,認証部7,ドア制御部8,エンジン制御部9,及び制御部10aは、プログラムがCPUによって実行されることにより実現される。また、人検出部4,認証部7,ドア制御部8,エンジン制御部9,及び制御部10aは、それぞれが専用のチップとして構成されても良い。   FIG. 1 is a diagram illustrating functional blocks of the door control device 1a. The door control device 1a is configured such that various programs (OS, applications, etc.) stored in the auxiliary storage device are loaded into the main storage device and executed by the CPU, so that the in-vehicle image capturing unit 2, the external image capturing unit 3, the human detection unit 4, an image storage unit 5, a key detection unit 6, an authentication unit 7, a door control unit 8, an engine control unit 9, and a control unit 10a. The human detection unit 4, the authentication unit 7, the door control unit 8, the engine control unit 9, and the control unit 10a are realized by executing a program by the CPU. Further, each of the human detection unit 4, the authentication unit 7, the door control unit 8, the engine control unit 9, and the control unit 10a may be configured as a dedicated chip.

〈車内撮像部〉
車内撮像部2は、デジタルスチル/ビデオカメラ等を用いて構成される。車内撮像部2は、ドア制御装置1aが備えられる車両の内部(車両の室内)を撮像する。車内撮像部2は、撮像された画像を人検出部4へ渡す。以下、車内撮像部2によって撮像された画像を「車内画像」と呼ぶ。
<In-vehicle imaging unit>
The in-vehicle imaging unit 2 is configured using a digital still / video camera or the like. The vehicle interior imaging unit 2 captures an image of the interior (vehicle interior) of the vehicle in which the door control device 1a is provided. The vehicle interior imaging unit 2 passes the captured image to the human detection unit 4. Hereinafter, an image captured by the in-vehicle imaging unit 2 is referred to as an “in-vehicle image”.

この実施形態では、車内撮像部2は、車内において、例えば操縦席に座っている車両の操縦者(ドライバ)の顔が視野に入るように設置され、操縦者の顔をユーザの画像として撮像する。   In this embodiment, the vehicle interior imaging unit 2 is installed in the vehicle so that, for example, the face of the driver (driver) of the vehicle sitting in the cockpit is in the field of view, and captures the driver's face as a user image. .

車内撮像部2は、継続的に撮像を行うように構成されても良いし、処理を停止していた後に所定のタイミングで撮像を開始するように構成されても良い。所定のタイミングとは、例えば動力源が始動されたタイミングや、ユーザによってボタンやタッチパネル等の入力装置を介して撮像の開始が指示されたタイミングや操縦席のシートベルトが装着されたことがシートベルトのロック部などに設置されたセンサによって検出されたタイミングや操縦者によってクラッチが操作されたタイミング等である。このタイミングについては、設計者やユーザなどが適宜設定可能である。所定のタイミングで撮像を開始するように構成された場合、車内撮像部2は、車外認証処理が開始されるまで、即ち車外認証処理開始通知を制御部10aから受け取るまで継続的に撮像を行い、車外認証処理の開始によって動作を停止するように構成されても良い。   The in-vehicle imaging unit 2 may be configured to continuously perform imaging, or may be configured to start imaging at a predetermined timing after the processing is stopped. The predetermined timing refers to, for example, the timing at which the power source is started, the timing at which imaging is instructed by the user via an input device such as a button or a touch panel, and the fact that the seat belt at the cockpit is attached The timing detected by a sensor installed in the lock section of the vehicle, the timing when the clutch is operated by the operator, and the like. About this timing, a designer, a user, etc. can set suitably. When configured to start imaging at a predetermined timing, the in-vehicle imaging unit 2 continuously performs imaging until the outside authentication process is started, that is, until the outside authentication process start notification is received from the control unit 10a. You may comprise so that operation | movement may be stopped by the start of an external vehicle authentication process.

〈車外撮像部〉
車外撮像部3は、車内撮像部2と同様に、デジタルスチル/ビデオカメラ等を用いて構成される。車外撮像部3は、ドア制御装置1aが備えられる車両の外部を撮像する。車外
撮像部3は、車外認証処理が開始されると、即ち車外認証処理開始通知を制御部10aから受け取ると、車両の外部の撮像を開始する。車外撮像部3は、撮像された画像を人検出部4へ渡す。以下、車外撮像部3によって撮像された画像を「車外画像」と呼ぶ。
<External imaging unit>
The outside imaging unit 3 is configured using a digital still / video camera or the like, similarly to the inside imaging unit 2. The vehicle outside imaging unit 3 images the outside of the vehicle provided with the door control device 1a. When the vehicle outside authentication process is started, that is, when the vehicle outside authentication process start notification is received from the control unit 10a, the vehicle outside imaging unit 3 starts imaging outside the vehicle. The vehicle exterior imaging unit 3 passes the captured image to the human detection unit 4. Hereinafter, an image captured by the vehicle exterior imaging unit 3 is referred to as a “vehicle exterior image”.

車外撮像部3は、車外認証処理開始通知を受け取った時点で待機状態となり、待機状態において人が車外撮像部3の視野内に入ったことが検知されることにより撮像を開始するように構成されても良い。このような検知は、例えば赤外線センサや電波センサ等を用いて実現できる。このように構成される場合、待機状態となる際にこれらのセンサが動作を開始するように構成されても良い。   The imaging unit 3 outside the vehicle is in a standby state when the notification of starting the outside authentication process is received, and is configured to start imaging when it is detected that a person has entered the field of view of the imaging unit 3 outside the vehicle in the standby state. May be. Such detection can be realized using, for example, an infrared sensor or a radio wave sensor. When configured in this way, these sensors may be configured to start operation when entering a standby state.

また、車外撮像部3は、車外認証処理開始通知を受け取った後に、ボタン等の入力装置がユーザによって操作されることにより撮像を開始するように構成されても良い。   Moreover, after receiving the vehicle outside authentication process start notification, the vehicle outside imaging unit 3 may be configured to start imaging when an input device such as a button is operated by the user.

車外撮像部3は、車内に設置され、窓を通して車外を撮像するように構成されても良い。また、車外撮像部3は、車外(例:車両のドア,ボディの外側,バンパー,トランクのドア等)に設置されて車外を撮像するように構成されても良い。この場合、車外撮像部3は、車外から操縦席のドアを開けようとする人の顔が視野範囲に入るように設置されるのが好ましい。このとき、撮像される顔の角度は、車内撮像部2によって撮像されるユーザの顔と同じ角度にとなるのが好ましい。   The vehicle exterior imaging unit 3 may be installed inside the vehicle and configured to capture the exterior of the vehicle through a window. In addition, the vehicle exterior imaging unit 3 may be configured to be installed outside the vehicle (for example, a vehicle door, the outside of the body, a bumper, a trunk door, etc.) to capture the exterior of the vehicle. In this case, it is preferable that the outside-of-vehicle imaging unit 3 is installed so that the face of a person who wants to open the cockpit door from the outside of the vehicle is in the visual field range. At this time, the angle of the face to be imaged is preferably the same angle as the face of the user imaged by the in-vehicle imaging unit 2.

〈人検出部〉
人検出部4は、車内画像又は車外画像から人の顔を検出する。人検出部4は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔の構成要素(目,鼻,耳など)に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、クロマキー処理によって頭髪の頂点が検出され、この頂点に基づいて顔を検出するように構成されても良い。また、人検出部4は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、人検出部4は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されても良い。また、人検出部4による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。
<Human detection unit>
The human detection unit 4 detects a human face from an in-vehicle image or an external image. The human detection unit 4 may be configured to detect a face by template matching using a reference template corresponding to the outline of the entire face, for example. Alternatively, the face may be detected by template matching based on face components (eyes, nose, ears, etc.). Further, the vertex of the hair may be detected by chroma key processing, and the face may be detected based on the vertex. The human detection unit 4 may be configured to detect an area close to the skin color and detect the area as a face. Further, the human detection unit 4 may be configured to perform learning by a teacher signal using a neural network and detect a face-like region as a face. Further, the face detection process by the human detection unit 4 may be realized by applying any other existing technique.

人検出部4は、制御部10aから車外認証処理開始通知を受け取るまでは、車内撮像部2から受け取る車内画像について処理を行う。一方、人検出部4は、制御部10aから車外認証処理開始通知を受け取った後は、車外撮像部3から受け取る車外画像について処理を行う。   The person detection unit 4 performs processing on the in-vehicle image received from the in-vehicle image capturing unit 2 until receiving the outside authentication process start notification from the control unit 10a. On the other hand, after receiving the vehicle outside authentication process start notification from the control unit 10a, the person detection unit 4 performs processing on the vehicle outside image received from the vehicle outside imaging unit 3.

人検出部4は、車内画像において人の顔が検出された場合、この人の顔が検出された旨の人検出結果を制御部10aへ渡す。そして、人検出部4は、制御部10aから画像登録命令を受け取った場合、この車内画像を画像記憶部5に書き込む。また、人検出部4は、車内画像において人の顔が検出されなかった場合、この人検出結果を制御部10aへ渡す。この人検出結果(即ち人の顔が検出されなかったことの検出結果)は、車外認証処理の開始の契機となる。また、人検出部4は、車外認証処理において車外画像に人の顔が検出された場合、この車外画像を認証部7へ渡す。   When a human face is detected in the in-vehicle image, the human detection unit 4 passes a human detection result indicating that the human face has been detected to the control unit 10a. When the person detection unit 4 receives an image registration command from the control unit 10 a, the person detection unit 4 writes this in-vehicle image in the image storage unit 5. Moreover, the person detection part 4 passes this person detection result to the control part 10a, when a person's face is not detected in a vehicle interior image. This person detection result (that is, the detection result that the human face has not been detected) triggers the start of the vehicle outside authentication process. In addition, when the human face is detected in the outside image in the outside authentication process, the person detection unit 4 passes this outside image to the authentication unit 7.

〈画像記憶部〉
画像記憶部5は、いわゆるRAMやROMを用いて構成される。画像記憶部5は、人検出部4によって人の顔が検出された車内画像を記憶する。画像記憶部5は、人検出部4によって検出された人の顔部分の画像や、検出された人の顔を認証するために必要な特徴量のみを記憶するように構成されても良い。また、画像記憶部5は、車内撮像部2によって
撮像された画像やこの画像に基づいたデータのみを記憶するように構成されても良い。即ち、画像記憶部5は、車内撮像部2以外の撮像装置によって撮像された画像などは記憶しないように構成されても良い。例えば、車内撮像部2が撮像した画像データに対して予め定められた識別子を埋め込み、画像記憶部5がこの識別子を判別することにより車内撮像部2によって撮像された画像か否か判断することが可能となる。
<Image storage unit>
The image storage unit 5 is configured using a so-called RAM or ROM. The image storage unit 5 stores an in-vehicle image in which a human face is detected by the human detection unit 4. The image storage unit 5 may be configured to store only an image of a human face portion detected by the human detection unit 4 and a feature amount necessary for authenticating the detected human face. Further, the image storage unit 5 may be configured to store only an image captured by the in-vehicle imaging unit 2 and data based on the image. That is, the image storage unit 5 may be configured not to store an image captured by an imaging device other than the in-vehicle imaging unit 2. For example, it is possible to embed a predetermined identifier in the image data captured by the in-vehicle image capturing unit 2 and determine whether the image is captured by the in-vehicle image capturing unit 2 by the image storage unit 5 determining this identifier. It becomes possible.

〈鍵検出部〉
鍵検出部6は、車内に存在する鍵を検知・検出する。鍵検出部6によって検出される鍵は可搬性を有し、ユーザによって車内や車外へ持ち運ばれる鍵である。鍵検出部6は、検出すべき鍵(即ち、ドア制御装置1aが設置される車両のドアを解錠するための鍵)の構成に対応して設計される。例えば、鍵検出部6は非接触通信を行うことにより鍵を検知する。具体的には、例えば鍵及び鍵検出部6が無線発信・受信器を用いて構成される場合、鍵検出部6は鍵と無線通信を行い、この鍵がこの車(ドア制御装置1aが備えられた車)の正当な鍵であるか否かを確認することにより、車内における鍵の存在を検出する。鍵検出部6は、無線発信器の指向性や車内における設置位置などを適当に設計することにより、鍵の検出エリアをこの車の車内に限定させることができる。
<Key detector>
The key detection unit 6 detects and detects a key present in the vehicle. The key detected by the key detection unit 6 is portable and is a key that is carried by the user to the inside and outside of the vehicle. The key detection unit 6 is designed corresponding to the configuration of the key to be detected (that is, the key for unlocking the door of the vehicle on which the door control device 1a is installed). For example, the key detection unit 6 detects a key by performing contactless communication. Specifically, for example, when the key and key detection unit 6 is configured using a wireless transmitter / receiver, the key detection unit 6 performs wireless communication with the key, and this key is provided in the vehicle (the door control device 1a includes). The presence of the key in the vehicle is detected by confirming whether the vehicle is a valid key. The key detection unit 6 can limit the key detection area to the inside of the vehicle by appropriately designing the directivity of the radio transmitter and the installation position in the vehicle.

また、例えば鍵がメカニカルキーである場合、鍵検出部6はエンジン駆動のための鍵穴に鍵が挿入されていることを鍵穴に設置されたセンサによって検知することにより鍵の存在を検出するように構成できる。その他、鍵及び鍵検出部6は、鍵検出部6が鍵を検出可能なように構成されるのであれば、既存のどのような技術を用いて構成されても良い。   For example, when the key is a mechanical key, the key detection unit 6 detects the presence of the key by detecting that the key is inserted into the key hole for driving the engine by a sensor installed in the key hole. Can be configured. In addition, the key and key detection unit 6 may be configured using any existing technique as long as the key detection unit 6 is configured to detect the key.

ここでは、鍵システムとしてスマートキーシステムが適用される。スマートキーシステムは、スマートキー及びスマートキーと無線通信を行う鍵ユニットを含む。スマートキーシステムでは、鍵ユニットは、車両のユーザが携帯するスマートキーと無線通信を行い、その結果に従ってドアの施錠及びその解除(ドアの施錠/解錠)を制御する。鍵検出部6には、このような鍵ユニットが適用される。   Here, a smart key system is applied as the key system. The smart key system includes a smart key and a key unit that performs wireless communication with the smart key. In the smart key system, the key unit performs wireless communication with a smart key carried by a user of the vehicle, and controls locking and unlocking of the door (locking / unlocking of the door) according to the result. Such a key unit is applied to the key detection unit 6.

鍵検出部6は、車内において鍵(スマートキー)が検出されると、制御部10aに対してこの鍵検出結果を渡す。   When the key (smart key) is detected in the vehicle, the key detection unit 6 passes this key detection result to the control unit 10a.

〈認証部〉
認証部7は、車外認証処理において、車外画像に含まれる人と、画像記憶部5に記憶された車内画像に含まれる人とが一致するか否か判断する。認証部7は、既存のどのような認証技術を適用することにより実現されても良い。このような技術の例として、以下に示す文献に記載された技術がある。
<Authentication part>
The authentication unit 7 determines whether or not the person included in the vehicle outside image matches the person included in the vehicle interior image stored in the image storage unit 5 in the vehicle outside authentication process. The authentication unit 7 may be realized by applying any existing authentication technology. As an example of such a technique, there is a technique described in the following literature.

栗田 多喜夫、“顔検出・顔認識のための統計的手法”、[平成15年9月24日検索]、
インターネット<URL : http://www.neurosci.aist.go.jp/~kurita/
lecture/statface.pdf>
福井和広(株式会社東芝)、“ユーザインターフェースにおける顔画像認識”、SSII2000 Tutorial Lectures、Page18-32
“パターン認識における主成分分析”-顔画像認識を例として-、統計数理(2001)、第49巻、第1号、23-42
認証部7は、認証結果をドア制御部8へ渡す。認証結果は、少なくとも車内画像に含まれる人と車外画像に含まれる人とが一致したか否かを示す情報を含めば良い。
Kurita Takio, “Statistical Method for Face Detection / Face Recognition”, [September 24, 2003 search],
Internet <URL: http://www.neurosci.aist.go.jp/~kurita/
lecture / statface.pdf>
Kazuhiro Fukui (Toshiba Corporation), “Face Image Recognition in the User Interface”, SSII2000 Tutorial Lectures, Page 18-32
"Principal Component Analysis in Pattern Recognition" -Face Image Recognition as an Example-, Statistical Mathematics (2001), Vol. 49, No. 1, 23-42
The authentication unit 7 passes the authentication result to the door control unit 8. The authentication result may include at least information indicating whether or not the person included in the in-vehicle image matches the person included in the outside-vehicle image.

〈ドア制御部〉
ドア制御部8は、ドア制御装置1aが設置された車両のドアについて施錠や解錠を制御する。ドア制御部8は、制御部10aから施錠を行うように通知を受けた場合(施錠通知
を受け取った場合)、この車両のドアに施錠を行う。また、ドア制御部8は、制御部10aから解錠を行うように通知を受けた場合(解錠通知を受け取った場合)、この車両のドアを解錠する。
<Door control unit>
The door control unit 8 controls locking and unlocking of a vehicle door on which the door control device 1a is installed. When the door control unit 8 receives a notification from the control unit 10a to lock the door (when a lock notification is received), the door control unit 8 locks the door of the vehicle. Moreover, the door control part 8 unlocks the door of this vehicle, when notification is received from the control part 10a so that unlocking may be performed (when unlocking notification is received).

また、ドア制御部8は、車外認証処理において(車外認証処理開始通知を受け取った後に)、認証部7から車外の人に対する認証が成功した旨の認証結果を受け取った場合、この車両のドアを解錠する。   Further, when the door control unit 8 receives an authentication result indicating that the person outside the vehicle has been successfully authenticated from the authentication unit 7 in the vehicle outside authentication process (after receiving the vehicle outside authentication process start notification), the door control unit 8 opens the door of the vehicle. Unlock.

〈エンジン制御部〉
エンジン制御部9は、車両のエンジンに対する起動/停止を制御する。エンジン制御部9は、所定時間(例:十数秒〜数分)を計時するタイマを有し、車外認証処理の開始を契機としてタイマを起動する。そして、このタイマが所定時間を計時すると(タイムアウトとなると)、この時点で車両のエンジンが動作している場合、エンジンを停止させるためのエンジン制御信号(停止信号)を出力する。
<Engine control unit>
The engine control unit 9 controls start / stop of the vehicle engine. The engine control unit 9 has a timer for measuring a predetermined time (for example, tens of seconds to several minutes), and starts the timer in response to the start of the vehicle outside authentication process. When this timer counts a predetermined time (timeout), an engine control signal (stop signal) for stopping the engine is output when the engine of the vehicle is operating at this time.

〈制御部〉
制御部10aは、ドア制御装置1aの制御を行う。制御部10aは、鍵検出部6から車内において鍵が検出されたことを通知されると、ドア制御部8に対して解錠通知を渡す。また、制御部10aは、画像記憶部5に車内画像が登録されたか否かを管理する。例えば、制御部10aは、変数nを用いることによりこの管理を行う。例えば、変数nは、“0”である場合には画像記憶部5に車内画像が記憶されていないことを示し、“1”である場合には画像記憶部5に車内画像が記憶されていることを示す。制御部10aは、変数nが“0”であるときに人検出部4から人が検出された旨の人検出結果を受け取った場合、人検出部4に対して、その人が検出された車内画像を画像記憶部5に登録することを命令する(画像登録命令を渡す)。
<Control part>
The control unit 10a controls the door control device 1a. When notified from the key detection unit 6 that the key has been detected in the vehicle, the control unit 10 a gives an unlock notification to the door control unit 8. In addition, the control unit 10 a manages whether or not the in-vehicle image is registered in the image storage unit 5. For example, the control unit 10a performs this management by using the variable n. For example, when the variable n is “0”, it indicates that the in-vehicle image is not stored in the image storage unit 5, and when the variable n is “1”, the in-vehicle image is stored in the image storage unit 5. It shows that. When the control unit 10a receives a human detection result indicating that a person is detected from the human detection unit 4 when the variable n is “0”, the control unit 10a instructs the human detection unit 4 to detect the person inside the vehicle. A command to register an image in the image storage unit 5 is sent (an image registration command is passed).

また、制御部10aは、ドアに施錠を行うか否かを判断する。制御部10aは、人検出部4から車内において人が検出されないことを通知され(人が検出されない旨の人検出結果を受け取り)、かつ画像記憶部5に車内画像が登録されていること(n=1であること)を条件として、ドア制御部8に対し施錠を行うことを通知する(施錠通知を渡す)。   Further, the control unit 10a determines whether or not to lock the door. The control unit 10a is notified by the person detection unit 4 that a person is not detected in the vehicle (receives a person detection result indicating that no person is detected), and the in-vehicle image is registered in the image storage unit 5 (n = 1), the door control unit 8 is notified that locking is performed (the lock notification is passed).

また、制御部10aは、上記の条件の下に施錠通知を行った後は、鍵検出部6から車内において鍵が検出されたことが通知されたとしても、このことのみを根拠としてドア制御部8に対して解錠通知を渡すことはない。制御部10aは、上記の条件の下に施錠通知を行った後は、ドアが他の解錠方法(即ち、車内において鍵が検出されることを条件とした解除方法以外の解錠方法)によって解錠されるまでは、鍵検出部6による鍵の検出のみを根拠としてドア制御部8に対して施錠通知を渡すことはない。このような動作は、例えば、制御部10aが、解錠通知の送出に対する制御フラグを有し、上記条件が満たされ施錠通知を送出したことを契機として制御フラグをオン(オフ)にし、他の解錠方法によってドアが解錠されたことを契機として制御フラグをオフ(オン)にし、この制御フラグがオン(
オフ)の間は、解錠通知の送出をオフにするように構成することで実現可能である。
Moreover, even if the control part 10a notifies that the key was detected in the vehicle from the key detection part 6 after giving the lock notification under the above-mentioned conditions, the door control part is based only on this fact. No unlock notification is given to 8. After the control unit 10a notifies the locking under the above-described conditions, the door may be unlocked by another unlocking method (that is, an unlocking method other than the unlocking method provided that the key is detected in the vehicle). Until unlocking, the lock notification is not delivered to the door control unit 8 based only on the key detection by the key detection unit 6. Such an operation is performed, for example, when the control unit 10a has a control flag for sending an unlocking notification, and the control flag is turned on (off) when the above condition is satisfied and the locking notification is sent. When the door is unlocked by the unlocking method, the control flag is turned off (on), and this control flag is turned on (
(Off) can be realized by configuring the transmission of the unlock notification to be turned off.

また、制御部10aは、車外認証処理の開始及び終了を管理する。制御部10aは、人検出部4から車内において人が検出されない(人がいない(降車した))ことを通知され、かつ画像記憶部5に車内画像が登録されており、かつ鍵検出部6から車内において鍵が検出されたことが通知される(車内において鍵が検出されない旨の鍵検出結果を受け取る)ことを条件として、車外撮像部3,人検出部4,認証部7,ドア制御部8,及びエンジン制御部9に対し、車外認証処理を開始することを通知する(車外認証処理開始通知を渡す)。   In addition, the control unit 10a manages the start and end of the outside-vehicle authentication process. The control unit 10a is notified by the person detection unit 4 that no person is detected in the vehicle (no person is present (gets off)), the vehicle image is registered in the image storage unit 5, and the key detection unit 6 On the condition that a key is detected in the vehicle (receiving a key detection result indicating that the key is not detected in the vehicle), an imaging unit 3 outside the vehicle, a human detection unit 4, an authentication unit 7, and a door control unit 8 , And the engine control unit 9 is notified that the outside-of-vehicle authentication process is started (the outside-of-vehicle authentication process start notification is passed).

また、制御部10aは、適当なタイミングで画像記憶部5に対し削除命令を渡す。削除命令とは、現在記憶している画像がある場合はその画像を削除することを命令するものである。制御部10aは、例えば変数nに“0”を代入するタイミング(図2のS01)や、この車両のドアが解錠されたタイミングなどに削除命令を渡す。また、制御部10aは、車内において人が検出されない及び車内画像が画像記憶部5に記憶されていることを条件として施錠が行われた後、車内において鍵が検出されない又は車外認証処理が終了した場合に削除命令を渡すように構成されても良い。   In addition, the control unit 10a passes a deletion command to the image storage unit 5 at an appropriate timing. The delete command is a command to delete an image that is currently stored if there is one. For example, the control unit 10a passes a deletion command to the timing of substituting “0” for the variable n (S01 in FIG. 2), the timing when the door of the vehicle is unlocked, or the like. In addition, the control unit 10a locks on condition that no person is detected in the vehicle and that the in-vehicle image is stored in the image storage unit 5, and then the key is not detected in the vehicle or the outside authentication process is completed. In some cases, a deletion instruction may be passed.

〔動作例〕
図2は、ドア制御装置1aの動作例を示すフローチャートである。図2を用いてドア制御装置1aの動作例について説明する。図2に示される処理は、例えば施錠されていた状態から鍵を用いることによって解錠されエンジンが始動されることによって開始される。
[Operation example]
FIG. 2 is a flowchart showing an operation example of the door control device 1a. An operation example of the door control device 1a will be described with reference to FIG. The process shown in FIG. 2 is started when the engine is started after being unlocked by using a key from a locked state, for example.

処理が開始されると、制御部10aは、変数nを定義し、この変数nに“0”を代入する(S01)。   When the processing is started, the control unit 10a defines a variable n and substitutes “0” for the variable n (S01).

次に、車内撮像部2は、車内画像を撮像する(S02)。人検出部4は、車内撮像部2によって撮像された車内画像において、人の顔を検出する。人の顔が検出された場合(S03−YES)、制御部10aは変数nの値が“1”であるか否か判断する。即ち、画像記憶部5に車内画像が既に記憶されているか否か判断される。変数nの値が“1”である場合(S04−YES)、即ち画像記憶部5に車内画像が既に記憶されている場合、S02以降の処理が再び実行される。一方、変数nの値が“0”である場合(S04−NO)、即ち画像記憶部5に車内画像が記憶されていない場合、制御部10aは変数nに対し“1”を代入する(S05)。そして、画像記憶部5は人検出部4によって人の顔が検出された車内画像を記憶し(S06)、S02以降の処理が再び実行される。   Next, the vehicle interior imaging unit 2 captures a vehicle interior image (S02). The person detection unit 4 detects a human face in the in-vehicle image captured by the in-vehicle image capturing unit 2. When a human face is detected (S03-YES), the control unit 10a determines whether or not the value of the variable n is “1”. That is, it is determined whether or not the in-vehicle image is already stored in the image storage unit 5. When the value of the variable n is “1” (S04—YES), that is, when the in-vehicle image has already been stored in the image storage unit 5, the processes after S02 are executed again. On the other hand, when the value of the variable n is “0” (S04—NO), that is, when the in-vehicle image is not stored in the image storage unit 5, the control unit 10a substitutes “1” for the variable n (S05). ). And the image memory | storage part 5 memorize | stores the in-vehicle image from which the person's face was detected by the person detection part 4 (S06), and the process after S02 is performed again.

S03の処理の説明に戻る。人検出部4によって車内画像において人の顔が検出されなかった場合(S03−NO)、制御部10aは変数nの値が“1”であるか否か判断する。変数nの値が“1”ではなかった場合(S07−NO)、S02以降の処理が再び実行される。一方、変数nの値が“1”であった場合(S07−YES)、ドア制御部8は、ドアに対して施錠を実施する(S08)。   Returning to the description of the process of S03. When the human face is not detected in the in-vehicle image by the human detection unit 4 (S03-NO), the control unit 10a determines whether or not the value of the variable n is “1”. When the value of the variable n is not “1” (S07—NO), the processes after S02 are executed again. On the other hand, when the value of the variable n is “1” (S07—YES), the door control unit 8 locks the door (S08).

次に、鍵検出部6は、車内において鍵を検出する。鍵検出部6によって車内に鍵が検出された場合(S09−YES)、制御部10aは、車外認証処理を開始する(S10)。一方、鍵検出部6によって車内に鍵が検出されない場合(S09−NO)、画像記憶部5に記憶される車内画像が破棄(削除)され(S18)、ドア制御装置1aの処理は終了する。   Next, the key detection unit 6 detects the key in the vehicle. When the key is detected in the vehicle by the key detection unit 6 (S09-YES), the control unit 10a starts the outside authentication process (S10). On the other hand, when the key is not detected in the vehicle by the key detection unit 6 (S09-NO), the vehicle interior image stored in the image storage unit 5 is discarded (deleted) (S18), and the process of the door control device 1a is terminated.

次に、車外認証処理について説明する。図3は、車外認証処理におけるドア制御装置1aの動作例を示すフローチャートである。車外認証処理が開始されると、車外撮像部3は車外画像を撮像する(S11)。検出部6は、車外撮像部3によって撮像された車外画像において、人の顔を検出する。車外画像において人の顔が検出されなかった場合(S12−NO)、エンジン制御部9は、車外認証処理が開始してから所定時間が経過したか否か判断する。所定時間が経過した場合(S13−YES)、エンジン制御部9は、エンジンを停止させる(S14)。一方、所定時間が経過していない場合(S13−NO)、又はエンジン制御部9によってエンジンが停止された後、S11以降の処理が再び実行される。   Next, the outside authentication process will be described. FIG. 3 is a flowchart showing an operation example of the door control device 1a in the vehicle outside authentication process. When the vehicle outside authentication process is started, the vehicle outside imaging unit 3 captures a vehicle outside image (S11). The detection unit 6 detects a human face in the outside image captured by the outside image capturing unit 3. When a human face is not detected in the outside image (S12—NO), the engine control unit 9 determines whether or not a predetermined time has elapsed since the outside authentication process started. When the predetermined time has elapsed (S13-YES), the engine control unit 9 stops the engine (S14). On the other hand, when the predetermined time has not elapsed (S13-NO), or after the engine is stopped by the engine control unit 9, the processes after S11 are executed again.

S12の処理の説明に戻る。車外画像において人の顔が検出された場合(S12−YES)、認証部7は、画像記憶部5に記憶される車内画像とこの車外画像とを用いた認証処
理を実行する(S15)。車外画像に含まれる人が車内画像に含まれる人と同一人物ではないと判断された場合、即ち車外の人が認証されなかった場合(S16−NO)、S11以降の処理が再び実行される。一方、車外画像に含まれる人が車内画像に含まれる人と同一であると認証された場合(S16−YES)、ドア制御部8はこの車両のドアを解錠し(S17)、車外認証処理が終了する。そして、画像記憶部5に記憶されている車内画像が破棄され(S18)、ドア制御装置1aの処理は終了する。
Returning to the description of the processing in S12. When a human face is detected in the image outside the vehicle (S12-YES), the authentication unit 7 executes an authentication process using the vehicle interior image stored in the image storage unit 5 and the vehicle exterior image (S15). When it is determined that the person included in the outside image is not the same person as the person included in the inside image, that is, when the person outside the vehicle is not authenticated (S16-NO), the processes after S11 are executed again. On the other hand, when it is authenticated that the person included in the outside image is the same as the person included in the inside image (S16-YES), the door control unit 8 unlocks the door of this vehicle (S17), and the outside authentication process. Ends. And the in-vehicle image memorize | stored in the image storage part 5 is discarded (S18), and the process of the door control apparatus 1a is complete | finished.

〔作用/効果〕
ドア制御装置1aは、スマートキーシステムが適用された車両に適用されても良いし、スマートキーシステムが適用されていない車両に適用されても良い。スマートキーシステムが適用された車両に適用される場合、鍵検出部6によって検出される鍵がスマートキーとなり、鍵検出部6はスマートキーシステムに元々備えられる鍵検出装置(鍵ユニット)を用いて構成される。この場合、動作例において説明した処理、及びS08〜S17の処理が行われている間は、車内に位置するスマートキーによる解錠動作が無効とされること以外の処理は、車両に適用されているスマートキーシステムの処理に従う。一方、スマートキーシステムが適用されていない車両に適用される場合には、鍵検出部6の説明において記載したように、鍵検出部6によって検出される鍵はどのように構成されても良く、鍵検出部6もこの鍵を検出可能に構成されればどのように構成されても良い。例えば、鍵が車内のキーシリンダに挿入されていることがキーシリンダ内に設置されたセンサによって検出されるように構成されても良い。或いは、鍵に無線発信器が取り付けられ、車両側に設けられた受信ユニットで検知されるように構成しても良い。
[Action / Effect]
The door control device 1a may be applied to a vehicle to which the smart key system is applied, or may be applied to a vehicle to which the smart key system is not applied. When applied to a vehicle to which the smart key system is applied, the key detected by the key detection unit 6 becomes a smart key, and the key detection unit 6 uses a key detection device (key unit) originally provided in the smart key system. Composed. In this case, while the processing described in the operation example and the processing of S08 to S17 are being performed, processing other than that the unlocking operation by the smart key located in the vehicle is invalid is applied to the vehicle. Follow the processing of the smart key system. On the other hand, when applied to a vehicle to which the smart key system is not applied, as described in the description of the key detection unit 6, the key detected by the key detection unit 6 may be configured in any way, The key detection unit 6 may be configured in any manner as long as the key can be detected. For example, it may be configured such that a sensor installed in the key cylinder detects that the key is inserted into the key cylinder in the vehicle. Or you may comprise so that a radio | wireless transmitter may be attached to a key and it may detect with the receiving unit provided in the vehicle side.

ドア制御装置1aが車両に適用されることにより、車両に乗車している人(車両のユーザ)が車両内からいなくなった(降車した)場合には、例え鍵が車内にあるとしても、車両のドアに施錠が実施される。このため、車両のユーザが鍵をかけ忘れた場合、特にスマートキーシステムが適用された車両においては車両のユーザがスマートキーを車内に置き忘れて車外へ出てしまった場合などであっても、車両のセキュリティが維持される。   When the door control device 1a is applied to a vehicle and a person (vehicle user) who is in the vehicle disappears from the vehicle (gets off), even if the key is in the vehicle, the vehicle The door is locked. For this reason, even if the vehicle user forgets to lock the vehicle, especially in a vehicle to which the smart key system is applied, the vehicle user forgets to put the smart key in the vehicle and goes out of the vehicle. Security is maintained.

また、一般的には、上記のように車内にドアの鍵があるにも関わらずドア制御部8によって自動的に車両のドアに施錠が行われると、車両のユーザは自力でドアを解錠することは困難である。しかし、ドア制御装置1aでは、上記のような施錠が行われた場合は、車外撮像部3によって顔の撮像を行い認証部7によって認証されることにより、車両のユーザは車両のドアの解錠を行うことが出来る。従って、ユーザにとって問題が発生することなく車両のセキュリティが維持される。   In general, when the door control unit 8 automatically locks the door of the vehicle in spite of the presence of the door key in the vehicle as described above, the user of the vehicle unlocks the door by himself / herself. It is difficult to do. However, in the door control device 1a, when locking as described above is performed, the user of the vehicle unlocks the door of the vehicle by imaging the face by the imaging unit 3 outside the vehicle and authenticating by the authentication unit 7. Can be done. Therefore, the security of the vehicle is maintained without causing a problem for the user.

また、車外認証処理が開始されてから一定時間が経過した後に、エンジン制御部9によってエンジンが自動的に停止される。このため、ユーザがドアに施錠しない上さらにエンジンを切らずに車両を離れた場合であっても、一定時間経過後にエンジンが自動的に停止され、燃料の浪費を防止することができる。   In addition, the engine is automatically stopped by the engine control unit 9 after a certain time has elapsed since the start of the vehicle outside authentication process. For this reason, even if the user does not lock the door and further leaves the vehicle without turning off the engine, the engine is automatically stopped after a certain period of time and fuel waste can be prevented.

また、変数nは処理が開始される度に値が“0”にリセットされ、変数nに“1”が代入されるまで、即ち新たに車内画像が登録されるまで車外認証処理は実施されない。言い換えれば、車外認証処理は、毎回新たに登録された車内画像を用いて実施され、一度車外認証処理に用いられた車内画像は以後の車外認証処理(即ち、リターンされた後の車外認証処理)に用いられることは無い。このため、ユーザの顔における経年変化などに柔軟に対応することができる。また、一度画像記憶部5に顔の画像が登録された人物であっても、他の機会では改めて顔画像が登録されない限り車外認証処理において認証されない。従って、車のセキュリティを高度に維持することが可能となる。また、このように構成されることにより、認証部7は、車外画像に含まれる人物が、登録されている車内画像に含まれる人物であるか否かについてのみ判断すれば良く、複数人のうちの誰であるかを判断す
る必要はない。このため、車外認証処理における認証処理を厳しいパラメタを用いて実施することが可能となり、さらに高度に車のセキュリティを維持することが可能となる。
Further, the value of the variable n is reset to “0” every time the process is started, and the outside authentication process is not performed until “1” is substituted for the variable n, that is, until a new in-vehicle image is registered. In other words, the in-vehicle authentication process is performed using the newly registered in-vehicle image every time, and the in-vehicle image once used for the out-of-vehicle authentication process is a subsequent out-of-vehicle authentication process (that is, an out-of-vehicle authentication process after being returned). It is never used. For this reason, it is possible to flexibly cope with secular changes in the user's face. Further, even if the face image is once registered in the image storage unit 5, it is not authenticated in the outside-vehicle authentication process unless the face image is registered again at other occasions. Therefore, it is possible to maintain a high level of vehicle security. Further, with this configuration, the authentication unit 7 only needs to determine whether or not the person included in the outside image is a person included in the registered in-vehicle image. There is no need to determine who you are. For this reason, it becomes possible to carry out the authentication process in the outside authentication process using strict parameters, and it is possible to maintain the security of the car to a higher degree.

〔変形例〕
車内撮像部2及び車外撮像部3は一体に構成されても良い。例えば、車内用レンズ及び車外用レンズのように複数のレンズを備え、光学系の切り換え動作により、撮像範囲を車内と車外とで選択的に撮像する撮像装置を用いて構成されても良い。また、車内撮像部2及び車外撮像部3は、例えば、普段は車内を撮像範囲とし、車外認証処理が開始されると車外を撮像範囲に変更するように動作する撮像装置を用いて構成されても良い。
[Modification]
The vehicle interior imaging unit 2 and the vehicle exterior imaging unit 3 may be configured integrally. For example, an imaging apparatus that includes a plurality of lenses such as an in-vehicle lens and an in-vehicle lens and selectively captures an imaging range between the inside and outside of the vehicle by an optical system switching operation may be used. The in-vehicle image pickup unit 2 and the out-of-vehicle image pickup unit 3 are configured using, for example, an image pickup device that normally operates in the vehicle as an imaging range and operates to change the outside of the vehicle to the imaging range when the outside authentication process is started. Also good.

また、車内撮像部2は、他の目的のために設置された撮像装置を用いて構成されても良い。他の目的のために設置された撮像装置とは、例えば運転手についての認証を目的とした撮像装置や、運転手の脇見検知や居眠り検知などを目的とした撮像装置などがある。   The in-vehicle imaging unit 2 may be configured using an imaging device installed for other purposes. Examples of the image pickup apparatus installed for other purposes include an image pickup apparatus for the purpose of authentication of the driver, an image pickup apparatus for the purpose of detecting the driver's look-aside and detecting the falling asleep.

また、S08の処理において施錠が実施された場合、車内からは例えば室内ノブを用いてドアを解錠することが可能となるように構成されても良い。このように構成されることにより、S03の処理において車内にいる人が誤って検出されなかった場合に、この車内の人が鍵を用いることなく、かつ車外認証処理を実施することなく、車外に出ることが可能となる。   Further, when locking is performed in the process of S08, the door may be unlocked from the inside of the vehicle using, for example, an indoor knob. With this configuration, if a person in the vehicle is not detected in error in the process of S03, the person in the vehicle can use the key without using a key and perform the outside authentication process. It is possible to exit.

また、図2における処理S03の処理は、nの値が1となった後は、即ち車内画像が画像記憶部5に記憶された後は、車内画像に人の顔が撮像されているか否かを検出することが目的ではなく、車内に人が存在するか否かを検出することが目的となる。このため、車内画像が画像記憶部5に記憶された後は、処理S02及びS03の処理に代えて他の方法によって車内の人が検出するように構成されても良い。例えば、座席や車床などに設置された重量センサや、座席や天井などに設けられた赤外線センサ等を用いて、車内に人がいるか否か検出するように構成されても良い。図4は、このように構成された場合のドア制御装置1aの動作例を示すフローチャートである。このように構成された場合、まず、車内撮像部2は車内画像を撮像する(S19)。次に、人検出部4は、車内撮像部2によって撮像された車内画像から人の顔を検出する。人の顔が検出されない場合(S20−No)、再びS19以降の処理が実行される。一方、人の顔が検出された場合(S20−Yes)、画像記憶部5はこの車内画像を記憶する(S21)。次に、車内において人が検知されなくなるまで人の検知が実施される(S22−Yes)。車内において人が検知されなくなると(S22−No)、ドア制御部8によってドアに施錠が行われる(S23)。次に、鍵検出部6によって、車内において鍵が検出された場合(S24−Yes)、車外認証処理が実行される(S25)。車外認証処理の後、又は車内において鍵が検出されない場合(S24−No)、画像記憶部5に記憶されている車内画像が破棄され(S26)、処理が終了する。   2 is performed after the value of n becomes 1, that is, after the vehicle interior image is stored in the image storage unit 5, whether or not a human face is captured in the vehicle interior image. The purpose is not to detect the person, but to detect whether a person is present in the vehicle. For this reason, after the vehicle interior image is stored in the image storage unit 5, the vehicle interior may be detected by another method in place of the processing in steps S02 and S03. For example, it may be configured to detect whether there is a person in the vehicle by using a weight sensor installed on a seat, a vehicle floor, or the like, an infrared sensor provided on a seat, a ceiling, or the like. FIG. 4 is a flowchart showing an example of the operation of the door control device 1a configured as described above. When configured in this way, first, the in-vehicle image capturing unit 2 captures an in-vehicle image (S19). Next, the person detection unit 4 detects a person's face from the vehicle interior image captured by the vehicle interior imaging unit 2. When a human face is not detected (S20-No), the processes after S19 are executed again. On the other hand, when a human face is detected (S20-Yes), the image storage unit 5 stores the in-vehicle image (S21). Next, detection of a person is carried out until no person is detected in the vehicle (S22-Yes). When no person is detected in the vehicle (S22-No), the door controller 8 locks the door (S23). Next, when a key is detected in the vehicle by the key detection unit 6 (S24-Yes), an outside vehicle authentication process is executed (S25). After the outside authentication process or when the key is not detected in the vehicle (S24-No), the in-vehicle image stored in the image storage unit 5 is discarded (S26), and the process ends.

また、例えば車内画像から顔検出とは異なる画像処理(例:顔が撮像されていなくとも人の体などを検出することにより人の存在を検出する処理)によって人が検出されるように構成されても良い。   Further, for example, a person is detected by image processing different from face detection (for example, processing for detecting the presence of a person by detecting a human body or the like even if the face is not captured) from the in-vehicle image. May be.

また、図2及び図3におけるS03及びS12のYes判定の後に、得られた顔画像が認証処理に適した画像か否かを判定し、適していると判定されればS04やS15に進み、そうでなければS02やS11に処理が戻るように構成することができる。   Further, after the determination of S03 and S12 in FIG. 2 and FIG. 3, it is determined whether or not the obtained face image is an image suitable for the authentication process. If it is determined that the image is suitable, the process proceeds to S04 and S15. Otherwise, it can be configured such that the process returns to S02 or S11.

また、図3において、一旦S14の処理によってエンジンが停止された後は、エンジンの停止状態を示すフラグがオンになり、その後のS12のNo判定において、フラグがオンであれば、処理がS11に戻るように構成することができる。   In FIG. 3, once the engine is stopped by the process of S14, the flag indicating the engine stop state is turned on. If the flag is on in the subsequent determination of S12, the process proceeds to S11. Can be configured to return.

[第二実施形態]
〔システム構成〕
次に、ドア制御装置の第二実施形態であるドア制御装置1bについて、ドア制御装置1aと異なる点について説明する。図5は、ドア制御装置1bの機能ブロックを示す図である。ドア制御装置1bは、鍵検出部6を備えずに施錠検知部11を備える点でドア制御装置1aと異なる。また、ドア制御装置1bは、制御部10aに代えて制御部10bを備える点でもドア制御装置1aと異なる。以下、施錠検知部11及び制御部10bについて説明する。
[Second Embodiment]
〔System configuration〕
Next, the difference between the door control device 1a and the door control device 1b according to the second embodiment of the door control device will be described. FIG. 5 is a diagram illustrating functional blocks of the door control device 1b. The door control device 1b differs from the door control device 1a in that the lock detection unit 11 is not provided without the key detection unit 6. The door control device 1b is different from the door control device 1a in that a control unit 10b is provided instead of the control unit 10a. Hereinafter, the lock detection unit 11 and the control unit 10b will be described.

〈施錠検知部〉
施錠検知部11は、ユーザによってドアに施錠されるかを監視し、所定の方法によって実施される施錠を検知する。施錠検知部11は、ユーザによって実施された施錠方法が、後にユーザが車外からこの車両のドアを開けることが困難となる可能性を含む方法である(以下、「要注意施錠方法」と呼ぶ)場合に、施錠の実施を検知する。施錠検知部11は、このような検知が行われた場合に、ユーザにとって車両のドアを車外から解錠することが困難であると推定する。例えば、ユーザが車両のドアを解錠するための鍵を用いずにドアに対して施錠を行った場合に、この施錠の実施を検知し、推定を行う。
<Lock detection part>
The locking detection unit 11 monitors whether the door is locked by the user, and detects locking performed by a predetermined method. The locking detection unit 11 is a method in which the locking method performed by the user includes a possibility that it will be difficult for the user later to open the door of the vehicle from the outside of the vehicle (hereinafter referred to as a “cautionary locking method”). In some cases, the implementation of locking is detected. When such detection is performed, the lock detection unit 11 estimates that it is difficult for the user to unlock the door of the vehicle from the outside of the vehicle. For example, when the user locks the door without using a key for unlocking the vehicle door, the execution of the lock is detected and estimated.

図6は、施錠検知部11の具体的な検知方法の例を示す図である。第二実施形態における車両のドアには、セルフロック機構又はキーレスロック機構を持つドアロックが適用されている。ここでは、ドアの例として、操縦席側のフロントドアについて説明する。ドアには、セルフキャンセル機構及びキーレスロック機構を持つドアロック(ロック機構14)が適用されている。   FIG. 6 is a diagram illustrating an example of a specific detection method of the lock detection unit 11. A door lock having a self-locking mechanism or a keyless locking mechanism is applied to the door of the vehicle in the second embodiment. Here, a front door on the cockpit side will be described as an example of the door. A door lock (lock mechanism 14) having a self-cancel mechanism and a keyless lock mechanism is applied to the door.

ロック機構14の周囲には、鍵制御部8による電気信号に基づいてロック機構14による施錠/解錠動作を行わせるためのアクチュエータ13,ユーザによって挿入された鍵の運動(例えば回転運動)に応じた施錠/解錠動作をロック機構14に行わせるためのキーシリンダ16,ユーザによるマニュアル操作によってロック機構14に施錠/解錠動作を行わせるための手動ロック部(室内ノブ)18、及び四つのセンサ(第一〜第四検知部)が備えられる。   Around the lock mechanism 14, an actuator 13 for causing the lock mechanism 14 to perform a locking / unlocking operation based on an electric signal from the key control unit 8, and a movement of the key inserted by the user (for example, a rotational movement) A key cylinder 16 for causing the lock mechanism 14 to perform the locking / unlocking operation, a manual lock portion (indoor knob) 18 for causing the locking mechanism 14 to perform the locking / unlocking operation by a manual operation by the user, and four Sensors (first to fourth detection units) are provided.

第一検知部12は、鍵制御部8によってアクチュエータ13に渡される制御信号を受け取り、鍵制御部8の動作を検知する。第二検知部15は、ロック装置14の現在の状態を検知する。即ち、第二検知部15は、現在ドアに施錠がなされているか否か(施錠状態か
解錠状態か)を検知する。第二検知部15は、例えばロック機構14に対してフォトマイ
クロセンサが備えられることにより構成される。第三検知部17は、キーシリンダに鍵が挿入されたか否かを検知する。第三検知部17は、例えばキーシリンダのキー挿入部に対してフォトマイクロセンサが備えられることにより構成される。第四検知部18は、車両の室内における人の存否を検知する。第四検知部18として、第一実施形態で説明したような車内撮像部2として使用されるカメラや、重量センサ、赤外線センサなどの在室検知センサとして使用可能な各種のセンサを適用することができる。
The first detection unit 12 receives a control signal passed to the actuator 13 by the key control unit 8 and detects the operation of the key control unit 8. The second detection unit 15 detects the current state of the lock device 14. That is, the second detection unit 15 detects whether or not the door is currently locked (whether locked or unlocked). The second detection unit 15 is configured, for example, by providing a photomicrosensor with respect to the lock mechanism 14. The third detection unit 17 detects whether or not a key has been inserted into the key cylinder. The third detection unit 17 is configured, for example, by providing a photomicrosensor with respect to the key insertion portion of the key cylinder. The fourth detection unit 18 detects the presence or absence of a person in the vehicle interior. As the fourth detection unit 18, it is possible to apply various sensors that can be used as a occupancy detection sensor such as a camera used as the in-vehicle imaging unit 2 as described in the first embodiment, a weight sensor, and an infrared sensor. it can.

施錠検知部11は、第一検知部12,第二検知部15,第三検知部17及び第四検知部18による検知結果に基づいて、所定の方法により実施される施錠を検知する。例えば、施錠検知部11は、第二検知部15がドアの施錠を検知した場合において、それから所定時間遡った時間内において第一検知部12及び第三検知部17が施錠信号及び鍵の挿入をそれぞれ検知しておらず、且つ第四検知部18が現在人の在室を検知しないことを条件として、所定の方法による施錠が実施されたことを検知する。   The locking detection unit 11 detects locking performed by a predetermined method based on detection results by the first detection unit 12, the second detection unit 15, the third detection unit 17, and the fourth detection unit 18. For example, when the second detection unit 15 detects the locking of the door, the locking detection unit 11 causes the first detection unit 12 and the third detection unit 17 to insert the locking signal and the key within a time that is a predetermined time later. Each of them is not detected, and it is detected that locking by a predetermined method is performed on condition that the fourth detection unit 18 does not detect the current person's occupancy.

このような施錠方法の具体例として、現在普及している車両のドアを例にとると、ユーザがキーレスロック機構を用いて、ユーザがドアを開けた状態で室内ノブを施錠状態にし、ユーザが車外に出て、車外側からドアを開けるための取っ手(アウトサイドハンドル)を引いた状態でドアを閉めることによる施錠方法がある。このような施錠方法の具体例に限らず、所定の施錠方法は、ユーザが車両のドアを解錠するための鍵を用いずにドアに対して行う施錠方法(例えば、セルフロック機構及びキーシリンダを持つドアに対して鍵を使
わずに外側からセルフロック機構を用いて施錠した場合)や、後にユーザが車外からこの車両のドアを開けることが困難となる可能性を含む方法であればどのような施錠方法であっても良く、様々な施錠方法の中から設計者やユーザによって適宜選択されても良い。
As a specific example of such a locking method, taking a currently popular vehicle door as an example, the user uses a keyless lock mechanism to lock the indoor knob with the user opening the door, There is a locking method by going out of the vehicle and closing the door while pulling a handle (outside handle) for opening the door from the outside of the vehicle. The specific locking method is not limited to a specific example of such a locking method, and the predetermined locking method is a locking method (for example, a self-locking mechanism and a key cylinder) that the user performs on the door without using a key for unlocking the vehicle door Any method that includes the possibility that it will be difficult for the user to later open the door of the vehicle from outside the vehicle) Such a locking method may be used and may be appropriately selected by a designer or a user from various locking methods.

〈制御部〉
制御部10bは、ドア制御装置1bの制御を行う。制御部10bは、制御部10aと同様に、画像記憶部5に車内画像が登録されたか否か管理する。
<Control part>
The control unit 10b controls the door control device 1b. The control unit 10b manages whether or not the in-vehicle image is registered in the image storage unit 5, similarly to the control unit 10a.

また、制御部10bは、車外認証処理の開始及び終了を管理する。制御部10bは、画像記憶部5に車内画像が登録されており、かつ施錠検知部11から要注意施錠方法によって施錠が実施されたことを通知されることを条件として、車外撮像部3,人検出部4,認証部7,ドア制御部8,及びエンジン制御部9に対し、車外認証処理を開始することを通知する。   Moreover, the control part 10b manages the start and completion | finish of a vehicle exterior authentication process. On the condition that the in-vehicle image is registered in the image storage unit 5 and that the lock detection unit 11 notifies that the lock has been performed by the caution locking method, the control unit 10b is configured to detect the outside imaging unit 3, The detection unit 4, the authentication unit 7, the door control unit 8, and the engine control unit 9 are notified of the start of the vehicle outside authentication process.

〔動作例〕
図7は、ドア制御装置1bの動作例を示すフローチャートである。図7を用いてドア制御装置1bの動作例について説明する。
[Operation example]
FIG. 7 is a flowchart illustrating an operation example of the door control device 1b. An example of the operation of the door control device 1b will be described with reference to FIG.

処理が開始されると、車内撮像部2は、車内画像を撮像する(S27)。人検出部4は、車内撮像部2によって撮像された車内画像において、人の顔を検出する。人の顔が検出されない場合(S28−NO)、S18以降の処理が再び実行される。一方、人の顔が検出された場合(S28−YES)、画像記憶部5は人検出部4によって人の顔が検出された車内画像を記憶する(S29)。   When the process is started, the vehicle interior imaging unit 2 captures a vehicle interior image (S27). The person detection unit 4 detects a human face in the in-vehicle image captured by the in-vehicle image capturing unit 2. When a human face is not detected (S28-NO), the processes after S18 are executed again. On the other hand, when a human face is detected (S28-YES), the image storage unit 5 stores an in-vehicle image in which the human face is detected by the human detection unit 4 (S29).

画像記憶部5に車内画像が記憶されると、施錠検知部11は、ユーザによるドアの施錠方法を監視し検知する(S30)。検知された施錠方法が要注意施錠方法である場合(S31−YES)、制御部10bは車外認証処理を開始させる(S32)。ドア制御装置1bにおける車外認証処理は、ドア制御装置1aにおける車外認証処理と同じ処理であるため、その説明を省略する。車外認証処理の終了後、又は検知された施錠方法が要注意施錠方法ではない場合(S31−NO)、ドア制御装置1bの処理は終了する。   When the vehicle interior image is stored in the image storage unit 5, the lock detection unit 11 monitors and detects the door locking method by the user (S30). When the detected locking method is a caution locking method (S31-YES), the control part 10b starts a vehicle outside authentication process (S32). The outside authentication process in the door control device 1b is the same process as the outside authentication process in the door control device 1a, and thus the description thereof is omitted. After the vehicle outside authentication process ends, or when the detected locking method is not a caution locking method (S31-NO), the process of the door control device 1b ends.

〔作用/効果〕
ドア制御装置1bが車両に適用されることにより、人(車両のユーザ)が車両から離れる際に要注意施錠方法によりドアに施錠を行った場合、この施錠が施錠検知部11によって検知される。そして、車外認証処理が実施され、ユーザは顔画像を用いた認証処理によって車両のドアを解錠することができる。
[Action / Effect]
When the door control device 1b is applied to a vehicle, when the person (vehicle user) locks the door by a caution locking method when leaving the vehicle, the locking detection unit 11 detects this locking. Then, the vehicle outside authentication process is performed, and the user can unlock the door of the vehicle by the authentication process using the face image.

一般的には、ユーザは、例えば車内にドアの鍵がある状態で誤って車外から車両のドアに施錠してしまうと、その後に自力でドアを解錠することは困難である。このような誤った施錠の実施の可能性が、施錠検知部11によって要注意施錠方法による施錠の実施として検知される。そして、ドア制御装置1bでは、上記のような施錠が行われた場合は、ユーザは車外撮像部3によって顔の撮像を行い認証部7によって認証されることにより、車両のドアの解錠を行うことが出来る。   In general, for example, if a user accidentally locks the door of the vehicle from outside the vehicle with the door key in the vehicle, it is difficult for the user to unlock the door by himself after that. The possibility of performing such erroneous locking is detected by the locking detection unit 11 as the execution of locking by the caution locking method. And in the door control apparatus 1b, when the above locking is performed, a user image | photographs a face by the imaging part 3 outside a vehicle, and it authenticates by the authentication part 7, and unlocks the door of a vehicle. I can do it.

〔変形例〕
ドア制御装置1aと同様に、車内撮像部2及び車外撮像部3は一体に構成されても良い。また、ドア制御装置1aと同様に、車内撮像部2は、他の目的のために設置された撮像装置を用いて構成されても良い。
[Modification]
Similar to the door control device 1a, the in-vehicle image capturing unit 2 and the out-of-vehicle image capturing unit 3 may be integrally configured. Similarly to the door control device 1a, the in-vehicle image capturing unit 2 may be configured using an image capturing device installed for another purpose.

また、ドア制御装置1bは、不図示の入力部をさらに備えるように構成されても良い。この入力部は、例えばドアの外側に備えられ、ユーザによる入力を受け付ける。そして、この入力部を介してユーザからの入力があった場合、制御部10bは、施錠検知部11において所定の方法による施錠が検知された場合であっても、車外認証処理を実施しない、又は実施されている車外認証処理を終了させるように構成されても良い。   Moreover, the door control device 1b may be configured to further include an input unit (not shown). This input unit is provided outside the door, for example, and receives an input from the user. And when there is an input from a user via this input part, even if it is a case where locking by a predetermined method is detected in locking detection part 11, control part 10b does not carry out outside authentication processing, or You may comprise so that the vehicle exterior authentication process currently implemented may be complete | finished.

なお、第四検知部18は、車両の室内に人がいる場合であっても、車外認証処理が開始されることを防止する観点から用意されている。一方、当然ながら、人が在室している場合には、室内ノブでドアの施錠を解除することができる。従って、第四検知部18を省略し、所定の施錠方法が実施されたと判断する条件から人が在室していないことを外しても良い。但し、この場合には、車外認証処理において、S13及びS14の処理を行わないか、或いは、少なくとも現在の車速が零(さらには、ギア位置がパーキング又はニュート
ラル等)であることを条件としてS13及びS14の処理が行われるように構成される。
Note that the fourth detection unit 18 is prepared from the viewpoint of preventing the outside-of-vehicle authentication process from being started even when there is a person inside the vehicle. On the other hand, of course, when a person is present in the room, the door can be unlocked with the indoor knob. Therefore, the fourth detector 18 may be omitted, and it may be excluded that no person is present from the condition for determining that a predetermined locking method has been implemented. However, in this case, in the vehicle outside authentication process, the processes of S13 and S14 are not performed, or at least the current vehicle speed is zero (further, the gear position is parked or neutral, etc.) It is comprised so that the process of S14 may be performed.

ドア制御装置の第一実施形態のシステム構成を示すブロック図である。It is a block diagram which shows the system configuration | structure of 1st embodiment of a door control apparatus. ドア制御装置の第一実施形態の動作例を示すフローチャートである。It is a flowchart which shows the operation example of 1st embodiment of a door control apparatus. ドア制御装置の第一実施形態の動作例を示すフローチャートである。It is a flowchart which shows the operation example of 1st embodiment of a door control apparatus. ドア制御装置の第一実施形態の動作例の変形例を示すフローチャートである。It is a flowchart which shows the modification of the operation example of 1st embodiment of a door control apparatus. ドア制御装置の第二実施形態のシステム構成を示すブロック図である。It is a block diagram which shows the system configuration | structure of 2nd embodiment of a door control apparatus. 施錠検知部の具体的な構成例を示す図である。It is a figure which shows the specific structural example of a lock | rock detection part. ドア制御装置の第二実施形態の動作例を示すフローチャートである。It is a flowchart which shows the operation example of 2nd embodiment of a door control apparatus.

符号の説明Explanation of symbols

1a,1b ドア制御装置
2 車内撮像部
3 車外撮像部
4 人検出部
5 画像記憶部
6 鍵検出部
7 認証部
8 ドア制御部
9 エンジン制御部
10a,10b 制御部
11 施錠検知部
12 第一検知部
13 アクチュエータ
14 ロック装置
15 第二検知部
16 キーシリンダ
17 第三検知部
18 手動ロック部
DESCRIPTION OF SYMBOLS 1a, 1b Door control apparatus 2 Car interior image pick-up part 3 Car image pick-up part 4 Person detection part 5 Image storage part 6 Key detection part 7 Authentication part 8 Door control part 9 Engine control part 10a, 10b Control part 11 Locking detection part 12 1st detection Part 13 Actuator 14 Locking device 15 Second detection part 16 Key cylinder 17 Third detection part 18 Manual lock part

Claims (13)

車両内において撮像された人の顔の画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶された人の顔の画像と前記車両外において撮像された人の顔の画像とを用いて、前記車両外において撮像された人が前記画像記憶手段に記憶された画像に含まれる人と同一人物であるか否かの認証を行う認証手段と、
前記車両内における人の存否を検知する人検知手段と、
前記車両のドアの解錠・施錠を制御するドア制御手段と、
前記ドアを解錠するための可搬性を有する鍵が前記車両内に位置することを前記鍵との非接触通信により検知する鍵検知手段とを備え、
前記ドア制御手段は、前記画像記憶手段に画像が記憶され、かつ前記人検知手段によって前記車両内で人が検知されないことを条件に前記ドアに施錠を行い、前記条件に基づいて施錠を行った場合には、前記鍵検知手段により前記車両内で前記鍵が検知されることを条件に、前記認証手段による認証の結果に基づいて前記ドアの解錠を行うドア制御装置。
Image storage means for storing an image of a person's face imaged in the vehicle;
Using an image of a person's face stored in the image storage means and an image of a person's face captured outside the vehicle, an image of a person captured outside the vehicle is stored in the image stored in the image storage means. An authentication means for authenticating whether or not the person included is the same person;
Human detection means for detecting the presence or absence of a person in the vehicle;
Door control means for controlling unlocking / locking of the vehicle door;
A key detection means for detecting that a portable key for unlocking the door is located in the vehicle by non-contact communication with the key;
The door control means locks the door on the condition that an image is stored in the image storage means and no person is detected in the vehicle by the human detection means, and locks based on the conditions. In this case, the door control device performs unlocking of the door based on the result of authentication by the authentication unit on condition that the key is detected in the vehicle by the key detection unit.
車両のドアの解錠・施錠を制御するドア制御手段と、前記ドアを解錠するための可搬性を有する鍵が前記車両内に位置することを前記鍵との非接触通信により検知する鍵検知手段とを備え、前記車両内において前記鍵が検知された場合に前記ドアが解錠されるドア制御装置であって、
前記車両内において撮像された人の顔の画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶された人の顔の画像と前記車両外において撮像された人の顔の画像とを用いて、前記車両外において撮像された人が前記画像記憶手段に記憶された画像に含まれる人と同一人物であるか否かの認証を行う認証手段と、
前記車両内における人の存否を検知する人検知手段とをさらに備え、
前記ドア制御手段は、前記画像記憶手段に画像が記憶され、かつ前記人検知手段によって前記車両内で人が検知されないことを条件に前記ドアに施錠を行い、その後は前記ドアが前記鍵検知手段の検知結果以外の方法によって解錠されるまでは前記鍵検知手段の検知結果に基づいた解錠を行わず、前記条件に基づいて施錠を行った場合には、前記鍵検知手段により前記車両内で前記鍵が検知されることを条件に、前記認証手段による認証の結果に基づいて前記車両のドアにおける解錠を行うドア制御装置。
Key detection for detecting door control means for controlling unlocking / locking of the door of the vehicle and non-contact communication with the key that the portable key for unlocking the door is located in the vehicle Means for unlocking the door when the key is detected in the vehicle,
Image storage means for storing an image of a human face imaged in the vehicle;
Using an image of a person's face stored in the image storage means and an image of a person's face captured outside the vehicle, an image of a person captured outside the vehicle is stored in the image stored in the image storage means. An authentication means for authenticating whether or not the person included is the same person;
Human detection means for detecting the presence or absence of a person in the vehicle,
The door control means locks the door on condition that an image is stored in the image storage means and no person is detected in the vehicle by the human detection means, and then the door is the key detection means. Until unlocking is performed by a method other than the detection result, the unlocking based on the detection result of the key detection means is not performed, and when locking is performed based on the conditions, the key detection means A door control device that unlocks the door of the vehicle based on the result of authentication by the authentication means, on condition that the key is detected in
前記ドア制御手段が前記条件に基づいて施錠を行ってから所定時間が経過しても前記ドアが解錠されない場合において、前記車両の動力源が起動しているときには、この動力源を停止させる動力源停止手段をさらに備える請求項1又は2に記載のドア制御装置。 When the door is not unlocked even after a predetermined time has elapsed since the door control means performs locking based on the conditions, the power for stopping the power source is activated when the vehicle power source is activated. The door control device according to claim 1, further comprising a source stop unit. 前記ドア制御手段が前記条件に基づいて施錠を行った場合に動作を開始し、前記車両外を撮像する車外撮像手段をさらに備える請求項1〜3のいずれかに記載のドア制御装置。 The door control device according to any one of claims 1 to 3, further comprising an outside image pickup unit that starts an operation when the door control unit performs locking based on the condition and images the outside of the vehicle. 車両内において撮像された人の顔の画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶された人の顔の画像と前記車両外において撮像された人の顔の画像とを用いて、前記車両外において撮像された人が前記画像記憶手段に記憶された画像に含まれる人と同一人物であるか否かの認証を行う認証手段と、
前記車両のドアを施錠・解錠するための鍵が用いられることなくこのドアに対する施錠が実施されたことを所定の施錠方法による施錠の実施として検知する施錠検知手段と、
前記ドアの解錠・施錠を制御するドア制御手段とを備え、
前記ドア制御手段は、前記施錠検知手段において前記所定の施錠方法による施錠の実施が検知されたことを条件に、前記認証手段による認証の結果に基づいて前記ドアの解錠を行うドア制御装置。
Image storage means for storing an image of a person's face imaged in the vehicle;
Using an image of a person's face stored in the image storage means and an image of a person's face captured outside the vehicle, an image of a person captured outside the vehicle is stored in the image stored in the image storage means. An authentication means for authenticating whether or not the person included is the same person;
A lock detecting means for detecting that the lock on the door is performed without using a key for locking and unlocking the door of the vehicle as a lock operation according to a predetermined lock method;
Door control means for controlling unlocking and locking of the door,
The door control means is a door control device that unlocks the door based on a result of authentication by the authentication means on the condition that the lock detection means detects that the lock is performed by the predetermined locking method.
ユーザによる入力を受け付ける入力手段をさらに備え、
前記入力手段を介してユーザからの入力があった場合、前記ドア制御手段は、例え前記施錠検知手段において前記所定の施錠方法による施錠の実施が検知されたとしても、前記認証手段による認証の結果に基づいた前記ドアの解錠を行わない請求項5に記載のドア制御装置。
It further comprises input means for accepting input by the user,
When there is an input from the user through the input means, the door control means is a result of authentication by the authentication means even if the lock detection means detects that the lock is performed by the predetermined locking method. The door control device according to claim 5, wherein the door is not unlocked based on the above.
前記認証の結果に基づいて前記ドアが解錠された場合に、前記画像記憶手段に記憶されている画像を削除する削除手段をさらに備える請求項1〜6のいずれかに記載のドア制御装置。 The door control device according to any one of claims 1 to 6, further comprising a deletion unit that deletes an image stored in the image storage unit when the door is unlocked based on the authentication result. 前記認証手段は、前記車両内において最後に撮像された人の顔の画像であって最後に施錠される前に撮像された画像を用いて認証を行い、前記車両外において撮像された人が前記画像に含まれる人と同一人物であるか否かについて認証を行う請求項1〜7のいずれかに記載のドア制御装置。 The authentication means performs authentication using an image of a person's face imaged last in the vehicle and imaged before the last locking, and the person imaged outside the vehicle The door control apparatus in any one of Claims 1-7 which authenticate whether it is the same person as the person included in an image. 車両内において撮像された人の顔の画像を記憶する画像記憶手段と、前記車両内にいる人を検知する人検知手段と、前記ドアを解錠するための可搬性を有する鍵が前記車両内に位置することを前記鍵との非接触通信により検知する鍵検知手段と、前記ドアの解錠・施錠を制御するドア制御手段とを備える情報処理装置を動作させるためのプログラムであって、
前記画像記憶手段に記憶された人の顔の画像と車両外において撮像された人の顔の画像とを用いて、前記車両外において撮像された人が前記画像記憶手段に記憶された画像に含まれる人と同一人物であるか否かの認証を行うステップと、
前記画像記憶手段に画像が記憶され、かつ前記人検知手段によって車両内において人が検知されないことを条件に、前記ドアに施錠を行うことを前記ドア制御手段に命令するステップと、
前記条件に基づいて施錠の命令を行った場合に、前記鍵検知手段により前記車両内において前記鍵が検知されることを条件に、前記認証の結果に基づいて前記車両のドアの解錠を行うことを前記ドア制御手段に命令するステップと
を前記情報処理装置に実行させるためのプログラム。
An image storage means for storing an image of a person's face imaged in the vehicle, a person detection means for detecting a person in the vehicle, and a portable key for unlocking the door are provided in the vehicle. A program for operating an information processing apparatus comprising: a key detection unit that detects non-contact communication with the key; and a door control unit that controls unlocking and locking of the door,
Using the human face image stored in the image storage means and the human face image taken outside the vehicle, the person imaged outside the vehicle is included in the image stored in the image storage means. Authenticating whether or not the person is the same person,
Instructing the door control means to lock the door on condition that an image is stored in the image storage means and no person is detected in the vehicle by the human detection means;
When the lock command is issued based on the condition, the door of the vehicle is unlocked based on the authentication result on the condition that the key is detected in the vehicle by the key detection means. A program for causing the information processing apparatus to execute a step of instructing the door control means to
車両のドアの解錠・施錠を制御するドア制御手段と、前記車両内において前記ドアを車両外から解錠するための可搬性を有する鍵が車両内に位置することを前記鍵との非接触通信により検知する鍵検知手段と、前記車両内において撮像された人の顔の画像を記憶する画像記憶手段と、前記車両内にいる人を検知する人検知手段とを備え、前記車両内において前記鍵が検知された場合に前記ドアを解錠することをドア制御手段に命令するステップを実行する情報処理装置を動作させるためのプログラムであって、
前記画像記憶手段に記憶された人の顔の画像と前記車両外において撮像された人の顔の画像とを用いて、前記車両外において撮像された人が前記画像記憶手段に記憶された画像に含まれる人と同一人物であるか否かの認証を行うステップと、
前記画像記憶手段に画像が記憶され、かつ前記人検知手段によって前記車両内で人が検知されないことを条件に前記ドアに施錠を行うことを前記ドア制御手段に命令するステップと、
前記条件に基づいて施錠を行うことを命令した後は、前記ドアが前記鍵検知手段の検知結果以外の方法によって解錠されるまでは前記鍵検知手段の検知結果に基づいた解錠の命令を行わず、前記鍵検知手段により前記車両内において前記鍵が検知されることを条件に、前記認証手段による認証の結果に基づいて前記ドアの解錠を行うことを前記ドア制御手段に命令するステップと
を前記情報処理装置に実行させるためのプログラム。
Non-contact with the key that door control means for controlling unlocking / locking of the door of the vehicle, and a key having portability for unlocking the door from the outside of the vehicle within the vehicle are located in the vehicle A key detection means for detecting by communication; an image storage means for storing an image of a person's face imaged in the vehicle; and a person detection means for detecting a person in the vehicle. A program for operating an information processing apparatus that executes a step of instructing door control means to unlock the door when a key is detected,
Using an image of a person's face stored in the image storage means and an image of a person's face captured outside the vehicle, an image of a person captured outside the vehicle is stored in the image stored in the image storage means. Authenticating whether it is the same person as the included person;
Instructing the door control means to lock the door on condition that an image is stored in the image storage means and no person is detected in the vehicle by the human detection means;
After instructing to perform the locking based on the condition, until the door is unlocked by a method other than the detection result of the key detecting means, an unlocking instruction based on the detection result of the key detecting means is issued. And instructing the door control means to unlock the door based on the result of authentication by the authentication means, provided that the key is detected in the vehicle by the key detection means. For the information processing apparatus to execute.
車両内において撮像された人の顔の画像を記憶する画像記憶手段と、前記車両のドアを解
錠するための鍵が用いられることなく前記ドアに対する施錠が実施されたことを所定の施錠方法による施錠の実施として検知する施錠検知手段と、前記ドアの解錠・施錠を制御するドア制御手段とを備えた情報処理装置を動作させるためのプログラムであって、
前記画像記憶手段に記憶された人の顔の画像と前記車両外において撮像された人の顔の画像とを用いて、前記車両外において撮像された人が前記画像記憶手段に記憶された画像に含まれる人と同一人物であるか否か認証を行うステップと、
前記施錠検知手段において前記所定の施錠方法による施錠の実施が検知されたことを条件に、前記認証の結果に基づいて前記ドアの解錠を行うことを前記ドア制御手段に命令するステップと
を前記情報処理装置に実行させるためのプログラム。
According to a predetermined locking method, image storage means for storing an image of a person's face imaged in a vehicle and that the door is locked without using a key for unlocking the door of the vehicle. A program for operating an information processing apparatus provided with a locking detection means for detecting the locking operation and a door control means for controlling the unlocking / locking of the door,
Using an image of a person's face stored in the image storage means and an image of a person's face captured outside the vehicle, an image of a person captured outside the vehicle is stored in the image stored in the image storage means. Authenticating whether or not the person included is the same person;
Instructing the door control means to unlock the door based on the authentication result on the condition that the locking detection means detects the execution of locking by the predetermined locking method. A program for causing an information processing apparatus to execute.
車両に乗車している人を撮像する撮像手段と、
前記撮像手段によって撮像された前記人の画像を記憶する記憶手段と、
前記記憶手段に前記人の画像が記憶されている状態で、前記人が降車したことを検知する検知手段と、
前記検知手段によって前記人の降車が検知される場合に、前記車両のドアを施錠する施錠手段と、
前記施錠手段によって前記ドアが施錠される場合に、前記ドアを前記車両の外部から解錠するための鍵が前記車両内に位置しているか否かを判断する判断手段と、
前記判断手段によって前記鍵が前記車両内に位置していると判断される場合に、前記車両の外部にいる人を撮像する第2撮像手段と、
前記記憶手段に記憶された画像と、前記第2撮像手段で撮像された画像とを用いて、双方の画像中に含まれる人が同一人物か否かを判断する認証手段と、
前記認証手段によって前記双方の画像中に含まれる人が同一人物と判断される場合に、前記ドアを解錠する解錠手段と
を含む車両のドアに対する施錠/解錠制御装置。
Imaging means for imaging a person in the vehicle;
Storage means for storing the image of the person imaged by the imaging means;
Detecting means for detecting that the person got off in a state where the image of the person is stored in the storage means;
Locking means for locking the door of the vehicle when the detection means detects the person getting off;
A judgment means for judging whether or not a key for unlocking the door from the outside of the vehicle is located in the vehicle when the door is locked by the locking means;
A second imaging unit that images a person outside the vehicle when the determination unit determines that the key is located in the vehicle;
An authentication unit that determines whether or not the person included in both images is the same person using the image stored in the storage unit and the image captured by the second imaging unit;
A locking / unlocking control device for a door of a vehicle, including unlocking means for unlocking the door when the authentication means determines that the person included in both images is the same person.
車両に乗車している人を撮像する撮像手段と、
前記撮像手段によって撮像された前記人の画像を記憶する記憶手段と、
前記記憶手段に前記人の画像が記憶されている状態で、前記人が降車し且つ前記車両のドアがこのドアを前記車両の外部から施錠及び解錠するための鍵を用いることなく前記車両の外側から施錠されたことを検知する検知手段と、
前記検知手段で前記人の降車及び前記ドアの施錠が検知される場合に、前記車両の外部にいる人を撮像する第2撮像手段と、
前記記憶手段に記憶された画像と、前記第2撮像手段で撮像された画像とを用いて、双方の画像中に含まれる人が同一人物か否かを判断する認証手段と、
前記認証手段によって前記双方の画像中に含まれる人が同一人物と判断される場合に、前記ドアを解錠する解錠手段と
を含む車両のドアに対する施錠/解錠制御装置。
Imaging means for imaging a person in the vehicle;
Storage means for storing the image of the person imaged by the imaging means;
In a state where the image of the person is stored in the storage means, the person gets out of the vehicle and the door of the vehicle does not use a key for locking and unlocking the door from the outside of the vehicle. A detecting means for detecting that it is locked from the outside;
A second image pickup means for picking up an image of a person outside the vehicle when the detection means detects the person getting off and the door is locked;
An authentication unit that determines whether or not the person included in both images is the same person using the image stored in the storage unit and the image captured by the second imaging unit;
A locking / unlocking control device for a door of a vehicle, including unlocking means for unlocking the door when the authentication means determines that the person included in both images is the same person.
JP2003387841A 2003-11-18 2003-11-18 Door control device Expired - Lifetime JP4547897B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003387841A JP4547897B2 (en) 2003-11-18 2003-11-18 Door control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003387841A JP4547897B2 (en) 2003-11-18 2003-11-18 Door control device

Publications (2)

Publication Number Publication Date
JP2005146725A true JP2005146725A (en) 2005-06-09
JP4547897B2 JP4547897B2 (en) 2010-09-22

Family

ID=34695084

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003387841A Expired - Lifetime JP4547897B2 (en) 2003-11-18 2003-11-18 Door control device

Country Status (1)

Country Link
JP (1) JP4547897B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007186144A (en) * 2006-01-16 2007-07-26 Nikon Corp Vehicular anti-theft system
JP2009174191A (en) * 2008-01-24 2009-08-06 Toyota Motor Corp Door lock control device
JP2012167495A (en) * 2011-02-15 2012-09-06 Denso Corp Door lock controller
JP2012185632A (en) * 2011-03-04 2012-09-27 Nikon Corp Electronic apparatus, processing system, and processing program
JP2021046121A (en) * 2019-09-19 2021-03-25 フォルシアクラリオン・エレクトロニクス株式会社 Control device, on-vehicle device and control method
CN114919532A (en) * 2022-04-29 2022-08-19 东风汽车集团股份有限公司 Vehicle control method and system based on face recognition
KR20230097769A (en) * 2021-12-24 2023-07-03 주식회사 유라코퍼레이션 Vehicle door lock release system and method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62242077A (en) * 1986-04-14 1987-10-22 富士重工業株式会社 Door controller for car
JPH09273337A (en) * 1996-04-04 1997-10-21 Oki Electric Ind Co Ltd Keyless entry system
JP2000080828A (en) * 1998-09-07 2000-03-21 Denso Corp Vehicle control device
JP2003301639A (en) * 2002-04-12 2003-10-24 Kenwood Corp User authentication device for vehicle, and vehicle theft prevention method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62242077A (en) * 1986-04-14 1987-10-22 富士重工業株式会社 Door controller for car
JPH09273337A (en) * 1996-04-04 1997-10-21 Oki Electric Ind Co Ltd Keyless entry system
JP2000080828A (en) * 1998-09-07 2000-03-21 Denso Corp Vehicle control device
JP2003301639A (en) * 2002-04-12 2003-10-24 Kenwood Corp User authentication device for vehicle, and vehicle theft prevention method

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007186144A (en) * 2006-01-16 2007-07-26 Nikon Corp Vehicular anti-theft system
JP2009174191A (en) * 2008-01-24 2009-08-06 Toyota Motor Corp Door lock control device
JP2012167495A (en) * 2011-02-15 2012-09-06 Denso Corp Door lock controller
JP2012185632A (en) * 2011-03-04 2012-09-27 Nikon Corp Electronic apparatus, processing system, and processing program
JP2021046121A (en) * 2019-09-19 2021-03-25 フォルシアクラリオン・エレクトロニクス株式会社 Control device, on-vehicle device and control method
KR20230097769A (en) * 2021-12-24 2023-07-03 주식회사 유라코퍼레이션 Vehicle door lock release system and method thereof
KR20230164623A (en) * 2021-12-24 2023-12-04 주식회사 유라코퍼레이션 Vehicle door lock release system and method thereof
KR102652461B1 (en) * 2021-12-24 2024-03-28 주식회사 유라코퍼레이션 Vehicle door lock release system and method thereof
KR102652464B1 (en) * 2021-12-24 2024-03-29 주식회사 유라코퍼레이션 Vehicle door lock release system and method thereof
CN114919532A (en) * 2022-04-29 2022-08-19 东风汽车集团股份有限公司 Vehicle control method and system based on face recognition
CN114919532B (en) * 2022-04-29 2024-04-19 东风汽车集团股份有限公司 Vehicle control method and system based on face recognition

Also Published As

Publication number Publication date
JP4547897B2 (en) 2010-09-22

Similar Documents

Publication Publication Date Title
JP6447379B2 (en) Authentication apparatus, authentication system, and authentication method
JP2006016791A (en) Vehicle anti-theft device
US11518344B2 (en) Vehicular security system with biometric authorization feature
JP2006161545A (en) On-vehicle device for smart entry system
JP7419122B2 (en) Vehicle control device, vehicle control method, and vehicle control program
CN111845631A (en) Vehicle starting method, device, equipment and storage medium
JP2008162498A (en) Vehicle management system
CN113494230B (en) Vehicle control device, vehicle control method, and recording medium
JP4547897B2 (en) Door control device
JP3889458B2 (en) Keyless entry system
JP2006077508A (en) Smart entry system
JP3525580B2 (en) Keyless entry device
KR20040029211A (en) An antitheft device and the control method of automobile
JP2004185484A (en) Method for managing entry/exit and entry/exit management system
JP4591189B2 (en) Remote control device
CN211364493U (en) Automobile door lock control system and vehicle
CN113744433B (en) Entry support system, entry support method, and recording medium
CN111915774B (en) Remote intelligent assisted unlocking method and device
JP2010208416A (en) Setting device for on-vehicle device, setting program for on-vehicle device, and method
JP2006193917A (en) Keyless entry system
CN110843726A (en) Automobile door lock control system and method and vehicle
JP2005348037A (en) Remote controller
JP2009134422A (en) Biometrics device and biometrics method
JP2020166812A (en) Recording controlling device, recording controlling method and program
WO2021181462A1 (en) Vehicle, lock release device, method, and computer readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100615

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100628

R150 Certificate of patent or registration of utility model

Ref document number: 4547897

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 3

EXPY Cancellation because of completion of term