JP2022549656A - 車両のドア制御方法及び装置、システム、車両、電子機器並びに記憶媒体 - Google Patents
車両のドア制御方法及び装置、システム、車両、電子機器並びに記憶媒体 Download PDFInfo
- Publication number
- JP2022549656A JP2022549656A JP2022518839A JP2022518839A JP2022549656A JP 2022549656 A JP2022549656 A JP 2022549656A JP 2022518839 A JP2022518839 A JP 2022518839A JP 2022518839 A JP2022518839 A JP 2022518839A JP 2022549656 A JP2022549656 A JP 2022549656A
- Authority
- JP
- Japan
- Prior art keywords
- door
- vehicle
- image
- depth
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
- 238000000034 method Methods 0.000 title claims abstract description 146
- 238000001514 detection method Methods 0.000 claims description 143
- 230000001815 facial effect Effects 0.000 claims description 59
- 238000012545 processing Methods 0.000 claims description 48
- 230000002093 peripheral effect Effects 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 26
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 19
- 210000000746 body region Anatomy 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 14
- 230000002618 waking effect Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 5
- 238000013475 authorization Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 37
- 238000010606 normalization Methods 0.000 description 30
- 230000001976 improved effect Effects 0.000 description 12
- 238000012384 transportation and delivery Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/20—Means to switch the anti-theft system on or off
- B60R25/25—Means to switch the anti-theft system on or off using biometry
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/01—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
- B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
- B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
- E05F15/00—Power-operated mechanisms for wings
- E05F15/70—Power-operated mechanisms for wings with automatic actuation
- E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
- E05F15/00—Power-operated mechanisms for wings
- E05F15/70—Power-operated mechanisms for wings with automatic actuation
- E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
- E05F15/76—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects responsive to devices carried by persons or objects, e.g. magnets or reflectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
- G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
- E05F15/00—Power-operated mechanisms for wings
- E05F15/70—Power-operated mechanisms for wings with automatic actuation
- E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
- E05F2015/767—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects using cameras
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
- E05Y2400/00—Electronic control; Electrical power; Power supply; Power or signal transmission; User interfaces
- E05Y2400/10—Electronic control
- E05Y2400/45—Control modes
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
- E05Y2400/00—Electronic control; Electrical power; Power supply; Power or signal transmission; User interfaces
- E05Y2400/80—User interfaces
- E05Y2400/85—User input means
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
- E05Y2400/00—Electronic control; Electrical power; Power supply; Power or signal transmission; User interfaces
- E05Y2400/80—User interfaces
- E05Y2400/85—User input means
- E05Y2400/856—Actuation thereof
- E05Y2400/858—Actuation thereof by body parts, e.g. by feet
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
- E05Y2900/00—Application of doors, windows, wings or fittings thereof
- E05Y2900/50—Application of doors, windows, wings or fittings thereof for vehicles
- E05Y2900/53—Type of wing
- E05Y2900/531—Doors
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
- E05Y2900/00—Application of doors, windows, wings or fittings thereof
- E05Y2900/50—Application of doors, windows, wings or fittings thereof for vehicles
- E05Y2900/53—Type of wing
- E05Y2900/546—Tailboards, tailgates or sideboards opening upwards
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Lock And Its Accessories (AREA)
- Image Analysis (AREA)
Abstract
本開示は、車両のドア制御方法及び装置、システム、車両、電子機器並びに記憶媒体に関する。前記方法は、車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することと、前記ビデオストリーム中の少なくとも1枚の画像に基づいて顔識別を行い、顔識別結果を得ることと、前記顔識別結果に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することと、前記制御情報が前記車両のいずれかのドアを開ける制御を含む場合、前記ドアの状態情報を取得することと、前記ドアの状態情報がロック解除されていないことである場合、前記ドアをロック解除して開けるように制御するか、及び/又は、前記ドアの状態情報がロック解除されたが開いていないことである場合、前記ドアを開けるように制御することと、を含む。【選択図】 図1
Description
「関連出願の相互参照」
本開示は、2019年10月22日に中国特許局に出願された、出願番号が201911006853.5であり、発明の名称が「車両のドア制御方法及び装置、システム、車両、電子機器並びに記憶媒体」である中国特許出願の優先権を主張し、その内容のすべてが参照によって本開示に組み込まれる。
本開示は、2019年10月22日に中国特許局に出願された、出願番号が201911006853.5であり、発明の名称が「車両のドア制御方法及び装置、システム、車両、電子機器並びに記憶媒体」である中国特許出願の優先権を主張し、その内容のすべてが参照によって本開示に組み込まれる。
本開示は、コンピュータ技術に関し、特に車両のドア制御方法及び装置、システム、車両、電子機器並びに記憶媒体に関する。
現在、利用者は、車のキー(例えば、機械式キー又はリモートコントロールキー)によってドア制御を行う必要がある。利用者、特にスポーツが好きな利用者にとって、車のキーを携帯するのは不便という問題がある。また、車のキーは、破損、失効または紛失するおそれがある。
本開示は、車両のドア制御に係る技術的解決手段を提供する。
本開示の一態様によれば、
車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することと、
前記ビデオストリーム中の少なくとも1枚の画像に基づいて顔識別を行い、顔識別結果を得ることと、
前記顔識別結果に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することと、
前記制御情報が前記車両のいずれかのドアを開ける制御を含む場合、前記ドアの状態情報を取得することと、
前記ドアの状態情報がロック解除されていないことである場合、前記ドアをロック解除して開けるように制御するか、及び/又は、前記ドアの状態情報がロック解除されたが開いていない場合、前記ドアを開けるように制御することと、
を含む車両のドア制御方法を提供する。
車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することと、
前記ビデオストリーム中の少なくとも1枚の画像に基づいて顔識別を行い、顔識別結果を得ることと、
前記顔識別結果に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することと、
前記制御情報が前記車両のいずれかのドアを開ける制御を含む場合、前記ドアの状態情報を取得することと、
前記ドアの状態情報がロック解除されていないことである場合、前記ドアをロック解除して開けるように制御するか、及び/又は、前記ドアの状態情報がロック解除されたが開いていない場合、前記ドアを開けるように制御することと、
を含む車両のドア制御方法を提供する。
本開示の一態様によれば、
車両に設けられる画像収集モジュールによるビデオストリームの収集を制御する第1制御モジュールと、
前記ビデオストリーム中の少なくとも1枚の画像に基づいて顔識別を行い、顔識別結果を得る顔識別モジュールと、
前記顔識別結果に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定する第1決定モジュールと、
前記制御情報が前記車両のいずれかのドアを開ける制御を含む場合、前記ドアの状態情報を取得する第1取得モジュールと、
前記ドアの状態情報がロック解除されていないことである場合、前記ドアをロック解除して開けるように制御するか、及び/又は、前記ドアの状態情報がロック解除されたが開いていないことである場合、前記ドアを開けるように制御する第2制御モジュールと、
を備える車両のドア制御装置を提供する。
車両に設けられる画像収集モジュールによるビデオストリームの収集を制御する第1制御モジュールと、
前記ビデオストリーム中の少なくとも1枚の画像に基づいて顔識別を行い、顔識別結果を得る顔識別モジュールと、
前記顔識別結果に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定する第1決定モジュールと、
前記制御情報が前記車両のいずれかのドアを開ける制御を含む場合、前記ドアの状態情報を取得する第1取得モジュールと、
前記ドアの状態情報がロック解除されていないことである場合、前記ドアをロック解除して開けるように制御するか、及び/又は、前記ドアの状態情報がロック解除されたが開いていないことである場合、前記ドアを開けるように制御する第2制御モジュールと、
を備える車両のドア制御装置を提供する。
本開示の一態様によれば、メモリと、物体検出モジュールと、顔識別モジュールと、画像収集モジュールとを備え、前記顔識別モジュールは、前記メモリ、前記物体検出モジュール及び前記画像収集モジュールにそれぞれ接続され、前記物体検出モジュールは、前記画像収集モジュールに接続され、前記顔識別モジュールには、ドアドメインコントローラに接続するための通信インタフェースがさらに設けられ、前記顔識別モジュールは、前記通信インタフェースを介して前記ドアドメインコントローラにドアのロック解除及びポップアップのための制御情報を送信する車両のドア制御システムを提供する。
本開示の一態様によれば、上記車両のドア制御システムを含み、前記車両のドア制御システムが前記車両のドアドメインコントローラに接続される車両を提供する。
本開示の一態様によれば、
プロセッサと、
プロセッサにより実行可能な命令を記憶するメモリと、を含む電子機器であって、
前記プロセッサは、上記車両のドア制御方法を実行するように構成される電子機器を提供する。
プロセッサと、
プロセッサにより実行可能な命令を記憶するメモリと、を含む電子機器であって、
前記プロセッサは、上記車両のドア制御方法を実行するように構成される電子機器を提供する。
本開示の一態様によれば、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、上記車両のドア制御方法を実現させるコンピュータ読み取り可能な記憶媒体を提供する。
本開示の一態様によれば、コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに上記方法を実現するための命令を実行させるコンピュータプログラムを提供する。
本開示の実施例では、車両に設けられる画像収集モジュールによるビデオストリームの収集を制御し、前記ビデオストリーム中の少なくとも1枚の画像に基づいて顔識別を行い、顔識別結果を得て、前記顔識別結果に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定し、前記制御情報が前記車両のいずれかのドアを開ける制御を含む場合、前記ドアの状態情報を取得し、前記ドアの状態情報がロック解除されていないことである場合、前記ドアをロック解除して開けるように制御するか、及び/又は、前記ドアの状態情報がロック解除されたが開いていない場合、前記ドアを開けるように制御することにより、利用者が手動でドアを引いて開けることなく、顔識別に基づいて利用者のために自動的にドアを開けることができ、車両使用の利便性が向上する。
以上の一般的な説明及び以下の詳細な説明は、例示的や解釈的なものに過ぎず、本開示を制限するものではないことは、理解されるべきである。
本開示の他の特徴および態様は、以下の図面を参照しながら例示的な実施例を詳細に説明することによって明らかになる。
ここで、本明細書の一部として組み込まれる図面は、本開示に適する実施例を示すものであり、明細書と共に本開示の技術的手段を説明するために用いられる。
以下に、図面を参照しながら本開示の様々な例示的な実施例、特徴および態様を詳細に説明する。図面における同じ符号は、同じまたは類似する機能の要素を示す。図面において実施例の様々な態様を示したが、特に説明がない限り、比例に従って図面を描く必要がない。
ここでの「例示的」という用語とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は、他の実施例より好ましいまたは優れるものであると理解すべきではない。
本明細書における「及び/又は」という用語は、単に関連対象の関連関係を記述するものであり、3つの関係が存在可能であることを示す。例えば、A及び/又はBは、Aのみが存在するケース、AとBの両方が存在するケース、Bのみが存在するケースという3つのケースを示してもよい。また、本明細書における「少なくとも1つ」という用語は、複数のうちのいずれか1つ、又は複数のうちの少なくとも2つの任意の組み合わせを示す。例えば、A、B、Cのうちの少なくとも1つを含むとは、A、B及びCからなる集合から選択されるいずれか1つ又は複数の要素を含むことを示してもよい。
また、本開示をより良く説明するために、以下の具体的な実施形態において多くの具体的な細部を示した。当業者であれば、本開示は、何らかの具体的な細部がなくても同様に実施できることを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者によく知られている方法、手段、要素および回路について、詳細な説明を行わない。
図1は、本開示の実施例に係る車両のドア制御方法のフローチャートを示す。いくつかの可能な実施形態では、前記車両のドア制御方法の実行主体は、車両のドア制御装置であってもよい。又は、前記車両のドア制御方法は、車載装置又は他の処理装置により実行されてもよい。又は、前記車両のドア制御方法は、プロセッサがメモリに記憶されているコンピュータ読み取り可能な命令を呼び出すことによって実現されてもよい。図1に示すように、前記車両のドア制御方法は、ステップS11~ステップS15を含む。
ステップS11において、車両に設けられる画像収集モジュールによるビデオストリームの収集を制御する。
可能な一実施形態では、前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することは、車両の室外部に設けられる画像収集モジュールによる車外のビデオストリームの収集を制御することを含む。この実施形態では、画像収集モジュールは、車両の室外部に設けられてもよく、車両の室外部に設けられる画像収集モジュールによる車外のビデオストリームの収集を制御することにより、車外のビデオストリームに基づいて車外の人の乗車意図を検知することができる。
可能な一実施形態では、画像収集モジュールは、前記車両のBピラー、少なくとも1つのドア、および少なくとも1つのバックミラーのうちの少なくとも1つに取り付けられてもよい。本開示の実施例におけるドアは、人の出入りのためのドア(例えば、左フロントドア、右フロントドア、左リアドア、右リアドア)を含んでもよく、車両のバックドア等を含んでもよい。例えば、画像収集モジュールは、Bピラーにおいて地面から130cm~160cmだけ離れた箇所に取り付けられ、その水平識別距離が30cm~100cmであるようにしてもよいが、ここではこれを限定しない。図2は、本開示の実施例に係る車両のドア制御方法における画像収集モジュールの取付高さと識別可能な身長範囲の模式図を示す。図2に示す例では、画像収集モジュールの取付高さが160cmであり、識別可能な身長範囲が140cm~190cmである。
一例では、画像収集モジュールは、車両の2本のBピラー及びトランクに取り付けられてもよい。例えば、少なくとも1本のBピラーには、前席の搭乗者(運転者または運転助手)の乗車位置に面する画像収集モジュールおよび後席の搭乗者の乗車位置に面する画像収集モジュールが取り付けられてもよい。
可能な一実施形態では、前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することは、車両の室内部に設けられる画像収集モジュールによる車内のビデオストリームの収集を制御することを含む。この実施形態では、画像収集モジュールは、車両の室内部に設けられてもよく、車両の室内部に設けられる画像収集モジュールによる車内のビデオストリームの収集を制御することにより、車内のビデオストリームに基づいて車内の人の降車意図を検知することができる。
この実施形態の一例として、前記車両の室内部に設けられる画像収集モジュールによる車内のビデオストリームの収集を制御することは、前記車両の走行速度が0であり、かつ前記車両内に人がいる場合、車両の室内部に設けられる画像収集モジュールによる車内のビデオストリームの収集を制御することを含む。この例では、前記車両の走行速度が0であり、かつ前記車両内に人がいる場合、車両の室内部に設けられる画像収集モジュールによる車内のビデオストリームの収集を制御することにより、安全を確保するとともに、消費電力を低減することができる。
ステップS12において、前記ビデオストリーム中の少なくとも1枚の画像に基づいて顔識別を行い、顔識別結果を得る。
例えば、前記ビデオストリーム中の第1画像に基づいて顔識別を行い、顔識別結果を得るようにしてもよい。前記第1画像は、人体又は顔の少なくとも一部を含んでもよい。第1画像は、ビデオストリームから選ばれる画像であってもよく、様々な方法でビデオストリームから画像を選ぶことができる。具体的な一例では、第1画像は、ビデオストリームから選ばれた所定の品質条件を満たす画像である。この所定の品質条件は、人体又は顔を含むか否か、人体又は顔が画像の中心領域にあるか否か、人体又は顔が完全に画像に含まれるか否か、人体又は顔が画像に占める割合、人体又は顔の状態(例えば人体の向き、顔の角度)、画像の鮮明さ、画像の露光度等のうちの1つ又は任意の組み合わせであってもよく、本開示の実施例ではこれを限定しない。
可能な一実施形態では、前記顔識別は、顔認証を含み、前記ビデオストリーム中の少なくとも1枚の画像に基づいて顔識別を行うことは、前記ビデオストリーム中の第1画像及び予め登録された顔特徴に基づいて顔認証を行うことを含む。この実施形態では、顔認証は、収集された画像における顔特徴を抽出し、収集された画像における顔特徴を予め登録された顔特徴と照合し、同一の人の顔特徴であるか否かを判断するためのものである。例えば、収集された画像における顔特徴が車両所有者又は一時利用者(例えば車両所有者の友人又は配達員等)の顔特徴であるか否かを判断してもよい。
可能な一実施形態では、前記顔識別は、生体検出をさらに含み、前記ビデオストリーム中の少なくとも1枚の画像に基づいて顔識別を行うことは、前記画像収集モジュールにおける深度センサによって前記ビデオストリーム中の第1画像に対応する第1深度マップを取得することと、前記第1画像及び前記第1深度マップに基づいて生体検出を行うこととを含む。この実施形態では、生体検出は、生体であるか否かを検証するためのものであり、例えば、人体であるか否かを検証してもよい。
一例では、まず生体検出を行い、そして顔認証を行うようにしてもよい。例えば、人の生体検出結果、人が生体である場合、顔認証プロセスがトリガされる。一方、人の生体検出結果、人がプロテーゼである場合、顔認証プロセスがトリガされない。
別の一例では、まず顔認証を行い、そして生体検出を行うようにしてもよい。例えば、顔認証をパスすると、生体検出プロセスがトリガされる。一方、顔認証をパスしないと、生体検出プロセスがトリガされない。
別の一例では、生体検出と顔認証を同時に行うようにしてもよい。
本開示の実施例では、深度センサとは、深度情報を収集するためのセンサを指す。本開示の実施例では、深度センサの動作原理及び動作波長域を限定しない。
本開示の実施例では、画像収集モジュールにおけるイメージセンサと深度センサは、別体にされてもよく、一体にされてもよい。例えば、画像収集モジュールにおけるイメージセンサと深度センサは、イメージセンサとしてRGB(Red、赤、Green、緑、Blue、青)センサ又は赤外線センサを用い、深度センサとして両眼赤外線センサ又はTOF(Time of Flight、飛行時間)センサを用いるように別体にされてもよく、画像収集モジュールにおけるRGBD(Red、赤、Green、緑、Blue、青、Deep、深度)センサを用いてイメージセンサと深度センサの機能を実現するように一体にされてもよい。
一例として、イメージセンサは、RGBセンサである。イメージセンサがRGBセンサである場合、イメージセンサにより収集された画像は、RGB画像である。
別の一例として、イメージセンサは、赤外線センサである。イメージセンサが赤外線センサである場合、イメージセンサにより収集された画像は、赤外線画像である。赤外線画像は、スポットのあるものであってもよく、スポットのないものであってもよい。
他の例では、イメージセンサは、他の種類のセンサであってもよく、本開示の実施例ではこれを限定しない。
一例として、深度センサは、3次元センサである。例えば、深度センサは、2つの赤外線カメラを含む両眼赤外線センサ、飛行時間TOFセンサ又は構造化光センサである。構造化光センサは、コード構造化光センサ又はスペックル構造化光センサであってもよい。深度センサによって人の深度マップを取得することにより、高精度の深度マップを取得することができる。本開示の実施例は、顔を含む深度マップによって生体検出を行うことにより、顔の深度情報を十分に掘り起こすことができるので、生体検出の正確性を高めることができる。
一例では、TOFセンサは、赤外線波長域によるTOFモジュールを用いる。この例では、赤外線波長域によるTOFモジュールを用いることにより、外部の光線による深度マップの撮影への影響を低減することができる。
本開示の実施例では、第1深度マップと第1画像とは対応するものである。例えば、第1深度マップ及び第1画像は、それぞれ深度センサ及びイメージセンサにより同一のシーンに対して収集されたものであるか、又は、深度センサ及びイメージセンサにより同じ時刻に同じ対象領域に対して収集されたものであり、本開示の実施例ではこれを限定しない。
図3aは、本開示の実施例に係る車両のドア制御方法におけるイメージセンサ及び深度センサの模式図を示す。図3aに示す例では、イメージセンサは、RGBセンサであり、イメージセンサのカメラは、RGBカメラであり、深度センサは、イメージセンサのRGBカメラの両側に設けられる2つの赤外線(IR)カメラを含む両眼赤外線センサである。2つの赤外線カメラは、両眼視差の原理に基づいて深度情報を収集する。
一例では、画像収集モジュールは、両眼赤外線センサの赤外線カメラとイメージセンサのカメラとの間に設けられ、イメージセンサ用の補助光ランプと深度センサ用の補助光ランプのうちの少なくとも一つを含む少なくとも1つの補助光ランプをさらに含む。例えば、イメージセンサがRGBセンサである場合、イメージセンサ用の補助光ランプをホワイトランプとしてもよい。イメージセンサが赤外線センサである場合、イメージセンサ用の補助光ランプを赤外線ランプとしてもよい。深度センサが両眼赤外線センサである場合、深度センサ用の補助光ランプを赤外線ランプとしてもよい。図3aに示す例では、赤外線ランプは、両眼赤外線センサの赤外線カメラとイメージセンサのカメラとの間に設けられている。例えば、赤外線ランプは、940nmの赤外線を用いるようにしてもよい。
一例では、補助光ランプは、ノーマルオンモードにしてもよい。この例では、画像収集モジュールのカメラが動作状態にあるとき、補助光ランプはオン状態にある。
別の一例では、光線が足りない場合に補助光ランプをオンにしてもよい。例えば、環境光センサによって環境光強度を取得し、環境光強度が光強度閾値よりも低い場合に光線が足りないと判定し、補助光ランプをオンにしてもよい。
図3bは、本開示の実施例に係る車両のドア制御方法におけるイメージセンサ及び深度センサの別の模式図を示す。図3bに示す例では、イメージセンサは、RGBセンサであり、イメージセンサのカメラは、RGBカメラであり、深度センサは、TOFセンサである。
一例では、画像収集モジュールは、深度センサのカメラとイメージセンサのカメラとの間に設けられるレーザーをさらに含む。例えば、レーザーは、TOFセンサのカメラとRGBセンサのカメラとの間に設けられる。例えば、レーザーは、VCSEL(Vertical Cavity Surface Emitting Laser、垂直共振器面発光レーザー)であり、TOFセンサは、VCSELから発されたレーザー光によって深度マップを収集するようにしてもよい。
本開示の実施例では、深度センサは、深度マップを収集するためのものであり、イメージセンサは、2次元画像を収集するためのものである。なお、イメージセンサについてRGBセンサ及び赤外線センサを例として説明し、深度センサについて両眼赤外線センサ、TOFセンサ及び構造化光センサを例として説明したが、当業者であれば、本開示の実施例はこれらに限らないことは理解できる。当業者であれば、実際の適用ニーズに応じてイメージセンサ及び深度センサの種類を選択することができ、それぞれ2次元画像及び深度マップの収集を実現できるものであればよい。
可能な一実施形態では、前記顔識別は、権限認証をさらに含み、前記ビデオストリーム中の少なくとも1枚の画像に基づいて顔識別を行うことは、前記ビデオストリーム中の第1画像に基づいて前記人のドア開け権限情報を取得することと、前記人のドア開け権限情報に基づいて権限認証を行うことと、を含む。この実施形態によれば、人によって異なるドア開け権限情報を設定することができるので、車両のセキュリティを向上させることができる。
この実施形態の一例として、前記人のドア開け権限情報は、前記人がドア開け権限を持つドアの情報、前記人がドア開け権限を持つ時間、及び前記人に対応するドア開け権限の回数のうちの1つ又は複数を含む。
例えば、前記人がドア開け権限を持つドアの情報は、すべてのドア又はバックドアであってもよい。例えば、車両所有者や車両所有者の家族、友人がドア開け権限を持つドアは、すべてのドアであり、配達員や不動産管理会社のスタッフがドア開け権限を持つドアは、バックドアであってもよい。車両所有者は、他の人に対してドア開け権限を持つドアの情報を設定することができる。
例えば、人がドア開け権限を持つ時間は、すべての時間としてもよく、所定の時間帯としてもよい。例えば、車両所有者や車両所有者の家族がドア開け権限を持つ時間は、すべての時間としてもよい。車両所有者は、他の人に対してドア開け権限を持つ時間を設定することができる。例えば、車両を友人に貸す場面では、車両所有者は、友人に対してドア開け権限を持つ時間を2日間に設定してもよい。また例えば、配達員から連絡された後、車両所有者は、配達員に対してドア開け権限を持つ時間を2019年9月29日13:00~14:00に設定してもよい。
例えば、人に対応するドア開け権限の回数は、無限回数又は有限回数にしてもよい。例えば、車両所有者や車両所有者の家族、友人に対応するドア開け権限の回数は、無限回数にしてもよい。また例えば、配達員に対応するドア開け権限の回数は、有限回数、例えば1回にしてもよい。
ステップS13において、前記顔識別結果に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定する。
可能な一実施形態では、前記方法は、前記顔識別結果に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定する前に、前記ビデオストリームに基づいてドア開け意図情報を特定することをさらに含み、前記顔識別結果に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することは、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することを含む。
可能な一実施形態では、ドア開け意図情報は、意図的なドア開け又は非意図的なドア開けであってもよい。意図的なドア開けは、意図的な乗車、意図的な降車、トランクへの意図的な物の出し入れであってもよい。例えば、ビデオストリームがBピラーの画像収集モジュールにより収集されたものである場合、ドア開け意図情報が意図的なドア開けであると、人が乗車する意図があるか、又は物を入れる意図があることを示すことができる。一方、ドア開け意図情報が非意図的なドア開けであると、人が乗車する意図がなく、かつ物を入れる意図がないことを示すことができる。ビデオストリームがバックドアの画像収集モジュールにより収集されたものである場合、ドア開け意図情報が意図的なドア開けであると、人がトランクに物(例えば荷物)を入れる意図があることを示すことができる。ドア開け意図情報が非意図的なドア開けであると、人がトランクに物を入れる意図がないことを示すことができる。
可能な一実施形態では、前記ビデオストリームの複数のフレーム画像に基づいてドア開け意図情報を特定してもよい。これにより、特定されたドア開け意図情報の正確性を高めることができる。
この実施形態の一例として、前記ビデオストリームに基づいてドア開け意図情報を特定することは、前記ビデオストリーム中の隣接フレームの画像の重なり度合い(Intersection over Union、IoU)を特定することと、前記隣接フレームの画像の重なり度合いに基づいてドア開け意図情報を特定することと、を含む。
一例では、前記ビデオストリーム中の隣接フレームの画像の重なり度合いを特定することは、前記ビデオストリーム中の隣接フレームの画像における人体のバウンディングボックスの重なり度合いを前記隣接フレームの画像の重なり度合いとして特定することを含んでもよい。
別の一例では、前記ビデオストリーム中の隣接フレームの画像の重なり度合いを特定することは、前記ビデオストリーム中の隣接フレームの画像における顔のバウンディングボックスの重なり度合いを前記隣接フレームの画像の重なり度合いとして特定することを含んでもよい。
一例では、前記隣接フレームの画像の重なり度合いに基づいてドア開け意図情報を特定することは、直近に収集されたN組(Nは、1よりも大きい整数である)の隣接フレームの画像の重なり度合いをキャッシュすることと、キャッシュされた重なり度合いの平均値を決定することと、前記平均値が第1所定値よりも大きい継続時間が第1所定期間に達すると、前記ドア開け意図情報が意図的なドア開けであると特定することとを含む。例えば、Nは10であり、第1所定値は0.93であり、第1所定期間は1.5秒である。当然、N、第1所定値及び第1所定期間の具体的な数値は、実際の適用場面のニーズに応じて柔軟に設定することができる。この例では、キャッシュされたN個の重なり度合いは、直近に収集されたN組の隣接フレームの画像の重なり度合いである。新たな画像が取得されたとき、キャッシュから最も古い重なり度合いを1つ削除し、直近に収集された画像と直前に取得された画像の重なり度合いをキャッシュに格納する。
例えば、Nが3であり、直近に収集された4枚の画像が画像1、画像2、画像3及び画像4であり、画像4が直近に収集された画像であるとする。このとき、キャッシュされた重なり度合いは、画像1と画像2の重なり度合いI12、画像2と画像3の重なり度合いI23、画像3と画像4の重なり度合いI34を含む。このとき、キャッシュされた重なり度合いの平均値は、I12とI23とI34の平均値である。I12とI23とI34の平均値が第1所定値よりも大きければ、画像収集モジュールによって画像5を取得し続け、重なり度合いI12を削除し、画像4と画像5の重なり度合いI45をキャッシュする。このとき、キャッシュされた重なり度合いの平均値は、I23とI34とI45の平均値となる。キャッシュされた重なり度合いの平均値が第1所定値よりも大きい継続時間が第1所定期間に達すると、前記ドア開け意図情報が意図的なドア開けであると特定する。そうでなければ、前記ドア開け意図情報が非意図的なドア開けであると特定する。
別の一例では、前記隣接フレームの画像の重なり度合いに基づいてドア開け意図情報を特定することは、重なり度合いが第1所定値よりも大きい隣接フレームの連続組数が第2所定値よりも大きい場合、前記ドア開け意図情報が意図的なドア開けであると特定することを含んでもよい。
上述の例では、前記ビデオストリーム中の隣接フレームの画像の重なり度合いを特定し、前記隣接フレームの画像の重なり度合いに基づいてドア開け意図情報を特定することにより、人のドア開け意図を正確に特定することができる。
この実施形態の別の一例として、前記ビデオストリームに基づいてドア開け意図情報を特定することは、前記ビデオストリーム中の直近に収集された複数のフレーム画像における人体領域の面積を特定することと、前記直近に収集された複数のフレーム画像における人体領域の面積に基づいて、前記ドア開け意図情報を特定することと、を含む。
一例では、前記直近に収集された複数のフレーム画像における人体領域の面積に基づいて、前記ドア開け意図情報を特定することは、前記直近に収集された複数のフレーム画像における人体領域の面積がいずれも第1所定面積よりも大きい場合、前記ドア開け意図情報が意図的なドア開けであると特定することを含んでもよい。
別の一例では、前記直近に収集された複数のフレーム画像における人体領域の面積に基づいて、前記ドア開け意図情報を特定することは、前記直近に収集された複数のフレーム画像における人体領域の面積が次第に大きくなる場合、前記ドア開け意図情報が意図的なドア開けであると特定することを含んでもよい。直近に収集された複数のフレーム画像における人体領域の面積が次第に大きくなるとは、収集時間が現在時間に近い画像における人体領域の面積が、収集時間が現在時間から離れた画像における人体領域の面積よりも大きいことを指してもよく、又は、収集時間が現在時間に近い画像における人体領域の面積が、収集時間が現在時間から離れた画像における人体領域の面積以上であることを指してもよい。
上述した例では、前記ビデオストリーム中の直近に収集された複数のフレーム画像における人体領域の面積を特定し、前記直近に収集された複数のフレーム画像における人体領域の面積に基づいて、前記ドア開け意図情報を特定することにより、人のドア開け意図を正確に特定することができる。
この実施形態の別の一例として、前記ビデオストリームに基づいてドア開け意図情報を特定することは、前記ビデオストリーム中の直近に収集された複数のフレーム画像における顔領域の面積を特定することと、前記直近に収集された複数のフレーム画像における顔領域の面積に基づいて、前記ドア開け意図情報を特定することと、を含む。
一例では、前記直近に収集された複数のフレーム画像における顔領域の面積に基づいて、前記ドア開け意図情報を特定することは、前記直近に収集された複数のフレーム画像における顔領域の面積がいずれも第2所定面積よりも大きい場合、前記ドア開け意図情報が意図的なドア開けであると特定することを含む。
別の一例では、前記直近に収集された複数のフレーム画像における顔領域の面積に基づいて、前記ドア開け意図情報を特定することは、前記直近に収集された複数のフレーム画像における顔領域の面積が次第に大きくなる場合、前記ドア開け意図情報が意図的なドア開けであると特定することを含んでもよい。直近に収集された複数のフレーム画像における顔領域の面積が次第に大きくなるとは、収集時間が現在時間に近い画像における顔領域の面積が、収集時間が現在時間から離れた画像における顔領域の面積よりも大きいことを指してもよく、又は、収集時間が現在時間に近い画像における顔領域の面積が、収集時間が現在時間から離れた画像における顔領域の面積以上であることを指してもよい。
上述した例では、前記ビデオストリーム中の直近に収集された複数のフレーム画像における顔領域の面積を特定し、前記直近に収集された複数のフレーム画像における顔領域の面積に基づいて、前記ドア開け意図情報を特定することにより、人のドア開け意図を正確に特定することができる。
本開示の実施例では、前記ドア開け意図情報に基づいて前記車両の少なくとも1つのドアを制御することにより、人がドアを開ける意図がない場合にドアを開けてしまう可能性を低減することができるので、車両のセキュリティを向上させることができる。
可能な一実施形態では、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することは、前記顔識別結果が顔識別に成功したことであり、かつ前記ドア開け意図情報が意図的なドア開けである場合、前記制御情報が前記車両の少なくとも1つのドアを開ける制御を含むと決定することを含む。
可能な一実施形態では、前記方法は、前記顔識別結果に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定する前に、前記ビデオストリーム中の少なくとも1枚の画像に対して物体検出を行い、人の物携帯情報を特定することをさらに含み、前記顔識別結果に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することは、前記顔識別結果及び前記人の物携帯情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することを含む。この実施形態では、ドア開け意図情報を考慮することなく、前記顔識別結果及び前記人の物携帯情報に基づいてドア制御を行うことができる。
この実施形態の一例として、前記顔識別結果及び前記人の物携帯情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することは、前記顔識別結果が顔識別に成功したことであり、かつ前記人の物携帯情報は前記人が物を携帯していることである場合、前記制御情報が前記車両の少なくとも1つのドアを開ける制御を含むと決定することを含む。この例では、前記顔識別結果が顔識別に成功したことであり、かつ前記人の物携帯情報は前記人が物を携帯していることである場合、利用者が手動でドアを開けることなく、自動的に利用者のためにドアを開けることができる。
この実施形態の一例として、前記顔識別結果及び前記人の物携帯情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することは、前記顔識別結果が顔識別に成功したことであり、かつ前記人の物携帯情報は前記人が所定種類の物を携帯していることである場合、前記制御情報が前記車両のバックドアを開ける制御を含むと決定することを含む。この例では、前記顔識別結果が顔識別に成功したことであり、かつ前記人の物携帯情報は前記人が所定種類の物を携帯していることである場合、自動的に利用者のためにバックドアを開けることができるので、前記人が所定種類の物を携帯しているとき、利用者が手動でバックドアを開ける必要はない。
可能な一実施形態では、前記方法は、前記顔識別結果に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定する前に、前記ビデオストリーム中の少なくとも1枚の画像に対して物体検出を行い、人の物携帯情報を特定することをさらに含み、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することは、前記顔識別結果、前記ドア開け意図情報及び前記人の物携帯情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することを含む。
この実施形態では、人の物携帯情報は、人が携帯している物の情報を示すものであってもよい。例えば、人の物携帯情報は、人が物を携帯しているかを示してもよい。また例えば、人の物携帯情報は、人が携帯している物の種類を示してもよい。
この実施形態によれば、利用者がドアを開けるのに不便な場合(例えば利用者がハンドバッグやショッピングバッグ、トランクケース、傘等の物を携帯している場合)、自動的に利用者のためにドア(例えば車両の左フロントドア、右フロントドア、左リアドア、右リアドア、バックドア)をポップアップするので、利用者が物を携帯している場面、又は雨降り等の場面において、利用者の乗車及びトランクへの物入れを非常に便利にすることができる。この実施形態を採用すれば、人が車両に近づくと、意図的に動作(例えば、ボタンのタッチやジェスチャ)することなく、顔識別プロセスが自動的にトリガされるので、利用者が手を解放してドアをロック解除したりドアを開けたりすることなく、自動的に利用者のためにドアを開けることができ、これにより利用者の乗車体験及びトランクに物を入れる体験を向上させることができる。
この実施形態の一例として、前記顔識別結果、前記ドア開け意図情報及び前記人の物携帯情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することは、前記顔識別結果が顔識別に成功したことであり、前記ドア開け意図情報が意図的なドア開けであり、かつ前記人の物携帯情報は前記人が物を携帯していることである場合、前記制御情報が前記車両の少なくとも1つのドアを開ける制御を含むと決定することを含む。
この例では、人の物携帯情報は前記人が物を携帯していることである場合、人が当時に重い物を手に持っているか、又は手で傘を持っている等、手動でドアを引いて開けるのに不便であると特定することができる。
この実施形態の一例として、前記ビデオストリーム中の少なくとも1枚の画像に対して物体検出を行い、人の物携帯情報を特定することは、前記ビデオストリーム中の少なくとも1枚の画像に対して物体検出を行い、物体検出結果を得ることと、前記物体検出結果に基づいて前記人の物携帯情報を特定することと、を含む。例えば、前記ビデオストリーム中の第1画像に対して物体検出を行い、物体検出結果を得るようにしてもよい。
この例では、前記ビデオストリーム中の少なくとも1枚の画像に対して物体検出を行い、物体検出結果を得て、前記物体検出結果に基づいて前記人の物携帯情報を特定することにより、人の物携帯情報を正確に取得することができる。
この例では、物体検出結果は、人の物携帯情報としてもよい。例えば、物体検出結果が傘を含む場合、前記人の物携帯情報は、傘を含む。また例えば、物体検出結果が傘及びトランクケースを含む場合、前記人の物携帯情報は、傘及びトランクケースを含む。また例えば、物体検出結果が空である場合、前記人の物携帯情報は、空としてもよい。
この例では、物体検出ネットワークを利用して、ビデオストリーム中の少なくとも1枚の画像に対して物体検出を行うようにしてもよい。物体検出ネットワークは、深層学習アーキテクチャによるものであってもよい。この例では、物体検出ネットワークが識別可能な物の種類を限定しなくてもよく、当業者は、実際の適用場面のニーズに応じて、物体検出ネットワークが識別可能な物の種類を柔軟に設定することができる。例えば、物体検出ネットワークが識別可能な物の種類は、傘、トランクケース、カート、ベビーカー、ハンドバッグ、ショッピングバッグなどを含む。物体検出ネットワークを利用してビデオストリーム中の少なくとも1枚の画像に対して物体検出を行うことにより、物体検出の正確性及びスピードを向上させることができる。
この例では、前記ビデオストリーム中の少なくとも1枚の画像に対して物体検出を行い、物体検出結果を得ることは、前記ビデオストリーム中の少なくとも1枚の画像における人体のバウンディングボックスを検出することと、前記バウンディングボックスに対応する領域に対して物体検出を行い、物体検出結果を得ることと、を含んでもよい。例えば、前記ビデオストリーム中の第1画像における人体のバウンディングボックスを検出し、前記第1画像における前記バウンディングボックスに対応する領域に対して物体検出を行うようにしてもよい。前記バウンディングボックスに対応する領域は、前記バウンディングボックスにより区画される領域を指してもよい。この例では、ビデオストリーム中の少なくとも1枚の画像における人体のバウンディングボックスを検出し、前記バウンディングボックスに対応する領域に対して物体検出を行うことにより、ビデオストリーム中の画像の背景部分による物体検出への干渉の確率を低減することができるので、物体検出の正確性を高めることができる。
この例では、前記物体検出結果に基づいて前記人の物携帯情報を特定することは、前記物体検出結果は物が検出されたことである場合、前記物と前記人の手部との距離を取得することと、前記距離に基づいて前記人の物携帯情報を特定することと、を含んでもよい。
一例では、前記距離が所定距離よりも小さい場合、前記人の物携帯情報は前記人が物を携帯していることであると特定してもよい。この例では、人の物携帯情報を特定するとき、物のサイズを考慮することなく、物と人の手部との距離のみを考慮することができる。
別の一例では、前記物体検出結果に基づいて前記人の物携帯情報を特定することは、前記物体検出結果は物が検出されたことである場合、前記物のサイズを取得することをさらに含み、前記距離に基づいて前記人の物携帯情報を特定することは、前記距離及び前記サイズに基づいて前記人の物携帯情報を特定することを含む。この例では、人の物携帯情報を特定するとき、物と人の手部との距離及び物のサイズを同時に考慮することができる。
前記距離及び前記サイズに基づいて前記人の物携帯情報を特定することは、前記距離が所定距離以下であり、かつ前記サイズが所定サイズ以上である場合、前記人の物携帯情報は前記人が物を携帯していることであると特定することを含んでもよい。
この例では、所定距離は、0であってもよく、又は0よりも大きく設定されてもよい。
この例では、前記物体検出結果に基づいて前記人の物携帯情報を特定することは、前記物体検出結果は物が検出されたことである場合、前記物のサイズを取得することと、前記サイズに基づいて前記人の物携帯情報を特定することを含んでもよい。この例では、人の物携帯情報を特定するとき、物と人の手部との距離を考慮することなく、物のサイズのみを考慮することができる。例えば、前記サイズが所定サイズよりも大きい場合、前記人の物携帯情報は前記人が物を携帯していることであると特定する。
この実施形態の一例として、前記顔識別結果、前記ドア開け意図情報及び前記人の物携帯情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することは、前記顔識別結果が顔識別に成功したことであり、前記ドア開け意図情報が意図的なドア開けであり、かつ前記人の物携帯情報は前記人が所定種類の物を携帯していることである場合、前記制御情報が前記車両のバックドアを開ける制御を含むと決定することを含む。所定種類とは、トランクに入れるのに適する物の種類を指してもよい。例えば、所定種類は、トランクケース等を含んでもよい。図4は、本開示の実施例に係る車両のドア制御方法の模式図を示す。図4に示す例では、前記顔識別結果が顔識別に成功したことであり、前記ドア開け意図情報が意図的なドア開けであり、かつ前記人の物携帯情報は前記人が所定種類の物(例えばトランクケース)を携帯していることである場合、前記制御情報が前記車両のバックドアを開ける制御を含むと決定する。この例では、前記顔識別結果が顔識別に成功したことであり、前記ドア開け意図情報が意図的なドア開けであり、かつ前記人の物携帯情報は前記人が所定種類の物を携帯していることである場合、前記制御情報が前記車両のバックドアを開ける制御を含むと決定することにより、人が所定種類の物を携帯しているとき、自動的に利用者のためにバックドアを開けることができ、人がトランクに物を入れるのに便利である。
この実施形態の一例として、前記顔識別結果、前記ドア開け意図情報及び前記人の物携帯情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することは、前記顔識別結果が顔識別に成功しかつ運転者ではないことであり、前記ドア開け意図情報が意図的なドア開けであり、かつ前記人の物携帯情報は物を携帯していることである場合、前記制御情報が前記車両の運転席ドアでない少なくとも1つのドアを開ける制御を含むと決定することを含む。この例では、前記顔識別結果が顔識別に成功しかつ運転者ではないことであり、前記ドア開け意図情報が意図的なドア開けであり、かつ前記人の物携帯情報は物を携帯していることである場合、前記制御情報が前記車両の運転席ドアでない少なくとも1つのドアを開ける制御を含むと決定することにより、運転者でない利用者のためにその着席に適した座席に対応するドアを自動的に開けることができる。
可能な一実施形態では、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することは、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記ビデオストリームを収集した画像収集モジュールに対応するドアに対応する制御情報を決定することを含んでもよい。前記ビデオストリームを収集した画像収集モジュールに対応するドアは、前記画像収集モジュールの位置に基づいて決定してもよい。例えば、ビデオストリームは、左側Bピラーに取り付けられ、かつ前席の搭乗者の乗車位置を向く画像収集モジュールにより収集されたものである場合、前記ビデオストリームを収集した画像収集モジュールに対応するドアは、左フロントドアであるとしてもよい。これにより、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の左フロントドアに対応する制御情報を決定することができる。ビデオストリームは、左側Bピラーに取り付けられ、かつ後席の搭乗者の乗車位置を向く画像収集モジュールにより収集されたものである場合、前記ビデオストリームを収集した画像収集モジュールに対応するドアは、左リアドアであるとしてもよい。これにより、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の左リアドアに対応する制御情報を決定することができる。ビデオストリームは、右側Bピラーに取り付けられ、かつ前席の搭乗者の乗車位置を向く画像収集モジュールにより収集されたものである場合、前記ビデオストリームを収集した画像収集モジュールに対応するドアは、右フロントドアであるとしてもよい。これにより、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の右フロントドアに対応する制御情報を決定することができる。ビデオストリームは、右側Bピラーに取り付けられ、かつ後席の搭乗者の乗車位置を向く画像収集モジュールにより収集されたものである場合、前記ビデオストリームを収集した画像収集モジュールに対応するドアは、右リアドアであるとしてもよい。これにより、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の右リアドアに対応する制御情報を決定することができる。ビデオストリームは、バックドアに取り付けられる画像収集モジュールにより収集されたものである場合、前記ビデオストリームを収集した画像収集モジュールに対応するドアは、バックドアであるとしてもよい。これにより、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両のバックドアに対応する制御情報を決定することができる。
ステップS14において、前記制御情報が前記車両のいずれかのドアを開ける制御を含む場合、前記ドアの状態情報を取得する。
本開示の実施例では、前記ドアの状態情報は、ロック解除されていないこと、ロック解除されたが開いていないこと、及び開いていることを含む。
ステップS15において、前記ドアの状態情報がロック解除されていないことである場合、前記ドアをロック解除して開けるように制御するか、及び/又は、前記ドアの状態情報がロック解除されたが開いていないことである場合、前記ドアを開けるように制御する。
本開示の実施例では、前記ドアを開けるように制御するとは、ドアがポップアップするように制御することにより、利用者が開いているドア(例えばフロントドア又はリアドア)から車に乗り込むか、又は開いているドア(例えばバックドア又はリアドア)から物を入れるようにすることを指してもよい。ドアを開けるように制御することにより、ドアがロック解除された後に、利用者が手動でドアを引いて開ける必要はない。
可能な一実施形態では、前記ドアに対応するロック解除指令と開指令をドアドメインコントローラに送信することにより、前記ドアをロック解除して開けるように制御してもよい。また、前記ドアに対応する開指令をドアドメインコントローラに送信することにより、前記ドアを開けるように制御してもよい。
一例では、車両のドア制御装置のSoC(System on Chip、システムオンチップ)は、ドアのロック解除指令、開指令、閉指令をドアドメインコントローラに送信することにより、ドアを制御してもよい。
図5は、本開示の実施例に係る車両のドア制御方法の別の模式図を示す。図5に示す例では、Bピラーに取り付けられる画像収集モジュールによりビデオストリームを収集し、前記ビデオストリームに基づいて顔識別結果及びドア開け意図情報を取得し、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することができる。
可能な一実施形態では、前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することは、車両のバックドアに設けられる画像収集モジュールによるビデオストリームの収集を制御することを含む。この実施形態では、バックドアに画像収集モジュールを取り付けることにより、バックドアの画像収集モジュールが収集したビデオストリームに基づいてトランクへの物の出し入れの意図を検出することができる。
可能な一実施形態では、前記方法は、前記制御情報が前記車両のバックドアを開ける制御を含むと決定した後に、前記車両の室内部に設けられる画像収集モジュールが収集したビデオストリームに基づいて前記人が前記室内部を離れたと特定した場合、又は前記人のドア開け意図情報が意図的な降車であると検出した場合、前記バックドアを開けるように制御することをさらに含む。この実施形態によれば、搭乗者が乗車前にトランクに物を入れた場合、この搭乗者の降車時に、この搭乗者のためにバックドアを自動的に開けることができるので、搭乗者が手動でバックドアを引いて開ける必要はなく、トランクの中の物を取り出すよう搭乗者に注意を与えるという役割を果たすことができる。
可能な一実施形態では、前記方法は、前記ドアを開けるように制御した後に、ドア自動閉条件を満たす場合、前記ドアを閉めるように制御するか、又は、前記ドアを閉めてロックするように制御することをさらに含む。この実施形態では、ドア自動閉条件を満たす場合、前記ドアを閉めるように制御するか、又は、前記ドアを閉めてロックするように制御することにより、車両のセキュリティを向上させることができる。
この実施形態の一例として、前記ドア自動閉条件は、前記ドアを開けるように制御するドア開け意図情報が意図的な乗車であり、かつ前記車両の室内部の画像収集モジュールが収集したビデオストリームに基づいて乗車意図がある人が着席したと特定したこと、前記ドアを開けるように制御するドア開け意図情報が意図的な降車であり、かつ前記車両の室内部の画像収集モジュールが収集したビデオストリームに基づいて降車意図がある人が前記室内部を離れたと特定したこと、及び前記ドアの開いている期間が第2所定期間に達したことのうちの1つ又は複数を含む。
一例では、人がドア開け権限を持つドアがバックドアのみを含む場合、制御によりバックドアが開いている期間が第2所定期間に達したとき、バックドアを閉めるように制御してもよい。例えば、第2所定期間は、3分間とされてもよい。例えば、配達員がドア開け権限を持つドアがバックドアのみを含む場合、制御によりバックドアが開いている期間が第2所定期間に達したとき、バックドアを閉めるように制御することができる。これにより、トランクに配達物を入れる配達員のニーズを満たすとともに、車両のセキュリティを向上させることができる。
可能な一実施形態では、前記方法は、前記画像収集モジュールが収集した顔画像に基づいて利用者の登録を行うこと、車両所有者に対応する端末である第1端末が収集又はアップデートした顔画像に基づいて遠隔登録を行い、収集又はアップデートされた顔画像を含む登録情報を前記車両に送信することのうちの1つ又は2つをさらに含む。
一例では、画像収集モジュールが収集した顔画像に基づいて車両所有者の登録を行うことは、タッチスクリーンの登録ボタンがクリックされたことを検出すると、パスワードを入力するよう利用者に要求し、パスワードの検証に成功すると、画像収集モジュールのRGBカメラをオンにして顔画像を取得し、取得された顔画像に基づいて登録を行い、後続の顔認証時に顔の照合を行うために、この顔画像における顔特徴を予め登録された顔特徴として抽出することを含む。
一例では、第1端末が収集又はアップデートした顔画像に基づいて遠隔登録を行い、収集又はアップデートされた顔画像を含む登録情報を車両に送信する。この例では、利用者(例えば車両所有者)は、携帯電話のApp(Application、アプリケーション)を介してTSP(Telematics Service Provider、自動車テレマティクス・サービス・プロバイダー)クラウドに、第1端末が収集又はアップデートした顔画像を含みうる登録要求を送信してもよい。例えば、第1端末が収集した顔画像は、利用者自身(車両所有者)の顔画像であってもよく、第1端末がアップデートした顔画像は、利用者自身(車両所有者)、利用者の友人又は配達員等の顔画像であってもよい。TSPクラウドは、登録要求を車両のドア制御装置の車載T-Box(Telematics Box、テレマティクス・ボックス)に送信し、車載T-Boxは、登録要求に応じて顔識別機能をアクティブ化し、後続の顔認証時に顔の照合を行うために、登録要求に含まれる顔画像における顔特徴を予め登録された顔特徴とする。
この実施形態の一例として、前記第1端末がアップデートした顔画像は、一時利用者に対応する端末である第2端末が前記第1端末に送信した顔画像を含み、前記登録情報は、前記アップデートされた顔画像に対応するドア開け権限情報をさらに含む。例えば、一時利用者は、配達員等であってもよい。この例では、車両所有者は、配達員等の一時利用者に対してドア開け権限情報を設定することができる。
可能な一実施形態では、前記方法は、前記車両の搭乗者による座席調節情報を取得することと、前記搭乗者による座席調節情報に基づいて、前記搭乗者に対応する座席嗜好情報を生成又は更新することと、をさらに含む。前記搭乗者に対応する座席嗜好情報は、前記搭乗者が前記車両に搭乗した際の座席調節の嗜好情報を反映することができる。この実施形態では、前記搭乗者に対応する座席嗜好情報を生成又は更新することにより、前記搭乗者が次回に前記車両に搭乗するときに、前記搭乗者に対応する座席嗜好情報に基づいて座席を自動的に調節して前記搭乗者の乗車体験を向上させることができる。
可能な一実施形態では、前記搭乗者による座席調節情報に基づいて、前記搭乗者に対応する座席嗜好情報を生成又は更新することは、前記搭乗者が着席した座席の位置情報、及び前記搭乗者による座席調節情報に基づいて、前記搭乗者に対応する座席嗜好情報を生成又は更新することを含む。この実施形態では、前記搭乗者に対応する座席嗜好情報は、前記搭乗者による座席調節情報に関連付けられることができるだけでなく、前記搭乗者が着席した座席の位置情報にも関連付けられることができる。つまり、搭乗者のために異なる位置の座席に対応する座席嗜好情報を記録することができるので、利用者の乗車体験をさらに向上させることができる。
可能な一実施形態では、前記方法は、前記顔識別結果に基づいて、搭乗者に対応する座席嗜好情報を取得することと、前記搭乗者に対応する座席嗜好情報に基づいて、前記搭乗者が着席した座席を調節することと、をさらに含む。この実施形態では、前記搭乗者に対応する座席嗜好情報に基づいて搭乗者のために座席を自動的に調節し、搭乗者が手動で座席を調節する必要はないので、搭乗者の運転体験又は乗車体験を向上させることができる。
一例では、座席の高さ、前後位置、背凭れ及び温度等のうちの1つ又は複数を調節してもよい。
この実施形態の一例として、前記搭乗者に対応する座席嗜好情報に基づいて、前記搭乗者が着席した座席を調節することは、前記搭乗者が着席した座席の位置情報を決定することと、前記搭乗者が着席した座席の位置情報、及び前記搭乗者に対応する座席嗜好情報に基づいて、前記搭乗者が着席した座席を調節することとを含む。この実施形態では、前記搭乗者が着席した座席の位置情報、及び前記搭乗者に対応する座席嗜好情報に基づいて搭乗者のために座席を自動的に調節し、搭乗者が座席を手動で調節する必要はないので、搭乗者の運転体験又は乗車体験を向上させることができる。
他の可能な実施形態では、さらに前記顔識別結果に基づいて、搭乗者に対応する他のカスタマイズ情報、例えばランプ情報、温度情報、エアコン風力情報、音楽情報等を取得し、取得されたカスタマイズ情報に基づいて自動的に設定することができる。
可能な一実施形態では、前記方法は、前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御する前に、前記車両に設けられるブルートゥースモジュールによってプリセット識別子を有するブルートゥースデバイスを検索することと、前記プリセット識別子を有するブルートゥースデバイスが検索されたことに応じて、前記ブルートゥースモジュールと前記プリセット識別子を有するブルートゥースデバイスとのブルートゥースペアリング接続を確立することと、前記ブルートゥースペアリング接続の成功に応じて、前記車両に設けられる顔識別モジュールをウェイクアップさせることと、をさらに含み、前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することは、ウェイクアップされた前記顔識別モジュールによって、前記画像収集モジュールによるビデオストリームの収集を制御することを含む。
この実施形態の一例として、前記車両に設けられるブルートゥースモジュールによってプリセット識別子を有するブルートゥースデバイスを検索することは、前記車両がイグニッションオフ状態にあるとき、又はイグニッションがオフでかつドアロックの状態にあるとき、前記車両に設けられるブルートゥースモジュールによってプリセット識別子を有するブルートゥースデバイスを検索することを含む。この例では、車両のイグニッションがオフにされる前には、ブルートゥースモジュールによってプリセット識別子を有するブルートゥースデバイスを検索する必要はなく、又は、車両のイグニッションがオフにされる前、及び車両がイグニッションオフ状態にあるがドアロックの状態ではないときには、ブルートゥースモジュールによってプリセット識別子を有するブルートゥースデバイスを検索する必要はない。これにより、消費電力をさらに低減することができる。
この実施形態の一例として、ブルートゥースモジュールは、低消費電力ブルートゥース(BLE、Bluetooth Low Energy)モジュールであってもよい。この例では、車両がイグニッションオフ状態にあるとき、又はイグニッションがオフでかつドアロックの状態にあるとき、ブルートゥースモジュールは、ブロードキャストモードで一定時間(例えば、100ミリ秒)毎に周囲にブロードキャストパケットをブロードキャストしてもよい。周囲のブルートゥースデバイスは、スキャン動作を実行しているとき、ブルートゥースモジュールによってブロードキャストされたブロードキャストパケットを受信すると、このブルートゥースモジュールにスキャン要求を送信する。このブルートゥースモジュールは、スキャン要求に応じて、このスキャン要求を送信したブルートゥースデバイスにスキャン応答パケットを返送することができる。この実施形態では、プリセット識別子を有するブルートゥースデバイスから送信したスキャン要求を受信した場合、このプリセット識別子を有するブルートゥースデバイスが検索されたと特定する。
この実施形態の別の一例として、車両がイグニッションオフ状態にあるとき、又はイグニッションがオフでかつドアロックの状態にあるとき、ブルートゥースモジュールは、スキャン状態にあってもよい。スキャンによってプリセット識別子を有するブルートゥースデバイスを見つけた場合、プリセット識別子を有するブルートゥースデバイスが検索されたと特定する。
この実施形態の一例として、ブルートゥースモジュールと顔認識モジュールは顔識別システムに集積されてもよい。
この実施形態の別の一例として、ブルートゥースモジュールは、顔識別システムと別体にされてもよい。つまり、ブルートゥースモジュールは、顔識別システムの外部に設けられてもよい。
この実施形態では、ブルートゥースモジュールの最大検索距離を限定しない。一例では、最大通信距離は、30m程度とされてもよい。
この実施形態では、ブルートゥースデバイスの識別子は、ブルートゥースデバイスの一意識別子であってもよい。例えば、ブルートゥースデバイスの識別子は、ブルートゥースデバイスのID、名称又はアドレス等であってもよい。
この実施形態では、プリセット識別子は、ブルートゥースセキュリティ接続技術に基づいて、予め車両のブルートゥースモジュールとのペアリングに成功したデバイスの識別子であってもよい。
この実施形態では、プリセット識別子を有するブルートゥースデバイスの数は、1つ又は複数であってもよい。例えば、ブルートゥースデバイスの識別子がブルートゥースデバイスのIDである場合、ドアを開ける権限を持つブルートゥースIDを1つ又は複数予め設定してもよい。例えば、プリセット識別子を有するブルートゥースデバイスの数が1つである場合、このプリセット識別子を有するブルートゥースデバイスは、車両所有者のブルートゥースデバイスであってもよく、プリセット識別子を有するブルートゥースデバイスの数が複数である場合、この複数のプリセット識別子を有するブルートゥースデバイスは、車両所有者のブルートゥースデバイス、及び車両所有者の家族、友人、予め登録された連絡者のブルートゥースデバイスを含んでもよい。予め登録された連絡者は、予め登録された配達員や不動産管理会社のスタッフ等であってもよい。
この実施形態では、ブルートゥースデバイスは、ブルートゥース機能を有する任意のモバイルデバイスであってもよい。例えば、ブルートゥースデバイスは、携帯電話、ウェアラブルデバイス、又は電子キーなどであってもよい。ウェアラブルデバイスは、スマートブレスレット又はスマートグラスなどであってもよい。
この実施形態の一例として、プリセット識別子を有するブルートゥースデバイスの数が複数である場合、プリセット識別子を有するブルートゥースデバイスのいずれか1つが検索されたことに応じて、ブルートゥースモジュールとこのプリセット識別子を有するブルートゥースデバイスとのブルートゥースペアリング接続を確立する。
この実施形態の一例として、プリセット識別子を有するブルートゥースデバイスが検索されたことに応じて、ブルートゥースモジュールは、このプリセット識別子を有するブルートゥースデバイスに対してアイデンティティ認証を行い、アイデンティティ認証をパスした後に、ブルートゥースモジュールとプリセット識別子を有するブルートゥースデバイスとのブルートゥースペアリング接続を確立することにより、ブルートゥースペアリング接続のセキュリティを向上させることができる。
この実施形態では、プリセット識別子を有するブルートゥースデバイスとのブルートゥースペアリング接続が確立されていないとき、顔識別モジュールは、低消費電力による動作を維持するためにスリープ状態になるようにしてもよい。これにより、顔識別によるドア開け方式の消費電力を低減することができるとともに、プリセット識別子を有するブルートゥースデバイスを携帯している人がドアに到着する前に、顔識別モジュールを動作可能状態にすることができる。プリセット識別子を有するブルートゥースデバイスを携帯している人がドアに到着すると、画像収集モジュールによる第1画像の収集後に、ウェイクアップされた顔識別モジュールによって顔画像の処理を速やかに行うことができるので、顔識別の効率を高め、利用者体験を改善することができる。したがって、本開示の実施例は、低消費電力による動作の要求を満たすとともに、速やかなドア開けの要求を満たすことができる。
この実施形態では、プリセット識別子を有するブルートゥースデバイスが検索された場合、プリセット識別子を有するブルートゥースデバイスを携帯している利用者(例えば車両所有者)がブルートゥースモジュールの検索範囲内に入った可能性は高いことが示される。このとき、プリセット識別子を有するブルートゥースデバイスが検索されたことに応じて、ブルートゥースモジュールとプリセット識別子を有するブルートゥースデバイスとのブルートゥースペアリング接続を確立し、ブルートゥースペアリング接続の成功に応じて、顔識別モジュールをウェイクアップさせ、画像収集モジュールによるビデオストリームの収集を制御する。これにより、ブルートゥースペアリング接続に成功してから顔識別モジュールをウェイクアップさせるという方式によれば、顔識別モジュールが誤ってウェイクアップされる可能性を効果的に下げることができるので、利用者体験を向上させ、顔識別モジュールの消費電力を効果的に低減することができる。また、ブルートゥースによるペアリング接続方法は、超音波や赤外線などの短距離センサ技術に比べて、セキュリティが高く、長距離に対応可能であるという利点がある。実践によれば、プリセット識別子を有するブルートゥースデバイスを携帯している人がこの距離(ブルートゥースペアリング接続に成功したときの利用者と車両との距離)を通って車両に到着する時間と、車両がスリープ状態から動作状態に切り替えるように顔識別モジュールをウェイクアップさせる時間とは略一致している。このように、ドアに到着した人が顔識別モジュールのウェイクアップを待つことなく、利用者がドアに到着すると、ウェイクアップされた顔識別モジュールによって顔識別を直ちに行ってドアを開けることができるので、顔識別の効率を向上させ、利用者体験を改善することができる。さらに、人はブルートゥースのペアリング接続中であることを感じないので、利用者体験をさらに向上させることができる。したがって、この実施形態は、ブルートゥースペアリング接続に成功してから顔識別モジュールをウェイクアップさせるという方式によって、顔識別モジュールの省電力化、利用者体験、およびセキュリティなどの各面のバランスがよく取れる技術的解決手段を提供する。
別の可能な一実施形態では、利用者が顔識別モジュールにタッチしたことに応じて、前記顔識別モジュールをウェイクアップさせるようにしてもよい。この実施形態によれば、利用者が携帯電話や他のブルートゥースデバイスの持参を忘れた場合であっても、顔識別によってドアをロック解除して開ける機能を利用することができる。
可能な一実施形態では、この方法は、前記車両に設けられる顔識別モジュールをウェイクアップさせた後に、所定時間内に顔画像が取得されていない場合、前記顔識別モジュールがスリープ状態に入るように制御することをさらに含む。この実施形態は、顔識別モジュールをウェイクアップさせた後に、所定時間内に顔画像が取得されていないとき、顔識別モジュールがスリープ状態に入るように制御することにより、消費電力を低減することができる。
可能な一実施形態では、この方法は、前記車両に設けられる顔識別モジュールをウェイクアップさせた後に、所定時間内に顔識別をパスしていない場合、前記顔識別モジュールがスリープ状態に入るように制御することをさらに含む。この実施形態は、顔識別モジュールをウェイクアップさせた後に、所定時間内に顔識別をパスしていないとき、顔識別モジュールがスリープ状態に入るように制御することにより、消費電力を低減することができる。
可能な一実施形態では、この方法は、前記車両に設けられる顔識別モジュールをウェイクアップさせた後に、前記車両の走行速度が0でない場合、前記顔識別モジュールがスリープ状態に入るように制御することをさらに含む。この実施形態では、前記車両の走行速度が0でない場合、前記顔識別モジュールがスリープ状態に入るように制御することにより、顔識別によるドア開けのセキュリティを向上させることができるとともに、消費電力を低減することができる。
別の可能な一実施形態では、前記方法は、前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御する前に、車両に設けられるブルートゥースモジュールによってプリセット識別子を有するブルートゥースデバイスを検索することと、前記プリセット識別子を有するブルートゥースデバイスが検索されたことに応じて、前記車両に設けられる顔識別モジュールをウェイクアップさせることと、をさらに含み、前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することは、ウェイクアップされた前記顔識別モジュールによって、前記画像収集モジュールによるビデオストリームの収集を制御することを含む。
可能な一実施形態では、前記方法は、前記顔識別結果を得た後に、前記顔識別結果が顔識別の失敗であることに応じて、前記車両に設けられるパスワードロック解除モジュールをアクティブ化して、パスワードによるロック解除プロセスを起動することをさらに含む。
この実施形態では、パスワードによるロック解除は、顔識別によるロック解除の代替手段である。顔識別の失敗原因として、生体検出結果は人がプロテーゼであること、顔認証に失敗したこと、画像収集に失敗した(例えば、カメラが故障した)こと、および識別回数が所定の回数を超えたこと等のうちの少なくとも1つを含んでもよい。人が顔識別をパスできない場合、パスワードによるロック解除プロセスを起動する。例えば、Bピラーのタッチスクリーンによって利用者から入力されるパスワードを取得するようにしてもよい。一例では、パスワードがM回、例えば5回連続して間違って入力された場合、パスワードによるロック解除を無効にするようにしてもよい。
可能な一実施形態では、前記第1画像及び前記第1深度マップに基づいて生体検出を行うことは、前記第1画像に基づいて前記第1深度マップを更新して、第2深度マップを得ることと、前記第1画像及び前記第2深度マップに基づいて生体検出結果を特定することと、を含む。
この実施形態では、第1画像に基づいて第1深度マップにおける1つ又は複数の画素の深度値を更新して、第2深度マップを得る。
可能な一実施形態では、前記第1画像に基づいて前記第1深度マップを更新して、第2深度マップを得ることは、前記第1画像に基づいて前記第1深度マップにおける深度失効画素の深度値を更新して、前記第2深度マップを得ることを含む。
深度マップにおける深度失効画素とは、深度マップに含まれ、無効な深度値を有する画素、すなわち正確でない又は実際の状況と明らかに一致しない深度値を有する画素を指してもよい。深度失効画素の数は、1つ又は複数であってもよい。深度マップにおける少なくとも1つの深度失効画素の深度値を更新することにより、深度失効画素の深度値がより正確になり、生体検出の正確率の向上に寄与する。
いくつかの実施例では、第1深度マップは、欠損値が存在する深度マップであり、第1画像に基づいて第1深度マップを修復することによって、第2深度マップを得る。選択的に、第1深度マップの修復は、欠損値である画素の深度値の決定又は補完を含むが、本開示の実施例はこれに限らない。
本開示の実施例では、様々な方法で第1深度マップを更新又は修復することができる。いくつかの実施例では、第1画像を直接用いて生体検出を行い、例えば、第1画像を直接用いて第1深度マップを更新する。別のいくつかの実施例では、第1画像を前処理し、前処理後の第1画像に基づいて生体検出を行う。例えば、前記第1画像に基づいて前記第1深度マップを更新することは、前記第1画像から前記顔の画像を取得することと、前記顔の画像に基づいて前記第1深度マップを更新することと、を含む。
様々な方法で第1画像から顔の画像を切り出すことができる。一例として、第1画像に対して顔検出を行って顔の位置情報、例えば顔のバウンディングボックス(bounding box)の位置情報を得て、顔の位置情報に基づいて第1画像から顔の画像を切り出す。例えば、第1画像から顔のバウンディングボックスが存在する領域の画像を顔の画像として切り出す。また例えば、顔のバウンディングボックスを所定倍数で拡大し、第1画像から拡大されたバウンディングボックスが存在する領域の画像を顔の画像として切り出す。別の一例として、前記第1画像から顔の画像を取得することは、前記第1画像における顔のキーポイント情報を取得することと、前記顔のキーポイント情報に基づいて前記第1画像から前記顔の画像を取得することと、を含む。
選択的に、前記第1画像における顔のキーポイント情報を取得することは、前記第1画像に対して顔検出を行って前記顔が存在する領域を得ることと、前記顔が存在する領域の画像に対してキーポイント検出を行って前記第1画像における前記顔のキーポイント情報を得ることと、を含む。
選択的に、顔のキーポイント情報は、顔の複数のキーポイントの位置情報を含んでもよい。例えば、顔のキーポイントは、目のキーポイント、眉のキーポイント、鼻のキーポイント、口のキーポイント及び顔輪郭のキーポイント等のうちの1つ又は複数を含んでもよい。目のキーポイントは、目輪郭のキーポイント、目尻のキーポイント及び瞳のキーポイント等のうちの1つ又は複数を含んでもよい。
一例では、顔のキーポイント情報に基づいて顔の輪郭を特定し、顔の輪郭に基づいて第1画像から顔の画像を切り出す。顔検出によって得られる顔の位置情報に比べて、キーポイント情報によって得られる顔の位置はより正確であるので、後続の生体検出の正確率の向上に寄与する。
選択的に、第1画像における顔のキーポイントに基づいて第1画像における顔の輪郭を特定し、第1画像における顔の輪郭が存在する領域の画像、又は顔の輪郭が存在する領域が所定倍数で拡大された領域の画像を、顔の画像として特定してもよい。例えば、第1画像において顔のキーポイントに基づいて特定される楕円形領域を顔の画像として特定してもよく、または第1画像において顔のキーポイントに基づいて特定される楕円形領域の最小外接矩形領域を顔の画像として特定してもよいが、本開示の実施例ではこれを限定しない。
このように、第1画像から顔の画像を取得し、顔の画像に基づいて生体検出を行うことにより、第1画像における背景情報による生体検出への干渉を低減することができる。
本開示の実施例では、取得された元の深度マップに対して更新処理を行うようにしてもよい。あるいは、いくつかの実施例では、前記第1画像に基づいて前記第1深度マップを更新して、第2深度マップを得ることは、前記第1深度マップから顔の深度マップを取得することと、前記第1画像に基づいて前記顔の深度マップを更新して、前記第2深度マップを得ることと、を含む。
一例として、第1画像における顔の位置情報を取得し、顔の位置情報に基づいて第1深度マップから顔の深度マップを取得する。選択的に、第1深度マップ及び第1画像に対してアライメント又は位置合わせ処理を予め行ってもよいが、本開示の実施例ではこれを限定しない。
このように、第1深度マップから顔の深度マップを取得し、第1画像に基づいて顔の深度マップを更新して第2深度マップを得ることにより、第1深度マップにおける背景情報による生体検出への干渉を低減することができる。
いくつかの実施例では、第1画像及び第1画像に対応する第1深度マップを取得した後に、イメージセンサのパラメータ及び深度センサのパラメータに基づいて、第1画像と第1深度マップの位置合わせを行う。
一例として、第1深度マップに対して変換処理を行うことにより、変換処理後の第1深度マップと第1画像との位置を合わせてもよい。例えば、深度センサのパラメータ及びイメージセンサのパラメータに基づいて第1変換行列を決定し、第1変換行列に基づいて第1深度マップに対して変換処理を行うようにしてもよい。これに対応して、第1画像の少なくとも一部に基づいて、変換処理後の第1深度マップの少なくとも一部を更新して第2深度マップを得るようにしてもよい。例えば、第1画像に基づいて、変換処理後の第1深度マップを更新して第2深度マップを得る。また例えば、第1画像から切り出された顔の画像に基づいて、第1深度マップから切り出された顔の深度マップを更新して第2深度マップを得るようにする等である。
別の一例として、第1画像に対して変換処理を行うことにより、変換処理後の第1画像と第1深度マップとの位置を合わせてもよい。例えば、深度センサのパラメータ及びイメージセンサのパラメータに基づいて第2変換行列を決定し、第2変換行列に基づいて第1画像に対して変換処理を行うようにしてもよい。これに対応して、変換処理後の第1画像の少なくとも一部に基づいて、第1深度マップの少なくとも一部を更新して第2深度マップを得るようにしてもよい。
選択的に、深度センサのパラメータは、深度センサの内部パラメータ及び/又は外部パラメータを含んでもよく、イメージセンサのパラメータは、イメージセンサの内部パラメータ及び/又は外部パラメータを含んでもよい。第1深度マップと第1画像との位置合わせを行うことにより、第1深度マップと第1画像の対応する部分の、第1深度マップと第1画像における位置を同一にすることができる。
上述した例では、第1画像は、元の画像(例えば、RGB又は赤外線画像)であるが、別のいくつかの実施例では、第1画像は、元の画像から切り出された顔の画像であってもよい。類似的に、第1深度マップは、元の深度マップから切り出された顔の深度マップであってもよいが、本開示の実施例はこれを限定しない。
図6は、本開示の実施例による生体検出方法の一例の模式図を示す。図6に示す例では、第1画像がRGB画像であり、RGB画像と第1深度マップに対して位置合わせ補正処理を行い、処理後の画像を顔キーポイントモデルに入力して処理して、RGB顔画像(顔の画像)及び深度顔画像(顔の深度マップ)を得て、RGB顔画像に基づいて深度顔画像を更新又は修復する。これにより、後続のデータ処理量を低減し、生体検出の効率及び正確率を高めることができる。
本開示の実施例では、顔の生体検出結果は、顔が生体であること、又は顔がプロテーゼであることとしてもよい。
いくつかの実施例では、前記第1画像及び前記第2深度マップに基づいて生体検出結果を特定することは、前記第1画像及び前記第2深度マップを生体検出ニューラルネットワークに入力して処理して、生体検出結果を得ることを含む。又は、他の生体検出アルゴリズムによって第1画像及び第2深度マップを処理して、生体検出結果を得る。
いくつかの実施例では、前記第1画像及び前記第2深度マップに基づいて生体検出結果を特定することは、前記第1画像に対して特徴抽出処理を行って第1特徴情報を得ることと、前記第2深度マップに対して特徴抽出処理を行って第2特徴情報を得ることと、前記第1特徴情報及び前記第2特徴情報に基づいて生体検出結果を特定することとを含む。
選択的に、特徴抽出処理は、ニューラルネットワーク又は他の機械学習アルゴリズムによって実現することができ、抽出された特徴情報の種類は、選択的にサンプルによる学習によって得られてもよく、本開示の実施例ではこれを限定しない。
いくつかの特定の場面(例えば、室外の光が強い場面)では、取得される深度マップ(例えば、深度センサにより取得される深度マップ)は、一部の面積が失効となる場合がある。また、正常な光の照射でも、メガネによる反射、黒い髪又は黒いメガネフレーム等の要因によって深度マップの部分的失効をランダムに引き起こすことがある。いくつかの特別な紙によっても、同様に、印刷された顔写真の深度マップに広面積の失効又は部分的失効を引き起こす。また、深度センサのアクティブ光源が遮断される場合にも、深度マップの一部が失効になるが、イメージセンサでのプロテーゼの結像は正常である。そのため、深度マップの一部又は全部が失効となる場合に、深度マップによる生体とプロテーゼとの区別に誤差が発生することになる。したがって、本開示の実施例では、第1深度マップを修復又は更新し、修復又は更新後の深度マップを用いて生体検出を行うことにより、生体検出の正確率の向上に寄与する。
この例では、第1画像及び第2深度マップを生体検出ニューラルネットワークに入力して生体検出処理を行って、第1画像における顔の生体検出結果を得る。この生体検出ニューラルネットワークは、2つの分岐、すなわち第1画像に対して特徴抽出処理を行って第1特徴情報を得るための第1サブネットワークと、第2深度マップに対して特徴抽出処理を行って第2特徴情報を得るための第2サブネットワークとを含む。
選択可能な一例では、第1サブネットワークは、畳み込み層、ダウンサンプリング層及び全結合層を含んでもよい。又は、第1サブネットワークは、畳み込み層、ダウンサンプリング層、正規化層及び全結合層を含んでもよい。
一例では、生体検出ネットワークは、第1サブネットワークによって得られた第1特徴情報及び第2サブネットワークによって得られた第2特徴情報を処理して、第1画像における顔の生体検出結果を得るための第3サブネットワークをさらに含む。選択的に、第3サブネットワークは、全結合層及び出力層を含んでもよい。例えば、出力層は、softmax関数を採用し、出力層の出力が1の場合、顔が生体であることを示し、一方、出力層の出力が0の場合、顔がプロテーゼであることを示す。本開示の実施例では、第3サブネットワークの具体的な実現について限定しない。
一例として、前記第1特徴情報及び前記第2特徴情報に基づいて生体検出結果を特定することは、前記第1特徴情報及び前記第2特徴情報に対して融合処理を行って第3特徴情報を得ることと、前記第3特徴情報に基づいて生体検出結果を特定することと、を含む。
例えば、全結合層によって第1特徴情報及び第2特徴情報に対して融合処理を行って第3特徴情報を得る。
いくつかの実施例では、前記第3特徴情報に基づいて生体検出結果を特定することは、前記第3特徴情報に基づいて前記顔が生体である確率を得ることと、前記顔が生体である確率に基づいて生体検出結果を特定することと、を含む。
例えば、顔が生体である確率が第2閾値よりも大きい場合、顔の生体検出結果は顔が生体であると特定する。また例えば、顔が生体である確率が第2閾値以下の場合、顔の生体検出結果はプロテーゼであると特定する。
別のいくつかの実施例では、第3特徴情報に基づいて顔がプロテーゼである確率を得て、顔がプロテーゼである確率に基づいて顔の生体検出結果を特定する。例えば、顔がプロテーゼである確率が第3閾値よりも大きい場合、顔の生体検出結果は顔がプロテーゼであると特定する。また例えば、顔がプロテーゼである確率が第3閾値以下の場合、顔の生体検出結果は生体であると特定する。
一例では、第3特徴情報をSoftmax層に入力して、Softmax層によって顔が生体又はプロテーゼである確率を得るようにしてもよい。例えば、Softmax層の出力は、顔が生体である確率を示すニューロンと、顔がプロテーゼである確率を示すニューロンとの2つのニューロンを含むが、本開示の実施例ではこれを限定しない。
本開示の実施例では、第1画像及び第1画像に対応する第1深度マップを取得し、第1画像に基づいて第1深度マップを更新して第2深度マップを得て、第1画像及び第2深度マップに基づいて第1画像における顔の生体検出結果を特定することにより、深度マップを改善して、生体検出の正確性を高めることができる。
可能な一実施形態では、前記第1画像に基づいて前記第1深度マップを更新して、第2深度マップを得ることは、前記第1画像に基づいて、前記第1画像における複数の画素の深度予測値及び前記複数の画素間の関連度を示す関連情報を決定することと、前記複数の画素の深度予測値及び関連情報に基づいて前記第1深度マップを更新して、第2深度マップを得ることと、を含む。
具体的には、第1画像に基づいて第1画像における複数の画素の深度予測値を決定し、複数の画素の深度予測値に基づいて第1深度マップを修復して改善する。
具体的には、第1画像を処理して第1画像における複数の画素の深度予測値を得る。例えば、第1画像を深度予測ニューラルネットワークに入力して処理して、複数の画素の深度予測結果、例えば第1画像に対応する深度予測マップを得るが、本開示の実施例ではこれを限定しない。
いくつかの実施例では、前記第1画像に基づいて前記第1画像における複数の画素の深度予測値を決定することは、前記第1画像及び前記第1深度マップに基づいて、前記第1画像における複数の画素の深度予測値を決定することを含む。
一例として、前記第1画像及び前記第1深度マップに基づいて、前記第1画像における複数の画素の深度予測値を決定することは、前記第1画像及び前記第1深度マップを深度予測ニューラルネットワークに入力して処理して、前記第1画像における複数の画素の深度予測値を得ることを含む。又は、他の方法によって第1画像及び第1深度マップを処理して、複数の画素の深度予測値を得る。本開示の実施例ではこれを限定しない。
一例では、第1画像及び第1深度マップを深度予測ニューラルネットワークに入力して処理して、初期深度推定マップを得るようにしてもよい。初期深度推定マップに基づいて、第1画像における複数の画素の深度予測値を決定してもよい。例えば、初期深度推定マップの画素値は、第1画像における対応画素の深度予測値である。
深度予測ニューラルネットワークは、様々なネットワーク構成によって実現することができる。一例では、深度予測ニューラルネットワークは、符号化部及び復号部を含む。選択的に、符号化部は、畳み込み層及びダウンサンプリング層を含み、復号部は、逆畳み込み層及び/又はアップサンプリング層を含むようにしてもよい。また、符号化部及び/又は復号部は、正規化層をさらに含んでもよい。本開示の実施例は、符号化部及び復号部の具体的な実現について限定しない。符号化部において、ネットワーク層数の増加に伴って、特徴マップの解像度が次第に低くなり、特徴マップの数量が次第に多くなり、これにより豊富なセマンティック特徴及び画像の空間的特徴を取得することができる。復号部において、特徴マップの解像度が次第に増大し、復号部から最終的に出力される特徴マップの解像度は、第1深度マップの解像度と同じである。
いくつかの実施例では、前記第1画像及び前記第1深度マップに基づいて、前記第1画像における複数の画素の深度予測値を決定することは、前記第1画像及び前記第1深度マップに対して融合処理を行って融合結果を得ることと、前記融合結果に基づいて前記第1画像における複数の画素の深度予測値を決定することと、を含む。
一例では、第1画像及び第1深度マップを結合(concat)して、融合結果を得るようにしてもよい。
一例では、融合結果に対して畳み込み処理を行って第2畳み込み結果を得て、第2畳み込み結果に基づいてダウンサンプリング処理を行って第1符号化結果を得て、第1符号化結果に基づいて第1画像における複数の画素の深度予測値を決定する。
例えば、畳み込み層によって融合結果に対して畳み込み処理を行って第2畳み込み結果を得るようにしてもよい。
例えば、第2畳み込み結果に対して正規化処理を行って第2正規化結果を得て、第2正規化結果に対してダウンサンプリング処理を行って第1符号化結果を得る。ここで、正規化層によって第2畳み込み結果に対して正規化処理を行って第2正規化結果を得て、ダウンサンプリング層によって第2正規化結果に対してダウンサンプリング処理を行って第1符号化結果を得るようにしてもよい。又は、ダウンサンプリング層によって第2畳み込み結果に対してダウンサンプリング処理を行って第1符号化結果を得るようにしてもよい。
例えば、第1符号化結果に対して逆畳み込み処理を行って第1逆畳み込み結果を得て、第1逆畳み込み結果に対して正規化処理を行って深度予測値を得る。ここで、逆畳み込み層によって第1符号化結果に対して逆畳み込み処理を行って第1逆畳み込み結果を得て、正規化層によって第1逆畳み込み結果に対して正規化処理を行って深度予測値を得るようにしてもよい。又は、逆畳み込み層によって第1符号化結果に対して逆畳み込み処理を行って深度予測値を得るようにしてもよい。
例えば、第1符号化結果に対してアップサンプリング処理を行って第1アップサンプリング結果を得て、第1アップサンプリング結果に対して正規化処理を行って深度予測値を得る。ここで、アップサンプリング層によって第1符号化結果に対してアップサンプリング処理を行って第1アップサンプリング結果を得て、正規化層によって第1アップサンプリング結果に対して正規化処理を行って深度予測値を得るようにしてもよい。又は、アップサンプリング層によって第1符号化結果に対してアップサンプリング処理を行って深度予測値を得るようにしてもよい。
また、第1画像を処理して第1画像における複数の画素の関連情報を得る。第1画像における複数の画素の関連情報は、第1画像の複数の画素のそれぞれとその周辺画素との関連度を含むようにしてもよい。画素の周辺画素は、画素に隣接する少なくとも1つの隣接画素を含んでもよく、又は、この画素との間隔が一定の数値を超えない複数の画素を含んでもよい。例えば、図8に示すように、画素5の周辺画素は、それに隣接する画素1、画素2、画素3、画素4、画素6、画素7、画素8及び画素9を含み、これに対応して、第1画像における複数の画素の関連情報は、画素1、画素2、画素3、画素4、画素6、画素7、画素8及び画素9と画素5との関連度を含む。一例として、第1画素と第2画素との関連度は、第1画素と第2画素の相関性を用いて尺度化してもよい。本開示の実施例は、関連技術を用いて画素間の相関性を決定することができ、ここでは詳細な説明を省略する。
本開示の実施例では、様々な方法で複数の画素の関連情報を決定することができる。いくつかの実施例では、前記第1画像に基づいて、前記第1画像における複数の画素の関連情報を決定することは、前記第1画像を関連度検出ニューラルネットワークに入力して処理して、前記第1画像における複数の画素の関連情報を得ることを含む。例えば、第1画像に対応する関連特徴マップを得る。又は、他のアルゴリズムによって複数の画素の関連情報を得るようしてもよく、本開示の実施例ではこれを限定しない。
一例では、第1画像を関連度検出ニューラルネットワークに入力して処理して、複数枚の関連特徴マップを得る。複数枚の関連特徴マップに基づいて、第1画像における複数の画素の関連情報を決定することができる。例えば、ある画素の周辺画素とは、この画素との距離が0の画素を指し、即ち、この画素の周辺画素とは、この画素に隣接する画素を指す。この場合、関連度検出ニューラルネットワークは、8枚の関連特徴マップを出力することができる。例えば、第1関連特徴マップにおいて、画素Pi,jの画素値=第1画像における画素Pi-1,j-1と画素Pi,jとの関連度であり、ただし、Pi,jは第i行第j列の画素を示し、第2関連特徴マップにおいて、画素Pi,jの画素値=第1画像における画素Pi-1,jと画素Pi,jとの関連度であり、第3関連特徴マップにおいて、画素Pi,jの画素値=第1画像における画素Pi-1,j+1と画素Pi,jとの関連度であり、第4関連特徴マップにおいて、画素Pi,jの画素値=第1画像における画素Pi、j-1と画素Pi,jとの関連度であり、第5関連特徴マップにおいて、画素Pi,jの画素値=第1画像における画素Pi,j+1と画素Pi,jとの関連度であり、第6関連特徴マップにおいて、画素Pi,jの画素値=第1画像における画素Pi+1,j-1と画素Pi,jとの関連度であり、第7関連特徴マップにおいて、画素Pi,jの画素値=第1画像における画素Pi+1,jと画素Pi,jとの関連度であり、第8関連特徴マップにおいて、画素Pi,jの画素値=第1画像における画素Pi+1,j+1と画素Pi,jとの関連度である。
関連度検出ニューラルネットワークは、様々なネットワーク構成によって実現することができる。一例として、関連度検出ニューラルネットワークは、符号化部及び復号部を含むようにしてもよい。符号化部は、畳み込み層及びダウンサンプリング層を含み、復号部は、逆畳み込み層及び/又はアップサンプリング層を含むようにしてもよい。符号化部は、正規化層をさらに含んでもよく、復号部も正規化層を含んでもよい。符号化部において、特徴マップの解像度が次第に低くなり、特徴マップの数量が次第に多くなり、これにより豊富なセマンティック特徴及び画像の空間的特徴が取得される。復号部において、特徴マップの解像度が次第に増大し、復号部から最終的に出力される特徴マップの解像度は、第1画像の解像度と同じである。本開示の実施例では、関連情報は、画像であってもよく、他のデータ形式、例えば行列等であってもよい。
一例として、第1画像を関連度検出ニューラルネットワークに入力して処理して、第1画像における複数の画素の関連情報を得ることは、第1画像に対して畳み込み処理を行って第3畳み込み結果を得ることと、第3畳み込み結果に基づいてダウンサンプリング処理を行って第2符号化結果を得ることと、第2符号化結果に基づいて、第1画像における複数の画素の関連情報を得ることと、を含むようにしてもよい。
一例では、畳み込み層によって第1画像に対して畳み込み処理を行って第3畳み込み結果を得るようにしてもよい。
一例では、第3畳み込み結果に基づいてダウンサンプリング処理を行って第2符号化結果を得ることは、第3畳み込み結果に対して正規化処理を行って第3正規化結果を得ることと、第3正規化結果に対してダウンサンプリング処理を行って第2符号化結果を得ることと、を含むようにしてもよい。この例では、正規化層によって第3畳み込み結果に対して正規化処理を行って第3正規化結果を得て、ダウンサンプリング層によって第3正規化結果に対してダウンサンプリング処理を行って第2符号化結果を得るようにしてもよい。又は、ダウンサンプリング層によって第3畳み込み結果に対してダウンサンプリング処理を行って第2符号化結果を得るようにしてもよい。
一例では、第2符号化結果に基づいて関連情報を決定することは、第2符号化結果に対して逆畳み込み処理を行って第2逆畳み込み結果を得ることと、第2逆畳み込み結果に対して正規化処理を行って関連情報を得ることと、を含むようにしてもよい。この例では、逆畳み込み層によって第2符号化結果に対して逆畳み込み処理を行って第2逆畳み込み結果を得て、正規化層によって第2逆畳み込み結果に対して正規化処理を行って関連情報を得るようにしてもよい。又は、逆畳み込み層によって第2符号化結果に対して逆畳み込み処理を行って関連情報を得るようにしてもよい。
一例では、第2符号化結果に基づいて関連情報を決定することは、第2符号化結果に対してアップサンプリング処理を行って第2アップサンプリング結果を得ることと、第2アップサンプリング結果に対して正規化処理を行って関連情報を得ることと、を含むようにしてもよい。この例では、アップサンプリング層によって第2符号化結果に対してアップサンプリング処理を行って第2アップサンプリング結果を得て、正規化層によって第2アップサンプリング結果に対して正規化処理を行って関連情報を得るようにしてもよい。又は、アップサンプリング層によって第2符号化結果に対してアップサンプリング処理を行って関連情報を得るようにしてもよい。
現在のTOF、構造化光等の3Dセンサは、室外では太陽光の影響を受けやすいため、深度マップに広面積のホール欠損が発生して、3D生体検出アルゴリズムの性能に影響を及ぼしてしまう。本開示の実施例に係る深度マップの自己改善による3D生体検出アルゴリズムは、3Dセンサで検出された深度マップを修復して改善することにより、3D生体検出アルゴリズムの性能が高まる。
いくつかの実施例では、複数の画素の深度予測値及び関連情報が得られた後に、複数の画素の深度予測値及び関連情報に基づいて第1深度マップを更新処理して、第2深度マップを得る。図7は、本開示の実施例に係る車両のドア制御方法における深度マップ更新の例示的な模式図を示す。図7に示す例では、第1深度マップは、欠損値が存在する深度マップであり、得られた複数の画素の深度予測値及び関連情報は、それぞれ初期深度推定マップ及び関連特徴マップである。この場合、欠損値が存在する深度マップ、初期深度推定マップ及び関連特徴マップを深度マップ更新モジュール(例えば、深度更新ニューラルネットワーク)に入力して処理して、最終的な深度マップである第2深度マップを得る。
可能な一実施形態では、前記複数の画素の深度予測値及び関連情報に基づいて前記第1深度マップを更新して、第2深度マップを得ることは、前記第1深度マップにおける深度失効画素を決定することと、前記複数の画素の深度予測値から深度失効画素の深度予測値及び深度失効画素の複数の周辺画素の深度予測値を取得することと、前記複数の画素の関連情報から深度失効画素と深度失効画素の複数の周辺画素との関連度を取得することと、前記深度失効画素の深度予測値、前記深度失効画素の複数の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することと、を含む。
本開示の実施例では、様々な方法で深度マップにおける深度失効画素を決定することができる。一例として、第1深度マップにおける深度値が0の画素を深度失効画素とするか、または第1深度マップにおける深度値を有しない画素を深度失効画素とする。
この例では、欠損値が存在する第1深度マップにおける、値を有する(即ち、深度値が0でない)部分について、その深度値が正確で信頼可能なものとみなし、その部分は更新せず、元の深度値のままにする。第1深度マップにおける深度値が0の画素については、深度値を更新する。
別の一例として、深度センサは、深度失効画素の深度値について、1つ又は複数の所定の数値又は所定の範囲を設定してもよい。この例では、第1深度マップにおける、深度値が所定の数値と等しい画素又は深度値が所定の範囲にある画素を深度失効画素として決定するようにしてもよい。
本開示の実施例では、他の統計方法で第1深度マップにおける深度失効画素を決定してもよく、本開示の実施例ではこれを限定しない。
この実施形態では、第1画像における深度失効画素と同じ位置の画素の深度値を深度失効画素の深度予測値として決定してもよく、類似的に、第1画像における深度失効画素の周辺画素と同じ位置の画素の深度値を深度失効画素の周辺画素の深度予測値として決定してもよい。
一例として、深度失効画素の周辺画素と深度失効画素との距離は、第1閾値以下である。
図8は、本開示の実施例に係る車両のドア制御方法における周辺画素の模式図を示す。例えば、第1閾値が0の場合に、隣接画素のみを周辺画素とする。例えば、画素5の隣接画素が画素1、画素2、画素3、画素4、画素6、画素7、画素8及び画素9を含む場合、画素1、画素2、画素3、画素4、画素6、画素7、画素8及び画素9のみを画素5の周辺画素とする。
図9は、本開示の実施例に係る車両のドア制御方法における周辺画素の別の模式図を示す。例えば、第1閾値が1の場合に、隣接画素を周辺画素とする他に、隣接画素の隣接画素も周辺画素とする。即ち、画素1、画素2、画素3、画素4、画素6、画素7、画素8及び画素9を画素5の周辺画素とする他に、画素10~画素25も画素5の周辺画素とする。
一例として、前記深度失効画素の深度予測値、前記深度失効画素の複数の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することは、前記深度失効画素の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することと、前記深度失効画素の深度予測値及び前記深度関連値に基づいて、前記深度失効画素の更新後の深度値を決定することとを含む。
別の一例として、深度失効画素の周辺画素の深度予測値、及び深度失効画素とこの周辺画素との関連度に基づいて、深度失効画素に対するこの周辺画素の有効深度値を決定し、深度失効画素に対するその各周辺画素の有効深度値及び深度失効画素の深度予測値に基づいて、深度失効画素の更新後の深度値を決定する。例えば、深度失効画素の1つの周辺画素の深度予測値とこの周辺画素に対応する関連度との積を、深度失効画素に対するこの周辺画素の有効深度値として決定してもよい。この周辺画素に対応する関連度とは、この周辺画素と深度失効画素との関連度を指す。例えば、深度失効画素に対するその各周辺画素の有効深度値の和と第1所定係数との積を決定して第1積を得て、深度失効画素の深度予測値と第2所定係数との積を決定して第2積を得て、第1積と第2積との和を深度失効画素の更新後の深度値として決定するようにしてもよい。いくつかの実施例では、第1所定係数と第2所定係数との和は1とする。
一例では、前記深度失効画素の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することは、前記深度失効画素と各周辺画素との関連度を前記各周辺画素の重みとして、前記深度失効画素の複数の周辺画素の深度予測値に対して重み付け加算処理を行って、前記深度失効画素の深度関連値を得ることを含む。例えば、画素5が深度失効画素である場合、深度失効画素5の深度関連値は、
であり、深度失効画素5の更新後の深度値
は、式1によって決定することができる。
式1
ただし、
であり、
は、画素iと画素5との関連度を示し、
は、画素iの深度予測値を示す。
ただし、
別の一例では、深度失効画素の複数の周辺画素のうちの各周辺画素と深度失効画素との関連度と各周辺画素の深度予測値との積を決定し、積の最大値を深度失効画素の深度関連値とする。
一例では、深度失効画素の深度予測値と深度関連値との和を深度失効画素の更新後の深度値とする。
別の一例では、深度失効画素の深度予測値と第3所定係数との積を決定して第3積を得て、深度関連値と第4所定係数との積を決定して第4積を得て、第3積と第4積との和を深度失効画素の更新後の深度値とする。いくつかの実施例では、第3所定係数と第4所定係数との和は1とする。
いくつかの実施例では、第2深度マップにおける非深度失効画素の深度値は、第1深度マップにおけるこの非深度失効画素の深度値と等しい。
別のいくつかの実施例では、より正確な第2深度マップを得るために、非深度失効画素の深度値を更新するようにしてもよい。これにより、生体検出の正確性をさらに高めることができる。
本開示で言及された上記各方法の実施例は、原理および論理に反しない限り、相互に組み合わせて実施例をなすことができることは理解できる。紙数に限りがあるので、本開示では詳細な説明を省略する。
当業者であれば、具体的な実施形態による上記方法において記載された各ステップの順序は、厳密な実行順序を意味するものではなく、プロセスの実施になんら限定を加えるものではなく、各ステップの具体的な実行順序は、その機能と可能な内在的論理により決められることは理解できる。
なお、本開示は、さらに、車両のドア制御装置、電子機器、コンピュータ読み取り可能な記憶媒体、プログラムを提供する。これらは、いずれも本開示で提供される車両のドア制御方法のいずれかを実現するために利用可能であり、対応する技術的手段及び説明については、方法に対応する記載を参照すればよく、ここでは詳細な説明を省略する。
図10は、本開示の実施例に係る車両のドア制御装置のブロック図を示す。図10に示すように、前記車両のドア制御装置は、車両に設けられる画像収集モジュールによるビデオストリームの収集を制御する第1制御モジュール21と、前記ビデオストリーム中の少なくとも1枚の画像に基づいて顔識別を行い、顔識別結果を得る顔識別モジュール22と、前記顔識別結果に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定する第1決定モジュール23と、前記制御情報が前記車両のいずれかのドアを開ける制御を含む場合、前記ドアの状態情報を取得する第1取得モジュール24と、前記ドアの状態情報がロック解除されていないことである場合、前記ドアをロック解除して開けるように制御するか、及び/又は、前記ドアの状態情報がロック解除されたが開いていないことである場合、前記ドアを開けるように制御する第2制御モジュール25と、を備える。
図11は、本開示の実施例に係る車両のドア制御システムのブロック図を示す。図11に示すように、前記車両のドア制御システムは、メモリ41と、物体検出モジュール42と、顔識別モジュール43と、画像収集モジュール44とを備える。前記顔識別モジュール43は、前記メモリ41、前記物体検出モジュール42及び前記画像収集モジュール44にそれぞれ接続され、前記物体検出モジュール42は、前記画像収集モジュール44に接続され、前記顔識別モジュール43には、ドアドメインコントローラに接続するための通信インタフェースがさらに設けられ、前記顔識別モジュールは、前記通信インタフェースを介して前記ドアドメインコントローラにドアのロック解除及びポップアップのための制御情報を送信する。
可能な一実施形態では、前記車両のドア制御システムは、前記顔識別モジュール43に接続されるブルートゥースモジュール45をさらに備え、前記ブルートゥースモジュール45は、プリセット識別子を有するブルートゥースデバイスとのブルートゥースペアリング接続に成功したとき、又は前記プリセット識別子を有するブルートゥースデバイスが検索されたとき、前記顔識別モジュール43をウェイクアップさせるマイクロプロセッサ451と、前記マイクロプロセッサ451に接続されるブルートゥースセンサ452とを有する。
可能な一実施形態では、メモリ41は、フラッシュメモリ(Flash)及びDDR3(Double Data Rate 3、第3世代のダブルデータレート)メモリのうちの少なくとも1つを含んでもよい。
可能な一実施形態では、顔識別モジュール43は、SoC(System on Chip、システムオンチップ)を用いて実現されてもよい。
可能な一実施形態では、顔識別モジュール43は、CAN(Controller Area Network、コントローラエリアネットワーク)バスを介してドアドメインコントローラに接続される。
可能な一実施形態では、前記画像収集モジュール44は、イメージセンサ及び深度センサを含む。
可能な一実施形態では、深度センサは、両眼赤外線センサ及び飛行時間TOFセンサのうちの少なくとも1つを含む。
可能な一実施形態では、深度センサは、2つの赤外線カメラがイメージセンサのカメラの両側に設けられる両眼赤外線センサを含む。例えば、図3aに示す例では、イメージセンサは、RGBセンサであり、イメージセンサのカメラは、RGBカメラであり、深度センサは、2つのIR(赤外線)カメラを有する両眼赤外線センサであり、両眼赤外線センサの2つの赤外線カメラは、イメージセンサのRGBカメラの両側に設けられる。
可能な一実施形態では、画像収集モジュール44は、両眼赤外線センサの赤外線カメラとイメージセンサのカメラとの間に設けられ、イメージセンサ用の補助光ランプと深度センサ用の補助光ランプのうちの少なくとも一つを含む少なくとも1つの補助光ランプをさらに含む。例えば、イメージセンサがRGBセンサである場合、イメージセンサ用の補助光ランプは、ホワイトランプであり、イメージセンサが赤外線センサである場合、イメージセンサ用の補助光ランプは、赤外線ランプであり、深度センサが両眼赤外線センサである場合、深度センサ用の補助光ランプは、赤外線ランプであるとしてもよい。図3aに示す例では、赤外線ランプは、両眼赤外線センサの赤外線カメラとイメージセンサのカメラとの間に設けられている。例えば、赤外線ランプは、940nmの赤外線を用いるようにしてもよい。
一例では、補助光ランプは、ノーマルオンモードにしてもよい。この例では、画像収集モジュールのカメラが動作状態にあるとき、補助光ランプはオン状態にある。
別の一例では、光線が足りない場合に補助光ランプをオンにしてもよい。例えば、環境光センサによって環境光強度を取得し、環境光強度が光強度閾値よりも低い場合に光線が足りないと判定し、補助光ランプをオンにしてもよい。
可能な一実施形態では、画像収集モジュール44は、前記深度センサのカメラと前記イメージセンサのカメラとの間に設けられるレーザーをさらに含む。例えば、図3bに示す例では、イメージセンサは、RGBセンサであり、イメージセンサのカメラは、RGBカメラであり、深度センサは、TOFセンサであり、レーザーは、TOFセンサのカメラとRGBセンサのカメラとの間に設けられている。例えば、レーザーは、VCSELであり、TOFセンサは、VCSELから発されたレーザー光によって深度マップを収集するようにしてもよい。
一例では、深度センサは、LVDS(Low-Voltage Differential Signaling、低電圧差動信号)インタフェースを介して顔識別モジュール43に接続される。
可能な一実施形態では、前記車両のドア制御システムは、前記顔識別モジュール43に接続され、ドアをロック解除するためのパスワードロック解除モジュール46をさらに含む。
可能な一実施形態では、前記パスワードロック解除モジュール46は、タッチスクリーン及びキーボードのうちの1つ又は2つを有する。
一例では、タッチスクリーンは、FPD-Link(Flat Panel Display Link、フラットパネルディスプレイリンク)を介して顔識別モジュール43に接続される。
可能な一実施形態では、前記車両のドア制御システムは、前記顔識別モジュール43に接続される電池モジュール47をさらに備える。一例では、前記電池モジュール47は、さらに前記マイクロプロセッサ451に接続される。
可能な一実施形態では、メモリ41、顔識別モジュール43、ブルートゥースモジュール45及び電池モジュール47は、ECU(Electronic Control Unit、電子制御ユニット)に搭載されてもよい。
図12は、本開示の実施例に係る車両のドア制御システムの模式図を示す。図12に示す例では、顔識別モジュールは、SoC101を用いて実現され、メモリは、フラッシュメモリ(Flash)102及びDDR3メモリ103を有し、ブルートゥースモジュールは、ブルートゥースセンサ104及びマイクロプロセッサ(MCU、Microcontroller Unit)105を有し、SoC101、フラッシュメモリ102、DDR3メモリ103、ブルートゥースセンサ104、マイクロプロセッサ105及び電池モジュール106は、ECU100に搭載され、画像収集モジュールは、LVDSインタフェースを介してSoC101に接続される深度センサ200を有し、パスワードロック解除モジュールは、FPD-Linkを介してSoC101に接続されるタッチスクリーン300を有し、SoC101は、CANバスを介してドアドメインコントローラ400に接続される。
図13は、本開示の実施例に係る車両の模式図を示す。図13に示すように、車両は、前記車両のドアドメインコントローラ52に接続される車両のドア制御システム51を備える。
前記画像収集モジュールは、前記車両の室外部に設けられる。又は、前記画像収集モジュールは、前記車両のBピラー、少なくとも1つのドア、少なくとも1つのバックミラーのうちの少なくとも1つに設けられる。又は、前記画像収集モジュールは、前記車両の室内部に設けられる。
前記顔識別モジュールは、前記車両内に設けられ、CANバスを介して前記ドアドメインコントローラに接続される。
本開示の実施例は、さらに、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、上記方法を実現させるコンピュータ読み取り可能な記憶媒体を提供する。コンピュータ読み取り可能な記憶媒体は、不揮発性コンピュータ読み取り可能な記憶媒体であってもよく、又は揮発性コンピュータ読み取り可能な記憶媒体であってもよい。
本開示の実施例は、さらに、コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに上記方法を実現するための命令を実行させるコンピュータプログラムを提供する。
本開示の実施例は、さらに、コンピュータ読み取り可能な命令を記憶するためのコンピュータプログラム製品であって、コードが実行されると、コンピュータに上記実施例のいずれかに係る車両のドア制御方法の動作を実行させる別のコンピュータプログラム製品を提供する。
本開示の実施例は、さらに、1つまたは複数のプロセッサと、実行可能な命令を記憶するメモリと、を含む電子機器であって、前記1つまたは複数のプロセッサは、前記メモリに記憶されている実行可能な命令を呼び出して上記方法を実行するように構成される電子機器をさらに提供する。
電子機器は、端末、サーバ又は他の形態の装置として提供されてもよい。端末は、車載機器、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等を含むが、これらに限らない。
本開示は、システム、方法及び/又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各態様を実現させるためのコンピュータ読み取り可能プログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体を含みうる。
コンピュータ読み取り可能な記憶媒体は、命令実行装置に使用される命令を格納および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限らない。コンピュータ読み取り可能な記憶媒体のさらなる具体的な例(非網羅的リスト)としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROMまたはフラッシュメモリ)、静的ランダムアクセスメモリ(SRAM)、携帯型コンパクトディスク読み取り専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)、メモリスティック、フロッピーディスク、例えば命令が記憶されているパンチカードまたはスロット内の突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波(例えば、光ファイバーケーブルによるパルス光)、または電線を経由して伝送される電気信号と解釈されるものではない。
ここで記述したコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能な記憶媒体から各計算/処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワーク及び/又は無線ネットワークを経由して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは、銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータ及び/又はエッジサーバを含んでもよい。各計算/処理機器内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ読み取り可能プログラム命令を受信し転送して、各計算/処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。
本開示の動作を実行するためのコンピュータプログラム命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、C++などのオブジェクト指向プログラミング言語、および「C」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む1つまたは複数のプログラミング言語の任意の組み合わせで書かれたソースコードまたはオブジェクトコードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関する場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてもよく、または、(例えばインターネットサービスプロバイダを利用してインターネットを介して)外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ(FPGA)またはプログラマブル論理アレイ(PLA)などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能プログラム命令を実行することにより、本開示の各態様を実現するようにしてもよい。
ここで、本開示の実施例に係る方法、装置(システム)およびコンピュータプログラム製品のフローチャート及び/又はブロック図を参照しながら本開示の各態様を説明した。フローチャート及び/又はブロック図の各ブロックと、フローチャート及び/又はブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることは理解すべきである。
これらのコンピュータ読み取り可能プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されて、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャート及び/又はブロック図の1つまたは複数のブロックで定められた機能/動作を実現するように機械を製造してもよい。また、これらのコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置及び/又は他の機器を特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ読み取り可能な記憶媒体は、フローチャート及び/又はブロック図の1つまたは複数のブロックで定められた機能/動作の各態様を実現するための命令を有する製品を含む。
コンピュータ読み取り可能プログラム命令を、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実現されるプロセスを生成するようにしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャート及び/又はブロック図の1つまたは複数のブロックで定められた機能/動作が実現される。
図面のうちフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示している。この点では、フローチャートまたはブロック図における各ブロックは、1つのモジュール、プログラムセグメントまたは命令の一部を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は、所定の論理機能を実現するための1つまたは複数の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付したものとは異なって順序で実現されてもよい。例えば、連続的な二つのブロックは、実質的には並行に実行されてもよく、かかる機能によって、逆な順序で実行されてもよい場合がある。ブロック図及び/又はフローチャートにおける各ブロックと、ブロック図及び/又はフローチャートにおけるブロックとの組み合わせは、所定の機能または動作を実行するハードウェアに基づく専用システムによって実現されてもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現されてもよいことに注意すべきである。
該コンピュータプログラム製品は、具体的にハードウェア、ソフトウェア、またはそれらの組み合わせによって実現されてもよい。選択可能な一実施例では、前記コンピュータプログラム製品は、コンピュータ記憶媒体として具体化される。別の選択可能な一実施例では、コンピュータプログラム製品は、ソフトウェア開発キット(Software Development Kit、SDK)などのソフトウェア製品として具体化される。
以上、本開示の各実施例を説明したが、上記説明は網羅的なものではなく例示的なものであり、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が可能であることは自明である。本明細書に用いられた用語は、各実施例の原理、実際の適用または市場での技術的改良を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。
Claims (68)
- 車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することと、
前記ビデオストリーム中の少なくとも1枚の画像に基づいて顔識別を行い、顔識別結果を得ることと、
前記顔識別結果に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することと、
前記制御情報が前記車両のいずれかのドアを開ける制御を含む場合、前記ドアの状態情報を取得することと、
前記ドアの状態情報がロック解除されていないことである場合、前記ドアをロック解除して開けるように制御するか、及び/又は、前記ドアの状態情報がロック解除されたが開いていないことである場合、前記ドアを開けるように制御することと、
を含むを特徴とする車両のドア制御方法。 - 前記顔識別結果に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定する前に、
前記ビデオストリームに基づいてドア開け意図情報を特定することをさらに含み、
前記顔識別結果に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することは、
前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することを含むことを特徴とする請求項1に記載の車両のドア制御方法。 - 前記ビデオストリームに基づいてドア開け意図情報を特定することは、
前記ビデオストリーム中の隣接フレームの画像の重なり度合いを特定することと、
前記隣接フレームの画像の重なり度合いに基づいてドア開け意図情報を特定することと、
を含むことを特徴とする請求項2に記載の車両のドア制御方法。 - 前記ビデオストリーム中の隣接フレームの画像の重なり度合いを特定することは、
前記ビデオストリーム中の隣接フレームの画像における人体のバウンディングボックスの重なり度合いを前記隣接フレームの画像の重なり度合いとして特定することを特徴とする請求項3に記載の車両のドア制御方法。 - 前記隣接フレームの画像の重なり度合いに基づいてドア開け意図情報を特定することは、
直近に収集されたN組(Nは、1よりも大きい整数である)の隣接フレームの画像の重なり度合いをキャッシュすることと、
キャッシュされた重なり度合いの平均値を決定することと、
前記平均値が第1所定値よりも大きい継続時間が第1所定期間に達すると、前記ドア開け意図情報が意図的なドア開けであると特定することと、
を含むことを特徴とする請求項3又は4に記載の車両のドア制御方法。 - 前記ビデオストリームに基づいてドア開け意図情報を特定することは、
前記ビデオストリーム中の直近に収集された複数のフレーム画像における人体領域の面積を特定することと、
前記直近に収集された複数のフレーム画像における人体領域の面積に基づいて、前記ドア開け意図情報を特定することと、
を含むことを特徴とする請求項2に記載の車両のドア制御方法。 - 前記直近に収集された複数のフレーム画像における人体領域の面積に基づいて、前記ドア開け意図情報を特定することは、
前記直近に収集された複数のフレーム画像における人体領域の面積がいずれも第1所定面積よりも大きい場合、前記ドア開け意図情報が意図的なドア開けであると特定すること、又は、
前記直近に収集された複数のフレーム画像における人体領域の面積が次第に大きくなる場合、前記ドア開け意図情報が意図的なドア開けであると特定することを含むことを特徴とする請求項6に記載の車両のドア制御方法。 - 前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することは、
前記顔識別結果が顔識別に成功したことであり、かつ前記ドア開け意図情報が意図的なドア開けである場合、前記制御情報が前記車両の少なくとも1つのドアを開ける制御を含むと決定することを含むことを特徴とする請求項2~7のいずれか1項に記載の車両のドア制御方法。 - 前記顔識別結果に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定する前に、
前記ビデオストリーム中の少なくとも1枚の画像に対して物体検出を行い、人の物携帯情報を特定することをさらに含み、
前記顔識別結果に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することは、
前記顔識別結果及び前記人の物携帯情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することを含むことを特徴とする請求項1~7のいずれか1項に記載の車両のドア制御方法。 - 前記顔識別結果及び前記人の物携帯情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することは、
前記顔識別結果が顔識別に成功したことであり、かつ前記人の物携帯情報は前記人が物を携帯していることである場合、前記制御情報が前記車両の少なくとも1つのドアを開ける制御を含むと決定することを含むことを特徴とする請求項9に記載の車両のドア制御方法。 - 前記顔識別結果及び前記人の物携帯情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することは、
前記顔識別結果が顔識別に成功したことであり、かつ前記人の物携帯情報は前記人が所定種類の物を携帯していることである場合、前記制御情報が前記車両のバックドアを開ける制御を含むと決定することを含むことを特徴とする請求項9に記載の車両のドア制御方法。 - 前記顔識別結果に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定する前に、
前記ビデオストリーム中の少なくとも1枚の画像に対して物体検出を行い、人の物携帯情報を特定することをさらに含み、
前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することは、
前記顔識別結果、前記ドア開け意図情報及び前記人の物携帯情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することを含むことを特徴とする請求項2~7のいずれか1項に記載の車両のドア制御方法。 - 前記顔識別結果、前記ドア開け意図情報及び前記人の物携帯情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することは、
前記顔識別結果が顔識別に成功したことであり、前記ドア開け意図情報が意図的なドア開けであり、かつ前記人の物携帯情報は前記人が物を携帯していることである場合、前記制御情報が前記車両の少なくとも1つのドアを開ける制御を含むと決定すること、又は、
前記顔識別結果が顔識別に成功したことであり、前記ドア開け意図情報が意図的なドア開けであり、かつ前記人の物携帯情報は前記人が所定種類の物を携帯していることである場合、前記制御情報が前記車両のバックドアを開ける制御を含むと決定することを含むことを特徴とする請求項12に記載の車両のドア制御方法。 - 前記ビデオストリーム中の少なくとも1枚の画像に対して物体検出を行い、人の物携帯情報を特定することは、
前記ビデオストリーム中の少なくとも1枚の画像に対して物体検出を行い、物体検出結果を得ることと、
前記物体検出結果に基づいて前記人の物携帯情報を特定することと、
を含むことを特徴とする請求項9~13のいずれか1項に記載の車両のドア制御方法。 - 前記ビデオストリーム中の少なくとも1枚の画像に対して物体検出を行い、物体検出結果を得ることは、
前記ビデオストリーム中の少なくとも1枚の画像における人体のバウンディングボックスを検出することと、
前記バウンディングボックスに対応する領域に対して物体検出を行い、物体検出結果を得ることと、
を含むことを特徴とする請求項14に記載の車両のドア制御方法。 - 前記物体検出結果に基づいて前記人の物携帯情報を特定することは、
前記物体検出結果は物が検出されたことである場合、前記物と前記人の手部との距離を取得し、前記距離に基づいて前記人の物携帯情報を特定すること、又は、
前記物体検出結果は物が検出されたことである場合、前記物と前記人の手部との距離及び前記物のサイズを取得し、前記距離及び前記サイズに基づいて前記人の物携帯情報を特定すること、又は、
前記物体検出結果は物が検出されたことである場合、前記物のサイズを取得し、前記サイズに基づいて前記人の物携帯情報を特定することを含むことを特徴とする請求項14又は15に記載の車両のドア制御方法。 - 前記距離及び前記サイズに基づいて前記人の物携帯情報を特定することは、
前記距離が所定距離以下であり、かつ前記サイズが所定サイズ以上である場合、前記人の物携帯情報は前記人が物を携帯していることであると特定することを含むことを特徴とする請求項16に記載の車両のドア制御方法。 - 前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することは、
車両のバックドアに設けられる画像収集モジュールによるビデオストリームの収集を制御することを含むことを特徴とする請求項16又は17に記載の車両のドア制御方法。 - 前記制御情報が前記車両のバックドアを開ける制御を含むと決定した後に、
前記車両の室内部に設けられる画像収集モジュールが収集したビデオストリームに基づいて前記人が前記室内部を離れたと特定した場合、又は前記人のドア開け意図情報が意図的な降車であると検出した場合、前記バックドアを開けるように制御することをさらに含むことを特徴とする請求項17又は18に記載の車両のドア制御方法。 - 前記顔識別結果、前記ドア開け意図情報及び前記人の物携帯情報に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定することは、
前記顔識別結果が顔識別に成功しかつ運転者ではないことであり、前記ドア開け意図情報が意図的なドア開けであり、かつ前記人の物携帯情報は物を携帯していることである場合、前記制御情報が前記車両の運転席ドアでない少なくとも1つのドアを開ける制御を含むと決定することを含むことを特徴とする請求項12~19のいずれか1項に記載の車両のドア制御方法。 - 前記ドアを開けるように制御した後に、
ドア自動閉条件を満たす場合、前記ドアを閉めるように制御するか、又は、前記ドアを閉めてロックするように制御することをさらに含み、
前記ドア自動閉条件は、
前記ドアを開けるように制御するドア開け意図情報が意図的な乗車であり、かつ前記車両の室内部の画像収集モジュールが収集したビデオストリームに基づいて乗車意図がある人が着席したと特定したこと、
前記ドアを開けるように制御するドア開け意図情報が意図的な降車であり、かつ前記車両の室内部の画像収集モジュールが収集したビデオストリームに基づいて降車意図がある人が前記室内部を離れたと特定したこと、及び
前記ドアの開いている期間が第2所定期間に達したこと、
のうちの1つ又は複数を含むことを特徴とする請求項1~20のいずれか1項に記載の車両のドア制御方法。 - 前記顔識別は、顔認証、生体検出及び権限認証のうちの1つ又は複数を含み、
前記ビデオストリーム中の少なくとも1枚の画像に基づいて顔識別を行うことは、
前記ビデオストリーム中の第1画像及び予め登録された顔特徴に基づいて顔認証を行うこと、
前記画像収集モジュールにおける深度センサによって前記ビデオストリーム中の第1画像に対応する第1深度マップを取得し、前記第1画像及び前記第1深度マップに基づいて生体検出を行うこと、及び
前記ビデオストリーム中の第1画像に基づいて前記人のドア開け権限情報を取得し、前記人のドア開け権限情報に基づいて権限認証を行うこと、
のうちの1つ又は複数を含むことを特徴とする請求項1~21のいずれか1項に記載の車両のドア制御方法。 - 前記人のドア開け権限情報は、前記人がドア開け権限を持つドアの情報、前記人がドア開け権限を持つ時間、及び前記人に対応するドア開け権限の回数のうちの1つ又は複数を含み、
前記人がドア開け権限を持つドアの情報は、一部のドア、すべてのドア又はバックドアを含むことを特徴とする請求項22に記載の車両のドア制御方法。 - 前記画像収集モジュールが収集した顔画像に基づいて利用者の登録を行うことと、
車両所有者に対応する端末である第1端末が収集又はアップデートした顔画像に基づいて遠隔登録を行い、収集又はアップデートされた顔画像を含む登録情報を前記車両に送信することのうちの1つまたは2つをさらに含むことを特徴とする請求項1~23のいずれか1項に記載の車両のドア制御方法。 - 前記第1端末がアップデートした顔画像は、一時利用者に対応する端末である第2端末が前記第1端末に送信した顔画像を含み、
前記登録情報は、前記アップデートされた顔画像に対応するドア開け権限情報をさらに含むことを特徴とする請求項24に記載の車両のドア制御方法。 - 前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することは、
車両の室外部に設けられる画像収集モジュールによる車外のビデオストリームの収集を制御すること、及び
車両の室内部に設けられる画像収集モジュールによる車内のビデオストリームの収集を制御すること、
のうちの少なくとも1つを含むことを特徴とする請求項1~25のいずれか1項に記載の車両のドア制御方法。 - 前記車両の室内部に設けられる画像収集モジュールによる車内のビデオストリームの収集を制御することは、
前記車両の走行速度が0であり、かつ前記車両内に人がいる場合、車両の室内部に設けられる画像収集モジュールによる車内のビデオストリームの収集を制御することを含むことを特徴とする請求項26に記載の車両のドア制御方法。 - 前記車両の搭乗者による座席調節情報を取得することと、
前記搭乗者による座席調節情報に基づいて、前記搭乗者に対応する座席嗜好情報を生成又は更新すること、又は、前記搭乗者が着席した座席の位置情報、及び前記搭乗者による座席調節情報に基づいて、前記搭乗者に対応する座席嗜好情報を生成又は更新することと、
をさらに含むことを特徴とする請求項1~27のいずれか1項に記載の車両のドア制御方法。 - 前記顔識別結果に基づいて、搭乗者に対応する座席嗜好情報を取得することと、
前記搭乗者に対応する座席嗜好情報に基づいて、前記搭乗者が着席した座席を調節すること、又は、前記搭乗者が着席した座席の位置情報、及び前記搭乗者に対応する座席嗜好情報に基づいて、前記搭乗者が着席した座席を調節することと、
をさらに含むことを特徴とする請求項1~28のいずれか1項に記載の車両のドア制御方法。 - 前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御する前に、
前記車両に設けられるブルートゥースモジュールによってプリセット識別子を有するブルートゥースデバイスを検索することと、
前記プリセット識別子を有するブルートゥースデバイスが検索されたことに応じて、前記ブルートゥースモジュールと前記プリセット識別子を有するブルートゥースデバイスとのブルートゥースペアリング接続を確立することと、
前記ブルートゥースペアリング接続の成功に応じて、前記車両に設けられる顔識別モジュールをウェイクアップさせることと、
をさらに含み、
前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することは、
ウェイクアップされた前記顔識別モジュールによって、前記画像収集モジュールによるビデオストリームの収集を制御することを含むことを特徴とする請求項1~29のいずれか1項に記載の車両のドア制御方法。 - 前記車両に設けられるブルートゥースモジュールによってプリセット識別子を有するブルートゥースデバイスを検索することは、
前記車両がイグニッションオフ状態にあるとき、又はイグニッションがオフでかつドアロックの状態にあるとき、前記車両に設けられるブルートゥースモジュールによってプリセット識別子を有するブルートゥースデバイスを検索することを含むことを特徴とする請求項30に記載の車両のドア制御方法。 - 前記車両に設けられる顔識別モジュールをウェイクアップさせた後に、
所定時間内に顔画像が取得されていない場合、前記顔識別モジュールがスリープ状態に入るように制御すること、
所定時間内に顔識別をパスしていない場合、前記顔識別モジュールがスリープ状態に入るように制御すること、及び
前記車両の走行速度が0でない場合、前記顔識別モジュールがスリープ状態に入るように制御することのうちの少なくとも1つをさらに含むことを特徴とする請求項30又は31に記載の車両のドア制御方法。 - 前記第1画像及び前記第1深度マップに基づいて生体検出を行うことは、
前記第1画像に基づいて前記第1深度マップを更新して、第2深度マップを得ることと、
前記第1画像及び前記第2深度マップに基づいて生体検出結果を特定することと、
を含むことを特徴とする請求項22に記載の車両のドア制御方法。 - 前記第1画像に基づいて前記第1深度マップを更新して、第2深度マップを得ることは、
前記第1画像に基づいて前記第1深度マップにおける深度失効画素の深度値を更新して、前記第2深度マップを得ることを含むことを特徴とする請求項33に記載の車両のドア制御方法。 - 前記第1画像に基づいて前記第1深度マップを更新して、第2深度マップを得ることは、
前記第1画像に基づいて、前記第1画像における複数の画素の深度予測値及び前記複数の画素間の関連度を示す関連情報を決定することと、
前記複数の画素の深度予測値及び関連情報に基づいて前記第1深度マップを更新して、第2深度マップを得ることと、を含むことを特徴とする請求項33又は34に記載の車両のドア制御方法。 - 前記複数の画素の深度予測値及び関連情報に基づいて前記第1深度マップを更新して、第2深度マップを得ることは、
前記第1深度マップにおける深度失効画素を決定することと、
前記複数の画素の深度予測値から前記深度失効画素の深度予測値及び前記深度失効画素の複数の周辺画素の深度予測値を取得することと、
前記複数の画素の関連情報から前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度を取得することと、
前記深度失効画素の深度予測値、前記深度失効画素の複数の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することと、
を含むことを特徴とする請求項35に記載の車両のドア制御方法。 - 前記深度失効画素の深度予測値、前記深度失効画素の複数の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することは、
前記深度失効画素の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することと、
前記深度失効画素の深度予測値及び前記深度関連値に基づいて、前記深度失効画素の更新後の深度値を決定することと、
を含むことを特徴とする請求項36に記載の車両のドア制御方法。 - 前記深度失効画素の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することは、
前記深度失効画素と各周辺画素との関連度を前記各周辺画素の重みとして、前記深度失効画素の複数の周辺画素の深度予測値に対して重み付け加算処理を行って、前記深度失効画素の深度関連値を得ることを含むことを特徴とする請求項37に記載の車両のドア制御方法。 - 前記第1画像に基づいて前記第1画像における複数の画素の深度予測値を決定することは、
前記第1画像及び前記第1深度マップに基づいて、前記第1画像における複数の画素の深度予測値を決定することを含むことを特徴とする請求項35~38のいずれか1項に記載の車両のドア制御方法。 - 前記第1画像及び前記第1深度マップに基づいて、前記第1画像における複数の画素の深度予測値を決定することは、
前記第1画像及び前記第1深度マップを深度予測ニューラルネットワークに入力して処理して、前記第1画像における複数の画素の深度予測値を得ることを含むことを特徴とする請求項39に記載の車両のドア制御方法。 - 前記第1画像及び前記第1深度マップに基づいて、前記第1画像における複数の画素の深度予測値を決定することは、
前記第1画像及び前記第1深度マップに対して融合処理を行って融合結果を得ることと、
前記融合結果に基づいて前記第1画像における複数の画素の深度予測値を決定することと、
を含むことを特徴とする請求項39又は40に記載の車両のドア制御方法。 - 前記第1画像に基づいて、前記第1画像における複数の画素の関連情報を決定することは、
前記第1画像を関連度検出ニューラルネットワークに入力して処理して、前記第1画像における複数の画素の関連情報を得ることを含むことを特徴とする請求項35~41のいずれか1項に記載の車両のドア制御方法。 - 前記第1画像に基づいて前記第1深度マップを更新することは、
前記第1画像から顔の画像を取得することと、
前記顔の画像に基づいて前記第1深度マップを更新することを特徴とする請求項33~42のいずれか1項に記載の車両のドア制御方法。 - 前記第1画像から顔の画像を取得することは、
前記第1画像における顔のキーポイント情報を取得することと、
前記顔のキーポイント情報に基づいて前記第1画像から前記顔の画像を取得することと、
を含むことを特徴とする請求項43に記載の車両のドア制御方法。 - 前記第1画像における顔のキーポイント情報を取得することは、
前記第1画像に対して顔検出を行って顔が存在する領域を得ることと、
前記顔が存在する領域の画像に対してキーポイント検出を行って前記第1画像における前記顔のキーポイント情報を得ることと、
を含むことを特徴とする請求項44に記載の車両のドア制御方法。 - 前記第1画像に基づいて前記第1深度マップを更新して、第2深度マップを得ることは、
前記第1深度マップから顔の深度マップを取得することと、
前記第1画像に基づいて前記顔の深度マップを更新して、前記第2深度マップを得ることと、
を含むことを特徴とする請求項33~45のいずれか1項に記載の車両のドア制御方法。 - 前記第1画像及び前記第2深度マップに基づいて生体検出結果を特定することは、
前記第1画像及び前記第2深度マップを生体検出ニューラルネットワークに入力して処理して、生体検出結果を得ることを含むことを特徴とする請求項33~46のいずれか1項に記載の車両のドア制御方法。 - 前記第1画像及び前記第2深度マップに基づいて生体検出結果を特定することは、
前記第1画像に対して特徴抽出処理を行って第1特徴情報を得ることと、
前記第2深度マップに対して特徴抽出処理を行って第2特徴情報を得ることと、
前記第1特徴情報及び前記第2特徴情報に基づいて生体検出結果を特定することと、
を含むことを特徴とする請求項33~47のいずれか1項に記載の車両のドア制御方法。 - 前記第1特徴情報及び前記第2特徴情報に基づいて生体検出結果を特定することは、
前記第1特徴情報及び前記第2特徴情報に対して融合処理を行って第3特徴情報を得ることと、
前記第3特徴情報に基づいて生体検出結果を特定することと、
を含むことを特徴とする請求項48に記載の車両のドア制御方法。 - 前記第3特徴情報に基づいて生体検出結果を特定することは、
前記第3特徴情報に基づいて前記顔が生体である確率を得ることと、
前記顔が生体である確率に基づいて顔の生体検出結果を特定することと、
を含むことを特徴とする請求項49に記載の車両のドア制御方法。 - 前記顔識別結果を得た後に、
前記顔識別結果が顔識別の失敗であることに応じて、前記車両に設けられるパスワードロック解除モジュールをアクティブ化して、パスワードによるロック解除プロセスを起動することをさらに含むことを特徴とする請求項1~50のいずれか1項に記載の車両のドア制御方法。 - 車両に設けられる画像収集モジュールによるビデオストリームの収集を制御する第1制御モジュールと、
前記ビデオストリーム中の少なくとも1枚の画像に基づいて顔識別を行い、顔識別結果を得る顔識別モジュールと、
前記顔識別結果に基づいて、前記車両の少なくとも1つのドアに対応する制御情報を決定する第1決定モジュールと、
前記制御情報が前記車両のいずれかのドアを開ける制御を含む場合、前記ドアの状態情報を取得する第1取得モジュールと、
前記ドアの状態情報がロック解除されていないことである場合、前記ドアをロック解除して開けるように制御するか、及び/又は、前記ドアの状態情報がロック解除されたが開いていないことである場合、前記ドアを開けるように制御する第2制御モジュールと、
を備えることを特徴とする車両のドア制御装置。 - メモリと、物体検出モジュールと、顔識別モジュールと、画像収集モジュールとを備え、前記顔識別モジュールは、前記メモリ、前記物体検出モジュール及び前記画像収集モジュールにそれぞれ接続され、前記物体検出モジュールは、前記画像収集モジュールに接続され、前記顔識別モジュールには、ドアドメインコントローラに接続するための通信インタフェースがさらに設けられ、前記顔識別モジュールは、前記通信インタフェースを介して前記ドアドメインコントローラにドアのロック解除及びポップアップのための制御情報を送信することを特徴とする車両のドア制御システム。
- 前記顔識別モジュールに接続されるブルートゥースモジュールをさらに備え、前記ブルートゥースモジュールは、プリセット識別子を有するブルートゥースデバイスとのブルートゥースペアリング接続に成功したとき、又は前記プリセット識別子を有するブルートゥースデバイスが検索されたとき、前記顔識別モジュールをウェイクアップさせるマイクロプロセッサと、前記マイクロプロセッサに接続されるブルートゥースセンサとを有することを特徴とする請求項53に記載の車両のドア制御システム。
- 前記画像収集モジュールは、イメージセンサ及び深度センサを含むことを特徴とする請求項53又は54に記載の車両のドア制御システム。
- 前記深度センサは、2つの赤外線カメラがイメージセンサのカメラの両側に設けられる両眼赤外線センサを含むことを特徴とする請求項55に記載の車両のドア制御システム。
- 前記画像収集モジュールは、前記両眼赤外線センサの赤外線カメラと前記イメージセンサのカメラとの間に設けられ、前記イメージセンサ用の補助光ランプと前記深度センサ用の補助光ランプのうちの少なくとも一つを含む少なくとも1つの補助光ランプをさらに含むことを特徴とする請求項56に記載の車両のドア制御システム。
- 前記画像収集モジュールは、前記深度センサのカメラと前記イメージセンサのカメラとの間に設けられるレーザーをさらに含むことを特徴とする請求項55~57のいずれか1項に記載の車両のドア制御システム。
- 前記顔識別モジュールに接続され、ドアをロック解除するためのパスワードロック解除モジュールをさらに備えることを特徴とする請求項53~58のいずれか1項に記載の車両のドア制御システム。
- 前記パスワードロック解除モジュールは、タッチスクリーン及びキーボードのうちの1つ又は2つを有することを特徴とする請求項59に記載の車両のドア制御システム。
- 前記顔識別モジュールに接続される電池モジュールをさらに備えることを特徴とする請求項53~60のいずれか1項に記載の車両のドア制御システム。
- 請求項53~61のいずれか1項に記載の車両のドア制御システムを含み、前記車両のドア制御システムが前記車両のドアドメインコントローラに接続されることを特徴とする車両。
- 前記画像収集モジュールは、前記車両の室外部に設けられるか、及び/又は、前記画像収集モジュールは、前記車両の室内部に設けられることを特徴とする請求項62に記載の車両。
- 前記画像収集モジュールは、前記車両のBピラー、少なくとも1つのドア、および少なくとも1つのバックミラーのうちの少なくとも1つに設けられることを特徴とする請求項63に記載の車両。
- 前記顔識別モジュールは、前記車両内に設けられ、CANバスを介して前記ドアドメインコントローラに接続されることを特徴とする請求項62~64のいずれか1項に記載の車両。
- プロセッサと、
プロセッサにより実行可能な命令を記憶するメモリと、
を含む電子機器であって、
前記プロセッサは、請求項1~51のいずれか1項に記載の車両のドア制御方法を実行するように構成されることを特徴とする電子機器。 - コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、請求項1~51のいずれか1項に記載の車両のドア制御方法を実現させることを特徴とするコンピュータ読み取り可能な記憶媒体。
- コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに請求項1~51のいずれか1項に記載の車両のドア制御方法を実現するための命令を実行させることを特徴とするコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911006853.5A CN110765936B (zh) | 2019-10-22 | 2019-10-22 | 车门控制方法及装置、***、车、电子设备和存储介质 |
CN201911006853.5 | 2019-10-22 | ||
PCT/CN2020/092601 WO2021077738A1 (zh) | 2019-10-22 | 2020-05-27 | 车门控制方法及装置、***、车、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022549656A true JP2022549656A (ja) | 2022-11-28 |
Family
ID=69332728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022518839A Abandoned JP2022549656A (ja) | 2019-10-22 | 2020-05-27 | 車両のドア制御方法及び装置、システム、車両、電子機器並びに記憶媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220024415A1 (ja) |
JP (1) | JP2022549656A (ja) |
KR (1) | KR20220066155A (ja) |
CN (2) | CN114937294A (ja) |
SG (1) | SG11202110895QA (ja) |
WO (1) | WO2021077738A1 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114937294A (zh) * | 2019-10-22 | 2022-08-23 | 上海商汤智能科技有限公司 | 车门控制方法及装置、***、车、电子设备和存储介质 |
CN111332252B (zh) * | 2020-02-19 | 2022-11-29 | 上海商汤临港智能科技有限公司 | 车门解锁方法、装置、***、电子设备和存储介质 |
CN111401153A (zh) * | 2020-02-28 | 2020-07-10 | 中国建设银行股份有限公司 | 封闭式自助设备出入控制的方法和装置 |
CN113421358B (zh) * | 2020-03-03 | 2023-05-09 | 比亚迪股份有限公司 | 车锁控制***、车锁控制方法及车辆 |
CN212447430U (zh) * | 2020-03-30 | 2021-02-02 | 上海商汤临港智能科技有限公司 | 车门解锁*** |
CN113548010A (zh) * | 2020-04-15 | 2021-10-26 | 长城汽车股份有限公司 | 基于人脸识别的无钥匙进入的控制***和方法 |
CN111516640B (zh) * | 2020-04-24 | 2022-01-04 | 上海商汤临港智能科技有限公司 | 车门控制方法、车辆、***、电子设备和存储介质 |
CN112351915A (zh) * | 2020-04-24 | 2021-02-09 | 上海商汤临港智能科技有限公司 | 车辆和车舱域控制器 |
CN111739201A (zh) * | 2020-06-24 | 2020-10-02 | 上海商汤临港智能科技有限公司 | 车辆的交互方法及装置、电子设备、存储介质和车辆 |
CN114066956B (zh) * | 2020-07-27 | 2024-07-12 | 南京行者易智能交通科技有限公司 | 一种公交车车门开闭状态检测的模型训练方法、检测方法、装置,及移动端设备 |
CN213056931U (zh) * | 2020-08-11 | 2021-04-27 | 上海商汤临港智能科技有限公司 | 车辆 |
CN111915641A (zh) * | 2020-08-12 | 2020-11-10 | 四川长虹电器股份有限公司 | 一种基于tof技术的车辆测速方法及*** |
US20220063559A1 (en) * | 2020-08-25 | 2022-03-03 | Deere & Company | Work vehicle, door state determination system, and method of determining state of work vehicle door |
EP4009677A1 (en) * | 2020-12-01 | 2022-06-08 | Nordic Semiconductor ASA | Synchronization of auxiliary activity |
CN112590706A (zh) * | 2020-12-18 | 2021-04-02 | 上海傲硕信息科技有限公司 | 无感人脸识别车门解锁*** |
CN112684722A (zh) * | 2020-12-18 | 2021-04-20 | 上海傲硕信息科技有限公司 | 低功耗电源控制电路 |
US20220316261A1 (en) * | 2021-03-30 | 2022-10-06 | Ford Global Technologies, Llc | Vehicle closure assembly actuating method and system |
CN113279652A (zh) * | 2021-05-31 | 2021-08-20 | 的卢技术有限公司 | 一种车门防夹控制方法、装置、电子设备及可读存储介质 |
SE545778C2 (en) * | 2021-09-24 | 2024-01-09 | Assa Abloy Ab | Electronic lock comprising a first credential interface and a second credential interface |
CN114619993B (zh) * | 2022-03-16 | 2023-06-16 | 上海齐感电子信息科技有限公司 | 基于人脸识别汽车控制方法及其***、设备及存储介质 |
CN114906094B (zh) * | 2022-04-21 | 2023-11-14 | 重庆金康赛力斯新能源汽车设计院有限公司 | 一种控制汽车后背门的方法、控制装置、设备及存储介质 |
DE102022204236B3 (de) | 2022-04-29 | 2023-06-07 | Volkswagen Aktiengesellschaft | Notentriegelung eines Kraftfahrzeugs |
FR3135482B1 (fr) * | 2022-05-11 | 2024-05-10 | Vitesco Technologies | Système de gestion d’un capteur de détection d’une intention d’ouvrir et/ou déverrouiller un ouvrant du véhicule automobile |
CN116006049A (zh) * | 2023-01-03 | 2023-04-25 | 重庆长安汽车股份有限公司 | 车辆电动门防撞方法、装置、电子设备及存储介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090243791A1 (en) * | 2008-03-28 | 2009-10-01 | Partin Dale L | Mini fob with improved human machine interface |
US10052935B2 (en) * | 2016-01-20 | 2018-08-21 | Livio, Inc. | Feature description data for vehicle zone configuration |
CN107719303A (zh) * | 2017-09-05 | 2018-02-23 | 观致汽车有限公司 | 一种车辆门窗开启控制***、方法及车辆 |
CN108343342A (zh) * | 2018-01-24 | 2018-07-31 | 金龙联合汽车工业(苏州)有限公司 | 客车安全行车门控***及控制方法 |
CN108846924A (zh) * | 2018-05-31 | 2018-11-20 | 上海商汤智能科技有限公司 | 车辆及车门解锁控制方法、装置和车门解锁*** |
CN109522843B (zh) * | 2018-11-16 | 2021-07-02 | 北京市商汤科技开发有限公司 | 一种多目标跟踪方法及装置、设备和存储介质 |
CN109882019B (zh) * | 2019-01-17 | 2021-03-26 | 同济大学 | 一种基于目标检测和动作识别的汽车电动尾门开启方法 |
CN110259323A (zh) * | 2019-06-18 | 2019-09-20 | 威马智慧出行科技(上海)有限公司 | 汽车车门控制方法、电子设备及汽车 |
CN110335389B (zh) * | 2019-07-01 | 2021-10-12 | 上海商汤临港智能科技有限公司 | 车门解锁方法及装置、***、车、电子设备和存储介质 |
CN114937294A (zh) * | 2019-10-22 | 2022-08-23 | 上海商汤智能科技有限公司 | 车门控制方法及装置、***、车、电子设备和存储介质 |
-
2019
- 2019-10-22 CN CN202210441785.0A patent/CN114937294A/zh active Pending
- 2019-10-22 CN CN201911006853.5A patent/CN110765936B/zh active Active
-
2020
- 2020-05-27 WO PCT/CN2020/092601 patent/WO2021077738A1/zh active Application Filing
- 2020-05-27 JP JP2022518839A patent/JP2022549656A/ja not_active Abandoned
- 2020-05-27 SG SG11202110895QA patent/SG11202110895QA/en unknown
- 2020-05-27 KR KR1020227013533A patent/KR20220066155A/ko not_active Application Discontinuation
-
2021
- 2021-09-29 US US17/489,686 patent/US20220024415A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20220024415A1 (en) | 2022-01-27 |
CN110765936A (zh) | 2020-02-07 |
CN114937294A (zh) | 2022-08-23 |
CN110765936B (zh) | 2022-05-06 |
WO2021077738A1 (zh) | 2021-04-29 |
KR20220066155A (ko) | 2022-05-23 |
SG11202110895QA (en) | 2021-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022549656A (ja) | 車両のドア制御方法及び装置、システム、車両、電子機器並びに記憶媒体 | |
WO2021000587A1 (zh) | 车门解锁方法及装置、***、车、电子设备和存储介质 | |
JP7035270B2 (ja) | 車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体 | |
US20210001810A1 (en) | System, method, and computer program for enabling operation based on user authorization | |
JP7106768B2 (ja) | 車両のドアロック解除方法、装置、システム、電子機器及び記憶媒体 | |
US20180247504A1 (en) | Identification of suspicious persons using audio/video recording and communication devices | |
CN113752983B (zh) | 一种基于人脸识别/人眼识别的车辆解锁控制***和方法 | |
US20180307903A1 (en) | Sharing Identification Data with Audio/Video Recording and Communication Devices and Local Processing of the Shared Data | |
CN111845631A (zh) | 一种车辆启动方法、装置、设备及存储介质 | |
CN112330846A (zh) | 车辆控制的方法、装置、存储介质及电子设备和车辆 | |
CN115776957A (zh) | 基于驾驶员识别激活车辆的安全性模式 | |
KR101337554B1 (ko) | 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적 장치 및 그 방법 | |
KR101947040B1 (ko) | 테일 게이트 작동 시스템 및 그 방법 | |
JP7445207B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20240095317A1 (en) | Method and System For Device Access Control | |
CN118298516A (zh) | 一种生物识别控制***、方法及车辆 | |
KR20230087760A (ko) | 차량 및 차량의 제어방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220323 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220323 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20221228 |