CN110059530B - 面部位置检测装置 - Google Patents

面部位置检测装置 Download PDF

Info

Publication number
CN110059530B
CN110059530B CN201811503252.0A CN201811503252A CN110059530B CN 110059530 B CN110059530 B CN 110059530B CN 201811503252 A CN201811503252 A CN 201811503252A CN 110059530 B CN110059530 B CN 110059530B
Authority
CN
China
Prior art keywords
face
unit
face position
detection apparatus
operation screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811503252.0A
Other languages
English (en)
Other versions
CN110059530A (zh
Inventor
松浦义朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN110059530A publication Critical patent/CN110059530A/zh
Application granted granted Critical
Publication of CN110059530B publication Critical patent/CN110059530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种面部位置检测装置，包括：图像分析单元，其被构造为分析由摄像单元拍摄到的面部的图像，并且提取面部中的至少两个特征点之间的位置关系；以及面部位置计算单元，其被构造为计算面部的位置。面部位置计算单元在操作操作画面时，根据拍摄到的面部、摄像单元以及操作单元之间的位置关系来计算面部在空间中的位置，并且在除了操作时之外，根据图像分析单元从拍摄到的面部提取的至少两个特征点之间的位置关系以及在各操作中获得的面部的多个位置与分别和面部的多个位置对应的多个至少两个特征点的之间的位置关系，来计算面部在空间中的位置。

Description

面部位置检测装置
相关申请的交叉引用
本申请基于2017年12月11日向日本专利局提交的日本专利申请No.2017-236658，此处以引证的方式将该申请的整个内容并入本文中。
技术领域
本发明涉及一种用于检测车辆驾驶员等的面部位置的装置。
背景技术
在车辆中，存在对被构造为确定驾驶员看着哪里并因此执行预定控制的应用的需要。例如，在驾驶员正看着后视镜的情况下，在后视镜上显示消息或图像，或者在驾驶员应检查仪表时驾驶员未观看仪表的情况下，向驾驶员发出警告。在确定这种视觉识别部分时，有必要检测驾驶员的视线方向和空间中的面部位置(例如，与基准位置的距离)。
驾驶员面部检测单元的示例是包括摄像头的驾驶员监视单元。驾驶员监视单元是一种装置，其根据由摄像头捕捉的驾驶员的面部图像来监视驾驶员的状态，并且在驾驶员打瞌睡或在驾驶期间旁视的情况下执行诸如发出警报的预定控制。从由驾驶员监视单元获得的面部图像，可以获得与视线方向有关的信息；然而，无法获得与空间中的面部位置有关的信息。因此，不可以仅从由驾驶员监视单元获得的面部图像来确定驾驶员正看着哪里。
JP 2007-230369 A公开了从驾驶员的面部图像检测驾驶员的面部方向(角度)和视线方向，并且根据它们对车内装置执行预定控制(喇叭音量控制等)。然而，因为不可以利用该方法检测空间中的面部位置，所以不可以确定驾驶员正看着哪里。另外，JP 2012-208714 A和JP 2014-49023 A中的每一个公开了根据用户的面部与触控面板之间的相对位置关系校正触控面板上的所检测按压位置。然而，同样根据这些文献，不可以检测空间中的面部位置。
作为检测空间中的面部位置的方法，可设想设置多个摄像头或设置专用传感器。然而，凭借这些方法，部件的数量增加，构造变得复杂，而且成本高。
发明内容
本发明的目的是实现一种能够在没有复杂构造的情况下检测空间中的面部位置的面部位置检测装置。
根据本发明的面部位置检测装置包括：摄像单元，其被构造为对用户的面部进行摄像；操作单元，其被构造为接收用户操作操作画面而进行的预定输入；图像分析单元，其被构造为分析由摄像单元拍摄到的面部的图像，并且提取图像中的面部中的至少两个特征点之间的位置关系；以及面部位置计算单元，其被构造为计算由摄像单元拍摄到的面部的位置。在操作操作画面时，面部位置计算单元根据拍摄到的面部、摄像单元以及操作单元之间的位置关系计算面部在空间中的位置。除了操作时之外，面部位置计算单元根据图像分析单元从拍摄到的面部提取的至少两个特征点之间的位置关系、以及在各操作中获得的面部的多个位置与分别和面部的多个位置对应的多个特征点之间的位置关系，来计算面部在空间中的位置。
根据这种面部位置检测装置，在操作操作单元时，从面部图像提取特征点之间的位置关系(例如，眼睛之间的间隔)，并且根据拍摄到的面部、摄像单元以及操作单元之间的位置关系计算空间中的面部位置。在不操作操作单元时，根据从面部图像提取的特征点之间的位置关系以及在各操作时获得的多个面部位置与特征点之间的位置关系计算空间中的面部位置。因此，可以在不设置多个摄像单元或设置专用传感器的情况下利用简单构造来检测空间中的面部位置。
在本发明中，在操作操作画面时，面部位置计算单元可以根据面部相对于摄像单元的角度、用户观看操作画面的视线角度、以及从摄像单元到操作画面上的操作点的距离，来以几何学的方式计算面部在空间中的位置。
本发明可以包括近似表达式生成单元，其被构造为生成用于从至少两个特征点的位置关系来计算面部的位置的近似表达式。近似表达式生成单元收集通过以下方式获得的统计数据：使在操作画面的各操作时由图像分析单元提取的至少两个特征点的位置关系与在操作画面的各操作时由面部位置计算单元计算的面部的位置关联起来，并且近似表达式生成单元根据统计数据来生成近似表达式。
在本发明中，近似表达式生成单元可以在每当操作操作画面时更新近似表达式。
本发明还可以包括视觉识别部分判定单元，其被构造为根据面部位置计算单元计算的面部在空间中的位置以及图像分析单元提取的用户的视线方向，来判定用户视觉识别的部分。
在本发明中，面部在空间中的位置可以是从摄像单元到面部的预定部分的距离。
在本发明中，操作单元可以由触控面板来构造。该触控面板可以是在车辆上安装的汽车导航装置的触控面板。
在本发明中，摄像单元可以是在车辆上安装且被构造为监视驾驶员的状态的驾驶员监视单元的摄像头。
根据本发明，可以提供一种能够利用简单构造检测空间中的面部位置的面部位置检测装置。
附图说明
图1是根据本发明的实施方式的面部位置检测装置的框图。
图2是用于说明驾驶员面部的摄像的视图。
图3是用于说明驾驶员的视线方向的视图。
图4是用于说明根据本发明的面部位置检测的原理的视图。
图5是例示了用于计算面部位置的近似表达式的图。
图6是例示了面部位置检测装置的操作的流程图。
图7是根据另一个实施方式的面部位置检测装置的框图。
图8是根据另一个实施方式的操作的流程图。
具体实施方式
下文中，将参照附图描述根据本发明的面部位置检测装置的实施方式。下文中，作为示例，将描述安装在车辆上且被构造为检测驾驶员的面部位置的装置。
首先，将参照图1描述面部位置检测装置的构造。在图1中，面部位置检测装置100由驾驶员监视单元10、触控面板11、操作点检测单元12、面部位置计算单元13、近似表达式生成单元14以及控制单元30构成。驾驶员监视单元10是被构造为在对驾驶员的面部进行摄像的同时监视驾驶员是否处于正常状态下的装置，并且包括摄像头1、信号处理单元2、图像分析单元3以及驾驶员状态检测单元4。
例如，如图2例示的，摄像头1被设置在车辆V的驾驶员座位的仪表板52上。摄像头1的安装位置和安装角度被调节为使得摄像头1可以对就坐在座位51上的驾驶员50的面部50a进行摄像。虚线例示摄像头1的摄像范围。摄像头1构成本发明中的“摄像单元”，并且具有诸如COMS图像传感器的摄像装置。车辆V例如是四轮机动车。驾驶员50是本发明中的“用户”的示例。
信号处理单元2执行诸如将由摄像头1拍摄到的面部的图像信号转换成数字信号的处理。图像分析单元3根据从信号处理单元2输出的图像信号来分析面部图像，提取特征点(例如，眼睛)，并且检测面部角度、视线方向、眼睑的移动等。驾驶员状态检测单元4根据由图像分析单元3获得的分析结果来检测驾驶员50的状态。例如，在眼睑闭上达多于特定时间段的情况下，驾驶员状态检测单元4检测到驾驶员50正在打瞌睡。在视线甚至在驾驶期间指向侧面的情况下，驾驶员状态检测单元4检测到驾驶员50在驾驶期间正看着旁边。由驾驶员状态检测单元4获得的检测结果经由控制单元区域网(CAN)通信单元20发送到在车辆上安装的电子控制单元(ECU)(未例示)。ECU根据检测结果来对车辆执行预定控制(例如，警报的输出)。
触控面板11是本发明中的“操作单元”的示例。在实施方式中，触控面板11是在车辆上安装的汽车导航装置的触控面板。如图2和图3例示的，触控面板11与摄像头1并排地设置在车辆V的驾驶员座位的仪表板52上。如图3例示的，触控面板11具有操作画面11a。触控面板11在驾驶员50操作操作画面11a时接收预定输入。
操作点检测单元12是检测操作画面11a上的操作点P(图3)(即，执行按压操作的位置)的电路。操作点P的位置由被设置为矩阵的开关电极(未例示)的XY坐标来确定，并且被定位在执行按压操作的部分处的开关电极变得导电。由此，检测到操作点P。
在操作触控面板11的操作画面11a时，面部位置计算单元13根据从操作点检测单元12中的检测结果获得的参数Δx以及从图像分析单元3中的分析结果获得的参数θd和θf来计算由摄像头1拍摄到的面部50a的位置。稍后将详细描述这些参数和面部位置的算术表达式。在实施方式中，从图2所例示的摄像头1到面部50a的距离D被计算为空间中的面部位置(绝对位置)。因为预先确定摄像头1在空间中的位置，所以如果关于摄像头位置已知到面部50a的距离D，则可以确定面部50a在空间中的位置。面部位置计算单元13中的计算结果(距离D)经由CAN通信单元20被发送到上述ECU。另外，面部位置计算单元13从图像分析单元3获取将要稍后描述的参数Δd。距离D和参数Δd被发送到近似表达式生成单元14。
近似表达式生成单元14收集通过使操作操作画面11a时的面部位置(距离D)和参数Δd(稍后将描述)与彼此相关联获得的统计数据，并且根据统计数据生成用于计算面部50a在空间中的位置的近似表达式Fn。面部位置计算单元13在不操作操作画面11a时通过使用该近似表达式Fn来计算面部50a的位置。图5例示了近似表达式Fn的示例，并且稍后将描述近似表达式Fn的细节。
控制单元30由包括CPU、存储单元等的微计算机来构造，并且整体控制面部位置检测装置100的操作。因此，控制单元30经由信号线(未例示)连接到面部位置检测装置100的各单元并与各单元进行通信。
注意，图像分析单元3、驾驶员状态检测单元4、面部位置计算单元13以及近似表达式生成单元14的功能实际由软件来实现。
接着，将描述通过使用上述面部位置检测装置100检测空间中的面部位置的原理。
如图3例示的，在驾驶员50操作触控面板11的情况下，驾驶员50将不可避免地查看操作画面11a。因此，驾驶员的视线(由箭头指示)指向操作画面11a上的操作点P。在本发明中，使用该行为来检测面部位置。
如图4例示的，在对触控面板11的操作画面11a中的操作点P执行操作的情况下，从操作点检测单元12的检测结果确定从摄像头1到操作点P的距离Δx。另外，从由摄像头1拍摄到的面部50的图像，获取两个参数，即，面部50a相对于摄像头1的角度(下文中被称为“面部角度”)θd和驾驶员50观看操作画面11a的视线的角度(下文中被称为“视线角度”)θf。进一步地，从面部50a的图像，获取为特征点的眼睛50b、50c之间的位置关系(即，眼睛之间的间隔Δd)。
在图4中，在表示面部50a在空间中的位置的距离D与参数Δx、θd、θf之间建立以下几何关系。
D·sinθd+(D·cosθd)·tanθf＝Δx
因此，距离D可以从以下算术表达式来计算。
D＝Δx/(sinθd+cosθd·tanθf)...(1)
注意，在图4中，距离D是从摄像头1的前面的中心到面部50a上的眼睛50b、50c之间的中点的距离。面部角度θd是摄像头1的光轴与表示距离D的直线之间的角度。视线角度θf是连接操作点P和面部的预定部分(这里，为眼睛50b、50c之间的中点)的直线与和摄像头1的光轴平行且穿过预定部分的垂线之间的角度。
每当对操作画面11a执行操作时，面部位置计算单元13使用在执行操作时获得的参数Δx、θd、θf从上述算术表达式(1)计算距离D，由此，计算空间中的面部位置。然后，面部位置计算单元13向近似表达式生成单元14给出所计算的距离D和从面部图像获取的眼睛之间的间隔Δd。每当操作操作画面11a时，近似表达式生成单元14使从面部位置计算单元13接收的距离D与眼睛之间的间隔Δd彼此相关联地存储。因此，近似表达式生成单元14如图5例示的收集通过使D和Δd与彼此相关联获得的离散统计数据。根据该统计数据，近似表达式生成单元14生成近似表达式Fn，其用于根据眼睛之间的间隔Δd计算距离D(空间中的面部位置)。作为该情况下的近似方法，可以使用诸如插值法或最小二乘法的已知方法。注意，每当在新计算近似表达式Fn时，重写并更新近似表达式Fn。
如上所述，面部位置计算单元13在不操作操作画面11a时通过使用上述近似表达式Fn来计算为空间中的面部位置的距离D。因为摄像头即使在不操作操作画面11a时也对面部50a连续地进行摄像，所以可以实时从图像分析单元3获取眼睛之间的间隔Δd。因此，通过向近似表达式Fn应用所获取的Δd，可以计算在不操作操作画面11a时获得的面部位置。
与这样由面部位置计算单元13计算的面部位置(距离D)有关的信息连同诸如由图像分析单元3提取的视线方向(视线角度θf)的信息一起经由CAN通信单元20被发送到预定ECU。预定ECU根据诸如面部位置和视线方向的信息确定驾驶员50当前视觉识别的部分(例如，设置在仪表板52上的仪表)。
如上所述，在实施方式中，在操作触控面板11时，从面部图像提取眼睛之间的间隔Δd，并且根据通过操作点P确定的距离Δx、从面部图像获得的面部角度θd和视线角度θf以几何学的方式计算从摄像头1道面部50a的距离D，即，面部50a在空间中的位置(上述算术表达式(1))。另外，收集通过使眼睛之间的间隔Δd和此时的距离D与彼此相关联而获得的统计数据，并且从所收集的统计数据生成近似表达式Fn。在不操作触控面板11时，根据从面部图像提取的眼睛之间的间隔Δd和近似表达式Fn计算距离D。因此，可以在不设置多个摄像头或设置专用传感器的情况下利用简单构造来检测面部50a在空间中的位置。特别地，因为在车辆上安装的驾驶员监视单元10的摄像头用作摄像头1，并且还在车辆上安装的汽车导航装置的触控面板用作触控面板11，所以软件的修改在不添加冗余部件的情况下是足够的。
图6是例示了面部位置检测装置100的操作的流程图。驾驶员监视单元100执行步骤S1至S4，面部位置计算单元13执行步骤S5至S11，并且近似表达式生成单元14执行步骤S12至S14。
在步骤S1中，根据点火开关(未例示)等的操作启动驾驶员监视单元10。在步骤S2中，摄像头1开始对驾驶员50的面部50a进行摄像。该摄像在驾驶员监视单元10正操作的同时继续。在步骤S3中，图像分析单元3分析由摄像头1捕捉的面部图像。在步骤S4中，从面部图像提取为特征点的眼睛50b、50c之间的间隔Δd(图4)。注意，驾驶员状态检测单元4根据步骤S3中的分析结果检测驾驶员的状态；然而，因为这不是与本发明直接相关，所以图6中省略该步骤。
在步骤S5中，使用在步骤S4中提取的眼睛之间的间隔Δd和近似表达式生成单元14已经计算的近似表达式Fn计算为面部50a在空间中的位置的距离D(图4)。在步骤S6中，根据来自操作点检测单元12的检测信号的有无确定是否操作触控面板11的操作画面11a。在不操作操作画面11a的情况下(步骤S6：否)，处理返回至步骤S2，并且重复上述操作。在操作操作画面11a的情况下(步骤S6：是)，处理进行至步骤S7。
在步骤S7中，根据操作点检测单元12检测到的操作点P的位置获取从摄像头1至操作点P的距离Δx(图4)。在步骤S8中，获取从面部图像提取的面部角度θd(图4)。在步骤S9中，获取从面部图像提取的视线角度θd(图4)。在步骤S10中，获取从面部图像提取的眼睛50b、50c之间的间隔Δd(图4)。在步骤S11中，通过使用在步骤S7至S9中获取的Δx、θd、θf从上述算术表达式(1)计算距离D，并且以几何学的方式计算面部50a在空间中的位置。
在步骤S12中，彼此相关联地存储在步骤S11中计算的距离D和在步骤S10中获取的眼睛之间的间隔Δd。在步骤S13中，使用在步骤S12中存储的D和Δd的统计数据生成用于计算距离D的近似表达式Fn。在步骤S14中，将上次生成的近似表达式Fn更新为这次在步骤S13中生成的近似表达式Fn。此后，处理返回至步骤S2，并且重复上述的一系列处理。因此，每当操作触控面板11的操作画面11a时，执行步骤S14中的近似表达式Fn的更新。
图7例示了根据本发明的另一个实施方式的面部位置检测装置200。在图7中，与图1中的部分相同的部分由相同附图标记来指示。
在图7的面部位置检测装置中，向图1的面部位置检测装置100的构造添加视觉识别部分判定单元15。在图1的情况下，ECU侧判定驾驶员50视觉识别的部分。在图7的情况下，面部位置检测装置200侧判定驾驶员50视觉识别的部分。
在图7中，视觉识别部分判定单元15被设置在面部位置计算单元13与CAN通信单元20之间，从面部位置计算单元13获取表示空间中的面部位置的距离D。另外，视觉识别部分判定单元15从图像分析单元3获取表示视线方向的视线角度θf。如果确定距离D和视线角度θf，则可以确定驾驶员50视觉识别的部分。因此，视觉识别部分判定单元15根据D和θf判定视觉识别部分。判定结果经由CAN通信单元20被发送到预定ECU。因为其他点与图1的面部位置检测装置100的点相同，所以将省略与图1中的部分重叠的部分的描述。
图8是例示了图7的面部位置检测装置200的操作的流程图。在图8中，与图6中的步骤相同的步骤由相同附图标记来指示。图8的流程图与图6的流程图之间的不同点在于：图6中的步骤S4被步骤S4a代替，并且在图8中的步骤S5之后添加步骤S5a。在步骤S4a中，除了从面部图像提取眼睛之间的间隔Δd之外，还提取视线角度θf。在步骤S5a中，根据在步骤S4a中提取的视线角度θf和在步骤S5中计算的面部位置(距离D)，判定驾驶员50视觉识别的部分。因为其他步骤与图6的步骤相同，所以将省略与图6中的步骤重叠的步骤的描述。
在本发明中，除了上述实施方式之外，还可以采用以下描述的各种实施方式。
在上述实施方式中，描述了以下示例，其中，从统计数据生成近似表达式Fn，所述统计数据通过使操作操作画面11a时的眼睛之间的间隔Δd(特征点的位置关系)与到面部的距离D(空间中的面部位置)关联起来来获得，并且在不操作操作画面11a时使用该近似表达式Fn来计算面部位置。然而，本发明不限于此。例如，可以提供表格，该表格通过使在对操作画面11a执行操作时获得的眼睛之间的间隔Δd与到面部的距离D关联起来来获得。在不操作操作画面11a时，可以通过参照该表来提取与从面部图像获得的眼睛之间的间隔Δd对应的距离D，以计算面部位置。
在上述实施方式中，眼睛50b、50c之间的间隔Δd用作面部的特征点的位置关系的示例。然而，本发明不限于该示例。例如，耳朵之间的距离、眉毛之间的距离、眼睛与耳朵之间的距离、鼻子与耳朵之间的距离等可以用作特征点的位置关系。另外，至少两个特征点是足够的；然而，可以使用三个或更多个特征点。进一步地，特征点之间的位置关系不限于间隔(距离)，并且可以为角度。
在上述实施方式中，从摄像头1到面部50a的预定部分的距离D用作表示空间中的面部位置的参数。然而，本发明不限于此，并且从除了摄像头1之外的部分到面部50a的预定部分的距离D可以表示空间中的面部位置。另外，空间中的面部位置不限于距离D，并且可以由坐标值来表示。
在上述实施方式中，描述了在每当操作触控面板11时从算术表达式(1)计算距离D的示例。然而，本发明不限于该示例。例如，距离D可以针对每两次操作或每三次操作来计算。在这种情况下，在执行操作但不计算距离D时，距离D从近似表达式Fn来计算。
在上述实施方式中，触控面板11用作操作单元的示例。然而，操作单元例如可以是并排设置多个按压型开关按钮的板。
在上述实施方式中，描述了以下示例，其中，控制单元30与图像分析单元3、驾驶员状态检测单元4、面部位置计算单元13以及近似表达式生成单元14分开地设置。然而，图像分析单元3、驾驶员状态检测单元4、面部位置计算单元13以及近似表达式生成单元14可以并入到控制单元30中。
在上述实施方式中，作为示例，描述了用于检测车辆驾驶员的面部的面部位置检测装置。然而，本发明还可以适用于用于另一种用途的面部位置检测装置。

Claims (9)

1.一种面部位置检测装置，该面部位置检测装置包括：
摄像单元，该摄像单元被构造为对用户的面部进行摄像；
操作单元，该操作单元包括操作画面并且被构造为接收所述用户操作所述操作画面而进行的预定输入；
图像分析单元，该图像分析单元被构造为分析由所述摄像单元拍摄到的所述面部的图像，并且提取所述面部中的至少两个特征点之间的位置关系；以及
面部位置计算单元，该面部位置计算单元被构造为计算由所述摄像单元拍摄到的所述面部的位置，
所述面部位置计算单元被构造为在操作所述操作画面时，根据拍摄到的面部、所述摄像单元以及所述操作单元之间的位置关系来计算所述面部在空间中的位置，并且
所述面部位置计算单元被构造为在除了所述操作时之外，根据所述图像分析单元从拍摄到的面部提取的所述至少两个特征点之间的位置关系、以及在各操作中获得的所述面部的多个位置与和所述面部的所述多个位置对应的多个所述至少两个特征点之间的位置关系，来计算所述面部在所述空间中的位置。
2.根据权利要求1所述的面部位置检测装置，其中，在操作所述操作画面时，所述面部位置计算单元根据所述面部相对于所述摄像单元的角度、所述用户观看所述操作画面的视线角度、以及从所述摄像单元到所述操作画面上的操作点的距离，来以几何学的方式计算所述面部在所述空间中的位置。
3.根据权利要求1或2所述的面部位置检测装置，所述面部位置检测装置还包括近似表达式生成单元，该近似表达式生成单元被构造为生成用于根据所述至少两个特征点的位置关系来计算所述面部的位置的近似表达式，
所述近似表达式生成单元被构造为收集通过以下方式获得的统计数据：使在所述操作画面的各操作时由所述图像分析单元提取的所述至少两个特征点的位置关系与在所述操作画面的各操作时由所述面部位置计算单元计算的所述面部的位置关联起来，并且所述近似表达式生成单元被构造为根据所述统计数据来生成所述近似表达式。
4.根据权利要求3所述的面部位置检测装置，其中，所述近似表达式生成单元在每当操作所述操作画面时更新所述近似表达式。
5.根据权利要求1或2所述的面部位置检测装置，该面部位置检测装置还包括视觉识别部分判定单元，该视觉识别部分判定单元被构造为根据所述面部位置计算单元计算的所述面部在所述空间中的位置以及所述图像分析单元提取的所述用户的视线方向，来判定所述用户视觉识别的部分。
6.根据权利要求1或2所述的面部位置检测装置，其中，所述面部在所述空间中的位置是从所述摄像单元到所述面部的预定部分的距离。
7.根据权利要求1或2所述的面部位置检测装置，其中，所述操作单元由触控面板构成。
8.根据权利要求7所述的面部位置检测装置，其中，所述触控面板是在车辆上安装的汽车导航装置的触控面板。
9.根据权利要求1或2所述的面部位置检测装置，其中，所述摄像单元是在车辆上安装且被构造为监视驾驶员的状态的驾驶员监视单元的摄像头。
CN201811503252.0A 2017-12-11 2018-12-10 面部位置检测装置 Active CN110059530B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017236658A JP6791108B2 (ja) 2017-12-11 2017-12-11 顔位置検出装置
JP2017-236658 2017-12-11

Publications (2)

Publication Number Publication Date
CN110059530A CN110059530A (zh) 2019-07-26
CN110059530B true CN110059530B (zh) 2023-07-04

Family

ID=66629467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811503252.0A Active CN110059530B (zh) 2017-12-11 2018-12-10 面部位置检测装置

Country Status (4)

Country Link
US (1) US10776944B2 (zh)
JP (1) JP6791108B2 (zh)
CN (1) CN110059530B (zh)
DE (1) DE102018131805A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6822482B2 (ja) 2016-10-31 2021-01-27 日本電気株式会社 視線推定装置、視線推定方法及びプログラム記録媒体
AU2019369206A1 (en) 2019-12-16 2021-07-01 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for distinguishing a driver and passengers in an image captured inside a vehicle
US11370360B2 (en) 2019-12-25 2022-06-28 Panasonic Intellectual Property Management Co., Ltd. Display system
CN111709348A (zh) * 2020-06-11 2020-09-25 苏州百胜动力机器股份有限公司 一种基于驾驶员面部监视的舷外机安全驾驶控制***
CN111950348A (zh) * 2020-06-29 2020-11-17 北京百度网讯科技有限公司 安全带的佩戴状态识别方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004177315A (ja) * 2002-11-28 2004-06-24 Alpine Electronics Inc 視線方向判定装置及びそれを利用した対話システムならびに運転支援システム
CN101600051A (zh) * 2008-06-06 2009-12-09 索尼株式会社 图像拍摄设备、图像拍摄方法和计算机程序
WO2010073619A1 (ja) * 2008-12-26 2010-07-01 パナソニック株式会社 撮像装置
CN103154666A (zh) * 2011-06-14 2013-06-12 日产自动车株式会社 距离测量装置以及环境地图生成装置
WO2015045713A1 (ja) * 2013-09-24 2015-04-02 シャープ株式会社 画像処理装置及び画像表示装置
JP2016110269A (ja) * 2014-12-03 2016-06-20 株式会社東海理化電機製作所 操作入力装置
WO2017124929A1 (zh) * 2016-01-21 2017-07-27 腾讯科技（深圳）有限公司 确定人脸转动角度的方法、装置及计算机存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4894300B2 (ja) 2006-03-01 2012-03-14 トヨタ自動車株式会社 車載装置調整装置
JP5865597B2 (ja) 2011-03-29 2016-02-17 京セラ株式会社 携帯電子機器
JP2014049023A (ja) 2012-09-03 2014-03-17 Sharp Corp 入力装置
US9877012B2 (en) * 2015-04-01 2018-01-23 Canon Kabushiki Kaisha Image processing apparatus for estimating three-dimensional position of object and method therefor
JP6702292B2 (ja) * 2017-11-15 2020-06-03 オムロン株式会社 警報制御装置、方法、およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004177315A (ja) * 2002-11-28 2004-06-24 Alpine Electronics Inc 視線方向判定装置及びそれを利用した対話システムならびに運転支援システム
CN101600051A (zh) * 2008-06-06 2009-12-09 索尼株式会社 图像拍摄设备、图像拍摄方法和计算机程序
WO2010073619A1 (ja) * 2008-12-26 2010-07-01 パナソニック株式会社 撮像装置
CN103154666A (zh) * 2011-06-14 2013-06-12 日产自动车株式会社 距离测量装置以及环境地图生成装置
WO2015045713A1 (ja) * 2013-09-24 2015-04-02 シャープ株式会社 画像処理装置及び画像表示装置
JP2016110269A (ja) * 2014-12-03 2016-06-20 株式会社東海理化電機製作所 操作入力装置
WO2017124929A1 (zh) * 2016-01-21 2017-07-27 腾讯科技（深圳）有限公司 确定人脸转动角度的方法、装置及计算机存储介质

Also Published As

Publication number Publication date
JP6791108B2 (ja) 2020-11-25
US20190188878A1 (en) 2019-06-20
JP2019105906A (ja) 2019-06-27
CN110059530A (zh) 2019-07-26
US10776944B2 (en) 2020-09-15
DE102018131805A1 (de) 2019-06-13

Similar Documents

Publication Publication Date Title
CN110059530B (zh) 面部位置检测装置
US11688162B2 (en) Drive assist device
EP1801730B1 (en) Method of detecting vehicle-operator state
US11741630B2 (en) Vehicle system with no-control operation
US20060171563A1 (en) Vehicle-mounted image processor
EP3445610B1 (en) Trailer angle detection using rear camera
WO2018061413A1 (ja) ジェスチャ検出装置
JP6176070B2 (ja) 視線方向検知装置
CN111832373A (zh) 一种基于多目视觉的汽车驾驶姿态检测方法
CN105987717B (zh) 驾驶员视觉传感器性能测试***
US20240177363A1 (en) Remote operation instructing system, and mount type device
JP2018148530A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2018113622A (ja) 画像処理装置、画像処理システム、及び、画像処理方法
CN111862576A (zh) 追踪嫌疑目标的方法及相应的车辆、服务器、***和介质
JP2015114682A (ja) タッチパネル装置
US10967798B2 (en) Control device and method for image display
TW201323262A (zh) 車輛輔助系統及車輛輔助方法
US20240010204A1 (en) Vehicle assistance device
EP4002200A1 (en) Method and device for behaviour recognition, electronic equipment, and storage medium
KR20210115800A (ko) 차선 변경시 hud를 이용한 충돌 경고 안내 장치 및 방법
KR20240029662A (ko) 차량용 카메라의 오염 검출 장치 및 그 방법
CN115484366A (zh) 监视***
JP2021089470A (ja) 周辺監視システム
KR20100026169A (ko) 얼굴 검출 시스템
KR20170078340A (ko) 다자간 적외선 입력장치 위치 인식을 위한 사용자 식별 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant