CN101120379B - 图像处理方法和图像处理*** - Google Patents
图像处理方法和图像处理*** Download PDFInfo
- Publication number
- CN101120379B CN101120379B CN2005800481975A CN200580048197A CN101120379B CN 101120379 B CN101120379 B CN 101120379B CN 2005800481975 A CN2005800481975 A CN 2005800481975A CN 200580048197 A CN200580048197 A CN 200580048197A CN 101120379 B CN101120379 B CN 101120379B
- Authority
- CN
- China
- Prior art keywords
- image processing
- detected object
- detected
- mentioned
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
本发明提供一种图像处理方法、图像处理***、以及图像处理装置,例如在使用安装于车辆并对驾驶者脸部进行摄像的车载照相机的***中,利用各种方法捕捉驾驶者脸部的区域等检测对象,并对驾驶者脸部的倾斜度进行检测,从而能够提高对检测对象进行检测的精度。在图像内设定多个成为检测对象的区域的候补的例如椭圆形的候补区域,将所设定的候补区域内外的象素的亮度的平均值等特性值进行比较,将判定为其差最大的候补区域作为检测对象的区域进行检测。并且算出与检测对象有关的中心矩,根据所算出的中心矩对图像内的检测对象的倾斜度检测。此外,对驾驶者的双眼等包含在检测对象内的特定的两点进行检测,并对由检测到的两点确定的图像内的检测对象的倾斜度进行检测。
Description
技术领域
本发明涉及使用了从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置的图像处理方法、应用了该图像处理方法的图像处理***、以及在该图像处理***中使用的图像处理装置,尤其涉及使对检测对象进行检测的精度提高的图像处理方法、图像处理***以及图像处理装置。
背景技术
作为支持汽车等车辆的驾驶的装置,已经提出了这样的图像处理装置:利用配置在能够对驾驶者脸部进行摄像的位置的车载照相机,对驾驶者脸部进行摄像,并进行从所得到的图像对驾驶者脸部的轮廓、以及眼睛和鼻孔的位置进行检测的图像处理(例如,参照Japanes PatentApplication Laid-Open No.2004-234367)。通过使用这样的装置,还可以构成这样的***:测知驾驶者的状况,从而进行对应于溜号驾驶、瞌睡驾驶等驾驶者的状况的警告等的驾驶支持。
但是,由于伴随着车辆的移动,太阳光等光线的照度和角度一直变化,并且光线对驾驶者脸部的照射状况也不均一,因此寻求用各种方法对驾驶者脸部进行检测,来综合性地测知驾驶者的状况。另外,现有的***存在这样的问题:在驾驶者脸部倾斜的情况下,检测产生误差的可能性高。
发明内容
本发明是鉴于上述情况而完成的,其主要目的在于提供:图像处理方法,从通过摄像等处理而得到的图像,进行成为检测对象的区域的候补的候补区域的适用的区域检测,通过该区域的检测,能够将检 测对象的位置作为二维的区域进行捕捉,因此能够提高检测精度;应用了该图像处理方法的图像处理***;以及在该图像处理***中使用的图像处理装置。
另外,本发明的另一目的在于提供:图像处理方法,通过对检测对象的倾斜度进行检测,能够提高检测精度;应用了该图像处理方法的图像处理***;以及在该图像处理***中使用的图像处理装置。
第一方面的图像处理方法是使用了从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置的图像处理方法。该图像处理方法的特征在于,其包括以下步骤:在图像内设定多个成为检测对象的区域的候补的候补区域;对于所设定的各候补区域,将候补区域内的象素的特性值与候补区域外的象素的特性值进行比较;根据比较的结果,从设定的多个候补区域中检测适合检测对象的区域;上述比较步骤通过将候补区域内的平均亮度和候补区域外的平均亮度作为象素的特性值进行比较来进行;上述检测步骤通过将判定为特性值的差最大的候补区域作为检测对象的区域检测出来来进行。
第一方面的图像处理***包括:生成图像的摄像装置;和图像处理装置,其从包含二维排列的多个象素的图像对特定的检测对象进行检测,上述图像处理装置包括:在图像内设定多个成为检测对象的区域的候补的候补区域的设定单元;对于设定的各候补区域,将候补区域内的象素的特性值与候补区域外的象素的特性值进行比较的比较单元;以及根据比较的结果,从设定的多个候补区域中检测适合检测对象的区域的检测单元,上述比较单元将候补区域内的象素的平均亮度和候补区域外的象素的平均亮度作为象素的特性值进行比较,并且上述检测单元将判定为特性值的差最大的候补区域作为检测对象的区域检测出来。
在第一方面中,通过根据象素的特性值对所设定的多个候补区域进行验证,能够检测到与检测对象一致的可能性高的区域,因此能够将检测对象不是作为一维的宽度而是作为二维的区域进行捕捉,能够提高对检测对象进行检测的精度。
第二方面的图像处理方法在第一方面的图像处理方法中,其特征在于,上述比较步骤通过将候补区域内的平均亮度和候补区域外的平均亮度作为象素的特性值进行比较来进行。
第二方面的图像处理***在第一方面的图像处理***中,其特征在于,上述比较单元作为象素的特性值对候补区域内的平均亮度和候补区域外的平均亮度进行比较。
在第二方面中,通过对候补区域内外的平均亮度进行比较,能够判别亮度高的检测对象和亮度低的背景,能够提高对检测对象进行检测的精度。
第三方面的图像处理方法在第二方面的图像处理方法中,其特征在于,上述检测步骤通过将判定为特性值的差最大的候补区域作为检测对象的区域检测出来来进行。
第三方面的图像处理***在第二方面的图像处理***中,其特征在于,上述检测单元将判定为特性值的差最大的候补区域作为检测对象的区域检测出来。
在第三方面中,由于在整个图像中将例如亮度高的象素等奇异点集中的区域判别为与背景不同的检测对象的区域,因此能够提高对检测对象进行检测的精度。
第四方面的图像处理方法在第三方面的图像处理方法中,其特征在于,上述设定步骤通过将使用中心、以及正交的第一方向和第二方向两个方向的长度定义的椭圆区域设定为候补区域来进行。
第四方面的图像处理***在第三方面的图像处理***中,其特征在于,上述设定单元将使用中心、以及正交的第一方向和第二方向两个方向的长度定义的椭圆区域设定为候补区域。
在第四方面中,通过将认为容易与驾驶者脸部的形状一致的椭圆形状作为候补区域,作为检测对象能够高精度地对驾驶者脸部进行检测。
第五方面的图像处理方法在第四方面的图像处理方法中,其特征在于,上述检测对象具有基准点和基准方向,上述图像处理方法还包括以下步骤:根据与上述检测到的检测对象相关的象素的亮度的分布,来算 出绕基准点的中心矩;以及根据算出的中心矩,对图像内的检测对象的基准方向的倾斜度进行检测。
第五方面的图像处理***在第四方面的图像处理***中,其特征在于,上述检测对象具有基准点和基准方向,上述图像处理装置还包括:根据与上述检测单元检测到的检测对象相关的象素的亮度的分布,来算出绕基准点的中心矩的单元;以及根据算出的中心矩,对图像内的检测对象的基准方向的倾斜度进行检测的单元。
在第五方面中,根据中心矩对检测对象的倾斜度进行检测,由此能够进行例如对作为检测对象的驾驶者脸部倾斜的状况进行捕捉这种多面的检测,因此能够提高对检测对象进行检测的精度。
第六方面的图像处理方法在第四方面的图像处理方法中,其特征在于,上述图像处理方法还包括以下步骤:将与适合所检测到的检测对象的区域外接、而且一边与上述第一方向平行的长方形设定为外接长方形;根据包含在设定的外接长方形内的象素的亮度的分布对基准亮度进行设定;在外接长方形内根据亮度比基准亮度高的象素的分布算出绕中心的中心矩;以及根据算出的中心矩,对图像内的检测对象的第一方向的倾斜度进行检测。
第六方面的图像处理***在第四方面的图像处理***中,其特征在于,上述图像处理装置还包括:将与适合上述检测单元所检测到的检测对象的区域外接、而且一边与上述第一方向平行的长方形设定为外接长方形的单元;根据包含在设定的外接长方形内的象素的亮度的分布对基准亮度进行设定的单元;在外接长方形内根据亮度比基准亮度高的象素的分布算出绕中心的中心矩的单元;以及根据算出的中心矩,对图像内的检测对象的第一方向的倾斜度进行检测的单元。
在第六方面中,根据中心矩对检测对象的倾斜度进行检测,由此能够进行例如对作为检测对象的驾驶者脸部倾斜的状况进行捕捉这种多面的检测,因此能够提高对检测对象进行检测的精度。
第七方面的图像处理方法是使用了从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置的图像处理方法。该方法 的特征在于,其包括以下步骤:对包含在检测对象中的特定的两点进行检测;对由检测到的两点确定的图像内的检测对象的倾斜度进行检测。
第七方面的图像处理***是包括以下装置的图像处理***:生成图像的摄像装置;和从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置。该图像处理***的特征在于,上述图像处理装置包括:对包含在上述检测对象内的特定的两点进行检测的检测单元;以及对图像内的检测对象的倾斜度进行检测的单元,所述倾斜度基于检测到的两点来被定义。
第七方面的图像处理装置是从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置。该图像处理装置的特征在于,其包括:对包含在检测对象中的特定的两点进行检测的单元;以及对图像内的检测对象的倾斜度进行检测的单元,所述倾斜度基于检测到的两点来被定义。
在第七方面中,对驾驶者的眼睛等检测对象所包含的特定的两点进行检测,并根据检测到的两点的位置关系,对检测对象的倾斜度进行检测,由此能够进行对驾驶者脸部倾斜的状况进行捕捉的这种多面的检测,因此能够提高对检测对象进行检测的精度。
第八方面的图像处理方法在第七方面的图像处理方法中,其特征在于,生成图像的摄像装置与上述图像处理装置相连接,上述检测对象是通过上述摄像装置拍摄到的人物的脸部,上述检测步骤通过将人物的双眼作为特定的两点进行检测来进行。
第八方面的图像处理***在第七方面的图像处理***中,其特征在于,上述检测对象是通过上述摄像装置拍摄到的人物的脸部,上述检测单元作为特定的两点对人物的双眼进行检测。
在第八方面中,通过对驾驶者等人物的脸部的倾斜度进行检测,能够多面地高精度地对人物进行检测,因此即使是在太阳光等光线的照度和角度一直变化的状况下进行驾驶的情况下,也能够构造错误检测少的值得信赖的***。
第九方面的图像处理方法在第八方面的图像处理方法中,其特征在 于,上述图像处理方法还包括这样的步骤:对原图像进行缩小以生成检测对象检测用的图像。
第九方面的图像处理***在第八方面的图像处理***中,其特征在于,上述图像处理***还包括对原图像进行缩小以生成检测对象检测用的图像的单元。
在第九方面中,通过对已缩小的图像进行检测处理,能够减轻处理负荷。
以上各方面的图像处理方法、图像处理***、以及图像处理装置适用于这样的***:从例如由安装于车辆的车载照相机等摄像装置对驾驶者脸部进行摄像而得到的图像中,将驾驶者脸部作为检测对象进行检测,在图像内设定多个成为检测对象的区域的候补的例如椭圆形的候补区域,比较所设定的候补区域内外的象素的亮度的平均值等特性值,并将判定为其差为最大的候补区域作为检测对象的区域检测出来。
通过该结构,由于能够检测与检测对象一致的可能性高的区域,因此达到这样优良的效果:能够将检测对象不是作为一维的宽度而是作为二维的区域进行捕捉,能够提高对检测对象进行检测的精度等。另外,通过将认为容易与驾驶者脸部的形状一致的椭圆形状作为候补区域,从而达到如下优良的效果:作为检测对象能够高精度地对驾驶者脸部进行检测等。另外,由于将亮度高的象素集中的区域判别为与背景不同的检测对象的区域,因此达到了能够提高对检测对象进行检测的精度等优良的效果。此外,在适用于通过使检测对象的检测精度提高,来测知驾驶者的状况,从而进行对溜号驾驶的警告等驾驶支持的***的情况下,达到了这样优良的效果:即使在外界光的状况一直变化的环境下进行驾驶的情况下,也能够构造错误检测少的值得信赖的驾驶支持***等。
而且,各方面的图像处理***等根据在与椭圆形状的检测对象外接的外接长方形内包含的象素的亮度分布设定基准亮度,在外接长方形内根据亮度比基准亮度高的象素的分布,算出绕中心的中心矩,并根据算出的中心矩对图像内的检测对象的倾斜度进行检测。
通过该结构,例如能够进行对作为检测对象的驾驶者脸部倾斜的状 况进行捕捉这种多面的检测,因此达到这样优良的效果:能够提高对检测对象进行检测的精度等。并且通过提高检测对象的检测精度,达到能够构造错误检测少的值得信赖的驾驶支持***等优良的效果。
并且各方面的图像处理方法、图像处理***、图像处理装置以及计算机程序,适用于这样的***:从例如由安装于车辆的车载照相机等摄像装置对驾驶者脸部进行摄像而得到的图像中,将驾驶者脸部作为检测对象进行检测,对驾驶者的眼睛等包含在检测对象中的特定的两点进行检测,并对由检测到的两点确定的图像内的检测对象的倾斜度进行检测。
通过该结构,由于能够多面地高精度地对驾驶者等人物的脸部的区域进行检测,因此具有这样优良的效果:即使在太阳光等光线的照度和角度一直变化的环境下进行驾驶的情况下,也能够构造错误检测少的值得信赖的驾驶支持***等。
另外,作为前处理,通过在缩小拍摄到的图像之后对检测对象进行检测,从而能够减少处理负荷大的检测处理的处理量,能够减轻处理负荷,因此在应用于进行驾驶支持的***的情况下,起到了这样优良的效果:能够实现高速的处理,能够构造即使在糟糕的情况下也能够反应的驾驶支持***等。
通过下述的参照附图的详细描述可以进一步清楚本发明上述和其它目的以及特征。
附图说明
图1是表示本发明的实施方式1中的图像处理***的结构例的框图;
图2是表示在本发明的实施方式1中的图像处理***中使用的图像处理装置的主处理的流程图;
图3是示意性地表示本发明的实施方式1中的图像处理***的检测范围的设定的例子的说明图;
图4A和图4B是示意性地表示本发明的实施方式1中的图像处理***的检测对象的倾斜度的检测以及投影处理后的检测对象的检测的例子的说明图;
图5是示意性地表示本发明的实施方式1中的图像处理***的检测对象的检测的例子的说明图;
图6是表示在本发明的实施方式1中的图像处理***中使用的图像处理装置的区域检测处理的流程图;
图7是示意性地表示通过本发明的实施方式1中的图像处理***设定的候补区域和外接长方形的例子的说明图;
图8是表示在本发明的实施方式1中的图像处理***中使用的图像处理装置的检测对象的倾斜度的检测处理的流程图;
图9是表示本发明的实施方式1中的图像处理***的投影范围的例子的说明图;
图10是表示本发明的实施方式2中的图像处理***的结构例的框图。
具体实施方式
下面,参照本发明对其实施方式进行详细说明。
实施方式1
图1是表示本发明的实施方式1中的图像处理***的结构例的框图。在图1中,1是安装在车辆上的车载照相机等摄像装置,摄像装置1通过专用电缆等通信线、或者构成为有线或无线构成的车内局域网(LocalArea Network)等通信网与进行图像处理的图像处理装置2连接。摄像装置1配设在车辆内的方向盘、仪表板等驾驶者的前方,将摄像装置调整为可以摄像的状态,使在将驾驶者脸部作为摄像对象并且驾驶者端正地坐在驾驶座上的情况下,驾驶者脸部的横向和纵向成为图像的水平方向和垂直方向。
摄像装置1具有:控制整个装置的MPU(Micro Processor Unit:微处理机单元)11;记录根据MPU11的控制而执行的各种计算机程序和数据的ROM(Read Only Memory:只读存储器)12;对ROM12上记录的计算机程序执行时临时产生的各种数据进行记录的RAM(Random AccessMemory:随机存储器)13;使用CCD(Charge Coupled Device:电荷耦 合器件)等摄像元件构成的摄像部14;将通过摄像部14的摄像得到的模拟图像数据转换为数字数据的A/D转换器15;对通过A/D转换器15转换为数字数据的图像数据临时进行记录的帧存储器16;以及用于与图像处理装置2之间的通信的通信接口17。
在摄像装置1中,通过摄像部14连续地或者断续地进行摄像处理,根据摄像处理生成例如每秒30帧的图像数据(图像帧),并向A/D转换器15输出,在A/D转换器15中,将构成图像的各象素转换为以256灰度(1字节)等灰度表示的数字图像数据,并记录于帧存储器16中。记录于帧存储器16中的图像数据在预定的定时从通信接口17向图像处理装置2输出。构成图像的各象素呈二维排列,图像数据包括在平面直角坐标系、即所谓的xy坐标系中表示的各象素的位置、以及表示以灰度值表示的各象素的亮度的数据。另外,分别相对于各象素,也可以不通过xy坐标系来表示坐标,而是利用在数据内排列的顺序来表示坐标。并且图像的水平方向与图像数据的x轴方向对应,图像的垂直方向与图像数据的y轴方向对应。
图像处理装置2具有:控制整个装置的CPU(Central Processing Unit:中央处理器)21;CD-ROM驱动器等辅助记录部22,其从记录了本发明的计算机程序3以及数据等各种信息的CD-ROM等记录介质4中读取信息;对通过辅助记录部22读取到的各种信息进行记录的硬盘(以下称为HD)23;对执行HD23上所记录的计算机程序3时临时产生的各种数据进行记录的RAM24;由挥发性存储器构成的帧存储器25;以及用于与摄像装置1之间的通信的通信接口26。另外,从HD23读取本发明的计算机程序3和数据等各种信息,将其记录于RAM24,并由CPU21执行计算机程序3所包含的各种步骤,由此,车载用计算机作为本发明的图像处理装置2进行动作。作为记录在HD23中的数据,有与计算机程序3的执行有关的数据,例如后述的用于设定检测范围的数值、各种常数、参数等各种数据。另外,所检测到的结果等信息也记录在HD23中。
在图像处理装置2中,通过通信接口26接收从摄像装置1输出的图像数据,并将接收到的图像数据记录到帧存储器25中,读出记录于帧存 储器25中的图像数据,以进行各种图像处理。对接收到的图像数据执行的各种图像处理,是从图像数据中对作为检测对象(摄像时的摄像对象)的驾驶者脸部轮廓的检测以及与眼睛和鼻子的位置的特定等的检测对象的检测相关的检测处理。作为具体的处理的例子,可以列举利用模式匹配对眼睛的位置进行检测的眼睛位置检测处理。另外作为其他的处理例子,能够列举这样的轮廓宽度检测处理:对排列在图像的垂直方向的亮度进行累计,通过将累计的值与预定的阈值进行比较,来对由比背景的亮度高的象素构成的脸部的轮廓在水平方向的范围进行检测。此外在该处理中,能够列举这样的轮廓宽度检测处理:对累计值的水平方向的变化进行微分,确定变化大的位置,对亮度变化大的背景与脸部轮廓的界限进行检测。详细的处理内容记载于例如在由本申请的申请人申请的日本特开2000-163564号公报、日本特开2004-234494号公报和日本特开2004-234367号公报等文献中。另外,这些图像处理不限定于日本特开2000-163564号公报、日本特开2004-234494号公报和日本特开2004-234367号公报中记载的处理,可以根据其用途、硬件结构、与其他应用程序联合等条件进行适当选择。
下面对在本发明的实施方式1中的图像处理***中使用的各种装置的处理进行说明。图2是表示在本发明的实施方式1中的图像处理***中使用的图像处理装置2的主处理的流程图。在图像处理装置2中,通过执行记录在RAM24中的计算机程序3的CPU21的控制,从帧存储器25中提取通过摄像装置1的摄像得到的、经由通信接口26接收到的图像数据(S101),以例如在垂直方向上1/8、在水平方向上1/8的比例缩小由提取出的图像数据表示的图像(S102),在由缩小了的图像数据表示的图像内设定检测范围(S103)。在步骤S103中设定的检测范围是长方形的区域,其是为了对检测对象进行检测而在图像内设定的,其检测到检测对象的可能性高的一边与图像的水平方向平行,不是从整个图像中对检测对象进行检测,而是缩小了范围,由此能够减轻检测处理的负荷。
在图像处理装置2中,通过CPU21的控制,对是否检测到了作为检测对象的驾驶者脸部的中间的双眼的位置进行判定(S104)。在步骤S104 中,例如执行在表示上述的眼睛位置检测处理等的处理的日本特开2000-163564号公报、日本特开2004-234494号公报和日本特开2004-234367号公报等文献中记载的方法,对是否检测到双眼的位置进行判定。
在步骤S104中,在判定为检测到了双眼的位置的情况下(S104:YES),在图像处理装置2中,通过CPU21的控制,对由检测到的双眼确定的图像内的检测对象的倾斜度进行检测(S105)。在驾驶者端正地坐在驾驶座上的情况下,连接作为驾驶者的双眼的两点的直线是水平的,在连接两点的直线从水平倾斜的情况下,在驾驶者倾斜这一前提之上,将连接双眼的直线相对于图像的水平方向(x轴)的倾斜度作为检测对象的倾斜度进行检测。
在步骤S104中,在判定为没有检测到双眼的位置的情况下(S104:NO),在图像处理装置2中,通过CPU21的控制,进行对与作为检测对象的驾驶者脸部相适合的椭圆形状的区域进行检测的区域检测处理(S106),进行对检测到的区域有关的检测对象在图像内的倾斜度进行检测的检测对象的倾斜度的检测处理(S107)。对于步骤S106的区域检测处理和步骤S107的检测对象的倾斜度的检测处理的具体情况在后面说明。
在通过步骤S105或者步骤S107对检测对象的图像内的倾斜度进行检测后,图像处理装置2通过CPU21的控制,为了根据倾斜度进行检测对象的检测,设定包含检测对象的长方形的投影范围(S108),在与倾斜垂直的投影方向上,对所设定的投影范围内的图像进行累计亮度的投影处理(S109)。步骤S109的投影处理,是在与检测对象的倾斜度对应的方向上对亮度进行累计的处理。
图像处理装置2通过CPU21的控制,根据投影处理的结果,对检测对象进行检测(S110),将检测到的检测对象变换为投影处理之前的坐标(S111),将关于检测对象的位置、宽度以及倾斜度等信息作为检测结果记录在HD23和/或者RAM24中(S112)。在步骤S110中的检测对象的检测,是对作为检测对象的驾驶者脸部的轮廓的位置和宽度、以及眼睛 和鼻子的位置等的检测。
并且,在图像处理装置2中,根据在步骤S112中记录在HD23和/或者RAM24中的检测结果,进行进一步的检测等各种图像处理,并进行基于该结果的驾驶支持处理。
对使用图2的流程图说明过的处理更具体地进行说明。图3是示意性地表示本发明的实施方式1中的图像处理***的检测范围的设定的例子的说明图。在图3中,实线所示的外侧的框是通过步骤S102缩小了的图像的整体,其包含有作为检测对象的驾驶者脸部的图像。单点划线所示的内侧的框是通过步骤S103设定的检测范围。
图4A和图4B是示意性地表示本发明的实施方式1中的图像处理***的检测对象的倾斜度的检测以及投影处理后的检测对象的检测的例子的说明图。图4A示意性地表示从图3所示的图像中对双眼的位置进行检测、并检测到了检测对象的倾斜度的状态。在图4A中,用十字表示的两点表示从作为检测对象的驾驶者脸部的图像所检测到的双眼的位置。步骤S105中所示的检测对象的倾斜度的检测,是根据如图4A所示那样连接检测到的两点的线段的倾斜度,来进行检测的。图4A中的单点划线所示的长方形表示在步骤S108中设定的投影范围。在检测对象中检测到的双眼之间的距离为L的情况下,设定的投影范围的宽确定为以双眼的中点为中心、与连接两眼的方向平行的3L长的线段。另外,设定的投影范围的高为,从检测到的双眼的中点在上侧(驾驶者的头的方向)向与连接双眼的线段成直角的方向3/4L的位置开始,到在下侧(驾驶者的下巴的方向)向与连接双眼的线段成直角的方向3/2L的位置。另外用于累计象素的亮度的投影方向是如图4A中的箭头所示与连接双眼的方向成直角的方向。
图4B表示根据步骤S110中的投影处理的结果对检测对象进行检测的处理。图4B表示在投影范围内,象素的亮度在检测对象的宽度方向的分布。如图4B所示,在驾驶者脸部的中心附近,即对应鼻子的位置的亮度高,越向外侧亮度越低。像这样越接近摄像装置1越高的亮度分布通过在摄像装置1附近设置LED(Light Emitting Diode:发光二极管)等照 明装置而变得显著。
图5是示意性地表示本发明的实施方式1中的图像处理***的检测图像的检测的例子的说明图。图5是表示根据如图4B所示的亮度的累计值的分布,检测出倾斜着的检测对象的宽度的状况,虚线的两个箭头所示的范围表示检测到的宽度。通过执行例如日本特开2000-163564号公报、日本特开2004-234494号公报和日本特开2004-234367号公报等文献中记载的处理,来进行基于图4B所示的亮度的分布的各种检测处理。另外,表示检测对象的宽度等所检测到的结果的信息被记录在HD23和/或者RAM24中。
图6是表示在本发明的实施方式1中的图像处理***中使用的图像处理装置2的区域检测处理的流程图。区域检测处理与用图2进行说明过的主处理中的步骤S106对应。图像处理装置2通过执行记录在RAM24中的计算机程序3的CPU21的控制,在图像内设定成为检测对象的区域的候补的椭圆形状的候补区域,该椭圆形状的短轴方向和长轴方向分别与水平方向(x轴方向)和垂直方向(y轴方向)平行(S201),将与所设定的候补区域外接,且短边方向和长边方向分别与短轴方向和长轴方向平行的长方形设定为外接长方形(S202),在所设定的外接长方形内,将所设定的候补区域内的象素的平均亮度与候补区域外的象素的平均亮度进行比较(S203)。在图像处理装置2中,通过CPU21的控制,多次反复进行步骤S201~S203的处理,即设定多个候补区域,将设定的候补区域内的象素的平均亮度与候补区域外的平均亮度进行比较,根据其结果,将判断为象素的平均亮度的差最大的候补区域作为适合检测对象的区域检测出来(S204)。
对使用图6的流程图说明过的处理更具体地进行说明。图7是示意性地表示通过本发明的实施方式1中的图像处理***设定的候补区域和外接长方形的例子的说明图。在图7中,实线表示的椭圆是在步骤S201中设定的候补区域,设定为候补区域的椭圆使用参数设定,所述参数包括中心坐标(x,y)、与图像的水平方向(x轴方向)平行的短半径(cx)和与垂直方向(y轴方向)平行的长半径(cy)。另外为了方便起见,将 与x轴方向平行的半径作为短半径、与y轴方向平行的半径作为长半径进行了说明,但是也可以使与x轴方向平行的半径比与y轴方向平行的半径长,或者也可以长度相同。在图7中,与作为候补区域的椭圆外接的长方形是在步骤S202设定的外接长方形。
另外,在步骤S203中的平均亮度的比较通过算出椭圆划线(楕円スコア)来进行,所述椭圆划线通过下述公式(1)定义,其是用图7的从右上向左下的斜线所示的候补区域内的区域所包含的象素的平均亮度、与用从左上向右下的斜线所示的候补区域外的区域所包含的象素的平均亮度的差。
S(x,y,cx,cy)
=F(E(x,y,cx,cy))-F(N(x,y,cx,cy))…公式1
其中,x:椭圆中心的x坐标
y:椭圆中心的y坐标
cx:与x轴方向平行的短半径
cy:与y轴方向平行的长半径
S(x,y,cx,cy):椭圆划线
F(P):象素的平均亮度
E(x,y,cx,cy):候补区域内的区域
N(x,y,cx,cy):候补区域外的区域
但是由于不管候补区域内外都包含表示亮度异常高的象素,所以在计算正确的象素的平均亮度的情况下,需要预先将表示异常值的象素去除。因此,预先对象素的亮度的上限值进行设定,将亮度比上限值高的象素看作是表示异常值,将亮度在上限值以下的象素定义为有效象素,使用下述的公式2仅对有效象素计算象素的亮度的平均值。
F(P)=∑A(P)/C(P)··公式2
其中,P:有效象素
A(P):象素P的亮度值
C(P):象素P的数量
式1中定义的椭圆划线的值越大,候补区域内的象素的平均亮度与候补区域外的象素的平均亮度的差越大,即候补区域内的区域中表示的 图像由于与候补区域外的图像不同,所以能够看作为候补区域适合检测对象。另外,用于设定候补区域的中心(x,y)、短半径(cx)以及长半径(cy)等参数,为了防止错误检测、减轻处理负荷以及提高处理速度,根据基于HD23和/或RAM24中记录的上次的检测结果的范围中进行设定。具体而言,在下述的公式3所示的范围进行设定。
S(x’-m1,y’-n1,cx’-m2,cy’-n2)
~S(x’+m1,y’+n1,cx’+m2,cy’+n2)…公式3
其中,x′:上次的椭圆中心的x坐标
y′:上次的椭圆中心的y坐标
cx′:与上次的x轴平行的短半径
cy′:与上次的y轴平行的长半径
m1:中心的x坐标的范围
n1:中心的y坐标的范围
m2:短半径的范围
n2:长半径的范围
在公式3所示的范围内,对公式1所示的椭圆划线为最大的候补区域进行检测,但是首先在下述公式4所示的范围内求出椭圆划线为最大的椭圆中心的坐标(x,y)。
S(x’-m1,y’-n1,cx’,cy’)
~S(x′+m1,v′+n1,cx′,cv′)…公式4
使用在公式4的范围内求出的椭圆中心的坐标(x,y),在下述的公式5所示的范围内求出椭圆划线成为最大的短半径(cx)和长半径(cy)。
S(x,y,cx’-m2,cy’-n2)
~S(x,y,cx’+m2,cy’+n2)…公式5
在步骤S204中,将由在公式4的范围内求出的椭圆中心的坐标(x,y)以及在公式5的范围内求出的短半径(cx)和长半径(cy)所示的椭圆形状的候补区域作为适合检测对象的区域检测出来。
图8是表示在本发明的实施方式1中的图像处理***中使用的图像处理装置2的检测对象的倾斜度的检测处理的流程图。检测对象的倾斜 度的检测处理与在用图2说明过的主处理中的步骤S107对应。图像处理装置2通过执行在RAM24中记录的计算机程序3的CPU21的控制,将这样的长方形设定为外接长方形:与适合在用图6的流程图表示的区域检测处理中检测到的椭圆形状的检测对象的区域外接,且短边方向和长边方向分别与短轴方向和长轴方向平行(S301)。在图像处理装置2中,通过CPU21的控制,根据所设定的外接长方形中包含的象素的亮度的分布,将例如从分布求的亮度的中央值设定为外接长方形内的基准亮度(S302),根据设定的基准亮度将外接长方形内的亮度二值化(S303)。并且在图像处理装置2中,通过CPU21的控制,根据在外接长方形内亮度比基准亮度高的象素的分布,将椭圆的中心作为基准点,算出绕基准点的中心矩(S304),根据所算出的中心矩,对图像内的检测对象的倾斜度进行检测(S305)。
对使用图8的流程图说明过的处理更具体地进行说明。由于相当于驾驶者脸部的区域的象素比相当于背景的区域的象素的亮度高,因此通过步骤S303所示的二值化,若将基准亮度以上的亮度的象素的值设为“1”,将不到基准亮度的亮度的象素的值设为“0”,则能够作为值为“1”的象素提取相当于驾驶者脸部的检测对象的区域。并且使用象素的坐标将提取出的区域表示为f(x,y),将作为椭圆的中心的基准点的坐标设为(xo,yo)时,步骤S304所示的中心矩能够由下述的公式6算出。
数学式1
其中,Mpq:中心矩
f(x,y):坐标(x,y)所示的检测对象的区域
(x0,y0):基准点的坐标
p,q:满足p+q=2的0以上的整数
并且当检测对象即驾驶者脸部构成为椭圆形状,脸部的纵方向相当于椭圆的长轴的方向时,步骤S305中的检测对象的倾斜度,即检测对象的短轴相对于x轴的倾斜度θ能够通过下述公式7算出。
θ=(1/2)tan-1{2M11/(M20-M02)}…公式7
其中,θ:检测对象的倾斜度
另外,作为检测对象的倾斜度的检测处理,在用中心矩对检测对象的倾斜度进行检测的情况下,在用图2表示的主处理的步骤S108中设定的长方形的投影范围,根据适合检测对象的椭圆形状的区域和中心矩设定。图9是表示本发明的实施方式1中的图像处理***的投影范围的例子的说明图。在图9中,由实线表示的椭圆表示在步骤S204中作为适合检测对象的区域检测到的区域,另外,通过作为驾驶者脸部的检测对象的中心的线段的倾斜度表示所算出的检测对象的短轴相对于x轴的倾斜度θ。另外由与表示倾斜度的线段平行的箭头表示投影方向。当作为适合检测对象的区域检测到的椭圆的中心坐标为(x,y),与x轴方向平行的短半径为cx,与y轴方向平行的长半径为cy时,设定的投影范围的宽,即坐标系变换后的x轴方向的范围是以坐标(x,y)为中心,与表示倾斜度的线段正交的方向的长度为9/8cx的范围。另外,设定的投影范围的高,即坐标系变换后的y轴方向的范围是以坐标(x,y)为中心,与表示倾斜度的线段平行的方向的长度为7/8cy的范围。
上述实施方式1所示的候补区域的形状、设定步骤、从候补区域对检测对象的检测、倾斜度的检测等处理以及该处理所需的各种条件等只是一个例子,根据***结构、目的等能够适当地设定。
实施方式2
实施方式2是在实施方式1中利用摄像装置1进行缩小图像的处理的结构。图10是表示本发明的实施方式2中的图像处理***的结构例的框图。在图10中,1是摄像装置,摄像装置1具有:MPU11、ROM12、RAM13、摄像部14、A/D转换器15、帧存储器16、通信接口17以及进行图像的缩小处理的缩小电路18。
并且在摄像装置1中,通过摄像部14进行摄像处理,在缩小电路18中将通过A/D转换器15转换为数字图像数据的图像缩小,并记录于帧存储器16中。并且记录于帧存储器16中的缩小了的图像的图像数据在预定的定时从通信接口17向图像处理装置2输出。
图像处理装置2具有:CPU21;辅助记录部22,其从对本发明的计 算机程序3和数据等各种信息进行记录的记录介质4中读取信息;HD23;RAM24;帧存储器25;以及通信接口26。
在本发明的实施方式2中的图像处理***中,通过摄像装置1的缩小电路18进行与实施方式1的步骤S102的缩小处理对应的处理,并向图像处理装置2输出表示进行了缩小处理的图像的图像数据。在图像处理装置2中的处理与实施方式1相同,因此以实施方式1为参照,并省略其说明。但是,在实施方式1的步骤S102中的缩小处理已在摄像装置1中进行,所以当然不再执行。
在上述实施方式2中,表示了通过摄像装置1进行缩小处理的方式,但通过用摄像装置1进行实施方式1的处理一部分或者全部,能够进一步展开成无数种方式。
另外,在上述实施方式1和2中,已表示了将车辆的驾驶者作为检测对象的方式,但本发明不限定于此,也可以是将各种的人物,还有人物以外的生物或者非生物作为检测对象的方式。
此外,在上述实施方式1和2中,已表示了从通过使用车载照相机的摄像装置的摄像而生成的图像对检测对象进行检测的方式,但本发明不限定于此,能够适用于将使用各种装置通过各种方法生成的图像记录在HD中,并从所记录的图像对特定的检测对象进行检测的各种图像处理。
在不脱离本发明的宗旨的情况下,能够以各种方式来实施本发明,上述实施方式只是本发明的例子,本发明并不限定于此,本发明的范围由权利要求来限定而不是通过在先的说明来限定,落在权利要求的界限和范围内的变化,或者落在等同于所述界限和范围内的变化都被权利要求所包括。
Claims (14)
1.一种图像处理方法,该图像处理方法使用了从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置,其特征在于,
上述图像处理方法包括以下步骤:
在图像内设定多个成为检测对象的区域的候补的候补区域;
对于所设定的各候补区域,将候补区域内的象素的特性值与候补区域外的象素的特性值进行比较;
根据比较的结果,从设定的多个候补区域中检测适合检测对象的区域,
上述比较步骤通过将候补区域内的平均亮度和候补区域外的平均亮度作为象素的特性值进行比较来进行,
上述检测步骤通过将判定为特性值的差最大的候补区域作为检测对象的区域检测出来来进行。
2.根据权利要求1所述的图像处理方法,其特征在于,
上述设定步骤通过将使用中心、以及正交的第一方向和第二方向两个方向的长度定义的椭圆区域设定为候补区域来进行。
3.根据权利要求2所述的图像处理方法,其特征在于,
上述检测对象具有基准点和基准方向,
上述图像处理方法还包括以下步骤:
根据与上述检测到的检测对象相关的象素的亮度的分布,来算出绕基准点的中心矩;以及
根据算出的中心矩,对图像内的检测对象的基准方向的倾斜度进行检测。
4.根据权利要求2所述的图像处理方法,其特征在于,
上述图像处理方法还包括以下步骤:
将与适合所检测到的检测对象的区域外接、而且一边与上述第一方向平行的长方形设定为外接长方形;
根据包含在设定的外接长方形内的象素的亮度的分布对基准亮度进行设定;
在外接长方形内根据亮度比基准亮度高的象素的分布算出绕中心的中心矩;以及
根据算出的中心矩,对图像内的检测对象的第一方向的倾斜度进行检测。
5.根据权利要求1所述的图像处理方法,其特征在于,该图像处理方法还包括以下步骤:
对包含在检测对象中的特定的两点进行检测,
对由检测到的两点确定的图像内的检测对象的倾斜度进行检测。
6.根据权利要求5所述的图像处理方法,其特征在于,
生成图像的摄像装置与上述图像处理装置相连接,
上述检测对象是通过上述摄像装置拍摄到的人物的脸部,
上述检测特定的两点的步骤通过将人物的双眼作为特定的两点进行检测来进行。
7.根据权利要求6所述的图像处理方法,其特征在于,
上述图像处理方法还包括这样的步骤:对原图像进行缩小以生成检测对象检测用的图像。
8.一种图像处理***,该图像处理***包括:生成图像的摄像装置;和图像处理装置,其从包含二维排列的多个象素的图像对特定的检测对象进行检测,上述图像处理装置包括:在图像内设定多个成为检测对象的区域的候补的候补区域的设定单元;对于设定的各候补区域,将候补区域内的象素的特性值与候补区域外的象素的特性值进行比较的比较单元;以及根据比较的结果,从设定的多个候补区域中检测适合检测对象的区域的检测单元,
上述比较单元将候补区域内的象素的平均亮度和候补区域外的象素的平均亮度作为象素的特性值进行比较,并且
上述检测单元将判定为特性值的差最大的候补区域作为检测对象的区域检测出来。
9.根据权利要求8所述的图像处理***,其特征在于,
上述设定单元将使用中心、以及正交的第一方向和第二方向两个方向的长度定义的椭圆区域设定为候补区域。
10.根据权利要求9所述的图像处理***,其特征在于,
上述检测对象具有基准点和基准方向,
上述图像处理装置还包括:
根据与上述检测单元检测到的检测对象相关的象素的亮度的分布,来算出绕基准点的中心矩的单元;以及
根据算出的中心矩,对图像内的检测对象的基准方向的倾斜度进行检测的单元。
11.根据权利要求9所述的图像处理***,其特征在于,
上述图像处理装置还包括:
将与适合上述检测单元所检测到的检测对象的区域外接、而且一边与上述第一方向平行的长方形设定为外接长方形的单元;
根据包含在设定的外接长方形内的象素的亮度的分布对基准亮度进行设定的单元;
在外接长方形内根据亮度比基准亮度高的象素的分布算出绕中心的中心矩的单元;以及
根据算出的中心矩,对图像内的检测对象的第一方向的倾斜度进行检测的单元。
12.根据权利要求8所述的图像处理***,还包括:
对包含在上述检测对象内的特定的两点进行检测的特定两点检测单元;以及
对图像内的检测对象的倾斜度进行检测的单元,所述倾斜度基于检测到的两点来被定义。
13.根据权利要求12所述的图像处理***,其特征在于,
上述检测对象是通过上述摄像装置拍摄到的人物的脸部,
上述特定两点检测单元作为特定的两点对人物的双眼进行检测。
14.根据权利要求13所述的图像处理***,其特征在于,
上述图像处理***还包括对原图像进行缩小以生成检测对象检测用的图像的单元。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2005/002466 WO2006087789A1 (ja) | 2005-02-17 | 2005-02-17 | 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101120379A CN101120379A (zh) | 2008-02-06 |
CN101120379B true CN101120379B (zh) | 2010-12-08 |
Family
ID=36916205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2005800481975A Active CN101120379B (zh) | 2005-02-17 | 2005-02-17 | 图像处理方法和图像处理*** |
Country Status (4)
Country | Link |
---|---|
US (1) | US8045765B2 (zh) |
JP (1) | JP4592744B2 (zh) |
CN (1) | CN101120379B (zh) |
WO (1) | WO2006087789A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9830692B2 (en) | 2014-02-19 | 2017-11-28 | Samsung Electronics Co., Ltd. | Method and device for processing image data based on characteristic values of pixel values of pixels |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006087789A1 (ja) * | 2005-02-17 | 2006-08-24 | Fujitsu Limited | 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム |
EP2015568B1 (en) * | 2007-06-14 | 2019-02-13 | FUJIFILM Corporation | Digital image pickup apparatus |
JP4663699B2 (ja) * | 2007-09-27 | 2011-04-06 | 富士フイルム株式会社 | 画像表示装置、及び画像表示方法 |
JP4655235B2 (ja) * | 2008-03-14 | 2011-03-23 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
KR20090101733A (ko) * | 2008-03-24 | 2009-09-29 | 삼성전자주식회사 | 휴대 단말기 및 그의 얼굴 인식을 이용한 표시정보의 표시방법 |
KR100921092B1 (ko) * | 2008-07-04 | 2009-10-08 | 현대자동차주식회사 | 스티어링 휠에 장착된 카메라를 이용하는 운전자 상태 감시시스템 |
US8391554B2 (en) * | 2008-10-01 | 2013-03-05 | GM Global Technology Operations LLC | Eye detection system using a single camera |
JPWO2010122721A1 (ja) | 2009-04-22 | 2012-10-25 | 日本電気株式会社 | 照合装置、照合方法および照合プログラム |
CN102005200A (zh) * | 2009-08-28 | 2011-04-06 | 英华达(上海)电子有限公司 | 用于调整显示方向的***、装置和方法 |
EP2339507B1 (en) * | 2009-12-28 | 2013-07-17 | Softkinetic Software | Head detection and localisation method |
US8433107B1 (en) * | 2011-12-28 | 2013-04-30 | Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. | Method of enhancing a nose area of an image and related computing device |
CN103869963A (zh) * | 2012-12-17 | 2014-06-18 | 北京千橡网景科技发展有限公司 | 屏幕调整方法、装置及用户终端 |
JP6338429B2 (ja) * | 2014-04-15 | 2018-06-06 | キヤノン株式会社 | 被写体検出装置、被写体検出方法及びプログラム |
CN107697098B (zh) * | 2017-09-29 | 2018-08-03 | 金辉 | 一种车厢倾斜度现场测量平台 |
KR102093208B1 (ko) * | 2018-11-22 | 2020-03-26 | 동국대학교 산학협력단 | 화소 분석에 기초한 인물 인식 장치 및 그 동작 방법 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040180690A1 (en) * | 2002-12-16 | 2004-09-16 | Lg Electronics Inc. | Apparatus for operating a mobile communication terminal with integrated photographic apparatus and method thereof |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5512939A (en) * | 1994-04-06 | 1996-04-30 | At&T Corp. | Low bit rate audio-visual communication system having integrated perceptual speech and video coding |
US5852669A (en) * | 1994-04-06 | 1998-12-22 | Lucent Technologies Inc. | Automatic face and facial feature location detection for low bit rate model-assisted H.261 compatible coding of video |
US6173069B1 (en) * | 1998-01-09 | 2001-01-09 | Sharp Laboratories Of America, Inc. | Method for adapting quantization in video coding using face detection and visual eccentricity weighting |
JP2000163564A (ja) | 1998-12-01 | 2000-06-16 | Fujitsu Ltd | 目の追跡装置および瞬き検出装置 |
US6332037B1 (en) * | 1999-04-09 | 2001-12-18 | Board Of Regents Of The University Of Nebraska | Invariant, Eigenvalue based, non-degenerate data structure characterization, storage and retrieval indexing method |
JP3725996B2 (ja) * | 1999-06-10 | 2005-12-14 | シャープ株式会社 | 画像処理装置 |
JP2001076145A (ja) * | 1999-09-03 | 2001-03-23 | Omron Corp | 画像照合装置 |
JP3639475B2 (ja) * | 1999-10-04 | 2005-04-20 | シャープ株式会社 | 3次元モデル生成装置および3次元モデル生成方法ならびに3次元モデル生成プログラムを記録した記録媒体 |
US7155036B2 (en) * | 2000-12-04 | 2006-12-26 | Sony Corporation | Face detection under varying rotation |
JP2003196655A (ja) * | 2001-12-25 | 2003-07-11 | Toyota Motor Corp | 目画像検出装置 |
JP2003281539A (ja) * | 2002-03-25 | 2003-10-03 | Oki Electric Ind Co Ltd | 顔部品探索装置および顔部品探索方法 |
KR100438841B1 (ko) * | 2002-04-23 | 2004-07-05 | 삼성전자주식회사 | 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템 |
JP4204336B2 (ja) | 2003-01-30 | 2009-01-07 | 富士通株式会社 | 顔の向き検出装置、顔の向き検出方法及びコンピュータプログラム |
JP4162503B2 (ja) | 2003-01-31 | 2008-10-08 | 富士通株式会社 | 眼の状態判定装置、眼の状態判定方法及びコンピュータプログラム |
JP4305000B2 (ja) * | 2003-02-19 | 2009-07-29 | コニカミノルタホールディングス株式会社 | 画像処理方法、画像処理装置、記憶媒体及びプログラム |
FR2857481A1 (fr) * | 2003-07-08 | 2005-01-14 | Thomson Licensing Sa | Procede et dispositif de detection de visages dans une image couleur |
JP2005038178A (ja) * | 2003-07-15 | 2005-02-10 | Mega Trade:Kk | 検査対象物の基準マーク検査装置 |
WO2006087789A1 (ja) * | 2005-02-17 | 2006-08-24 | Fujitsu Limited | 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム |
-
2005
- 2005-02-17 WO PCT/JP2005/002466 patent/WO2006087789A1/ja not_active Application Discontinuation
- 2005-02-17 JP JP2007503529A patent/JP4592744B2/ja active Active
- 2005-02-17 CN CN2005800481975A patent/CN101120379B/zh active Active
-
2007
- 2007-08-17 US US11/889,999 patent/US8045765B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040180690A1 (en) * | 2002-12-16 | 2004-09-16 | Lg Electronics Inc. | Apparatus for operating a mobile communication terminal with integrated photographic apparatus and method thereof |
Non-Patent Citations (6)
Title |
---|
AOKI S. ET AL.Estimating Eye Direction by Extracting Region of Driver's Eye.THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS GIJUTSU KENKYU HOKOKU99 450.1999,99(450),全文. |
AOKI S. ET AL.Estimating Eye Direction by Extracting Region of Driver's Eye.THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS GIJUTSU KENKYU HOKOKU99 450.1999,99(450),全文. * |
ONO H. ET AL.Neural Network Recognition of Facial Expression UsingInvariant Moment.THE TRANSACTIONS OF THE INSTITUTE OF ELECTRICAL ENGINEERS OF JAPAN C115-C 12.1995,115-C(12),全文. |
ONO H. ET AL.Neural Network Recognition of Facial Expression UsingInvariant Moment.THE TRANSACTIONS OF THE INSTITUTE OF ELECTRICAL ENGINEERS OF JAPAN C115-C 12.1995,115-C(12),全文. * |
SHIMODA H. ET AL.A Prototype of a Real-time Facial Expression Using Invariantfrom Dynamic Facial Image.JOURNAL OF HUMAN INTERFACE SOCIETY1 2.1999,1(2),全文. |
SHIMODA H. ET AL.A Prototype of a Real-time Facial Expression Using Invariantfrom Dynamic Facial Image.JOURNAL OF HUMAN INTERFACE SOCIETY1 2.1999,1(2),全文. * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9830692B2 (en) | 2014-02-19 | 2017-11-28 | Samsung Electronics Co., Ltd. | Method and device for processing image data based on characteristic values of pixel values of pixels |
Also Published As
Publication number | Publication date |
---|---|
CN101120379A (zh) | 2008-02-06 |
WO2006087789A1 (ja) | 2006-08-24 |
US20070292001A1 (en) | 2007-12-20 |
US8045765B2 (en) | 2011-10-25 |
JPWO2006087789A1 (ja) | 2008-07-03 |
JP4592744B2 (ja) | 2010-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101120379B (zh) | 图像处理方法和图像处理*** | |
US11816991B2 (en) | Vehicle environment modeling with a camera | |
US10970566B2 (en) | Lane line detection method and apparatus | |
US10860870B2 (en) | Object detecting apparatus, object detecting method, and computer program product | |
CN105206109B (zh) | 一种基于红外ccd的车辆雾天识别预警***及方法 | |
CN109859278A (zh) | 车载相机***相机外参的标定方法及标定*** | |
US8948455B2 (en) | Travel path estimation apparatus and program | |
WO2015052896A1 (ja) | 乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体 | |
US8432447B2 (en) | Stripe pattern detection system, stripe pattern detection method, and program for stripe pattern detection | |
JP4364275B2 (ja) | 画像処理方法、画像処理装置及びコンピュータプログラム | |
KR102087588B1 (ko) | 카메라 기반 디스플레이 시스템을 위한 이미지 프로세싱 | |
JP2020061140A (ja) | ブラインドスポットモニタリングのためのcnnの学習方法、テスティング方法、学習装置、及びテスティング装置 | |
JP2007034989A (ja) | 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置 | |
CN108256470A (zh) | 一种车道偏移判断方法及汽车 | |
CN110991264A (zh) | 前方车辆检测方法和装置 | |
CN101124612B (zh) | 图像处理方法、图像处理***、以及图像处理装置 | |
US9589337B2 (en) | Apparatus and method for recovering images damaged by weather phenomena | |
JP2019125235A (ja) | 運転評価システム、およびプログラム。 | |
JPH09223218A (ja) | 走路検出方法及び装置 | |
JP2020166758A (ja) | 画像処理装置および画像処理方法 | |
CN115311357A (zh) | 一种地面检测方法、装置及设备 | |
JP6785172B2 (ja) | 車両用映像表示装置 | |
JP6582891B2 (ja) | 空車枠特定システム、方法およびプログラム | |
JP2021012446A (ja) | 学習装置及びプログラム | |
JP7360304B2 (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |