CN106056534A - 基于智能眼镜的遮挡物透视方法及装置 - Google Patents

Abstract

本发明提供了一种基于智能眼镜的遮挡物透视方法及装置，该方法包括：通过智能眼镜采集使用者视野的第一图像并识别所述第一图像中的遮挡物图像；通过至少一图像采集设备采集使用者视野的第二图像；利用所述第二图像中对应所述遮挡物图像的部分替换所述第一图像中的遮挡物图像，拼接生成使用者视野的无遮挡图像。本发明通过利用所述第二图像中对应遮挡物图像的部分替换第一图像中的遮挡物图像，能够实现透视遮挡物。

Description

基于智能眼镜的遮挡物透视方法及装置

技术领域

本发明涉及人机交互技术领域，尤其涉及一种基于智能眼镜的遮挡物透视方法及装置。

背景技术

在有遮挡物存在的情况下，往往容易形成视野死角，观察者无法获得遮挡物阻挡部分的视野，从而容易引发种种问题。例如，各种驾驶舱中挡风玻璃的立柱会形成视野死角，车门部分也会遮挡观察者的视野。近年来，由于智能眼镜的发展，透视物体成为可能。然而，目前的智能眼镜只能用来透视物体的内部结构，不能透视整个物体，例如遮挡物，而且需要预先知道物体的内部结构图像才能对物体进行透视。

发明内容

本发明提供一种基于智能眼镜的遮挡物透视方法及装置，以解决现有智能眼镜无法透视遮挡物的问题。

本发明提供一种基于智能眼镜的遮挡物透视方法，包括：通过智能眼镜采集使用者视野的第一图像并识别所述第一图像中的遮挡物图像；通过至少一图像采集设备采集使用者视野的第二图像；利用所述第二图像中对应所述遮挡物图像的部分替换所述第一图像中的遮挡物图像，拼接生成使用者视野的无遮挡图像。

一个实施例中，利用所述第二图像中对应所述遮挡物图像的部分替换所述第一图像中的遮挡物图像，拼接生成使用者视野的无遮挡图像，包括：从所述第一图像中除遮挡物图像之外的图像部分和所述第二图像分别提取多个第一特征点和多个第二特征点，所述第二特征点与所述第一特征点一一对应；根据所有所述第一特征点和所有所述第二特征点，计算得到由所述图像采集设备的成像视角转换为使用者视角的图像变换矩阵；利用所述图像变换矩阵对所述第二图像进行图像变换；将图像变换后的所述第二图像中对应所述遮挡物图像的部分与去除所述遮挡物图像后的所述第一图像拼接在一起生成所述无遮挡图像。

一个实施例中，从所述第一图像中的除遮挡物图像之外的图像部分和所述第二图像分别提取多个第一特征点和多个第二特征点，包括：通过特征提取算法从所述第一图像中的除遮挡物图像之外的图像部分和所述第二图像分别提取多个第一特征点和多个第二特征点。

一个实施例中，去除所述遮挡物图像后的所述第一图像的边缘的设定像素宽度区域包含部分的所述遮挡物图像。

一个实施例中，在将图像变换后的所述第二图像中对应所述遮挡物图像的部分与去除所述遮挡物图像后的所述第一图像拼接在一起生成所述无遮挡图像之前，还包括：根据所述图像采集设备的成像角度及空间位置信息，对图像变换后的所述第二图像中对应所述遮挡物图像的部分与去除所述遮挡物图像后的第一图像之间的拼接位置进行初始定位。

一个实施例中，通过智能眼镜识别所述第一图像中的遮挡物图像，包括：根据遮挡物的恒定属性或遮挡物上的图形标记，识别所述第一图像中的遮挡物图像。

一个实施例中，该方法还包括：在使用者视野内的画面发生变化时，所述智能眼镜更新所述第一图像，所述图像采集设备重新采集所述第二图像以更新所述第二图像，并基于更新后的所述第一图像和更新后的所述第二图像重新生成所述无遮挡图像。

一个实施例中，该方法还包括：在使用者的视角发生变化时，所述智能眼镜依据所述智能眼镜上的陀螺仪的检测数据和一设定位置的陀螺仪的检测数据确定是否需要更新所述第一图像；若是，通过所述智能眼镜更新所述第一图像，并基于更新后的所述第一图像重新生成所述无遮挡图像。

一个实施例中，还包括：在使用者的视角发生变化后，使用另一图像采集设备重新采集所述第二图像，并基于重新采集的所述第二图像重新生成所述无遮挡图像。

一个实施例中，所述遮挡物相对于使用者的方向角与所述图像采集设备的成像视角之差小于90度。

一个实施例中，所述图像采集设备的个数为多个，通过多个图像采集设备采集使用者视野的第二图像，包括：通过各所述图像采集设备采集使用者视野的第三图像；将各所述第三图像拼接在一起形成无遮挡物的所述第二图像。

本发明还提供一种基于智能眼镜的遮挡物透视装置，包括：遮挡物图像获取单元，用于通过智能眼镜采集使用者视野的第一图像并识别所述第一图像中的遮挡物图像；替换图像获取单元，用于通过至少一图像采集设备采集使用者视野的第二图像；无遮挡图像生成单元，用于利用所述第二图像中对应所述遮挡物图像的部分替换所述第一图像中的遮挡物图像，拼接生成使用者视野的无遮挡图像。

一个实施例中，所述无遮挡图像生成单元包括：特征点提取模块，用于从所述第一图像中除遮挡物图像之外的图像部分和所述第二图像分别提取多个第一特征点和多个第二特征点，所述第二特征点与所述第一特征点一一对应；变换矩阵生成模块，用于根据所有所述第一特征点和所有所述第二特征点，计算得到由所述图像采集设备的成像视角转换为使用者视角的图像变换矩阵；图像变换模块，用于利用所述图像变换矩阵对所述第二图像进行图像变换；无遮挡图像生成模块，用于将图像变换后的所述第二图像中对应所述遮挡物图像的部分与去除所述遮挡物图像后的所述第一图像拼接在一起生成所述无遮挡图像。

一个实施例中，所述特征点提取模块包括：特征提取算法模块，用于通过特征提取算法从所述第一图像中的除遮挡物图像之外的图像部分和所述第二图像分别提取多个第一特征点和多个第二特征点。

一个实施例中，所述无遮挡图像生成模块还用于执行：去除所述遮挡物图像后的所述第一图像的边缘的设定像素宽度区域包含部分的所述遮挡物图像。

一个实施例中，所述无遮挡图像生成单元还包括：初始定位模块，用于根据所述图像采集设备的成像角度及空间位置信息，对图像变换后的所述第二图像中对应所述遮挡物图像的部分与去除所述遮挡物图像后的第一图像之间的拼接位置进行初始定位。

一个实施例中，所述遮挡物图像获取单元包括：遮挡物图像获取模块，用于根据遮挡物的恒定属性或遮挡物上的图形标记，识别所述第一图像中的遮挡物图像。

一个实施例中，该装置还包括：第一图像更新单元，用于在使用者视野内的画面发生变化时，所述智能眼镜更新所述第一图像，所述图像采集设备重新采集所述第二图像以更新所述第二图像，并基于更新后的所述第一图像和更新后的所述第二图像重新生成所述无遮挡图像。

一个实施例中，该装置还包括：第二图像更新单元，用于在使用者的视角发生变化时，所述智能眼镜依据所述智能眼镜上的陀螺仪的检测数据和一设定位置的陀螺仪的检测数据确定是否需要更新所述第一图像；无遮挡图像更新单元，用于若是，通过所述智能眼镜更新所述第一图像，并基于更新后的所述第一图像重新生成所述无遮挡图像。

一个实施例中，该装置还包括：第三图像更新单元，用于在使用者的视角发生变化后，使用另一图像采集设备重新采集所述第二图像，并基于重新采集的所述第二图像重新生成所述无遮挡图像。

一个实施例中，所述替换图像获取单元还用于执行：所述遮挡物相对于使用者的方向角与所述图像采集设备的成像视角之差小于90度。

一个实施例中，所述图像采集设备的个数为多个，所述替换图像获取单元包括：第三图像获取模块，用于通过各所述图像采集设备采集使用者视野的第三图像；第二图像获取模块，用于将各所述第三图像拼接在一起形成无遮挡物的所述第二图像。

本发明实施例的基于智能眼镜的遮挡物透视方法及装置，利用智能眼镜的摄像头采集到的使用者视野的图像，通过多种方法分析并识别得到视野中遮挡物的位置和图像，利用外置的图像采集设备采集被遮挡的视野的图像，并将被遮挡的部分用外置探测器采集到的图像进行替换，再将替换图像与使用者视野图像进行配准、拼接，如此一来，使用智能眼镜能够在观察遮挡物的时候能看到被遮挡物遮挡的图像，从而能够产生透视遮挡物的效果，以此可以有效的去除使用者视野内由该遮挡物造成的死角。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明实施例的基于智能眼镜的遮挡物透视方法的流程示意图；

图2是本发明一实施例中拼接生成使用者视野的无遮挡图像的方法流程示意图；

图3是本发明另一实施例中拼接生成使用者视野的无遮挡图像的方法流程示意图；

图4是本发明又一实施例的基于智能眼镜的遮挡物透视方法的流程示意图；

图5是本发明再一实施例的基于智能眼镜的遮挡物透视方法的流程示意图；

图6是本发明另一实施例的基于智能眼镜的遮挡物透视方法的流程示意图；

图7是本发明一实施例中通过多个图像采集设备采集使用者视野的第二图像的方法流程示意图；

图8是本发明一实施例中拼接得到第二图像的方法的流程示意图；

图9是本发明一实施例中智能眼镜采集的第一图像的示意图；

图10是本发明一实施例中图像采集设备采集到的包含对应图9所示遮挡物图像部分的第二图像的示意图；

图11是根据图9和图10所示图像拼接而成的无遮挡物图像的示意图；

图12是本发明一实施例的基于智能眼镜的遮挡物透视装置的结构示意图；

图13是本发明一实施例中无遮挡图像生成单元的结构示意图；

图14是本发明一实施例中无遮挡图像生成单元的结构示意图；

图15是本发明另一实施例的基于智能眼镜的遮挡物透视装置的结构示意图；

图16是本发明另一实施例的基于智能眼镜的遮挡物透视装置的结构示意图；

图17是本发明又一实施例的基于智能眼镜的遮挡物透视装置的结构示意图；

图18是本发明一实施例的替换图像获取单元的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。本发明实施例中各步骤的顺序仅用于示意性说明方法实施的过程，步骤顺序可根据需要做适当调整，本发明对此不作限定。

本发明的基于智能眼镜的遮挡物透视方法，在佩戴智能眼镜的状态下，创造性地借助辅助探测器，例如外置摄像头，并利用该辅助探测器采集被遮挡部分的图像，或者说该探测器可以覆盖到使用者由于遮挡物的遮挡而造成的视野死角，然后将被遮挡部分和探测器采集到的图像进行拼接，从而得到视野死角的图像。将视野内的遮挡物体透明化处理，能够达到消除视野死角的目的。

图1是本发明实施例的基于智能眼镜的遮挡物透视方法的流程示意图。如图1所示，本发明实施例的基于智能眼镜的遮挡物透视方法，可包括步骤：

S110：通过智能眼镜采集使用者视野的第一图像并识别上述第一图像中的遮挡物图像；

S120：通过至少一图像采集设备采集使用者视野的第二图像；

S130：利用上述第二图像中对应上述遮挡物图像的部分替换上述第一图像中的遮挡物图像，拼接生成使用者视野的无遮挡图像。

在上述步骤S110中，该智能眼镜可以是各种不同的智能眼镜，其上一般设有图像采集设备，例如摄像头。上述使用者通常是指佩戴上述智能眼镜的用户，由于智能眼镜的图像采集设备所在位置与人眼位置的距离很近，所以使用者能够看到的图像，智能眼镜也可以看到。遮挡物可使使用者的视野产生盲区，被遮挡物遮挡的部分使用者无法观察到，例如车窗的立柱会挡住车内人员的部分视野。

一个实施例中，可近似认为使用者和智能眼镜二者看到的图像相同，可以忽略其二者之间的图像简单形变，以此可以简化图像处理过程。

另一个实施例中，使用者视野即自然视野与智能眼镜的图像采集设备二者所看到图像的差异可以基于人眼与智能眼镜的图像采集设备的位置关系进行校正或修正，以此可以提高智能眼镜显示屏上图像的真实性，可以提升使用者体验。

一个实施例中，使用者视野即自然视野与智能眼镜的图像采集设备二者所看到图像的差异，可以使用双摄像机进行相机标定的方法进行校正。具体而言，可将人眼位置放置一台摄像机，将该摄像机采集到的标定板图像与智能眼镜摄像头采集到的标定板图像进行对比，得到一个图像的变换矩阵T。将所有经过智能眼镜采集到的图像在显示到人眼前都经过矩阵T的变换，从而可以得到一个近似在人眼位置采集到并显示图像。

该第一图像可以通过该智能眼镜上的图像采集设备采集。该第一图像中的遮挡物图像可以通过该智能眼镜中的处理器或额外设置的处理器进行图像分析获得，即可以判断使用者视野内是否存在遮挡物。使用者视野内可以存在多个遮挡物，上述遮挡物图像可以是多个。一个实施例中，可以通过对智能眼镜的摄像头拍摄到的遮挡物进行一定的识别，从而判断使用哪部分的图像进行替换，使用智能眼镜识别的过程也可以通过智能眼镜自身的陀螺仪设备辅助参考，以此智能眼镜的摄像头可以识别出视野内是否存在遮挡物，并使用相应的图像进行替换。由于整个视野的视野死角可被图像采集装置覆盖，所以遮挡物周边的图像和被遮挡的图像可以有效的进行拼接，这样可以更好的判断出视野所在的位置并使用相应的图像进行替换。

一个实施例中，上述智能眼镜可以是可透视型智能眼镜。该可透视型智能眼镜的显示屏可允许自然光穿透，以此可以在保证使用者观看智能眼镜显示图像的同时也可以看到自然真实视野。上述智能眼镜中产生的图像可与真实视野中的目标图像发生叠加，使用智能眼镜中处理过的图像覆盖部分真实视野中的遮挡物图像，以此可以达到透视遮挡物的效果。被遮挡的图像可以由一个或者多个图像采集装置采集获得，其中，至少有1个图像采集装置可以不被遮挡物遮挡。

在上述步骤S120中，图像采集设备可以是各种能够采集图像的设备，例如相机、摄像头、红外图像探测器等。上述图像采集设备可以安装在各种不同位置，只要能拍摄到被遮挡物遮挡的使用者视野的图像即可，换言之，需要覆盖被遮挡物遮挡的视野的位置，即覆盖到使用者的视野死角，能够采集到被遮挡部分的图像，例如上述图像采集设备设置在车顶的边缘的位置，可以覆盖车窗立柱的视野死角的。

较佳地，上述图像采集设备设置在上述遮挡物的背面，以此可以保证被遮挡物遮挡的使用者视野的图像一定可以被采集到。

一个实施例中，利用一个上述图像采集设备可以拍到所有遮挡物所遮挡的视野的图像时，可以仅使用一个图像采集设备采集上述第二图像。另一实施例中，同时使用多个图像采集设备同时拍摄遮挡物所遮挡的视野的不同部分的图像，不同图像采集设备所采集图像可拼接在一起，生成包含所有或整个遮挡物所遮挡视野的图像。

一个实施例中，上述图像采集设备的位置可以和遮挡物的位置相对固定，以此可以极大减少图像处理的运算量，可以提高图像处理效果。

在上述步骤S130中，第二图像中对应上述遮挡物图像的部分可以指遮挡物所遮挡的使用者视野的图像。例如，车窗立柱遮挡住使用者视野内的交通指示灯，则第二图像中对应上述遮挡物图像的部分可以是交通指示灯的图像。该无遮挡图像可知透视遮挡物后的图像。上述图像采集设备采集的图像可以通过多种方式传送处理器处理，例如通过无线或有线方式，该处理器可以是该智能眼镜上的处理器，或者是额外设置的处理器。图像采集设备可以实时采集被遮挡物遮挡的使用者视野的图像，并可实时更新智能眼镜显示屏上显示的无遮挡图像。

本发明实施例中，通过图像采集设备采集包括被遮挡物遮挡的使用者视野的图像，可不需要预先知道被遮挡物遮挡住的图像。通过利用上述第二图像中对应遮挡物图像的部分替换上述第一图像中的遮挡物图像，并拼接生成使用者视野的无遮挡图像，可以实现透视遮挡物整个物体。如此一来，可以克服现有智能眼镜只能用来透视物体内部结构，而不能透视整个物体的缺点，还可以突破现有智能眼镜需要预先知道物体内部结构图像的局限性。

图2是本发明一实施例中拼接生成使用者视野的无遮挡图像的方法流程示意图。如图2所示，在上述步骤S130中，利用上述第二图像中对应上述遮挡物图像的部分替换上述第一图像中的遮挡物图像，拼接生成使用者视野的无遮挡图像的方法，可包括步骤：

S131：从上述第一图像中除遮挡物图像之外的图像部分和上述第二图像分别提取多个第一特征点和多个第二特征点，上述第二特征点与上述第一特征点一一对应；

S132：根据所有上述第一特征点和所有上述第二特征点，计算得到由上述图像采集设备的成像视角转换为使用者视角的图像变换矩阵；

S133：利用上述图像变换矩阵对上述第二图像进行图像变换；

S134：将图像变换后的上述第二图像中对应上述遮挡物图像的部分与去除上述遮挡物图像后的上述第一图像拼接在一起生成上述无遮挡图像。

在上述步骤S131中，上述第一特征点和第二特征点可以是相应图像中能够反映物体形状的点，例如图像中的物体的顶点或拐点，可以由该点的强度的梯度变化得到。具体将图像中的哪些点作为特征点，可视需要而定。上述第二特征点与上述第一特征点一一对应，可指上述第二特征点与上述第一特征点为使用者视野中同一点画面所对应的图像上的点。特征点的数量越多越，图像拼接的越准确，一个实施例中，成对的特征点(第一特征点和第二特征点成对出现)至少为5对，这有利于图像变换矩阵结果的正确和稳定。

一个实施例中，可以提取第一图像中除遮挡物图像之外的图像部分中的所有第一特征点，可以提取第二图像中的所有第二特征点，并可记录相应特征点的特征向量和特征值，进一步可通过提取的所有第一特征点和所有第二特征点依据特征向量和特征值进行匹配，并可将匹配成功的第一特征点和第二特征点用于计算上述图像变换矩阵，即最初提取的第一特征点和第二特征点数量可不同，例如第二特征点数量多于第一特征点数量。

在上述步骤S132～S133中，上述第二图像是从上述图像采集设备的成像视角进行拍摄，上述第一图像是从使用者视角拍摄，该两视角不同时，上述第二图像和上述第一图像中的共同图像部分一般会有相对变形。利用上述图像变换矩阵对该第二图像进行图像变换，可以该第二图像由像采集设备的成像视角转换为使用者视角，可以消除图像变形问题。

在上述步骤S134中，可以通过对比上述第一图像和图像变换后的上述第二图像，得到图像变换后的上述第二图像中对应上述遮挡物图像的部分；去除上述第一图像中的遮挡物图像；之后，再将图像变换后的第二图像中对应上述遮挡物图像的部分与去除遮挡物图像后的第一图像拼接在一起。

特征提取算法可有很多种，例如，对图片进行多次虚化处理，将每次虚化后的图片与虚化前图进行差值得到一个向量矩阵。这样可以堆叠形成3*3*3的一个立方体中查找。中心点比周边的点都大或者都小的值就为特征点。同时记录一下特征点的特征向量和该特征点在各个方向的梯度作为该特征点的特征值。如果两特征点的特征值和特征向量均相同，同时用可认为这两个特征点是同一个点即相互对应。这个变换矩阵可是一个3*3的矩阵。由特征点对应解方程求最小方差可以得到这个3*3的矩阵。

本实施例中，通过上述图像变换矩阵对上述第二图像进行图像变换，在拼接生成无遮挡图像，以此，可以防止在图像采集设备的成像视角与使用者视野的角度(智能眼镜成像视角)不一致的情况下，被遮挡部分的成像不够直观，造成使用者视野的混乱，从而影响使用者的正常视野的问题。

一个实施例中，在上述步骤S131中，从上述第一图像中的除遮挡物图像之外的图像部分和上述第二图像分别提取多个第一特征点和多个第二特征点的方法，具体实施方式可以是：通过特征提取算法从上述第一图像中的除遮挡物图像之外的图像部分和上述第二图像分别提取多个第一特征点和多个第二特征点。

上述特征提取算法可以提取出拐点，拐点可指与周边其他的像素点变化差异较大的点。举例来说，如果图像上存在一条竖直的边，显然边的左右两边都与边所在的线的像素变化较大，但是这条边不能成为特征点即拐点，因为边是一条线，一条线上有太多的点，无法准确判断其中哪个点可以作为拐点。再例如，如果两条边相交，那么就必然有一个交点，并且这个交点与它周边的像素相比在任何方向上差异都较大。并且这个交点是唯一的一个，它并不会沿着边产生多个拐点，所以，可以选取这个交点作为特征点，也就是拐点。由此可知，特征点一般可以是图像中物体的尖角的位置。上述特征点包括上述第一特征点和第二特征点。

一个实施例中，在上述步骤S134中，去除上述遮挡物图像后的上述第一图像的边缘的设定像素宽度区域包含部分的上述遮挡物图像。本实施例中，将遮挡物的图像部分去除，同时保留被遮挡的边缘部分，可以作为图像拼接的依据，提高图像拼接质量。在去除掉遮挡部分时，未遮挡部分可被保留下来，在图像的拼接时，未遮挡部分与遮挡部分相接的部分图像可在显示的时候做一定的处理使显示看起来更自然。该保留的边缘部分的值可以使用固定的像素，或可以根据相拼接的像素之间的差值来决定宽度。一个实施例中，上述边缘部分的宽度不少于5个像素，以此可以便于图像显示的平滑。

另一个实施例中，上述边缘部分的宽度可以为0～5个像素，或者可将遮挡物的边缘进行扩张操作，使去掉的遮挡物图像比实际的遮挡物图像可大一些，以此，可使拼接后的图像更自然且更平滑。

图3是本发明另一实施例中拼接生成使用者视野的无遮挡图像的方法流程示意图。如图3所示，图2所示的拼接生成使用者视野的无遮挡图像的方法，在将图像变换后的上述第二图像中对应上述遮挡物图像的部分与去除上述遮挡物图像后的上述第一图像拼接在一起生成上述无遮挡图像(步骤S134)之前，还可包括步骤：

S135：根据上述图像采集设备的成像角度及空间位置信息，对图像变换后的上述第二图像中对应上述遮挡物图像的部分与去除上述遮挡物图像后的第一图像之间的拼接位置进行初始定位。本实施例中，参考外置图像采集设备的角度和位置等信息作为图像拼接的初始定位信息可以加快图像拼接的速度。

在上述步骤S135中，上述图像采集设备与遮挡物的位置较佳地是相对固定的，被遮挡的图像可与图像采集设备采集到的图像存在一定的相对关系。该空间位置信息可以是图像采集设备和遮挡物的相对空间位置，此时，当发现遮挡物的位置后，可以将该相对空间位置的信息记录下来，在此条件下，遮挡物和图像采集设备之间可以认为是不发生相对运动的，所以可以定位到遮挡物的位置信息并利用该位置信息进行图像拼接，例如，某个角度方向上存在遮挡物，那么这个角度方向上的图像采集设备采集到的信息可以用来替换遮挡物图像。如此一来，在使用智能眼镜做图像拼接的操作的时候，拼接过程中需要搜寻对应特征点(第一特征点和对应的第二特征点)的图像的范围可以大大减小，从而可以提高图像处理速度。一个实施例中，同时可以利用智能眼镜本身的陀螺仪提供方向等的信息，可以预先知晓遮挡物与智能眼镜使用者存在的角度关系，也就是说使用者是否朝遮挡物的方向观察了，这可以作为是否显示透视图像或者拼接预算的一个辅助依据。在一实施例中，可同时存在多个图像采集设备的情况下，多个图像采集设备之间的相对位置可以固定，以此进行一次多个图像采集设备的图像拼接以后，只需要保留图像变换矩阵并应用到新的图像即可，无需要每次都对图像进行特征提取和寻找对应特征点的操作，以此可以提高图像处理速度。

一个实施例中，在上述步骤S110中，通过智能眼镜识别上述第一图像中的遮挡物图像的方法，具体实施方式可以是：根据遮挡物的恒定属性或遮挡物上的图形标记，识别上述第一图像中的遮挡物图像。

具体地，例如可根据图形标记所在的边界区域识别遮挡物图像。第一图像在图像处理过程中可提取图像的边界，这样可以将整个第一图像划分为很多区域，恒定属性或者图形标记所在的区域可被认定为遮挡物，该区域的图像可被替换。

本实施例中，该图形标记可以是预先再遮挡物上设置的唯一标记，用以识别该遮挡物。识别第一图像中的遮挡物图像的方法可包括遮挡物的颜色、图案、相对位置或者特征标识等。颜色可指遮挡物的自身颜色相对恒定，可以通过一段时间的采集将遮挡物的颜色限定与某个范围这样对该颜色的物体在作为遮挡物的判定中可以给予一定加权。图案和特征标识本质相同，可是指符合特定图案特征作为识别，识别后可将所在的轮廓识别为遮挡物。相对位置可是采用陀螺仪的方式记录遮挡物和使用者之间的相对关系从而应用与对遮挡物的识别中。对遮挡物的识别的方法可以是物体识别的算法。

通过智能眼镜记录遮挡物体的特征，或者在遮挡物上使用图形标记，或者通过记录遮挡物的空间位置，例如通过智能眼镜陀螺仪记录遮挡物与智能眼镜所成角度，从而可在智能眼镜朝向该角度时识别出该遮挡物。视野死角和遮挡物本身一般不太发生变化，通过对遮挡物本身属性比较恒定这一特点来达到对遮挡物得识别，可以提高遮挡物识别的准确度。例如，遮挡物的颜色比较固定，几乎不发生变化，在自然视野变化时，遮挡物的自身的图像也不变化等特征识别标定出遮挡物或视野死角。自然视野中的遮挡物部分可被记录下来并被移除掉。

一个实施例中，视野内未发现遮挡物，可无需进行图像的替换操作，可以使用智能眼镜摄像头所拍摄的图案。如果是透过式智能眼镜也可以采用不显示的方法直接让使用者透过镜片直接观察而不进行显示，使用者可以透过智能眼镜直接看到自然视野，该智能眼镜可以是透过式的智能眼镜，例如类似***glass和hololens的智能眼镜。

图4是本发明又一实施例的基于智能眼镜的遮挡物透视方法的流程示意图。如图4所示，图1所示的基于智能眼镜的遮挡物透视方法，还可包括步骤：

S140：在使用者视野内的画面发生变化时，上述智能眼镜更新上述第一图像，所述图像采集设备重新采集所述第二图像以更新所述第二图像，并基于更新后的上述第一图像和更新后的所述第二图像重新生成上述无遮挡图像。

本实施例中，当被遮挡的自然视野发生变化的时候，例如使用者头部发生位移，可以依据智能眼镜自身的陀螺仪数据调整更新上述无遮挡图像。具体地，可以更新上述第一图像和上述第二图像，并基于更新后的第一图像和更新后的第二图像，利用上述步骤S120～S130重新生成无遮挡图像。如此一来，可以在使用者视野内的画面发生变化时实现无遮挡图像的实时更新。一个实施例中，上述图像采集设备可实时采集第二图像，可在需要时利用重新采集的第二图像对更新之前的第二图像。

一个实施例中，当智能眼镜使用者的视角发生变化的时候，可先判断新视野中是否存在遮挡物，再重复上述必要步骤。判断视野内遮挡物的方法可以是，首先，使用图像采集设备对图像进行相对完整的拼接，形成一幅完整图像，将此图像作为模板，参考智能眼镜拍摄到的图像和智能眼镜自身的陀螺仪信息，选出模板上的部分图像区域作为视野窗口，对比图像采集设备采集到的视野窗口和智能眼镜自身拍摄到的图像，判断出遮挡物。使用图像采集设备采集到的图像，对遮挡图像进行替换。

图5是本发明再一实施例的基于智能眼镜的遮挡物透视方法的流程示意图。如图5所示，图1所示的基于智能眼镜的遮挡物透视方法，还可包括步骤：

S150：在使用者的视角发生变化时，上述智能眼镜依据上述智能眼镜上的陀螺仪的检测数据和一设定位置的陀螺仪的检测数据确定是否需要更新上述第一图像；

S160：若是，通过上述智能眼镜更新上述第一图像，并基于更新后的上述第一图像重新生成上述无遮挡图像。

在上述步骤S150中，设定位置可以是智能眼镜外的各个位置，例如车上。根据智能眼镜上的陀螺仪的检测数据和该设定位置的陀螺仪的检测数据可以在各种情形下确定使用者的视角变化情况，例如在车行驶的过程中确定使用者视角是否发生变化。

在上述步骤S160中，当根据智能眼镜上的陀螺仪的检测数据和该设定位置的陀螺仪的检测数据判断使用者的视角变化超过一设定角度时，可通过智能眼镜更新该第一图像，并基于更新后的第一图像生成无遮挡图像，以此可以在使用者视角发生变化时，实时更新无遮挡图像。

在其他实施例中，若根据智能眼镜上的陀螺仪的检测数据和该设定位置的陀螺仪的检测数据判断使用者的视角变化不超过上述设定角度，可近似认为使用者视角未发生变化，则可不更新第一图像。一个实施例中，上述图像采集设备可以是摄像机，此时，可以实时采集第二图像，并可实时更新上述第二图像，第二图像可以是一直被重新采集，并可视需要用于生成上述无遮挡物图像。

本实施例中，第二图像可以重新采集，也可以不重新采集，只要第二图像中仍可包括被更新后的第一图像中的遮挡物所遮挡的使用者视野即可。

图6是本发明另一实施例的基于智能眼镜的遮挡物透视方法的流程示意图。如图6所示，图1所示的基于智能眼镜的遮挡物透视方法，还可包括步骤：

S170：在使用者的视角发生变化后，使用另一图像采集设备重新采集上述第二图像，并基于重新采集的上述第二图像重新生成上述无遮挡图像。

本实施例中，该另一图像采集设备是相对于使用者的视角发生变化前用于采集上述第二图像而言的图像采集设备，可以是上述多个图像采集设备中的另一个。该另一图像采集设备可以采集到使用者的新的视角内遮挡物所遮挡的使用者视野的图像。该另一图像采集设备和上述图像采集设备在成像角度和/或位置上可以不同。根据使用者视角的不同，使用不同的图像采集设备采集第二图像，可以保证更多中使用者视角下均可以透视遮挡物。

一个实施例中，图1所示的基于智能眼镜的遮挡物透视方法，上述遮挡物相对于使用者的方向角与上述图像采集设备的成像视角之差小于90度。

本实施例中，遮挡物相对于使用者的方向角与上述图像采集设备的成像视角之差小于90度，可以克服由于三维的实际的空间和表达二维信息的图像之间的差异，提高透视结果的越准确度。其他实施例中，遮挡物相对于使用者的方向角与上述图像采集设备的成像视角之差可以是其他角度，例如可根据图像采集设备可采集的视场角确定，例如可以是图像采集设备的镜头视角的1/2。一个实施例中，该视角差可以是30度及以下，以此可获得比较理想的图像。另一实施例中，图像采集设备可采用180度广角镜头，此时该视角差可接近达90度，可通过多个镜头采集的图像拼接得到全景镜头的图像。

图7是本发明一实施例中通过多个图像采集设备采集使用者视野的第二图像的方法流程示意图。上述图像采集设备的个数为多个，如图7所示，通过多个图像采集设备采集使用者视野的第二图像的方法，可包括步骤：

S121：通过各上述图像采集设备采集使用者视野的第三图像；

S122：将各上述第三图像拼接在一起形成无遮挡物的上述第二图像。

在上述步骤S121中，各上述图像采集设备的视角和/或位置可以各部相同，可以采集不同的上述第三图像。

在上述步骤S122中，通过将各第三图像拼接在一起形成无遮挡物的第二图像，可以在一个图像采集设备不能采集完整的遮挡物遮挡的视野图像时，将各个图像采集设备采集的部分的遮挡物遮挡的视野图像拼接在一起，构成完整的遮挡物遮挡的视野图像，从而用于替换上述第一图像中的遮挡物图像。

另一实施例中，拼接形成的上述第二图像可比一幅上述第三图像具有更宽广的视野的图像，在使用者视野内的画面发生变化和/或使用者视角发生变化时，只要上述第二图像仍能够包括遮挡物遮挡的视野的图像，可以不用更新上述第二图像，若第一图像发生变化，可直接在该第二图像中找到与更新后的第一图像对应位置的图像即可，以此可以提高图像处理速度。

图8是本发明一实施例中拼接得到第二图像的方法的流程示意图。如图8所示，在上述步骤S122中，将各上述第三图像拼接在一起形成无遮挡物的上述第二图像的方法，可包括步骤：

S1221：从各上述第三图像中除遮挡物图像之外的图像部分分别提取多个第三特征点，不同上述第三图像中第三特征点一一对应；

S1222：根据不同上述第三图像中第三特征点，计算得到由其他图像采集设备的成像视角转换为其中一个图像采集设备的成像视角的图像转换矩阵；

S1223：利用上述图像转换矩阵对上述其他图像采集设备所采集的第三图像进行图像变换；

S1224：将图像变换后的第三图像与上述其中一个图像采集设备采集的第三图像拼接，以得到对应上述第一图像中整个上述遮挡物图像的图像。

本实施例中，具体实现方法可与图2所示的拼接方法类似，例如在上述步骤S1221中，可以采用特征点提取算法提取上述第三特征点。在上述步骤S1224中，可利用各待拼接图像中的对应遮挡物图像的部分替换遮挡物图像，剪裁、拼接构成对应上述第一图像中整个遮挡物图像的图像。

一个具体实施例中，透视遮挡物方法可以包括步骤：

(1)使用智能眼镜对遮挡物图像进行识别，通过对目标物体外部标定的识别，判断出需要被透视的遮挡物，或者通过智能眼镜自身的陀螺仪记录遮挡物的方向，或者通过对遮挡物自身的识别达到标定出遮挡物的目的。

(2)使用外置探测器采集到被遮挡的图像。

(3)在外置图像和存在遮挡物的自然视野中寻找对应特征点。

(4)求出图像变换矩阵和经变换的外置探测器图像。

(5)将图像叠加到原存在遮挡物的图像中。

(6)使用新图像叠加或者替换遮挡物部分图像。

(7)在自然视野发生变化时，重复以上操作，使被遮挡物上叠加的图像根据被遮挡的内容不停发生变化。

(8)智能眼镜使用者视野发生变化时，先判断是否存在遮挡物，如果不存在遮挡物则不进行图像替换，如果存在遮挡物则重复进行(1)-(7)操作。

(9)使用全部探测器所得图像进行拼接后的图像作为模板，将智能眼镜所拍摄图像和智能眼镜陀螺仪信息数据作为窗口在模板上搜索，得到被遮挡物遮挡的对应图像完成替换。

本实施例的方法，视野死角和遮挡物遮挡住的部分可能是实时变化的，这部分数据可具有实时性；一种可透视智能眼镜及其透视方法的透视结果是物体的内部结构，该内部结构可是相对固定的，可无实时性，基本上也不会随时间的变化而变化。本发明可以应用于交通、军事视野死角有较大危害的场所，同时由于可以实时的透视遮挡的物体，从而保证了结果显示的准确和可用。

图9是本发明一实施例中智能眼镜采集的第一图像的示意图。智能眼镜看到的图像可以近似认为是使用者的自然视野内看到的图像。如图9所示，智能眼镜采集的第一图像300中包含遮挡物图像301和非遮挡物图像302。使用者视野的盲区(对应遮挡物图像301)在视野的右侧。其他实施例中，盲区也可能在视野的左侧、上方、下方、周边环绕或者中心等。在第一图像300中除遮挡物图像301以外的部分即非遮挡物图像302中，可以选择第一特征点A1、B1、C1、D1、E1、F1，该些特征点为拐点或交点。

图10是本发明一实施例中图像采集设备采集到的包含对应图9所示遮挡物图像部分的第二图像的示意图。如图10所示，采集到的第二图像400既包含对应图9中遮挡物图像301的图像，也包含至少部分地对应上述非遮挡物图像302的图像。第二图像400中可以找到对应第一特征点A1、B1、C1、D1、E1、F1的第二特征点A2、B2、C2、D2、E2、F2。第二图像400中的五角星图像相对于图9所示的五角星图像有所变形，且对应第一特征点C1的第二特征点C2位置有所遮挡。只要第二图像400中的遮挡物图像不包括对应第一图像300中遮挡物图像301的部分即可。

图9中的第一特征点A1、B1、C1、D1、E1、F1和图10中的第二特征点A2、B2、C2、D2、E2、F2并不一定能很好地重合，对图10进行图像变换后，可以使第一特征点A1、B1、C1、D1、E1、F1和第二特征点A2、B2、C2、D2、E2、F2很好地重合在一起，以便实现图像拼接，使拼接后的图像符合人眼的自然视野。

其他实施例中，可以使用多个图像采集设备进行图像的采集，从而保证对被遮挡视野和自然视野的完全覆盖。不同图像采集设备得到的图像之间可以采用图像拼接的方式将图像连接到一起得到上述第二图像400。

图11是根据图9和图10所示图像拼接而成的无遮挡物图像的示意图。如图11所示，利用图像变换后的第二图像400中对应遮挡物图像301的部分替换第一图像300中的遮挡物图像301，可以得到无遮挡物图像500，其中替换部分图像501用虚线视出。图像拼接起来形成一幅完整图像，或者也可以将被遮挡物遮挡住的图像使用虚拟的图像显示出来，视野死角可通过这种手段去除。最后将图像采集设备采集到的被遮挡部分的图像拼接到现有视野范围的图像上完成对遮挡物的透视。

本发明实施例的基于智能眼镜的遮挡物透视方法，利用智能眼镜的摄像头采集到的使用者视野的图像，通过多种方法分析并识别得到视野中遮挡物的位置和图像，利用外置的图像采集设备采集被遮挡的视野的图像，并将被遮挡的部分用外置探测器采集到的图像进行替换，再将替换图像与使用者视野图像进行配准、拼接，如此一来，使用智能眼镜能够在观察遮挡物的时候能看到被遮挡物遮挡的图像，从而能够产生透视遮挡物的效果，以此可以有效的去除使用者视野内由该遮挡物造成的死角。

基于与图1所示的基于智能眼镜的遮挡物透视方法相同的发明构思，本申请实施例还提供了一种基于智能眼镜的遮挡物透视装置，如下面实施例上述。由于该基于智能眼镜的遮挡物透视装置解决问题的原理与基于智能眼镜的遮挡物透视方法相似，因此该基于智能眼镜的遮挡物透视装置的实施可以参见基于智能眼镜的遮挡物透视方法的实施，重复之处不再赘述。

图12是本发明一实施例的基于智能眼镜的遮挡物透视装置的结构示意图。如图12所示，本发明实施例的基于智能眼镜的遮挡物透视装置，可包括：遮挡物图像获取单元210、替换图像获取单元220及无遮挡图像生成单元230，上述各单元顺序连接。

遮挡物图像获取单元210用于通过智能眼镜采集使用者视野的第一图像并识别上述第一图像中的遮挡物图像。

替换图像获取单元220用于通过至少一图像采集设备采集使用者视野的第二图像。

无遮挡图像生成单元230用于利用上述第二图像中对应上述遮挡物图像的部分替换上述第一图像中的遮挡物图像，拼接生成使用者视野的无遮挡图像。

在遮挡物图像获取单元210中，该智能眼镜可以是各种不同的智能眼镜，其上一般设有图像采集设备，例如摄像头。上述使用者通常是指佩戴上述智能眼镜的用户，由于智能眼镜的图像采集设备所在位置与人眼位置的距离很近，所以使用者能够看到的图像，智能眼镜也可以看到。遮挡物可使使用者的视野产生盲区，被遮挡物遮挡的部分使用者无法观察到，例如车窗的立柱会挡住车内人员的部分视野。

一个实施例中，可近似认为使用者和智能眼镜二者看到的图像相同，可以忽略其二者之间的图像简单形变，以此可以简化图像处理过程。

另一个实施例中，使用者视野即自然视野与智能眼镜的图像采集设备二者所看到图像的差异可以基于人眼与智能眼镜的图像采集设备的位置关系进行校正或修正，以此可以提高智能眼镜显示屏上图像的真实性，可以提升使用者体验。

一个实施例中，使用者视野即自然视野与智能眼镜的图像采集设备二者所看到图像的差异，可以使用双摄像机进行相机标定的方法进行校正。具体而言，可将人眼位置放置一台摄像机，将该摄像机采集到的标定板图像与智能眼镜摄像头采集到的标定板图像进行对比，得到一个图像的变换矩阵T。将所有经过智能眼镜采集到的图像在显示到人眼前都经过矩阵T的变换，从而可以得到一个近似在人眼位置采集到并显示图像。

该第一图像可以通过该智能眼镜上的图像采集设备采集。该第一图像中的遮挡物图像可以通过该智能眼镜中的处理器或额外设置的处理器进行图像分析获得，即可以判断使用者视野内是否存在遮挡物。使用者视野内可以存在多个遮挡物，上述遮挡物图像可以是多个。一个实施例中，可以通过对智能眼镜的摄像头拍摄到的遮挡物进行一定的识别，从而判断使用哪部分的图像进行替换，使用智能眼镜识别的过程也可以通过智能眼镜自身的陀螺仪设备辅助参考，以此智能眼镜的摄像头可以识别出视野内是否存在遮挡物，并使用相应的图像进行替换。由于整个视野的视野死角可被图像采集装置覆盖，所以遮挡物周边的图像和被遮挡的图像可以有效的进行拼接，这样可以更好的判断出视野所在的位置并使用相应的图像进行替换。

一个实施例中，上述智能眼镜可以是可透视型智能眼镜。该可透视型智能眼镜的显示屏可允许自然光穿透，以此可以在保证使用者观看智能眼镜显示图像的同时也可以看到自然真实视野。上述智能眼镜中产生的图像可与真实视野中的目标图像发生叠加，使用智能眼镜中处理过的图像覆盖部分真实视野中的遮挡物图像，以此可以达到透视遮挡物的效果。被遮挡的图像可以由一个或者多个图像采集装置采集获得，其中，至少有1个图像采集装置可以不被遮挡物遮挡。

在替换图像获取单元220中，图像采集设备可以是各种能够采集图像的设备，例如相机、摄像头、红外图像探测器等。上述图像采集设备可以安装在各种不同位置，只要能拍摄到被遮挡物遮挡的使用者视野的图像即可，换言之，需要覆盖被遮挡物遮挡的视野的位置，即覆盖到使用者的视野死角，能够采集到被遮挡部分的图像，例如上述图像采集设备设置在车顶的边缘的位置，可以覆盖车窗立柱的视野死角的。

较佳地，上述图像采集设备设置在上述遮挡物的背面，以此可以保证被遮挡物遮挡的使用者视野的图像一定可以被采集到。

一个实施例中，利用一个上述图像采集设备可以拍到所有遮挡物所遮挡的视野的图像时，可以仅使用一个图像采集设备采集上述第二图像。另一实施例中，同时使用多个图像采集设备同时拍摄遮挡物所遮挡的视野的不同部分的图像，不同图像采集设备所采集图像可拼接在一起，生成包含所有或整个遮挡物所遮挡视野的图像。

一个实施例中，上述图像采集设备的位置可以和遮挡物的位置相对固定，以此可以极大减少图像处理的运算量，可以提高图像处理效果。

在无遮挡图像生成单元230中，第二图像中对应上述遮挡物图像的部分可以指遮挡物所遮挡的使用者视野的图像。例如，车窗立柱遮挡住使用者视野内的交通指示灯，则第二图像中对应上述遮挡物图像的部分可以是交通指示灯的图像。该无遮挡图像可知透视遮挡物后的图像。上述图像采集设备采集的图像可以通过多种方式传送处理器处理，例如通过无线或有线方式，该处理器可以是该智能眼镜上的处理器，或者是额外设置的处理器。图像采集设备可以实时采集被遮挡物遮挡的使用者视野的图像，并可实时更新智能眼镜显示屏上显示的无遮挡图像。

本发明实施例中，通过图像采集设备采集包括被遮挡物遮挡的使用者视野的图像，可不需要预先知道被遮挡物遮挡住的图像。通过利用上述第二图像中对应遮挡物图像的部分替换上述第一图像中的遮挡物图像，并拼接生成使用者视野的无遮挡图像，可以实现透视遮挡物整个物体。如此一来，可以克服现有智能眼镜只能用来透视物体内部结构，而不能透视整个物体的缺点，还可以突破现有智能眼镜需要预先知道物体内部结构图像的局限性。

图13是本发明一实施例中无遮挡图像生成单元的结构示意图。如图13所示，上述无遮挡图像生成单元230可包括：特征点提取模块231、变换矩阵生成模块232、图像变换模块233及无遮挡图像生成模块234，上述各模块顺序连接。

特征点提取模块231用于从上述第一图像中除遮挡物图像之外的图像部分和上述第二图像分别提取多个第一特征点和多个第二特征点，上述第二特征点与上述第一特征点一一对应。

变换矩阵生成模块232用于根据所有上述第一特征点和所有上述第二特征点，计算得到由上述图像采集设备的成像视角转换为使用者视角的图像变换矩阵。

图像变换模块233用于利用上述图像变换矩阵对上述第二图像进行图像变换。

无遮挡图像生成模块234用于将图像变换后的上述第二图像中对应上述遮挡物图像的部分与去除上述遮挡物图像后的上述第一图像拼接在一起生成上述无遮挡图像。

在特征点提取模块231中，上述第一特征点和第二特征点可以是相应图像中能够反映物体形状的点，例如图像中的物体的顶点或拐点，可以由该点的强度的梯度变化得到。具体将图像中的哪些点作为特征点，可视需要而定。上述第二特征点与上述第一特征点一一对应，可指上述第二特征点与上述第一特征点为使用者视野中同一点画面所对应的图像上的点。特征点的数量越多越，图像拼接的越准确，一个实施例中，成对的特征点(第一特征点和第二特征点成对出现)至少为5对，这有利于图像变换矩阵结果的正确和稳定。

一个实施例中，可以提取第一图像中除遮挡物图像之外的图像部分中的所有第一特征点，可以提取第二图像中的所有第二特征点，并可记录相应特征点的特征向量和特征值，进一步可通过提取的所有第一特征点和所有第二特征点依据特征向量和特征值进行匹配，并可将匹配成功的第一特征点和第二特征点用于计算上述图像变换矩阵，即最初提取的第一特征点和第二特征点数量可不同，例如第二特征点数量多于第一特征点数量。

在变换矩阵生成模块232和图像变换模块233中，上述第二图像是从上述图像采集设备的成像视角进行拍摄，上述第一图像是从使用者视角拍摄，该两视角不同时，上述第二图像和上述第一图像中的共同图像部分一般会有相对变形。利用上述图像变换矩阵对该第二图像进行图像变换，可以该第二图像由像采集设备的成像视角转换为使用者视角，可以消除图像变形问题。

在无遮挡图像生成模块234中，可以通过对比上述第一图像和图像变换后的上述第二图像，得到图像变换后的上述第二图像中对应上述遮挡物图像的部分；去除上述第一图像中的遮挡物图像；之后，再将图像变换后的第二图像中对应上述遮挡物图像的部分与去除遮挡物图像后的第一图像拼接在一起。

本实施例中，通过上述图像变换矩阵对上述第二图像进行图像变换，在拼接生成无遮挡图像，以此，可以防止在图像采集设备的成像视角与使用者视野的角度(智能眼镜成像视角)不一致的情况下，被遮挡部分的成像不够直观，造成使用者视野的混乱，从而影响使用者的正常视野的问题。

一个实施例中，上述特征点提取模块231可包括：特征提取算法模块2311。

特征提取算法模块2311用于通过特征提取算法从上述第一图像中的除遮挡物图像之外的图像部分和上述第二图像分别提取多个第一特征点和多个第二特征点。

上述特征提取算法可以提取出拐点，拐点可指与周边其他的像素点变化差异较大的点。举例来说，如果图像上存在一条竖直的边，显然边的左右两边都与边所在的线的像素变化较大，但是这条边不能成为特征点即拐点，因为边是一条线，一条线上有太多的点，无法准确判断其中哪个点可以作为拐点。再例如，如果两条边相交，那么就必然有一个交点，并且这个交点与它周边的像素相比在任何方向上差异都较大。并且这个交点是唯一的一个，它并不会沿着边产生多个拐点，所以，可以选取这个交点作为特征点，也就是拐点。由此可知，特征点一般可以是图像中物体的尖角的位置。上述特征点包括上述第一特征点和第二特征点。

一个实施例中，上述无遮挡图像生成模块234还用于执行：去除上述遮挡物图像后的上述第一图像的边缘的设定像素宽度区域包含部分的上述遮挡物图像。

本实施例中，将遮挡物的图像部分去除，同时保留被遮挡的边缘部分，可以作为图像拼接的依据，提高图像拼接质量。在去除掉遮挡部分时，未遮挡部分可被保留下来，在图像的拼接时，未遮挡部分与遮挡部分相接的部分图像可在显示的时候做一定的处理使显示看起来更自然。该保留的边缘部分的值可以使用固定的像素，或可以根据相拼接的像素之间的差值来决定宽度。一个实施例中，上述边缘部分的宽度不少于5个像素，以此可以便于图像显示的平滑。

另一个实施例中，上述边缘部分的宽度可以为0～5个像素，或者可将遮挡物的边缘进行扩张操作，使去掉的遮挡物图像比实际的遮挡物图像可大一些，以此，可使拼接后的图像更自然且更平滑。

图14是本发明一实施例中无遮挡图像生成单元的结构示意图。如图14所示，上述无遮挡图像生成单元230还可包括：初始定位模块235，连接于上述图像变换模块233和上述无遮挡图像生成模块234之间。

初始定位模块235用于根据上述图像采集设备的成像角度及空间位置信息，对图像变换后的上述第二图像中对应上述遮挡物图像的部分与去除上述遮挡物图像后的第一图像之间的拼接位置进行初始定位。

在初始定位模块235中，上述图像采集设备与遮挡物的位置较佳地是相对固定的，被遮挡的图像可与图像采集设备采集到的图像存在一定的相对关系。该空间位置信息可以是图像采集设备和遮挡物的相对空间位置，此时，当发现遮挡物的位置后，可以将该相对空间位置的信息记录下来，在此条件下，遮挡物和图像采集设备之间可以认为是不发生相对运动的，所以可以定位到遮挡物的位置信息并利用该位置信息进行图像拼接，例如，某个角度方向上存在遮挡物，那么这个角度方向上的图像采集设备采集到的信息可以用来替换遮挡物图像。如此一来，在使用智能眼镜做图像拼接的操作的时候，拼接过程中需要搜寻对应特征点(第一特征点和对应的第二特征点)的图像的范围可以大大减小，从而可以提高图像处理速度。一个实施例中，同时可以利用智能眼镜本身的陀螺仪提供方向等的信息，可以预先知晓遮挡物与智能眼镜使用者存在的角度关系，也就是说使用者是否朝遮挡物的方向观察了，这可以作为是否显示透视图像或者拼接预算的一个辅助依据。在一实施例中，可同时存在多个图像采集设备的情况下，多个图像采集设备之间的相对位置可以固定，以此进行一次多个图像采集设备的图像拼接以后，只需要保留图像变换矩阵并应用到新的图像即可，无需要每次都对图像进行特征提取和寻找对应特征点的操作，以此可以提高图像处理速度。

一个实施例中，上述遮挡物图像获取单元210可包括：遮挡物图像获取模块211。

遮挡物图像获取模块211用于根据遮挡物的恒定属性或遮挡物上的图形标记，识别上述第一图像中的遮挡物图像。

具体地，例如可根据图形标记所在的边界区域识别遮挡物图像。第一图像在图像处理过程中可提取图像的边界，这样可以将整个第一图像划分为很多区域，恒定属性或者图形标记所在的区域可被认定为遮挡物，该区域的图像可被替换。

本实施例中，该图形标记可以是预先再遮挡物上设置的唯一标记，用以识别该遮挡物。识别第一图像中的遮挡物图像的方法可包括遮挡物的颜色、图案、相对位置或者特征标识等。颜色可指遮挡物的自身颜色相对恒定，可以通过一段时间的采集将遮挡物的颜色限定与某个范围这样对该颜色的物体在作为遮挡物的判定中可以给予一定加权。图案和特征标识本质相同，可是指符合特定图案特征作为识别，识别后可将所在的轮廓识别为遮挡物。相对位置可是采用陀螺仪的方式记录遮挡物和使用者之间的相对关系从而应用与对遮挡物的识别中。对遮挡物的识别的方法可以是物体识别的算法。

通过智能眼镜记录遮挡物体的特征，或者在遮挡物上使用图形标记，或者通过记录遮挡物的空间位置，例如通过智能眼镜陀螺仪记录遮挡物与智能眼镜所成角度，从而可在智能眼镜朝向该角度时识别出该遮挡物。视野死角和遮挡物本身一般不太发生变化，通过对遮挡物本身属性比较恒定这一特点来达到对遮挡物得识别，可以提高遮挡物识别的准确度。例如，遮挡物的颜色比较固定，几乎不发生变化，在自然视野变化时，遮挡物的自身的图像也不变化等特征识别标定出遮挡物或视野死角。自然视野中的遮挡物部分可被记录下来并被移除掉。

一个实施例中，视野内未发现遮挡物，可无需进行图像的替换操作，可以使用智能眼镜摄像头所拍摄的图案。如果是透过式智能眼镜也可以采用不显示的方法直接让使用者透过镜片直接观察而不进行显示，使用者可以透过智能眼镜直接看到自然视野，该智能眼镜可以是透过式的智能眼镜，例如类似***glass和hololens的智能眼镜。

图15是本发明另一实施例的基于智能眼镜的遮挡物透视装置的结构示意图。如图15所示，图12所示的基于智能眼镜的遮挡物透视装置，还可包括：第一图像更新单元240，与上述无遮挡图像生成单元230连接。

第一图像更新单元240用于在使用者视野内的画面发生变化时，上述智能眼镜更新上述第一图像，所述图像采集设备重新采集所述第二图像以更新所述第二图像，并基于更新后的上述第一图像和更新后的所述第二图像重新生成上述无遮挡图像。

本实施例中，当被遮挡的自然视野发生变化的时候，例如使用者头部发生位移，可以依据智能眼镜自身的陀螺仪数据调整更新上述无遮挡图像。具体地，可以更新上述第一图像和上述第二图像，并基于更新后的第一图像重新生成无遮挡图像和更新后的第二图像。如此一来，可以在使用者视野内的画面发生变化时实现无遮挡图像的实时更新。一个实施例中，上述图像采集设备可实时采集第二图像，可在需要时利用重新采集的第二图像对更新之前的第二图像。

图16是本发明另一实施例的基于智能眼镜的遮挡物透视装置的结构示意图。如图16所示，图12所示的基于智能眼镜的遮挡物透视装置，还可包括：第二图像更新单元250和无遮挡图像更新单元260，二者相互连接，第二图像更新单元250与上述无遮挡图像生成单元230连接。

第二图像更新单元250用于在使用者的视角发生变化时，上述智能眼镜依据上述智能眼镜上的陀螺仪的检测数据和一设定位置的陀螺仪的检测数据确定是否需要更新上述第一图像。

无遮挡图像更新单元260用于若是，通过上述智能眼镜更新上述第一图像，并基于更新后的上述第一图像重新生成上述无遮挡图像。

在第二图像更新单元250中，设定位置可以是智能眼镜外的各个位置，例如车上。根据智能眼镜上的陀螺仪的检测数据和该设定位置的陀螺仪的检测数据可以在各种情形下确定使用者的视角变化情况，例如在车行驶的过程中确定使用者视角是否发生变化。

在无遮挡图像更新单元260中，当根据智能眼镜上的陀螺仪的检测数据和该设定位置的陀螺仪的检测数据判断使用者的视角变化超过一设定角度时，可通过智能眼镜更新该第一图像，并基于更新后的第一图像生成无遮挡图像，以此可以在使用者视角发生变化时，实时更新无遮挡图像。

在其他实施例中，若根据智能眼镜上的陀螺仪的检测数据和该设定位置的陀螺仪的检测数据判断使用者的视角变化不超过上述设定角度，可近似认为使用者视角未发生变化，则可不更新第一图像。

本实施例中，第二图像可以重新采集，也可以不重新采集，只要第二图像中仍可包括被更新后的第一图像中的遮挡物所遮挡的使用者视野即可。一个实施例中，上述图像采集设备可以是摄像机，此时，可以实时采集第二图像，并可实时更新上述第二图像，第二图像可以是一直被重新采集，并可视需要用于生成上述无遮挡物图像。

图17是本发明又一实施例的基于智能眼镜的遮挡物透视装置的结构示意图。如图17所示，图12所示的基于智能眼镜的遮挡物透视装置，还可包括：第三图像更新单元270，与上述无遮挡图像生成单元230连接。

第三图像更新单元270用于在使用者的视角发生变化后，使用另一图像采集设备重新采集上述第二图像，并基于重新采集的上述第二图像重新生成上述无遮挡图像。

本实施例中，该另一图像采集设备是相对于使用者的视角发生变化前用于采集上述第二图像而言的图像采集设备，可以是上述多个图像采集设备中的另一个。该另一图像采集设备可以采集到使用者的新的视角内遮挡物所遮挡的使用者视野的图像。该另一图像采集设备和上述图像采集设备在成像角度和/或位置上可以不同。根据使用者视角的不同，使用不同的图像采集设备采集第二图像，可以保证使用者透视遮挡物的视角更广。

一个实施例中，上述替换图像获取单元220还用于执行：上述遮挡物相对于使用者的方向角与上述图像采集设备的成像视角之差90度。

本实施例中，遮挡物相对于使用者的方向角与上述图像采集设备的成像视角之差小于90度，可以克服由于三维的实际的空间和表达二维信息的图像之间的差异，提高透视结果的越准确度。其他实施例中，遮挡物相对于使用者的方向角与上述图像采集设备的成像视角之差可以是其他角度，例如可根据图像采集设备可采集的视场角确定，例如可以是图像采集设备的镜头视角的1/2。一个实施例中，该视角差可以是30度及以下，以此可获得比较理想的图像。另一实施例中，图像采集设备可采用180度广角镜头，此时该视角差可接近达90度，可通过多个镜头采集的图像拼接得到全景镜头的图像。

图18是本发明一实施例的替换图像获取单元的结构示意图。如图18所示，上述图像采集设备的个数为多个，上述替换图像获取单元220可包括：第三图像获取模块221和第二图像获取模块222，二者相互连接。

第三图像获取模块221用于通过各上述图像采集设备采集使用者视野的第三图像。

第二图像获取模块222用于将各上述第三图像拼接在一起形成无遮挡物的上述第二图像。

在第三图像获取模块221中，各上述图像采集设备的视角和/或位置可以各部相同，可以采集不同的上述第三图像。

在第二图像获取模块222中，通过将各第三图像拼接在一起形成无遮挡物的第二图像，可以在一个图像采集设备不能采集完整的遮挡物遮挡的视野图像时，将各个图像采集设备采集的部分的遮挡物遮挡的视野图像拼接在一起，构成完整的遮挡物遮挡的视野图像，从而用于替换上述第一图像中的遮挡物图像。

另一实施例中，拼接形成的上述第二图像可比一幅上述第三图像具有更宽广的视野的图像，在使用者视野内的画面发生变化和/或使用者视角发生变化时，只要上述第二图像仍能够包括遮挡物遮挡的视野的图像，可以不用更新上述第二图像，若第一图像发生变化，可直接在该第二图像中找到与更新后的第一图像对应位置的图像即可，以此可以提高图像处理速度。

本发明实施例的基于智能眼镜的遮挡物透视装置，利用智能眼镜的摄像头采集到的使用者视野的图像，通过多种方法分析并识别得到视野中遮挡物的位置和图像，利用外置的图像采集设备采集被遮挡的视野的图像，并将被遮挡的部分用外置探测器采集到的图像进行替换，再将替换图像与使用者视野图像进行配准、拼接，如此一来，使用智能眼镜能够在观察遮挡物的时候能看到被遮挡物遮挡的图像，从而能够产生透视遮挡物的效果，以此可以有效的去除使用者视野内由该遮挡物造成的死角。

在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (22)

1.一种基于智能眼镜的遮挡物透视方法，其特征在于，包括：

通过智能眼镜采集使用者视野的第一图像并识别所述第一图像中的遮挡物图像；

通过至少一图像采集设备采集使用者视野的第二图像；

利用所述第二图像中对应所述遮挡物图像的部分替换所述第一图像中的遮挡物图像，拼接生成使用者视野的无遮挡图像。

2.如权利要求1所述的基于智能眼镜的遮挡物透视方法，其特征在于，利用所述第二图像中对应所述遮挡物图像的部分替换所述第一图像中的遮挡物图像，拼接生成使用者视野的无遮挡图像，包括：

从所述第一图像中除遮挡物图像之外的图像部分和所述第二图像分别提取多个第一特征点和多个第二特征点，所述第二特征点与所述第一特征点一一对应；

根据所有所述第一特征点和所有所述第二特征点，计算得到由所述图像采集设备的成像视角转换为使用者视角的图像变换矩阵；

利用所述图像变换矩阵对所述第二图像进行图像变换；

将图像变换后的所述第二图像中对应所述遮挡物图像的部分与去除所述遮挡物图像后的所述第一图像拼接在一起生成所述无遮挡图像。

3.如权利要求2所述的基于智能眼镜的遮挡物透视方法，其特征在于，从所述第一图像中的除遮挡物图像之外的图像部分和所述第二图像分别提取多个第一特征点和多个第二特征点，包括：

通过特征提取算法从所述第一图像中的除遮挡物图像之外的图像部分和所述第二图像分别提取多个第一特征点和多个第二特征点。

4.如权利要求2所述的基于智能眼镜的遮挡物透视方法，其特征在于，

去除所述遮挡物图像后的所述第一图像的边缘的设定像素宽度区域包含部分的所述遮挡物图像。

5.如权利要求2所述的基于智能眼镜的遮挡物透视方法，其特征在于，在将图像变换后的所述第二图像中对应所述遮挡物图像的部分与去除所述遮挡物图像后的所述第一图像拼接在一起生成所述无遮挡图像之前，还包括：

根据所述图像采集设备的成像角度及空间位置信息，对图像变换后的所述第二图像中对应所述遮挡物图像的部分与去除所述遮挡物图像后的第一图像之间的拼接位置进行初始定位。

6.如权利要求1所述的基于智能眼镜的遮挡物透视方法，其特征在于，通过智能眼镜识别所述第一图像中的遮挡物图像，包括：

根据遮挡物的恒定属性或遮挡物上的图形标记，识别所述第一图像中的遮挡物图像。

7.如权利要求1所述的基于智能眼镜的遮挡物透视方法，其特征在于，还包括：

在使用者视野内的画面发生变化时，所述智能眼镜更新所述第一图像，所述图像采集设备重新采集所述第二图像以更新所述第二图像，并基于更新后的所述第一图像和更新后的所述第二图像重新生成所述无遮挡图像。

8.如权利要求1所述的基于智能眼镜的遮挡物透视方法，其特征在于，还包括：

在使用者的视角发生变化时，所述智能眼镜依据所述智能眼镜上的陀螺仪的检测数据和一设定位置的陀螺仪的检测数据确定是否需要更新所述第一图像；

若是，通过所述智能眼镜更新所述第一图像，并基于更新后的所述第一图像重新生成所述无遮挡图像。

9.如权利要求1所述的基于智能眼镜的遮挡物透视方法，其特征在于，还包括：

在使用者的视角发生变化后，使用另一图像采集设备重新采集所述第二图像，并基于重新采集的所述第二图像重新生成所述无遮挡图像。

10.如权利要求1所述的基于智能眼镜的遮挡物透视方法，其特征在于，所述遮挡物相对于使用者的方向角与所述图像采集设备的成像视角之差小于90度。

11.如权利要求1所述的基于智能眼镜的遮挡物透视方法，其特征在于，所述图像采集设备的个数为多个，通过多个图像采集设备采集使用者视野的第二图像，包括：

通过各所述图像采集设备采集使用者视野的第三图像；

将各所述第三图像拼接在一起形成无遮挡物的所述第二图像。

12.一种基于智能眼镜的遮挡物透视装置，其特征在于，包括：

遮挡物图像获取单元，用于通过智能眼镜采集使用者视野的第一图像并识别所述第一图像中的遮挡物图像；

替换图像获取单元，用于通过至少一图像采集设备采集使用者视野的第二图像；

无遮挡图像生成单元，用于利用所述第二图像中对应所述遮挡物图像的部分替换所述第一图像中的遮挡物图像，拼接生成使用者视野的无遮挡图像。

13.如权利要求12所述的基于智能眼镜的遮挡物透视装置，其特征在于，所述无遮挡图像生成单元包括：

特征点提取模块，用于从所述第一图像中除遮挡物图像之外的图像部分和所述第二图像分别提取多个第一特征点和多个第二特征点，所述第二特征点与所述第一特征点一一对应；

变换矩阵生成模块，用于根据所有所述第一特征点和所有所述第二特征点，计算得到由所述图像采集设备的成像视角转换为使用者视角的图像变换矩阵；

图像变换模块，用于利用所述图像变换矩阵对所述第二图像进行图像变换；

无遮挡图像生成模块，用于将图像变换后的所述第二图像中对应所述遮挡物图像的部分与去除所述遮挡物图像后的所述第一图像拼接在一起生成所述无遮挡图像。

14.如权利要求13所述的基于智能眼镜的遮挡物透视装置，其特征在于，所述特征点提取模块包括：

特征提取算法模块，用于通过特征提取算法从所述第一图像中的除遮挡物图像之外的图像部分和所述第二图像分别提取多个第一特征点和多个第二特征点。

15.如权利要求13所述的基于智能眼镜的遮挡物透视装置，其特征在于，所述无遮挡图像生成模块还用于执行：

去除所述遮挡物图像后的所述第一图像的边缘的设定像素宽度区域包含部分的所述遮挡物图像。

16.如权利要求13所述的基于智能眼镜的遮挡物透视装置，其特征在于，所述无遮挡图像生成单元还包括：

初始定位模块，用于根据所述图像采集设备的成像角度及空间位置信息，对图像变换后的所述第二图像中对应所述遮挡物图像的部分与去除所述遮挡物图像后的第一图像之间的拼接位置进行初始定位。

17.如权利要求12所述的基于智能眼镜的遮挡物透视装置，其特征在于，所述遮挡物图像获取单元包括：

遮挡物图像获取模块，用于根据遮挡物的恒定属性或遮挡物上的图形标记，识别所述第一图像中的遮挡物图像。

18.如权利要求12所述的基于智能眼镜的遮挡物透视装置，其特征在于，还包括：

第一图像更新单元，用于在使用者视野内的画面发生变化时，所述智能眼镜更新所述第一图像，所述图像采集设备重新采集所述第二图像以更新所述第二图像，并基于更新后的所述第一图像和更新后的所述第二图像重新生成所述无遮挡图像。

19.如权利要求12所述的基于智能眼镜的遮挡物透视装置，其特征在于，还包括：

第二图像更新单元，用于在使用者的视角发生变化时，所述智能眼镜依据所述智能眼镜上的陀螺仪的检测数据和一设定位置的陀螺仪的检测数据确定是否需要更新所述第一图像；

无遮挡图像更新单元，用于若是，通过所述智能眼镜更新所述第一图像，并基于更新后的所述第一图像重新生成所述无遮挡图像。

20.如权利要求12所述的基于智能眼镜的遮挡物透视装置，其特征在于，还包括：

第三图像更新单元，用于在使用者的视角发生变化后，使用另一图像采集设备重新采集所述第二图像，并基于重新采集的所述第二图像重新生成所述无遮挡图像。

21.如权利要求12所述的基于智能眼镜的遮挡物透视装置，其特征在于，所述替换图像获取单元还用于执行：

所述遮挡物相对于使用者的方向角与所述图像采集设备的成像视角之差小于90度。

22.如权利要求12所述的基于智能眼镜的遮挡物透视装置，其特征在于，所述图像采集设备的个数为多个，所述替换图像获取单元包括：

第三图像获取模块，用于通过各所述图像采集设备采集使用者视野的第三图像；

第二图像获取模块，用于将各所述第三图像拼接在一起形成无遮挡物的所述第二图像。