CN114140530A - 一种图像处理方法及投影设备 - Google Patents

Abstract

本公开提供一种图像处理方法及投影设备。图像处理方法包括：拍摄目标对象，获得第一图像和第二图像，第一图像对应目标对象的第一部分，第二图像对应目标对象的第二部分，第一部分和第二部分至少部分不重叠；根据第一图像和第二图像，分别获取目标对象的第一特征点坐标集和第二特征点坐标集；获取第一图像与第二图像之间的坐标系转换信息；根据坐标系转换信息，将第一特征点坐标集与第二特征点坐标集进行融合，获得目标对象的完整特征点坐标集；根据完整特征点坐标集，获得目标对象的完整图像。本公开可以增大摄像范围，从而满足各种应用场景。

Description

一种图像处理方法及投影设备

技术领域

本公开属于投影技术领域，尤其涉及一种图像处理方法及投影设备。

背景技术

智能投影机是近年来众多智能化电子产品的其中一种，是人机交互、多媒体互连等功能于一体的投影机，可实现网络搜索、网络视频、视频点播、数字音乐、网络教育资源、网络视频等应用服务。

智能投影仪上一般都配备有用于拍摄的摄像模块，用于实现对焦、画面校正、人机交互等功能，但是在不同场景下，拍摄的对象、拍摄的角度、拍摄的精度等各方面要求都有所不同，如上述的对焦和画面校正需要对投影画面进行拍摄，而人机交互则需要对用户进行拍摄，或者是其他一些大范围的拍摄需求，不仅需要拍摄用户，还要拍摄景物以及其他生物/非生物，而目前智能投影仪所配备的摄像模块的视场角较小，使得摄像范围过小而无法满足目前复杂的摄影要求。

发明内容

为了解决上述现有技术存在的问题和不足，本公开的目的是提供一种图像处理方法及投影设备，可以增大摄像范围，从而可以满足各种应用场景。

本公开首先提供一种图像处理方法，图像处理方法包括：

拍摄目标对象，获得第一图像和第二图像，第一图像对应目标对象的第一部分，第二图像对应目标对象的第二部分，第一部分和第二部分至少部分不重叠；

根据第一图像和第二图像，分别获取目标对象的第一特征点坐标集和第二特征点坐标集；

获取第一图像与第二图像之间的坐标系转换信息；

根据坐标系转换信息，将第一特征点坐标集与第二特征点坐标集进行融合，获得目标对象的完整特征点坐标集；

根据完整特征点坐标集，获得目标对象的完整图像。

可选地，根据第一图像和第二图像，分别获取目标对象的第一特征点坐标集和第二特征点坐标集的步骤，包括：

响应于特征点坐标集获取指令，调用人体特征识别模型；

将第一图像和第二图像输入至人体特征识别模型，分别获得目标对象对应的第一特征点坐标集和第二特征点坐标集。

可选地，获取第一图像与第二图像之间的坐标系转换信息的步骤，包括：

获取拍摄第一图像对应的第一坐标系，及拍摄第二图像对应的第二坐标系；

从第一坐标系或第二坐标系中选取第一标定点，将第一标定点从第一坐标系和第二坐标系中的一个映射到另一个，获得第二标定点及第二标定点基于其当前坐标系的坐标；

根据第一标定点的坐标和第二标定点的坐标，确定第一坐标系与第二坐标系之间的变换矩阵，将变换矩阵确定为坐标系转换信息。

可选地，根据坐标系转换信息，将第一特征点坐标集与第二特征点坐标集进行融合，获得目标对象的完整特征点坐标集的步骤，包括：

根据变换矩阵，将第一特征点坐标集旋转平移到第二坐标系中，获得第一特征点坐标集在第二坐标系中对应的第三特征点坐标集；将第三特征点坐标集与第二特征点坐标集进行叠加融合，获得目标对象的完整特征点坐标集；

或，根据变换矩阵，将第二特征点坐标集旋转平移到第一坐标系中，获得第二特征点坐标集在第一坐标系中对应的第四特征点坐标集；将第四特征点坐标集与第一特征点坐标集进行叠加融合，获得目标对象的完整特征点坐标集。

可选地，根据坐标系转换信息，将第一特征点坐标集与第二特征点坐标集进行融合，获得目标对象的完整特征点坐标集的步骤，包括：

将第三特征点坐标集与第二特征点坐标集进行叠加，或将第四特征点坐标集与第一特征点坐标集进行叠加，获得重叠部位的特征点坐标集和非重叠部位的特征点坐标集；

对重叠部位的特征点坐标集进行过滤，使重叠部位中每一对重合特征点坐标保留其中之一；

将过滤后的重叠部位的特征点坐标集与非重叠部位的特征点坐标集进行融合，获得目标对象的完整特征点坐标集。

可选地，对重叠部位的特征点坐标集进行过滤，使重叠部位中每一对重合特征点坐标保留其中之一的步骤，包括：

获取重叠部位中每一对重合特征点坐标的置信度，置信度是由人体特征识别模型识别特征点时生成的；

将每一对重合特征点坐标中置信度相对较高的一个作为最终的特征点坐标。

本公开同时提供一种投影设备，包括投影装置和用于实现上述图像处理方法的摄像装置。

可选地，摄像装置包括壳体，以及在壳体上横向设置的第一摄像组件和纵向设置的第二摄像组件，第一摄像组件用于拍摄第一图像，第二摄像组件用于拍摄第二图像。

可选地，第二摄像组件和壳体在俯仰方向上转动连接，以改变第二摄像组件的俯仰角；和/或，第一摄像组件和壳体在偏航方向上转动连接，以改变第一摄像组件的偏航角。

可选地，摄像装置包括壳体，以及与壳体在俯仰方向和/或偏航方向上转动连接的第三摄像组件，第三摄像组件用于拍摄第一图像和第二图像。

可选地，第一摄像组件包括横向设置的第一彩色摄像头、第一红外摄像头及第一红外发射器，第一彩色摄像头位于第一红外摄像头和第一红外发射器之间；

和/或，第二摄像组件包括纵向设置的第二彩色摄像头、第二红外摄像头及第二红外发射器，第二彩色摄像头位于第二红外摄像头和第二红外发射器之间。

可选地，第二摄像组件相对于水平面倾斜设置以形成仰角，仰角的取值范围为0到第二摄像组件视场角的1/2倍。

与现有技术相比，本公开的有益效果包括：首先拍摄目标对象，获得第一图像和第二图像，第一图像对应目标对象的第一部分，第二图像对应目标对象的第二部分，第一部分和第二部分至少部分不重叠；其次根据第一图像和第二图像，分别获取目标对象的第一特征点坐标集和第二特征点坐标集；然后获取第一图像与第二图像之间的坐标系转换信息；再根据坐标系转换信息，将第一特征点坐标集与第二特征点坐标集进行融合，获得目标对象的完整特征点坐标集；最后根据完整特征点坐标集，获得目标对象的完整图像。本公开可以克服现有技术中摄像头视场角不足导致摄像范围过小的缺陷。

附图说明

为了更清楚地说明本公开的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是横置摄像模组摄像范围示意图；

图2是本公开实施例摄像装置的结构示意图；

图3是本公开实施例图像处理方法的步骤示意图一；

图4是纵置摄像模组摄像范围示意图；

图5是本公开实施例图像处理方法的步骤示意图二；

图6是本公开实施例图像处理方法的步骤示意图三；

图7是本公开实施例重叠部位和重叠部位图像示意图；

图8是本公开实施例完整骨骼点坐标集图像示意图；

图9是本公开实施例图像处理方法的步骤示意图四；

图10是本公开实施例的处理单元的框架图；

图11是本公开实施例第一摄像组件的结构示意图；

图12是本公开实施例第二摄像组件的结构示意图；

图13是本公开实施例第二摄像组件的摄像示意图一；

图14是本公开实施例第二摄像组件的仰角示意图；

图15是本公开实施例俯视方向下第一摄像组件的示意图；

图16是本公开实施例第二摄像组件的摄像示意图二；

图17是本公开实施例第三摄像组件的结构示意图；

图18是本公开实施例电子设备的框架图。

附图标记说明：

1-第一摄像组件；2-第二摄像组件；3-装置本体；

11-第一彩色摄像头；12-第一红外摄像头；13-第一红外发射器；

21-第二彩色摄像头；22-第二红外摄像头；23-第二红外发射器；

41-部分图像获取模块；42-坐标集获取模块；43-转换信息获取模块；44-坐标集融合模块；45-完整图像获取模块；

5-第三摄像组件；51-第三彩色摄像头；52-第三红外摄像头；53-第三红外发射器。

具体实施方式

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另一方面，本文中“第一”、“第二”等前缀描述，仅用于对不同部件作名称上的区分，而不代表或暗示其重要程度、优先级别或先后顺序。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

投影仪上的摄像头可以用于如健身、远程视屏聊天等人机交互，也可以只是简单满足人脸识别、拍照、摄影等普通需求，这些应用都需要视场角比较大的摄像头来支撑。以健身场景为例，为了精准捕捉人体姿态，需要短焦摄像模组近距离拍摄健身者，而摄像模组的视场角范围多为横向宽，纵向窄，如图1所示，成像的高度小于宽度。这就导致健身者的身体不能被完整的拍摄到。

可以理解的是，除了应用在健身等人机交互的场景，本公开还可以应用在如上述的普通拍摄需求，拍摄对象也不仅限于人，也适用于其他动物、植物或者是一些无机物，其中动物可以包括蚯蚓等无脊椎生物和蜜蜂等昆虫，植物可以包括花卉、树木等，无机物可以是手办、塑料花、假人等等，本公开不对此进行限定。以下以健身场景为例对本公开进行说明。

本公开实施例提供一种图像处理方法，如图3所示，图像处理方法包括：

步骤100，拍摄目标对象，获得第一图像和第二图像，第一图像对应目标对象的第一部分，第二图像对应目标对象的第二部分，第一部分和第二部分至少部分不重叠。其中，第一部分和第二部分可以完全不重叠，例如第一部分为目标对象的上半身，第二部分为目标对象的下半身。第一部分和第二部分可以部分不重叠，例如，第一部分可以为目标对象的躯干和手臂，第二部分为目标对象的头部、躯干和腿部。第一图像和第二图像的时间戳相同，或时间段相同。

上述步骤中，目标对象是人，因为这是在健身的实施例中，而如果是满足普通的拍摄需求，目标对象也可以是上述的其他动物、植物和无机物等。可以通过第一摄像组件1和第二摄像组件2同时拍摄目标对象，分别获得第一图像和第二图像；一种实施例中，如图1所示，第一图像的宽度可以大于高度，如图4所示，第二图像的高度可以大于宽度，且第一图像的宽度大于第二图像的宽度，第二图像的高度大于第一图像的宽度。其他实施例中，第一图像和第二图像也可以仅满足第一图像的宽度大于第二图像的宽度，或者第二图像的高度大于第一图像的高度。

其中，第一摄像组件1拍摄的是横向画面，第二摄像组件2拍摄的是纵向画面，目标对象为健身者。例如当健身者处于站立姿态，手臂进行开合的时候，第一摄像组件1可以拍摄到健身者的躯干和手臂，而无法拍摄到健身者的头部或脚部；第二摄像组件2可以拍摄到健身者的躯干、头部和脚部，而无法拍摄到伸开的手臂。

在另一种实施例中，可以通过第三摄像组件单独拍摄目标对象，第三摄像组件具有至少一轴方向的旋转自由度，其可以追踪目标对象，例如，当目标对象处于站立姿态时，原先横置的第三摄像组件在获取目标对象部分躯干和手臂的第一图像后，可以快速旋转至竖向，以拍摄目标对象的完整躯干(包括头、腿和中间躯干)的第二图像，然后第一图像和第二图像便可以经过处理形成目标对象的完整图像了，当然，上述的第三摄像组件也可以先作为纵置状态去获取第二图像，改变顺序也可以实现上述目的。再例如，当目标对象处于俯卧或平躺状态时，若横置的第三摄像组件的视场角不足以支持其拍摄完整的目标对象，可以先获取目标对象的包括脚和下躯干的第一图像，然后在偏航方向上旋转，再获取目标对象的包括头和上躯干的第二图像，从而处理得到目标对象的完整图像，其中，如果目标对象的手臂为展开状态，第一图像和第二图像也不能覆盖手臂的话，可以将第三摄像组件在合适的位置进行俯仰方向的旋转，来获取包括手臂的第三图像，将第三图像也融合处理，来获取完整图像。当然，基于平躺状态的实施例，如果第三摄像组件的视场角足够大，能够直接获取除展开的手臂外的其他身体的第一图像，也可以仅仅进行俯仰方向的旋转去获取包括手臂的第二图像。

在拍摄前，需要将第一摄像组件1、第二摄像组件2及第三摄像组件进行初始化，使第一摄像组件1和第二摄像组件2能精准的拍摄此次人体姿态的图像。

步骤200，根据第一图像和第二图像，分别获取目标对象的第一特征点坐标集和第二特征点坐标集。其中，特征点可以为人体关键的骨骼点、例如脊椎、膝盖、脚踝等等，特征点也可以为人体轮廓上的点，例如头顶、肘部、胯部、腋窝等。

一种实施例中，步骤200具体包括：

首先响应于特征点坐标集获取指令，调用人体特征识别模型。其中，人体特征识别模型为深度学习神经网络，该神经网络经过预先的训练后，可以精准的识别人体图像中的关键特征点。人体特征识别模型可以具体为人体骨骼识别模型。

然后将第一图像和第二图像输入至人体特征识别模型，分别获得目标对象对应的第一特征点坐标集和第二特征点坐标集。例如将第一图像输入到人体骨骼识别模型中，可以识别到健身者的肩部、躯干、手肘，手部、胯部、膝盖的特征点，并将这些特征点赋予坐标值。将第二图像输入到人体特征识别模型中，可以识别到健身者的头部、肩部、躯干、胯部、膝盖、脚部等特征点，并将这些特征点赋予坐标值。

步骤300，获取第一图像与第二图像之间的坐标系转换信息。通过坐标系转换信息可以使第一特征点坐标集和第二特征点坐标集统一到同一个坐标系中。可以理解的是，仅采用单个第三摄像组件的方案时，由于拍摄第一图像和第二图像时的第三摄像组件的姿态不一样(例如俯仰角、偏航角不一致)，则第一图像和第二图像拍摄所位于的坐标系也存在差异，也需要进行坐标系转换信息的获取。

一种实施例中，如图5所示，步骤300可以具体包括以下步骤：

步骤310，获取拍摄第一图像对应的第一坐标系，及拍摄第二图像对应的第二坐标系。

上述步骤可以包括，获取第一摄像组件1对应的第一坐标系，及第二摄像组件2对应的第二坐标系。其中，第一坐标系是以第一摄像组件1的光心为坐标原点，第二坐标系是以第二摄像组件2的光心为坐标原点。如果有第三图像，也可以获取拍摄第三图像对应的第三坐标系。

步骤320，从第一坐标系或第二坐标系中选取第一标定点，将第一标定点从第一坐标系和第二坐标系中的一个映射到另一个，获得第二标定点及第二标定点基于其当前坐标系的坐标。

一种实施例中，步骤320可以包括：获取第一坐标系中第一标定点的坐标，并将第一标定点映射到第二坐标系中，获得第二标定点及其基于第二坐标系的坐标。其中，第一标定点可以包括第一坐标系的坐标原点及其他已知坐标的特征点。如果有第三图像，也可以将拍摄第三图像对应的第三坐标系映射到第一坐标系或第二坐标系中。

一种实施例中，步骤320可以包括：获取第二坐标系中第一标定点的坐标，并将第一标定点映射到第一坐标系中，获得第二标定点及其基于第一坐标系的坐标。其中，第一标定点可以包括第二坐标系的坐标原点及其他已知坐标的特征点。

步骤330，根据第一标定点的坐标和第二标定点的坐标，确定第一坐标系与第二坐标系之间的变换矩阵(即，确定第一坐标系变换到第二坐标系的变换矩阵，或第二坐标系变换到第一坐标系的变换矩阵)，将变换矩阵确定为第一摄像组件1与第二摄像组件2之间的坐标系转换信息。例如，将第一标定点映射到第二坐标系，需要将第一标定点进行旋转平移，因此第一标定点坐标与第二标定点之间的差异，即可通过变换矩阵来表示第一标定点旋转平移的量。

变换矩阵可以在第一摄像组件1和第二摄像组件2使用之前，对两者的摄像头进行标定时确定的。使用摄像头内参数据将第一标定点的坐标转换成点云，采用ICP算法(基于数据配准法，利用最近点搜索法，从而解决基于自由形态曲面的一种算法)以第二坐标系为基准，进行点云配准，配准后获得并保存第一摄像组件1的变换矩阵，使第一摄像组件1和第二摄像组件2置的三维坐标统一到同一世界坐标系中。

在一种实施例中，为了扩大摄像范围，第二摄像组件2可以优选地在竖直方向上仰倾斜设置，因此在点云配准阶段可以给第一标定点一个初始旋转变换量，进一步优化得到更精确的变换矩阵。

步骤400，根据坐标系转换信息，将第一特征点坐标集与第二特征点坐标集进行融合，获得目标对象的完整特征点坐标集。例如，第一特征点坐标集包括肩部、躯干、手肘，手部、胯部、膝盖的特征点坐标，第二特征点坐标集包括头部、肩部、躯干、胯部、膝盖、脚部等特征点坐标。两者融合后获得的完整特征点坐标集可以包括人体头部、肩部、手肘、手部、胸部、腰部、胯部、膝盖、脚部等特征点的坐标数据。

一种实施例中，如图6所示，步骤400可以具体包括：

步骤410，根据变换矩阵，将第一特征点坐标集旋转平移到第二坐标系中，获得第一特征点坐标集在第二坐标系中对应的第三特征点坐标集。

步骤420，将第三特征点坐标集与第二特征点坐标集进行叠加融合，获得目标对象的完整特征点坐标集。例如，第三特征点坐标集包括肩部、躯干、手肘，手部、胯部、膝盖的特征点坐标，第二特征点坐标集包括头部、肩部、躯干、胯部、膝盖、脚部等特征点坐标。两者融合后获得的完整特征点坐标集可以包括人体头部、肩部、手肘、手部、胸部、腰部、胯部、膝盖、脚部等特征点的坐标数据。

一种实施例中，步骤420可以进一步包括以下步骤：

首先将第三特征点坐标集与第二特征点坐标集进行叠加，获得重叠部位的特征点坐标集和非重叠部位的特征点坐标集。如图7所示，重叠部位的特征点坐标集包括肩部、躯干、胯部及膝盖的特征点坐标，非重叠部位的特征点坐标集包括头部、手部、脚部的特征点坐标。

然后对重叠部位的特征点坐标集进行过滤，使重叠部位中每一对重合特征点坐标保留其中之一。例如，在重叠部位中，肩部、躯干、胯部及膝盖为重合特征点，同时包含有第三特征点坐标集中肩部、躯干、胯部及膝盖各特征点坐标，以及第二特征点坐标集中肩部、躯干、胯部及膝盖各特征点坐标，因此，肩部、躯干、胯部及膝盖都包含有一对坐标。在形成完整特征点坐标集的过程中，需要进行过滤，肩部、躯干、胯部及膝盖的特征点坐标中，各自均只保留其中一个，避免数据重复。

一种实施例中，上述步骤可以具体包括：

首先获取重叠部位中每一对重合特征点坐标的置信度，置信度是由人体特征识别模型识别特征点时生成的。例如，当特征点为骨骼点时，人体特征识别模型即为人体骨骼识别模型，人体骨骼识别模型在识别第一图像时，识别膝盖特征点的置信度为98.6％，即此时识别到的膝盖特征点的准确率为98.6％。识别第二图像时，识别膝盖特征点的执行度为98.8％，即此时识别到的膝盖特征点的准确率为98.8％。

然后将每一对重合特征点坐标中置信度相对较高的一个作为最终的特征点坐标。例如，第一特征点坐标集中膝盖特征点坐标的置信度为98.6％，第二特征点坐标集中膝盖特征点坐标的置信度为98.8％，那么保留第二特征点坐标集中膝盖特征点坐标。最终膝盖特征点坐标以第二特征点坐标集中的膝盖特征点坐标为准。

步骤430，将过滤后的重叠部位的特征点坐标集与非重叠部位的特征点坐标集进行融合，获得目标对象的完整特征点坐标集。其中，如图8所示，完整特征点坐标集包含了关键特征点坐标(例如头部、肩部、躯干、手肘，手部、胯部、膝盖、脚部等特征点坐标)，可以准确的体现人体姿态。

一种实施例中，如图9所示，步骤400也可以具体包括：

步骤440，根据变换矩阵，将第二特征点坐标集旋转平移到第一坐标系中，获得第二特征点坐标集在第一坐标系中对应的第四特征点坐标集。

步骤450，将第四特征点坐标集与第一特征点坐标集进行叠加融合，获得目标对象的完整特征点坐标集。例如，第一特征点坐标集包括肩部、躯干、手肘，手部、胯部、膝盖的特征点坐标，第四特征点坐标集包括头部、肩部、躯干、胯部、膝盖、脚部等特征点坐标。两者融合后获得的完整特征点坐标集可以包括人体头部、肩部、手肘、手部、胸部、腰部、胯部、膝盖、脚部等特征点的坐标数据。

一种实施例中，步骤450可以进一步包括以下步骤：

首先将第四特征点坐标集与第一特征点坐标集进行叠加，获得重叠部位的特征点坐标集和非重叠部位的特征点坐标集。如图7所示，重叠部位的特征点坐标集包括肩部、躯干、胯部及膝盖的特征点坐标，非重叠部位的特征点坐标集包括头部、手部、脚部的特征点坐标。

然后对重叠部位的特征点坐标集进行过滤，使重叠部位中每一对重合特征点坐标保留其中之一。例如，在重叠部位中，肩部、躯干、胯部及膝盖为重合特征点，同时包含有第一特征点坐标集中肩部、躯干、胯部及膝盖各特征点坐标，以及第四特征点坐标集中肩部、躯干、胯部及膝盖各特征点坐标，因此，肩部、躯干、胯部及膝盖都包含有一对坐标。在形成完整特征点坐标集的过程中，需要进行过滤，肩部、躯干、胯部及膝盖的特征点坐标中，各自均只保留其中一个，避免数据重复。

一种实施例中，上述步骤可以具体包括：

首先获取重叠部位中每一对重合特征点坐标的置信度，置信度是由人体特征识别模型识别特征点时生成的。例如，人体特征识别模型在识别第一图像时，识别膝盖特征点的置信度为98.6％，即此时识别到的膝盖特征点的准确率为98.6％。识别第二图像时，识别膝盖特征点的执行度为98.8％，即此时识别到的膝盖特征点的准确率为98.8％。

然后将每一对重合特征点坐标中置信度相对较高的一个作为最终的特征点坐标。例如，第一特征点坐标集中膝盖特征点坐标的置信度为98.6％，第二特征点坐标集中膝盖特征点坐标的置信度为98.8％，那么保留第二特征点坐标集中膝盖特征点坐标。最终膝盖特征点坐标以第二特征点坐标集中的膝盖特征点坐标为准。

步骤460，将过滤后的重叠部位的特征点坐标集与非重叠部位的特征点坐标集进行融合，获得目标对象的完整特征点坐标集。其中，如图8所示，完整特征点坐标集包含了关键特征点坐标(例如头部、肩部、躯干、手肘，手部、胯部、膝盖、脚部等特征点坐标)，可以准确的体现人体姿态。

步骤500，根据完整特征点坐标集，获得目标对象的完整图像。其中完整图像可以为目标对象的虚拟图像，例如卡通图像或简单的线条图像。

一种实施例中，也可以根据完整特征点坐标集、第一图像和第二图像，来生成目标对象对应的真实彩色图像，这需要处理单元具有较高的性能。而如果生成卡通图像，则对处理单元的性能要求不高，计算处理速度也会较快。

一种实施例中，步骤300还可以包括以下步骤：

首先，获取第二摄像组件基于水平面的实时仰角。例如，根据目标对象的身高，实施调整仰角，使第二摄像组件的纵向视场角可谓刚好覆盖目标对象的纵向高度，这样即使第二摄像组件的纵向视场角不够大，也能通过调整其仰角，来覆盖到目标对象的高度。

然后，根据第二摄像组件的实时仰角，确定第二摄像组件当前的坐标系。因为第二摄像组件的仰角在实时变换，所以第二摄像组件的坐标系也在变换。因此需要实时更新和确定第二摄像组件当前的坐标系。

最后，根据第一摄像组件的坐标系与第二摄像组件当前的坐标系，确定第一摄像组件与第二摄像组件之间的坐标系转换信息。这样就能获得第二摄像组件与第一摄像组件之间坐标系实时的转换信息。

本公开同时提供一种图像处理装置，如图10所示，包括：

部分图像获取模块41，用于拍摄目标对象，获得第一图像和第二图像，所述第一图像对应所述目标对象的第一部分，所述第二图像对应所述目标对象的第二部分，所述第一部分和所述第二部分至少部分不重叠；

坐标集获取模块42，用于根据所述第一图像和所述第二图像，分别获取所述目标对象的第一特征点坐标集和第二特征点坐标集；

转换信息获取模块43，获取所述第一图像与所述第二图像之间的坐标系转换信息；

坐标集融合模块44，用于根据所述坐标系转换信息，将所述第一特征点坐标集与所述第二特征点坐标集进行融合，获得所述目标对象的完整特征点坐标集；

完整图像获取模块45，根据所述完整特征点坐标集，获得所述目标对象的完整图像。

本实施例的图像处理装置可以采用上述实施例提供的图像处理方法，首先拍摄目标对象，获得第一图像和第二图像，第一图像对应目标对象的第一部分，第二图像对应目标对象的第二部分，第一部分和第二部分至少部分不重叠；其次根据第一图像和第二图像，分别获取目标对象的第一特征点坐标集和第二特征点坐标集；然后获取第一图像与第二图像之间的坐标系转换信息；再根据坐标系转换信息，将第一特征点坐标集与第二特征点坐标集进行融合，获得目标对象的完整特征点坐标集；最后根据完整特征点坐标集，获得目标对象的完整图像。本公开在当健身者进行健身运动时，可以近距离、实时捕捉到其完整的站姿、卧姿、侧姿等姿态图像。

本公开实施例还提供一种投影设备，包括投影装置和用于实现上述实施例提供的图像处理方法的摄像装置。摄像装置采集到目标对象的完整的身体姿态图像后，通过投影装置投影显示出来，供目标对象参考。

一种实施例中，如图2所示，摄像装置包括壳体3，以及在壳体上横向设置的第一摄像组件1和纵向设置的第二摄像组件2，第一摄像组件1用于拍摄第一图像，第二摄像组件2用于拍摄第二图像。其中，第一图像的宽度可以大于高度，第二图像的高度可以大于宽度，且第一图像的宽度大于第二图像的宽度，第二图像的高度大于第一图像的宽度。其他实施例中，第一图像和第二图像也可以仅满足第一图像的宽度大于第二图像的宽度，或者第二图像的高度大于第一图像的高度。这样当目标对象无论处于站立、俯卧或侧躺等任何身体姿态，通过第一摄像组件1和第二摄像组件2的组合都可以完整的拍摄到，最终通过投影装置投影显示出来。

一种实施例中，第二摄像组件2和壳体3在俯仰方向上转动连接，以改变第二摄像组件2的俯仰角；和/或，第一摄像组件1和壳体3在偏航方向上转动连接，以改变第一摄像组件1的偏航角。其中，如图14所示，俯仰方向为第二摄像组件2的垂线与水平面的夹角。如图15所示，偏航方向上，第一摄像组件1的偏航角为角b。当然，在其他实施例中，如果第一摄像组件1在偏航方向的视场角足够时，也可以配置为固定在壳体3上，同样的，如果第二摄像组件2在俯仰方向的视场角足够时，也可以配置为固定在壳体3上。当然，如果一者有余而另一者不足的话，可以将不足的一者配置为与壳体3旋转连接。在配置为转动连接的第一摄像组件1和/或第二摄像组件2的实施例中，当进行坐标转换时，坐标转换信息可以通过驱动其转动的机构配合控制器获取，可以理解的是，不同俯仰角下的第二摄像组件2和不同偏航角下的第一摄像组件1之间的坐标转换信息是不同的，在这些实施例中可能需要实时获取。

第二摄像组件2可以在壳体3上根据目标对象的纵向高度即身高，来调整俯仰角度，当目标对象处于站立姿态时，可以完整的拍摄到目标对象的身体姿态。第一摄像组件1在壳体3上可以在偏航方向上旋转，以适应目标对象在平躺、俯卧、身体侧倾等身体姿态的变换，并完整的拍摄身体姿态图像。

一种实施例中，如图11所示，第一摄像组件1包括第一彩色摄像头11、第一红外摄像头12及第一红外发射器13，第一彩色摄像头11、第一红外摄像头12及第一红外发射器13位于同一水平线上，第一彩色摄像头11位于第一红外摄像头12和第一红外发射器13之间。其中，第一红外发射器13用于发射红外线，红外线经人体反射后，被第一红外摄像头12接收，通过红外线发射和接收的时间差，可以计算出人体红外线反射点的深度信息。然后第一彩色摄像头11用于拍摄人体的RGB图像，RGB图像结合深度信息，即可获得人体图像的三维坐标信息。

一种实施例中，如图12所示，第二摄像组件2包括第二彩色摄像头21、第二红外摄像头22及第二红外发射器23，第二红外摄像头22位于第二红外发射器23的上方，第二彩色摄像头21位于第二红外摄像头22和第二红外发射器23之间。其中，第二红外发射器23用于发射红外线，红外线经人体反射后，被第二红外摄像头22接收，通过红外线发射和接收的时间差，可以计算出人体红外线反射点的深度信息。然后第二彩色摄像头21用于拍摄人体的RGB图像，RGB图像结合深度信息，即可获得人体图像的三维坐标信息。

一种实施例中，第一摄像组件1位于装置本体3的上部，第二摄像组件2位于第一摄像组件1的下方，这样可以增大本实施例摄像装置的视场角。

本实施例中，第一摄像组件1和第二摄像组件2可以采用单目结构光方案。

其中：

第一红外摄像头12的视场角范围为，横向视角可以为50°至70°，本实施例可以选为58.4°，纵向视角为40°至60°，本实施例可以选为45.5°。

第二红外摄像头22的视场角范围为，横向视角可以为40°至60°，本实施例可以选为45.5°，纵向视角可以为50°至70°，本实施例选为58.4°。

第一彩色摄像头11视场角范围为，横向视角可以为60°至70°，本实施例可以选为63.1°，纵向视角可以为45°至60°，本实施例选可以为49.4°。

第二彩色摄像头21的视场角范围为，横向视角可以为45°至60°，本实施例选为可以49.4°，纵向视角可以为60°至70°，本实施例可以选为63.1°。

一种实施例中，如图13和图14所示，第二摄像组件2相对于水平面倾斜设置，形成向上的仰角a，仰角a的取值范围为0到第二摄像组件2视场角的1/2倍。具体的，仰角a的最大值可以取横向视角和纵向视角中相对较小的一个的1/2。例如，本实施例中，第二摄像组件2的视场角为横向视角58.4°，纵向视角45.5°，那么第二摄像组件2的仰角a取值范围为0至22.75°。这样可以看扩大第二摄像组件的摄像范围，避免如图16所示的情况，出现无法完整拍摄到目标对象的情况。同时第二摄像组件2的仰角a处于一个合理的范围，避免仰角过大，反而使得摄像范围变小。

一种实施例中，当第二摄像组件2的仰角a为20°时，可以在距离人体1500mm的位置，实现摄像涵盖1975mm的高度范围，也就是身高在此1975mm以下的健身者可实现全身摄像。

一种实施例中，当第二摄像组件2的高度为200mm，仰角a为20°，距离人体的距离为1975mm，其摄像高度为1971mm；当距离人体距离为2475mm，其摄像高度为2554mm。

一种实施例中，如图17所示，摄像装置还可以包括壳体3，以及与壳体在俯仰方向和/或偏航方向上转动连接的第三摄像组件5，第三摄像组5件用于拍摄第一图像和第二图像。具体的，可以通过第三摄像组件5单独拍摄目标对象，第三摄像组件5具有俯仰方向和偏航方向至少一者方向上的旋转自由度，其可以追踪目标对象，例如，当目标对象处于站立姿态时，原先横置的第三摄像组件5在获取目标对象部分躯干和手臂的第一图像后，可以快速旋转至竖向，以拍摄目标对象的完整躯干(包括头、腿和中间躯干)的第二图像，然后第一图像和第二图像便可以经过处理形成目标对象的完整图像了，当然，上述的第三摄像组件5也可以先作为纵置状态去获取第二图像，改变顺序也可以实现上述目的。再例如，当目标对象处于俯卧或平躺状态时，若横置的第三摄像组件5的视场角不足以支持其拍摄完整的目标对象，可以先获取目标对象的包括脚和下躯干的第一图像，然后在偏航方向上旋转，再获取目标对象的包括头和上躯干的第二图像，从而处理得到目标对象的完整图像，其中，如果目标对象的手臂为展开状态，第一图像和第二图像也不能覆盖手臂的话，可以将第三摄像组件5在合适的位置进行俯仰方向的旋转，来获取包括手臂的第三图像，将第三图像也融合处理，来获取完整图像。当然，基于平躺状态的实施例，如果第三摄像组件5的视场角足够大，能够直接获取除展开的手臂外的其他身体的第一图像，也可以仅仅进行俯仰方向的旋转去获取包括手臂的第二图像。第三摄像组件5可以包括第三彩色摄像头51、第三红外摄像头52及第三红外发射器53。第三红外发射器53用于发射红外线，红外线经人体反射后，被第三红外摄像头52接收，通过红外线发射和接收的时间差，可以计算出人体红外线反射点的深度信息。然后第三彩色摄像头51用于拍摄人体的RGB图像，RGB图像结合深度信息，即可获得人体图像的三维坐标信息。

本实施例还提供一种电子设备，如图18所示，包括处理器和存储介质。本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令(计算机程序)来完成，或通过指令(计算机程序)控制相关的硬件来完成，该指令可以存储于计算机可读存储介质中，并由处理器进行加载和执行。为此，本公开实施例的硬件设备的存储介质中存储有多条指令，该指令能够被处理器进行加载，以执行本公开实施例所提供的应用启动方法中任一实施例的步骤。

存储介质和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线电性连接，如可以通过通信总线连接。存储介质中存储有实现数据访问控制方法的计算机执行指令，包括至少一个可以软件或固件的形式存储于存储介质中的软件功能模块，处理器通过运行存储在存储介质内的软件程序以及模块，从而执行各种功能应用以及数据处理。存储介质可以是，但不限于，随机存取存储介质(RandomAccessMemory，简称：RAM)，只读存储介质(ReadOnlyMemory，简称：ROM)，可编程只读存储介质(ProgrammableRead-OnlyMemory，简称：PROM)，可擦除只读存储介质(ErasableProgrammableRead-OnlyMemory，简称：EPROM)，电可擦除只读存储介质(ElectricErasableProgrammableRead-OnlyMemory，简称：EEPROM)等。其中，存储介质用于存储程序，处理器在接收到执行指令后，执行程序。进一步地，上述存储介质内的软件程序以及模块还可包括操作***，其可包括各种用于管理***任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。处理器可以是一种集成电路芯片，具有信号的处理能力。所述的处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称：CPU)、网络处理器(NetworkProcessor，简称：NP)等。可以实现或者执行本实施例中公开的各方法、步骤及逻辑流程框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本公开实施例还提供一种计算机可读的存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的应用启动方法。所述存储介质所在设备可以是智能投影设备、个人计算机、笔记本电脑、智能手机、平板电脑等电子设备。

以上所述，仅为本公开较佳的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应该以权利要求的保护范围为准。

Claims (12)

1.一种图像处理方法，其特征在于，所述图像处理方法包括：

拍摄目标对象，获得第一图像和第二图像，所述第一图像对应所述目标对象的第一部分，所述第二图像对应所述目标对象的第二部分，所述第一部分和所述第二部分至少部分不重叠；

根据所述第一图像和所述第二图像，分别获取所述目标对象的第一特征点坐标集和第二特征点坐标集；

获取所述第一图像与所述第二图像之间的坐标系转换信息；

根据所述坐标系转换信息，将所述第一特征点坐标集与所述第二特征点坐标集进行融合，获得所述目标对象的完整特征点坐标集；

根据所述完整特征点坐标集，获得所述目标对象的完整图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述第一图像和所述第二图像，分别获取所述目标对象的第一特征点坐标集和第二特征点坐标集的步骤，包括：

响应于特征点坐标集获取指令，调用人体特征识别模型；

将所述第一图像和所述第二图像输入至所述人体特征识别模型，分别获得所述目标对象对应的第一特征点坐标集和第二特征点坐标集。

3.根据权利要求1或2所述的图像处理方法，其特征在于，所述获取所述第一图像与所述第二图像之间的坐标系转换信息的步骤，包括：

获取拍摄所述第一图像对应的第一坐标系，及拍摄所述第二图像对应的第二坐标系；

从所述第一坐标系或所述第二坐标系中选取第一标定点，将所述第一标定点从所述第一坐标系和所述第二坐标系中的一个映射到另一个，获得第二标定点及所述第二标定点基于其当前坐标系的坐标；

根据所述第一标定点的坐标和所述第二标定点的坐标，确定所述第一坐标系与所述第二坐标系之间的变换矩阵，将所述变换矩阵确定为所述坐标系转换信息。

4.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述坐标系转换信息，将所述第一特征点坐标集与所述第二特征点坐标集进行融合，获得所述目标对象的完整特征点坐标集的步骤，包括：

根据所述变换矩阵，将所述第一特征点坐标集旋转平移到所述第二坐标系中，获得所述第一特征点坐标集在所述第二坐标系中对应的第三特征点坐标集；将所述第三特征点坐标集与所述第二特征点坐标集进行叠加融合，获得所述目标对象的完整特征点坐标集；

或，根据所述变换矩阵，将所述第二特征点坐标集旋转平移到所述第一坐标系中，获得所述第二特征点坐标集在所述第一坐标系中对应的第四特征点坐标集；将所述第四特征点坐标集与所述第一特征点坐标集进行叠加融合，获得所述目标对象的完整特征点坐标集。

5.根据权利要求4所述的图像处理方法，其特征在于，所述根据所述坐标系转换信息，将所述第一特征点坐标集与所述第二特征点坐标集进行融合，获得所述目标对象的完整特征点坐标集的步骤，包括：

将所述第三特征点坐标集与所述第二特征点坐标集进行叠加，或将所述第四特征点坐标集与所述第一特征点坐标集进行叠加，获得重叠部位的特征点坐标集和非重叠部位的特征点坐标集；

对所述重叠部位的特征点坐标集进行过滤，使所述重叠部位中每一对重合特征点坐标保留其中之一；

将过滤后的重叠部位的特征点坐标集与非重叠部位的特征点坐标集进行融合，获得所述目标对象的完整特征点坐标集。

6.根据权利要求5所述的图像处理方法，其特征在于，所述对所述重叠部位的特征点坐标集进行过滤，使所述重叠部位中每一对重合特征点坐标保留其中之一的步骤，包括：

获取重叠部位中每一对重合特征点坐标的置信度，所述置信度是由人体特征识别模型识别特征点时生成的；

将所述每一对重合特征点坐标中置信度相对较高的一个作为最终的特征点坐标。

7.一种投影设备，其特征在于，包括投影装置和用于实现权利要求1至6任一项所述的图像处理方法的摄像装置。

8.根据权利要求7所述的投影设备，其特征在于，所述摄像装置包括壳体，以及在所述壳体上横向设置的第一摄像组件和纵向设置的第二摄像组件，所述第一摄像组件用于拍摄所述第一图像，所述第二摄像组件用于拍摄所述第二图像。

9.根据权利要求8所述的投影设备，其特征在于，所述第二摄像组件和所述壳体在俯仰方向上转动连接，以改变所述第二摄像组件的俯仰角；和/或，所述第一摄像组件和所述壳体在偏航方向上转动连接，以改变所述第一摄像组件的偏航角。

10.根据权利要求7所述的投影设备，其特征在于，所述摄像装置包括壳体，以及与所述壳体在俯仰方向上和/或偏航方向上转动连接的第三摄像组件，所述第三摄像组件用于拍摄所述第一图像和所述第二图像。

11.根据权利要求8所述的投影设备，其特征在于，所述第一摄像组件包括横向设置的第一彩色摄像头、第一红外摄像头及第一红外发射器，所述第一彩色摄像头位于所述第一红外摄像头和所述第一红外发射器之间；

和/或，所述第二摄像组件包括纵向设置的第二彩色摄像头、第二红外摄像头及第二红外发射器，所述第二彩色摄像头位于所述第二红外摄像头和所述第二红外发射器之间。

12.根据权利要求8所述的投影设备，其特征在于，所述第二摄像组件相对于水平面倾斜设置以形成仰角，所述仰角的取值范围为0到第二摄像组件视场角的1/2倍。

Images