CN107167077A - 立体视觉测量***和立体视觉测量方法 - Google Patents

Abstract

提供一种立体视觉测量***和方法。该***包括主控装置和至少两个协同装置，主控装置与至少两个协同装置通信连接，并被配置为控制各协同装置；各协同装置为可移动装置，并带有图像获取部；各协同装置被配置为在标定阶段获取第一场景的第一图像和第一图像的第一图像信息，并将第一图像和第一图像信息发送给主控装置，各协同装置还被配置为在测量阶段获取第二场景的第二图像和第二图像的第二图像信息，并将第二图像信息发送给主控装置，主控装置被配置为在标定阶段获取各图像获取部的参数信息；主控装置还被配置为在测量阶段根据参数信息和第二图像信息获得第二场景的三维重建信息。可实现长距离/距离可调的多图像获取部的立体测量。

Description

立体视觉测量***和立体视觉测量方法

技术领域

本公开至少一实施例涉及一种立体视觉测量***和立体视觉测量方法。

背景技术

目前围绕智能电视产生了很多以三维场景重建为核心的应用，如体感游戏和虚拟现实电影等，这些应用的关键是识别场景中用户的位置、姿态等三维数据信息。

发明内容

本公开至少一实施例涉及一种立体视觉测量***和立体视觉测量方法，可搭建多图像获取部的三维视觉重建***，从而可实现长距离/距离可调的多图像获取部的立体测量。

本公开至少一实施例提供一种立体视觉测量***，包括主控装置和至少两个协同装置，其中，所述主控装置与所述至少两个协同装置通信连接，并被配置为控制各所述协同装置；各所述协同装置为可移动装置，并带有图像获取部；

各所述协同装置被配置为在标定阶段获取第一场景的第一图像和所述第一图像的第一图像信息，并将所述第一图像和所述第一图像信息发送给所述主控装置，各所述协同装置还被配置为在测量阶段获取第二场景的第二图像和所述第二图像的第二图像信息，并将所述第二图像信息发送给所述主控装置；

所述主控装置被配置为在所述标定阶段获取各图像获取部的参数信息；所述主控装置还被配置为在所述测量阶段根据所述参数信息和所述第二图像信息获得所述第二场景的三维重建信息。

根据本公开一实施例提供的立体视觉测量***，所述主控装置包括标定部，所述标定部被配置为根据各所述协同装置发送的所述第一图像和所述第一图像信息获取各图像获取部的所述参数信息，所述参数信息包括内参数和外参数，所述内参数是指各图像获取部的物理参数，所述外参数是指图像获取部之间的位置关系。

根据本公开一实施例提供的立体视觉测量***，所述标定部被配置为将所述图像获取部分组，每组包括两个图像获取部，采用图像获取部配对标定。

根据本公开一实施例提供的立体视觉测量***，所述主控装置包括三维数据形成部，所述三维数据形成部被配置为根据所述参数信息和各所述协同装置发送的所述第二图像信息获得所述三维重建信息。

根据本公开一实施例提供的立体视觉测量***，各所述协同装置包括图像处理部，所述第一图像信息包括第一关键点信息，所述第二图像信息包括第二关键点信息，所述图像处理部被配置为在所述标定阶段提取所述第一图像的所述第一关键点信息，并被配置为在所述测量阶段提取所述第二图像的所述第二关键点信息。

根据本公开一实施例提供的立体视觉测量***，所述三维数据形成部包括关键点组合单元、三维空间坐标计算单元和关键点数据统计单元，所述关键点组合单元被配置为根据各协同装置发送的所述第二关键点信息，进行关键点匹配，筛选得到成功匹配的关键点组合，所述三维空间坐标计算单元被配置为根据所述关键点组合、所述参数信息，计算得到所述关键点组合的三维空间坐标；所述关键点数据统计单元被配置为统计关键区域的关键点数据，完成立体视觉计算，获得所述三维重建信息。

根据本公开一实施例提供的立体视觉测量***，所述主控装置包括智能电视，所述协同装置包括移动终端。

本公开至少一实施例提供的立体视觉测量***，一种立体视觉测量方法，包括：

标定阶段，至少两个协同装置获取第一场景的第一图像和所述第一图像的第一图像信息，并将所述第一图像和所述第一图像信息发送给主控装置，所述主控装置被配置为在所述标定阶段获取各图像获取部的参数信息；所述主控装置与所述至少两个协同装置通信连接，并控制各所述协同装置；各所述协同装置为可移动装置，并带有图像获取部；

测量阶段，各所述协同装置获取第二场景的第二图像和所述第二图像的第二图像信息，并将所述第二图像信息发送给所述主控装置，所述主控装置根据所述参数信息和所述第二图像信息获得所述第二场景的三维重建信息。

根据本公开一实施例提供的立体视觉测量方法，根据各所述协同装置发送的所述第一图像和所述第一图像信息获取各图像获取部的所述参数信息，所述参数信息包括内参数和外参数，所述内参数是指各图像获取部的物理参数，所述外参数是指图像获取部之间的位置关系。

根据本公开一实施例提供的立体视觉测量方法，所述第一图像信息包括第一关键点信息，所述第二图像信息包括第二关键点信息。

根据本公开一实施例提供的立体视觉测量方法，根据各协同装置发送的所述第二关键点信息，进行关键点匹配，筛选得到成功匹配的关键点组合；根据所述关键点组合、所述参数信息，计算得到所述关键点组合的三维空间坐标；统计关键区域的关键点数据，完成立体视觉计算，获得所述三维重建信息。

根据本公开一实施例提供的立体视觉测量方法，所述主控装置将所述图像获取部分组，每组包括两个图像获取部，形成多组双目立体视觉测量单元。

根据本公开一实施例提供的立体视觉测量方法，还包括在所述标定阶段和所述测量阶段至少之一的阶段同步所述主控装置和所述协同装置的信号，其中，所述同步所述主控装置和所述协同装置的信号包括：获取网络延迟；

所述获取网络延迟包括：所述主控装置连续发送两条消息给所述协同装置，所述协同装置收到后立即返回，所述主控装置收到返回的两条消息的时间间隔，即是所述主控装置到所述协同装置通信的网络延迟。

根据本公开一实施例提供的立体视觉测量方法，还包括在所述标定阶段和所述测量阶段至少之一的阶段同步所述主控装置和所述协同装置的信号，其中，所述同步所述主控装置和所述协同装置的信号包括：同步采集；

所述同步采集包括：所述主控装置将时间戳和采集指令一起发送给所述协同装置，所述协同装置获得指令并获取图像后，将时间戳和对所述图像进行处理得到的图像信息一起返回到所述主控装置；所述主控装置根据收到的返回时间戳来对齐各所述协同装置的图像信息，所述图像包括所述第一图像或所述第二图像，所述图像信息包括所述第一图像信息或所述第二图像信息。

根据本公开一实施例提供的立体视觉测量方法，所述主控装置包括智能电视，所述协同装置包括移动终端。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。

图1A为本公开一实施例提供的一种立体视觉测量***示意图；

图1B为本公开一实施例提供的一种立体视觉测量***中参数信息的示意图；

图2为本公开一实施例提供的一种立体视觉测量***中各协同装置的示意图；

图3为本公开一实施例提供的立体视觉测量***在标定阶段，各协同装置获取的第一图像和第一图像信息的示意图；

图4为本公开另一实施例提供的一种立体视觉测量***中一种主控装置的示意图；

图5为本公开一实施例提供的立体视觉测量***中主控装置获得各图像获取部的参数信息的示意图；

图6为本公开一实施例提供的立体视觉测量***在测量阶段，各协同装置获取的第二图像和第二图像信息的示意图；

图7为本公开一实施例提供的立体视觉测量***中主控装置获得三维重建信息的示意图；

图8为本公开另一实施例提供的一种立体视觉测量***中一种主控装置的示意图；

图9为本公开另一实施例提供的一种立体视觉测量***中一种主控装置的示意图；

图10为本公开一实施例提供的立体视觉测量***中将相邻两个图像获取部分为一组的示意图；

图11为本公开一实施例提供的一种立体视觉测量方法示意图；

图12为本公开一实施例提供的一种立体视觉测量方法中标定阶段示意图；

图13为本公开一实施例提供的一种立体视觉测量方法中测量阶段示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

通常的智能电视如果要运行基于三维场景测量的应用，如体感游戏等，为了识别场景中用户的位置、姿态等三维数据信息，用户需要额外够买相应的三维测量设备，如微软的Kinect等。但是，这种设备的缺点包括以下几点。

第一，用户需距离设备较远距离，因为三维测量设备是固定装置一个支架上，考虑设备体积以及摄像头的间距不能太长，导致用户必须站在摄像头一定距离以外才能有效测量，如Kinect要求用户距离设备1.2米以外(实际使用时，通常至少需要1.5米)，这样大大增加了该设备的使用限制。

第二，场景大小受限。从立体视觉原理上来说，摄像头之间的距离越大，则测量越精确，可以接受的目标与摄像头之间的距离越短。但是，通常的测量设备都是一个独立的装置，通常是两个摄像头平行固定在一个支架上，限于体积要求，只能小于一定长度，所以测量的有效距离较短；同样是考虑到体积，通常的设备只携带两个摄像头，因此仅对摄像头正前方位置的用户能够有效测量，无法对大角度场景的多人获取准确数据。

第三，场景角度受限。因为通常的设备最多只有两个摄像头，并且一旦安装在使用环境中(如电视机上沿)，则不能再改变，所以，当不同身高的用户，甚至多个用户同时出现在场景时，通常的设备的测量精度将会大大下降，甚至不能使用或者需要重新标定。

如图1A所示，本公开至少一实施例提供一种立体视觉测量***，包括主控装置10和至少两个协同装置20，主控装置10与至少两个协同装置20通信连接，并被配置为控制各协同装置20；各协同装置20为可移动装置，并带有图像获取部201。

图1A中示出了三个协同装置20：第一协同装置2001、第二协同装置2002和第三协同装置2003，各协同装置20包括图像获取部201，即，第一协同装置2001包括第一图像获取部2011，第二协同装置2002包括第二图像获取部2012，第三协同装置2003包括第三图像获取部2013。各协同装置20的图像获取部201可被配置为获取场景的图像。例如，各协同装置20的图像获取部201获取的图像可为同一场景的不同视角的图像。例如，各协同装置20的图像获取部201获取的图像可为同一场景的同一时刻的不同视角的图像。例如，各协同装置可负责与主控装置的通信，以及打开图像获取部获取当前场景视频图像，检测图像的关键点，并识别预定目标(如人脸、人体姿态等)。例如，主控装置可以与各协同装置20不限于基于WiFi、蓝牙、近场通信(Near Field Communication，NFC)或者3G、4G移动通信网络等通信技术所实现的通信连接。

如图1B所示，主控装置10被配置为在标定阶段获取各图像获取部201的参数信息23。例如，参数信息23包括内参数231和外参数232，内参数231是指各图像获取部201的物理参数，外参数232是指图像获取部201之间的位置关系；

如图2所示，根据本公开一实施例提供的立体视觉测量***，各协同装置20包括图像处理部202，图像处理部202可对其所属的协同装置20的图像获取部拍摄的图像进行处理。例如，第一协同装置2001包括第一图像处理部2021，第二协同装置2002包括第二图像处理部2022，第三协同装置2003包括第三图像处理部2023。

图3示出了在标定阶段，各协同装置获取的第一图像211和第一图像信息221的示意图。如图3所示，各协同装置20被配置为在标定阶段获取第一场景的第一图像211和第一图像211的第一图像信息221，并将第一图像211和第一图像信息221发送给主控装置10。例如，在标定阶段，将场景称作第一场景，第一场景可变换，比如，用户可调整姿态，第一图像可根据场景不同而不同，对第一场景连续取景(拍摄)可形成视频。例如，第一图像可为同一场景的同一时刻的不同视角的图像。例如，第一图像信息221包括第一关键点信息2211，图像处理部202被配置为提取第一图像211的第一关键点信息2211。第一关键点信息2211包括SIFT关键点和/或Harris角点等。尺度不变特征变换(Scale-invariant featuretransform，SIFT)法是常用的局部特征提取方法，其可基于局部特征把图像数据转换到尺度不变的坐标上。例如，SIFT首先检测出图像中的显著性结构即尺寸空间极值点，这些显著结构在图像中往往称作关键点或特征点。角点例如是指图像灰度发生较大变化的点。

例如，协同装置可作为主控装置的协同计算设备，协同装置完成视频内容的分析，将识别结果发送到主控装置。例如，关键点可包括可包括人体各部位至少之一，例如可包括眉、眼、耳、鼻口、手、臂、腿部、脚部等至少之一，但不限于此，关键点可根据需要选择。例如，每个关键点有三个信息：位置、所在尺度、方向。由此，可以确定一个SIFT特征区域。例如，图像处理中，关键点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。图像关键点在基于关键点的图像匹配算法中有着十分重要的作用。图像关键点能够反映图像本质特征，能够标识图像中目标物体。通过关键点的匹配能够完成图像的匹配。

图4为本公开一实施例提供的立体视觉测量***中主控装置的示意图，根据本公开一实施例提供的立体视觉测量***，主控装置10包括标定部101。

如图4所示，根据本公开一实施例提供的立体视觉测量***，主控装置10还可包括控制部102，控制部102可被配置为控制各协同装置20。例如，控制部102可发送指令给各协同装置20。

图5示出了主控装置10根据各协同装置20发送的第一图像211和第一图像信息221获取各图像获取部201的内参数231和外参数232的示意图。如图5所示，标定部101可被配置为根据各协同装置20发送的第一图像211和第一图像信息221获取各图像获取部201的参数信息，例如获取内参数231和外参数232。主控装置可控制多个协同装置完成整个视觉测量***的标定。

图6示出了协同装置在测量阶段各协同装置20获取的第二图像212和第二图像信息222的示意图。例如，如图6所示，各协同装置20还被配置为在测量阶段获取第二场景的第二图像212和第二图像21的第二图像信息222，并将各第二图像信息222发送给主控装置10。例如，可在主控装置10的控制下在测量阶段各协同装置获取第二图像212和第二图像信息222。例如，各协同装置20的图像获取部201在测量阶段获取第二场景的第二图像212，各图像处理部202可对其所属协同装置20的图像获取部201获取的第二图像212进行处理以获得第二图像信息222，第二图像212可根据场景不同而不同，例如，可通过各协同装置20的图像获取部201(例如包括第一图像获取部2011、第二图像获取部2012和第三图像获取部2013)获取第二图像212。例如，在测量阶段，将场景称作第二场景，第二场景可变换，比如，用户可调整姿态，对第二场景连续取景(拍摄)可形成视频。例如，第二图像可为同一场景的同一时刻的不同视角的图像。第二图像可根据场景不同而不同。例如，第二图像信息222包括第二关键点信息2221，图像处理部202还可被配置为提取第二图像212的第二关键点信息2221。第二关键点信息2221也可包括SIFT关键点和/或Harris角点等，可参照之前有关SIFT关键点和/或Harris角点的叙述。

如图7所示，主控装置10可被配置为在测量阶段根据参数信息23和第二图像信息222获得第二场景的三维重建信息240。主控装置可负责与第三方的需求软件(如体感游戏、AR/VR应用等)通信，以及建立与协同装置的连接和控制，并综合各协同装置的图像获取部的识别结果，得到当前场景的三维重建数据。测量阶段通常都是视频实时处理，协同装置可不发送完整的图像到主控装置10，而是发送第二关键点信息到主控装置10，否则将大大增加***传输负载，并且也没有必要。

本公开至少一实施例提供的立体视觉测量***，通过主控装置作为控制(主控)中心，以及多个协同装置作为客户端，各协同装置的图像获取部可共享给主控装置，以搭建多图像获取部的三维视觉重建***，从而解决了用户需要额外购买三维测量设备以及通常的设备测量不准确、使用距离受限等问题，并且因各协同装置可移动，可调节各协同装置之间的位置关系，可以通过灵活布置多个协同装置的相对位置，实现长距离/距离可调的多图像获取部的立体测量，从而更加灵活准确，可为各种基于立体视觉测量的体感游戏、AR/VR应用提供更加精确的解决方案，将极大的提高用户的视觉体验。

例如，主控装置10包括智能电视，协同装置20包括移动终端，移动终端包括智能手机或平板电脑，图像获取部包括摄像头。例如，内参数是指图像获取部本身的焦距等物理参数，外参数是指摄像头之间的旋转平移等位置关系，只有标定后的图像获取部组合，才能实现立体视觉测量。

本公开至少一实施例提供的立体视觉测量***，可以充分利用用户的现有资源，不需要再额外购买三维测量设备(如微软的Kinect)，就能搭建起长距离(长基线)的多摄像头的立体视觉测量***，将极大推动相关产业的发展。

图8本公开一实施例提供的立体视觉测量***中的主控装置的示意图，根据本公开一实施例提供的立体视觉测量***，如图8所示，主控装置10包括三维数据形成部103。三维数据形成部103被配置为根据参数信息(例如包括内参数231和外参数232)和各协同装置20发送的第二图像信息222获得三维重建信息240。可根据各协同装置20发送的同一场景的同一时刻的不同视角的第二图像212的第二图像信息222(第二关键点信息2221)进行三维重建。

图9示出了本公开一实施例提供的立体视觉测量***中的三维数据形成部103的示意图，根据本公开一实施例提供的立体视觉测量***，如图9所示，三维数据形成部103包括关键点组合单元1031、三维空间坐标计算单元1032和关键点数据统计单元1033。关键点组合单元1031被配置为根据各协同装置20发送的第二关键点信息2221，进行关键点匹配，筛选得到成功匹配的关键点组合。例如，可将眼睛，鼻子和嘴巴作为一个关键点组合，当然，也可以采用其他形式的关键点组合。三维空间坐标计算单元1032被配置为根据关键点组合和参数信息23(例如包括内参数231和外参数232)，计算得到关键点组合(各关键点)的三维空间坐标。例如，可根据眼睛，鼻子和嘴巴的组合和参数信息23获得眼睛，鼻子和嘴巴的三维空间坐标。关键点数据统计单元1033被配置为统计关键区域的关键点数据，例如，可合成人体姿态，从而，完成立体视觉计算，获得三维重建信息240。例如，关键区域包括人脸、四肢等。例如，可根据人脸、四肢等的关键点数据获得人体(例如用户)的三维重建信息240。例如，三维重建信息240可包括人脸、人体体态等的三维重建信息。例如，第二图像信息主要是获取场景中用户的信息，例如，用户的脸部、四肢等特征，以形成人脸、体态特征等信息。

如图10所示，根据本公开一实施例提供的立体视觉测量***，为了提高标定的准确性，标定部101被配置为将图像获取部201分组，每组包括两个图像获取部201，采用图像获取部201配对标定。例如，可第一图像获取部2011、第二图像获取部2012和第三图像获取部2013依次设置，将第一图像获取部2011和第二图像获取部2012为第一组，将第二图像获取部2012和第三图像获取部2013为第二组，即可采用相邻两个图像获取部201两两配对标定。图6中以包括三个图像获取部201为例进行说明。

如图11所示，本公开至少一实施例提供一种立体视觉测量方法，包括以下步骤。

标定阶段：至少两个协同装置20获取第一场景的第一图像211和第一图像211的第一图像信息221，并将第一图像211和第一图像信息221发送给主控装置10。主控装置10被配置为在标定阶段获取各图像获取部201参数信息23。主控装置10与至少两个协同装置20通信连接，并控制各协同装置20；各协同装置20为可移动装置，并带有图像获取部201。

测量阶段：各协同装置20获取第二场景的第二图像212和第二图像212的第二图像信息222，并将第二图像信息222发送给主控装置10，主控装置10获得第二场景的三维重建信息240。

本公开至少一实施例提供的立体视觉测量方法，以搭建多图像获取部的三维视觉重建***，从而解决了用户需要额外购买三维测量设备以及通常的设备测量不准确、使用距离受限等问题，并且因各协同装置可移动，可调节各协同装置之间的位置关系，可以通过灵活布置多个协同装置的相对位置，实现长距离/距离可调的多图像获取部的立体测量。长距离例如是指图像获取部之间可具有较长的距离，距离可调例如是指图像获取部之间的距离可调节。

根据本公开一实施例提供的立体视觉测量方法，根据各协同装置20发送的第一图像211和第一图像信息221获取各图像获取部201的参数信息23，例如参数信息23包括内参数231和外参数232，内参数231是指各图像获取部201的物理参数，外参数232是指图像获取部201之间的位置关系。

根据本公开一实施例提供的立体视觉测量方法，根据参数信息23和各协同装置20发送的第二图像信息222获得三维重建信息240。

根据本公开一实施例提供的立体视觉测量方法，第一图像信息221包括第一关键点信息2211，第二图像信息222包括第二关键点信息2221。为了便于标定和测量，减少网络负荷，可在标定阶段不发送全部的第一图像信息，而是仅发送第一关键点信息2211，可在测量阶段不发送全部的第二图像信息，而是仅发送第二关键点信息2221。

根据本公开一实施例提供的立体视觉测量方法，根据各协同装置20发送的第二关键点信息2221，进行关键点匹配，筛选得到成功匹配的关键点组合；根据关键点组合、内参数231和外参数232，计算得到三维空间坐标；统计关键区域的关键点数据，完成立体视觉计算，获得三维重建信息240。三维重建信息240也可采用其他方式获得，本公开的实施例对此不作限定。

根据本公开一实施例提供的立体视觉测量方法，为了减少标定阶段和/或测量阶段的误差，提高准确性，主控装置10可将图像获取部201分组，每组包括两个图像获取部201，从而，可形成多组双目立体视觉测量单元。例如可减小图像关键点的匹配误差等。

根据本公开一实施例提供的立体视觉测量方法，为了避免无线网络阻塞以及协同装置拍摄等原因造成的延迟，还可包括在标定阶段和/或测量阶段同步主控装置10和协同装置20的信号，同步主控装置10和协同装置20的信号包括：获取网络延迟或同步采集。

获取网络延迟包括：主控装置10连续发送两条消息给协同装置20，协同装置20收到后立即返回，主控装置10收到返回的两条消息的时间间隔，即是主控装置10到协同装置20通信的网络延迟；

同步采集包括：主控装置10将时间戳和采集指令一起发送给协同装置20，协同装置20获得指令并获取图像后，将时间戳和对图像进行处理得到的图像信息一起返回到主控装置10；主控装置10根据收到的返回时间戳来对齐各协同装置20的图像信息。图像包括第一图像211或第二图像212，图像信息包括第一图像信息2211或第二图像信息2221，可根据所处的阶段是标定阶段还是测量阶段来确定发送的是第一图像信息2211还是第二图像信息2221。

根据本公开一实施例提供的立体视觉测量方法，主控装置10包括智能电视，协同装置20可包括移动终端。

参照图12和图13，并以主控装置为智能电视，协同装置可为智能手机，图像获取部为智能手机上的摄像头为例进行说明。

标定是指当用户放置智能手机在固定位置后，需要采取一定的方式获取当前摄像头组合的参数信息(内参数和外参数等)；测量是指***搭建完成后，智能电视控制各智能手机完成当前场景图像的捕捉和计算，从而获取场景中用户的三维数据信息(三维重建信息)。

如图12所示，标定阶段可包括如下步骤。

1、用户将两台以上的智能手机放置于场景中适当位置，将智能电视和智能手机中的相应软件打开，智能电视作为主控中心，搜索当前局域网中的智能手机；智能手机打开摄像头。

2、用户站立于场景中间，可张开双臂，智能电视发出指令，控制智能手机同步连续采集第一场景图像，智能手机获取图像中的关键点(SIFT关键点\Harris角点等)，然后，将第一图像和第一图像信息(关键点信息)发送给智能电视。

3、用户变换姿态，***重复上一步骤的计算流程。

4、智能电视根据获取到不同摄像头的第一图像和第一图像信息(第一关键点信息)，利用标定部进行标定，获取本次摄像头组合的内参数和外参数，并可将其记录在智能电视的不可擦除存储体中。标定完毕。

在实际的标定过程中，电视界面可以通过播放相应的画面和实时图像来引导用户完成该标定步骤；如果放置两台以上的智能手机，则***可根据捕获到的图像，进行相邻两个摄像头的两两配对的标定，对于用户来说，无需进行额外的活动。

如图13所示，测量阶段可包括如下步骤。

1、用户完成摄像头组合的标定后，***即可进行三维立体测量，基本流程类似标定阶段。首先，智能电视作为主控中心，搜索当前局域网中的多个智能手机；控制各智能手机打开摄像头。

2、智能电视发出指令，控制智能手机同步连续采集第二场景的第二图像，智能手机通过图像处理部获取第二图像信息(第二关键点信息)；考虑到大多数基于立体视觉的应用都是与用户的互动，智能手机还可进行人脸识别、体态检测等更高层次的分析。然后，智能手机可将第二关键点信息和识别结果发送给智能电视。例如，因为测量阶段通常都是视频实时处理，智能手机端没有必要发送完整的图像到电视端，仅发送第二关键点信息给智能电视即可，否则将大大增加***传输负载，并且也没有必要。

3、智能电视根据获取到不同摄像头的第二关键点信息，首先进行关键点匹配，筛选得到成功匹配的关键点组合，然后根据预先标定的摄像头内外参数，计算得到三维空间坐标，最后统计关键区域(人脸/四肢等)内得到关键点数据，完成当前场景的立体视觉计算。

此外，由于无线网络阻塞以及手机摄像头拍摄等原因造成的延迟，智能电视和智能手机的通信加入同步信号，实现的方法是包括获取网络延迟和/或同步采集：

1、获取网络延迟：智能电视连续发送两条消息给智能手机，智能手机收到后立即返回，智能电视收到返回的两条消息的时间间隔，即是智能电视到智能手机通信的网络延迟；

2、同步采集：智能电视可将自身的64位***时间作为时间戳，将时间戳和采集指令一起发送给智能手机；智能手机获得指令并拍摄照片后，将时间戳和处理后的数据一起返回给智能电视；智能电视根据收到的返回时间戳来对齐各个智能手机的处理数据。

可在标定阶段和测量阶段至少之一的阶段采用上述任一方法进行信号同步。

测量阶段，当用户放置了两台以上的智能手机在***中时，智能电视控制部可将相邻智能手机进行两两组合，形成多组双目立体视觉测量***，这样将进一步减少***的各个阶段误差，例如图像关键点的匹配误差等。

智能电视结合智能手机可搭建三维立体视觉测量***；智能电视作为主控中心，智能手机作为协同客户端，提供摄像头以及计算资源。立体视觉测量方法可分为标定和测量两个阶段，其中，标定方法可采用基于场景关键点检测的自标定算法；当智能手机数量大于两个时，***可形成多组双目立体视觉组合，达到更精确的测量。

本公开实施例的立体视觉测量***还可以包括一个或多个处理器以及一个或多个存储器。处理器可以处理数据信号，可以包括各种计算结构，例如复杂指令集计算机(CISC)结构、结构精简指令集计算机(RISC)结构或者一种实行多种指令集组合的结构。存储器可以保存处理器执行的指令和/或数据。这些指令和/或数据可以包括代码，用于实现本公开实施例描述的一个或多个装置、部件或单元的一些功能或全部功能。例如，存储器包括动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存(flash memory)、光存储器(optical memory)，或其他的本领域技术人员熟知的存储器。

在本公开的一些实施例中，图像处理部、标定部、三维数据形成部、关键点组合单元、三维空间坐标计算单元和关键点数据统计单元等部件/单元包括存储在存储器中的代码和程序；处理器可以执行该代码和程序以实现如上所述的灰度值提取装置、脉搏波绘制装置、脉搏波传播时间确定装置和/或血压获取装置的一些功能或全部功能。

在本公开的一些实施例中，图像处理部、标定部、三维数据形成部、关键点组合单元、三维空间坐标计算单元和关键点数据统计单元等可以是特殊硬件器件，用来实现如上所述的该图像处理部、标定部、三维数据形成部、关键点组合单元、三维空间坐标计算单元和关键点数据统计单元等的一些或全部功能。例如，图像处理部、标定部、三维数据形成部、关键点组合单元、三维空间坐标计算单元和关键点数据统计单元等可以是一个电路板或多个电路板的组合，用于实现如上所述的功能。在本公开实施例中，该一个电路板或多个电路板的组合可以包括：(1)一个或多个处理器；(2)与处理器相连接的一个或多个非暂时的计算机可读的存储器；以及(3)处理器可执行的存储在存储器中的固件。

有以下几点需要说明：

(1)除非另作定义，本公开实施例以及附图中，同一附图标记代表同一含义。

(2)本公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。

(3)为了清晰起见，在用于描述本公开的实施例的附图中，层或区域的厚度被放大。可以理解，当诸如层、膜、区域或基板之类的元件被称作位于另一元件“上”或“下”时，该元件可以“直接”位于另一元件“上”或“下”，或者可以存在中间元件。

(4)在不冲突的情况下，本公开的同一实施例及不同实施例中的特征可以相互组合。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种立体视觉测量***，包括主控装置和至少两个协同装置，其中，所述主控装置与所述至少两个协同装置通信连接，并被配置为控制各所述协同装置；各所述协同装置为可移动装置，并带有图像获取部；

各所述协同装置被配置为在标定阶段获取第一场景的第一图像和所述第一图像的第一图像信息，并将所述第一图像和所述第一图像信息发送给所述主控装置，各所述协同装置还被配置为在测量阶段获取第二场景的第二图像和所述第二图像的第二图像信息，并将所述第二图像信息发送给所述主控装置；

所述主控装置被配置为在所述标定阶段获取各图像获取部的参数信息；所述主控装置还被配置为在所述测量阶段根据所述参数信息和所述第二图像信息获得所述第二场景的三维重建信息。

2.根据权利要求1所述的立体视觉测量***，其中，所述主控装置包括标定部，所述标定部被配置为根据各所述协同装置发送的所述第一图像和所述第一图像信息获取各图像获取部的所述参数信息，所述参数信息包括内参数和外参数，所述内参数是指各图像获取部的物理参数，所述外参数是指图像获取部之间的位置关系。

3.根据权利要求2所述的立体视觉测量***，其中，所述标定部被配置为将所述图像获取部分组，每组包括两个图像获取部，采用图像获取部配对标定。

4.根据权利要求1所述的立体视觉测量***，其中，所述主控装置包括三维数据形成部，所述三维数据形成部被配置为根据所述参数信息和各所述协同装置发送的所述第二图像信息获得所述三维重建信息。

5.根据权利要求4所述的立体视觉测量***，其中，各所述协同装置包括图像处理部，所述第一图像信息包括第一关键点信息，所述第二图像信息包括第二关键点信息，所述图像处理部被配置为在所述标定阶段提取所述第一图像的所述第一关键点信息，并被配置为在所述测量阶段提取所述第二图像的所述第二关键点信息。

6.根据权利要求5所述的立体视觉测量***，其中，所述三维数据形成部包括关键点组合单元、三维空间坐标计算单元和关键点数据统计单元，所述关键点组合单元被配置为根据各协同装置发送的所述第二关键点信息，进行关键点匹配，筛选得到成功匹配的关键点组合，所述三维空间坐标计算单元被配置为根据所述关键点组合、所述参数信息，计算得到所述关键点组合的三维空间坐标；所述关键点数据统计单元被配置为统计关键区域的关键点数据，完成立体视觉计算，获得所述三维重建信息。

7.根据权利要求1-6任一项所述的立体视觉测量***，其中，所述主控装置包括智能电视，所述协同装置包括移动终端。

8.一种立体视觉测量方法，包括：

标定阶段，至少两个协同装置获取第一场景的第一图像和所述第一图像的第一图像信息，并将所述第一图像和所述第一图像信息发送给主控装置，所述主控装置被配置为在所述标定阶段获取各图像获取部的参数信息；所述主控装置与所述至少两个协同装置通信连接，并控制各所述协同装置；各所述协同装置为可移动装置，并带有图像获取部；

测量阶段，各所述协同装置获取第二场景的第二图像和所述第二图像的第二图像信息，并将所述第二图像信息发送给所述主控装置，所述主控装置根据所述参数信息和所述第二图像信息获得所述第二场景的三维重建信息。

9.根据权利要求8所述的立体视觉测量方法，其中，根据各所述协同装置发送的所述第一图像和所述第一图像信息获取各图像获取部的所述参数信息，所述参数信息包括内参数和外参数，所述内参数是指各图像获取部的物理参数，所述外参数是指图像获取部之间的位置关系。

10.根据权利要求8所述的立体视觉测量方法，其中，所述第一图像信息包括第一关键点信息，所述第二图像信息包括第二关键点信息。

11.根据权利要求10所述的立体视觉测量方法，其中，根据各协同装置发送的所述第二关键点信息，进行关键点匹配，筛选得到成功匹配的关键点组合；根据所述关键点组合、所述参数信息，计算得到所述关键点组合的三维空间坐标；统计关键区域的关键点数据，完成立体视觉计算，获得所述三维重建信息。

12.根据权利要求8-11任一项所述的立体视觉测量方法，其中，所述主控装置将所述图像获取部分组，每组包括两个图像获取部，形成多组双目立体视觉测量单元。

13.根据权利要求8-11任一项所述的立体视觉测量方法，还包括在所述标定阶段和所述测量阶段至少之一的阶段同步所述主控装置和所述协同装置的信号，其中，所述同步所述主控装置和所述协同装置的信号包括：获取网络延迟；

所述获取网络延迟包括：所述主控装置连续发送两条消息给所述协同装置，所述协同装置收到后立即返回，所述主控装置收到返回的两条消息的时间间隔，即是所述主控装置到所述协同装置通信的网络延迟。

14.根据权利要求8-11任一项所述的立体视觉测量方法，还包括在所述标定阶段和所述测量阶段至少之一的阶段同步所述主控装置和所述协同装置的信号，其中，所述同步所述主控装置和所述协同装置的信号包括：同步采集；

所述同步采集包括：所述主控装置将时间戳和采集指令一起发送给所述协同装置，所述协同装置获得指令并获取图像后，将时间戳和对所述图像进行处理得到的图像信息一起返回到所述主控装置；所述主控装置根据收到的返回时间戳来对齐各所述协同装置的图像信息，所述图像包括所述第一图像或所述第二图像，所述图像信息包括所述第一图像信息或所述第二图像信息。

15.根据权利要求8-11任一项所述的立体视觉测量方法，其中，所述主控装置包括智能电视，所述协同装置包括移动终端。