CN108876934B

CN108876934B - 关键点标注方法、装置和***及存储介质

Info

Publication number: CN108876934B
Application number: CN201711384795.0A
Authority: CN
Inventors: 李悦; 马里千
Original assignee: Hangzhou Kuangyun Jinzhi Technology Co ltd; Beijing Kuangshi Technology Co Ltd
Current assignee: Hangzhou Kuangyun Jinzhi Technology Co Ltd; Beijing Kuangshi Technology Co Ltd
Priority date: 2017-12-20
Filing date: 2017-12-20
Publication date: 2022-01-28
Anticipated expiration: 2037-12-20
Also published as: CN108876934A

Abstract

本发明实施例提供一种关键点标注方法、装置和***以及存储介质。该方法包括：控制显示装置以显示待标注模型和标准参考模型，标准参考模型上显示有M个参考关键点的标识，M为大于或等于1的整数；获取用户根据M个参考关键点在待标注模型上确定的M个目标关键点的位置；以及基于M个目标关键点的位置，控制显示装置以在待标注模型上显示M个目标关键点的标识。根据本发明实施例的关键点标注方法、装置和***以及存储介质，利用标准参考模型的参考关键点作为标注位置的参照物，可以非常方便地指导用户对待标注模型进行标注，从而实现高效、便捷、鲁棒的关键点标注。

Description

关键点标注方法、装置和***及存储介质

技术领域

本发明涉及计算机技术领域，更具体地涉及一种关键点标注方法、装置和***以及存储介质。

背景技术

目前三维技术不断发展，在很多领域均有广泛应用。在对三维模型(例如三维人脸模型)进行研究和工程开发时，需要准确的关键点位置信息。而这些关键点位置信息，往往需要人为手动标注。在手动标注的过程中，由于标注人员对需要标注的关键点没有直观的把握，因此如果需要标注的三维人脸模型数量较大时，标注速度会比较慢并且容易出现误标注或漏标注的问题。目前，并没有简易、高效、鲁棒的应用可以辅助标注人员完成针对三维模型批量数据的标注。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种关键点标注方法、装置和***以及存储介质。

根据本发明一方面，提供了一种关键点标注方法。该方法包括：控制显示装置以显示待标注模型和标准参考模型，标准参考模型上显示有M个参考关键点的标识，M为大于或等于1的整数；获取用户根据M个参考关键点在待标注模型上确定的M个目标关键点的位置；以及基于M个目标关键点的位置，控制显示装置以在待标注模型上显示M个目标关键点的标识。

示例性地，在控制显示装置以显示待标注模型和标准参考模型之前，方法还包括：基于待标注模型的当前标注状态确定M个参考关键点。

示例性地，标准参考模型上还显示有其他参考关键点的标识，采用第一颜色的点或球体作为M个参考关键点的标识，并采用第二颜色的点或球体作为其他参考关键点的标识。

示例性地，待标注模型上还显示有之前已经被标注的至少一个目标关键点的标识，在控制显示装置以显示待标注模型和标准参考模型之前，方法还包括：至少基于待标注模型的当前标注状态确定至少一个目标关键点。

示例性地，至少基于待标注模型的当前标注状态确定至少一个目标关键点包括：基于待标注模型的当前标注状态和待标注模型的当前显示角度确定至少一个目标关键点。

示例性地，方法还包括：接收用户输入的针对第一模型的调整指令，其中，第一模型为待标注模型和标准参考模型之一，调整指令包括用于指示旋转、平移和缩放中的一项或多项操作的指令；以及响应于调整指令，对第一模型执行调整指令指示的相应操作。

示例性地，方法还包括：响应于调整指令，对第二模型执行与第一模型一致的操作，其中，第二模型为待标注模型和标准参考模型之一，并且第二模型与第一模型不同。

示例性地，方法还包括：实时检测光标位置；若光标位于待标注模型上，则控制显示装置在光标与待标注模型的交点处实时显示设定标识。

示例性地，M个目标关键点中的每个目标关键点的位置是通过以下方法获取的：接收用户输入的针对待标注模型的标注指令；响应于标注指令，确定光标与待标注模型的交点当前所在的位置为M个目标关键点之一的位置。

示例性地，方法还包括：接收用户输入的针对待标注模型的标注撤销指令；以及响应于标注撤销指令，控制显示装置以删除M个目标关键点中最近一次标注的目标关键点在待标注模型上的标识。

示例性地，方法还包括：基于待标注模型的当前标注状态确定在M个参考关键点之后的下一参考关键点；以及控制显示装置以在标准参考模型上采用第一模式显示下一参考关键点的标识，并采用第二模式显示其他参考关键点的标识。

示例性地，方法还包括：接收用户输入的针对待标注模型的标注跳过指令；以及响应于标注跳过指令，控制显示装置以将标准参考模型上当前采用第一模式显示的第一参考关键点的标识修改为采用第二模式显示，并在标准参考模型上采用第一模式显示位于第一参考关键点之后的第二参考关键点的标识，第二参考关键点与第一参考关键点之间间隔预定数目的参考关键点；或者，响应于标注跳过指令，控制显示装置以将当前显示的待标注模型切换为另一待标注模型进行显示。

示例性地，方法还包括：当待标注模型在当前显示角度下的全部目标关键点的标注完成时，将待标注模型和标准模型中的一者或两者旋转到下一显示角度；和/或当待标注模型在当前显示角度下的全部目标关键点的标注完成时，对在当前显示角度下的待标注模型进行截图并保存所截取的图像

示例性地，方法还包括：当待标注模型的标注出现预定状况时，基于预定状况输出对应的用户提示信息。

示例性地，预定状况包括：接收到针对待标注模型的标注跳过指令，且基于标注跳过指令确定将当前显示的待标注模型切换为下一个待标注模型；用户提示信息包括用于提示跳过当前显示的待标注模型的信息；和/或预定状况包括：在接收到的针对待标注模型的调整指令指示将待标注模型旋转到下一显示角度时，且待标注模型在当前显示角度下的目标关键点的标注未完成；用户提示信息包括用于提示标注未完成的信息。

示例性地，控制显示装置以显示待标注模型和标准参考模型包括：控制显示装置以分别在第一显示窗口和第二显示窗口中显示待标注模型和标准参考模型。

根据本发明另一方面，提供了一种关键点标注装置，包括用于执行上述关键点标注方法中相应步骤的各个模块。示例地，该关键点标注装置包括：第一显示控制模块，用于控制显示装置以显示待标注模型和标准参考模型，标准参考模型上显示有M个参考关键点的标识，M为大于或等于1的整数；位置获取模块，用于获取用户根据M个参考关键点在待标注模型上确定的M个目标关键点的位置；以及第二显示控制模块，用于基于M个目标关键点的位置，控制显示装置以在待标注模型上显示M个目标关键点的标识。

根据本发明另一方面，提供了一种关键点标注***，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行上述关键点标注方法。

根据本发明另一方面，提供了一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行上述关键点标注方法。

根据本发明实施例的关键点标注方法、装置和***以及存储介质，利用标准参考模型的参考关键点作为标注位置的参照物，可以非常方便地指导用户对待标注模型进行标注，从而实现高效、便捷、鲁棒的关键点标注，减少误标注及漏标注问题。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出用于实现根据本发明实施例的关键点标注方法和装置的示例电子设备的示意性框图；

图2示出根据本发明一个实施例的关键点标注方法的示意性流程图；

图3a-3d示出根据本发明实施例的标准参考模型及其上的参考关键点的标识的示意图；

图4示出根据本发明一个实施例的关键点标注方法的流程示意图；

图5示出根据本发明一个实施例的关键点标注装置的示意性框图；以及

图6示出根据本发明一个实施例的关键点标注***的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

为了解决上述问题，本发明实施例提供了一种关键点标注方法、装置和***以及存储介质。根据本发明实施例的关键点标注方法可以辅助标注人员(即用户)实现高效、鲁棒的模型标注工作。根据本发明实施例的关键点标注方法可以应用于各种需要对模型进行标注的领域，例如人脸标注及识别领域。

首先，参照图1来描述用于实现根据本发明实施例的关键点标注方法和装置的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104。可选地，电子设备100还可以包括输入装置106、输出装置108、以及模型信息获取装置110，这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以是中央处理单元(CPU)、图形处理器(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音)，并且所述输出装置108可以包括显示器。可选地，所述输出装置还可以包括扬声器等。可选地，所述输入装置106和所述输出装置108可以集成在一起，采用同一交互装置(例如触摸屏)实现。

所述模型信息获取装置110可以获取各种与模型相关的信息(包括待标注模型的模型信息、标准参考模型的模型信息、标准参考模型的关键点信息等)，并且将所获取的信息存储在所述存储装置104中以供其它组件使用。可选地，模型信息获取装置110可以是摄像头、相机等图像采集装置。待标注模型的模型信息可以包括图像采集装置采集的图像，待标注模型可以基于图像采集装置采集的图像生成。

示例性地，用于实现根据本发明实施例的关键点标注方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。

下面，将参考图2描述根据本发明实施例的关键点标注方法。图2示出根据本发明一个实施例的关键点标注方法200的示意性流程图。如图2所示，关键点标注方法200包括以下步骤S210、S220和S230。

在步骤S210，控制显示装置以显示待标注模型和标准参考模型，标准参考模型上显示有M个参考关键点的标识，M为大于或等于1的整数。

例如，显示装置可以为液晶显示器、有机发光显示器、阴极射线管(CRT)显示器等各种显示器。

可以首先获取待标注模型的模型信息、标准参考模型的模型信息和标准参考模型的关键点信息。随后，可以基于待标注模型的模型信息生成待标注模型，基于标准参考模型的模型信息生成标准参考模型，并基于标准参考模型的关键点信息在标准参考模型上生成参考关键点。标准参考模型的模型信息和标准参考模型的关键点信息是可选的，可以基于预设的默认信息生成标准参考模型并确定各参考关键点的位置。

例如，可以根据待标注模型的模型信息进行建模，生成待标注模型的初始模型骨架(未经渲染的模型)。示例性地，待标注模型的模型信息可以包括待标注模型的基础信息，例如待标注模型的大小、顶点数、顶点坐标等信息。如上文所述，待标注模型的模型信息可以包括图像采集装置采集到的图像，例如多张包含不同姿态(即不同人脸朝向)的目标人脸的人脸图像。基于上述多张人脸图像进行三维建模，可以获得三维人脸模型(即待标注模型)。针对不同目标人脸建立的三维人脸模型可以是不同的。示例性地，待标注模型的模型信息还可以包括待标注模型的光照信息、材质信息等与渲染操作相关的信息。在待标注模型为人脸模型的情况下，待标注模型的材质信息可以基于初始获取的人脸图像获得，从人脸图像中可以提取人脸皮肤信息等作为材质信息。随后，可以对待标注模型的初始模型骨架进行渲染，包括对材质和光照的渲染。渲染的结果为所述待标注模型。渲染待标注模型之后可以将其输出，以在显示装置上显示。

类似地，标准参考模型的模型信息可以包括标准参考模型的基础信息，例如标准参考模型的大小、顶点数、顶点坐标等信息。标准参考模型的大小可以根据需要设定，例如可以设定得与待标注模型的大小相差不大。根据标准参考模型的模型信息可以进行建模，生成标准参考模型的初始模型骨架。示例性地，标准参考模型的模型信息还可以包括标准参考模型的光照信息等与渲染操作相关的信息。随后，可以对标准参考模型的初始模型骨架进行渲染，包括对光照的渲染。渲染的结果为标准参考模型。渲染标准参考模型之后可以将其输出，以在显示装置上显示。示例性地，标准参考模型的模型信息还可以包括材质信息。可以为标准参考模型设定材质，根据预设材质进行渲染。也可以不对标准参考模型进行材质渲染或者以***默认材质进行渲染。

标准参考模型的关键点信息包括标准参考模型的各参考关键点的位置信息。在渲染标准参考模型时，可以同时以预设模式渲染参考关键点所在位置，使得显示装置上显示标准参考模型时，在每个参考关键点所在位置处显示该参考关键点的标识。所述标识可以包括但不限于具有特定颜色和/或尺寸的点或球体，例如在参考关键点所在位置处用红色的点进行标记，该红色的点即为参考关键点的标识。例如，参考关键点的标识还可以为其他形状的点或立体结构。

示例性地，步骤S210可以包括：控制显示装置以分别在第一显示窗口和第二显示窗口中显示待标注模型和标准参考模型。示例性地，第一显示窗口和第二显示窗口能够各自独立操作。

在一个示例中，可以在同一显示界面上划分两个区域，例如所述第一显示窗口和第二显示窗口，分别用来显示待标注模型和标准参考模型。第一显示窗口和第二显示窗口可以各自独立地进行放大、缩小、全屏化、最小化、平移等操作。可选地，第一显示窗口和第二显示窗口中的一者可以跟随另一者执行相应的放大、缩小、全屏化、最小化、平移等操作。在另一个示例中，可以在两个显示装置上分别显示待标注模型和标准参考模型。待标注模型和标准参考模型同步显示，以方便用户参照标准参考模型上示出的关键点信息来对待标注模型进行标注。

在待标注模型和标准参考模型为人脸模型的情况下，本文所述的关键点可以包括人脸关键点，例如人脸关键点可以包括人脸轮廓、眼睛、眉毛、嘴唇、鼻子轮廓以及下巴等的关键点。在待标注模型和标准参考模型为人头模型的情况下，本文所述的关键点可以包括人脸关键点和耳部关键点。

标准参考模型具有至少一个参考关键点，参考关键点的位置是预设好的。待标注模型的至少一个目标关键点与至少一个参考关键点一一对应，用户根据参考关键点在待标注模型上的对应位置处标注的目标关键点。本文所述的M个参考关键点可以是标准参考模型的所有参考关键点中的一部分或全部。例如，M个参考关键点可以是接下来用户需要进行对应标注的参考关键点。

图3a示出根据本发明一个实施例的标准参考模型及其上的参考关键点的标识的示意图。如图3a所示，在标准参考模型上，用具有特定颜色(图中未示出颜色)的点标示出若干关键点(即参考关键点)。用户可以查看图3a所示标准参考模型上的参考关键点的标识，根据参考关键点的标识在待标注模型上确定目标关键点的位置，并在待标注模型上标注对应的目标关键点。

在一个示例中，标准参考模型仅具有一个显示角度(或视角)，或者在当前显示角度下能够显示标准参考模型的全部参考关键点的标识，在这种情况下，可以控制显示装置在标准参考模型的当前显示角度下显示全部参考关键点的标识。在另一个示例中，标准参考模型具有多个显示角度并且在每个显示角度下仅能够显示部分参考关键点的标识，在这种情况下，可以控制显示装置在标准参考模型上显示在当前显示角度下的全部参考关键点的标识。在又一个示例中，可以每次仅显示与待标注模型的下一个待标注关键点相对应的参考关键点的标识。每次用户标注一个目标关键点之后，可以更新标准参考模型上所显示的参考关键点的标识。

在步骤S220，获取用户根据M个参考关键点在待标注模型上确定的M个目标关键点的位置。

用户可以参照标准参考模型的指示，找到待标注模型上的适当标注位置，并通过鼠标、键盘、触摸屏等交互装置与电子设备100进行交互，电子，例如可以在显示屏幕上用鼠标点击待标注模型上的某一位置(如左眼瞳孔位置)。电子设备100接收到用户的点击操作，确定用户点击的位置为一个目标关键点的位置。此外，基于用户标注时所对应的参考关键点的信息，或者基于鼠标点击位置的坐标，可以获知用户标注的是左眼瞳孔关键点。随后可以记录标注好的目标关键点的名称(例如记录为“左眼瞳孔”)及坐标。通过在待标注模型的不同位置处重复执行上述标注操作，可以获得待标注模型的各目标关键点的位置信息。

在步骤S230，基于M个目标关键点的位置，控制显示装置以在待标注模型上显示M个目标关键点的标识。

基于M个目标关键点的位置信息，可以将该M个目标关键点的标识在对应位置处显示出来以供用户查看。与参考关键点的标识类似地，目标关键点的标识可以包括但不限于具有特定颜色的点或球体。

根据本发明实施例的关键点标注方法，利用标准参考模型的参考关键点作为标注位置的参照物，可以非常方便地指导用户对待标注模型进行标注，从而实现高效、便捷、鲁棒的关键点标注，减少误标注及漏标注问题。

示例性地，根据本发明实施例的关键点标注方法可以在具有存储器和处理器的设备、装置或者***中实现。

根据本发明实施例的关键点标注方法可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。

替代地，根据本发明实施例的关键点标注方法还可以分布地部署在服务器端和客户端处。例如，可以在客户端获取与待标注模型和/或标准参考模型相关的信息(例如在图像采集端采集人脸图像)，客户端将获取的信息传送给服务器端(或云端)，由服务器端(或云端)进行关键点标注。

根据本发明实施例，在步骤S210之前，关键点标注方法200可以包括：基于待标注模型的当前标注状态确定M个参考关键点。

当前标注状态也就是当前标注进度，是指当前已标注了哪些目标关键点。

示例性地，步骤S210可以包括：控制显示装置以在标准参考模型上以可区分的方式显示M个参考关键点的标识及其他参考关键点的标识。

在一个示例中，可以在标准参考模型上仅显示与待标注模型的后续待标注关键点相对应的参考关键点(如M个参考关键点)的标识，而不显示其他参考关键点的标识。在这种情况下，与后续待标注关键点相对应的参考关键点可以采用任意模式渲染。采用这种方式，需要随着标注进度的变化不断更新参考关键点的标识的显示情况。采用这种方式，计算和渲染时涉及的数据量都比较小，数据处理速度比较快。

在另一个示例中，标准参考模型上还显示有其他参考关键点的标识。例如，标准参考模型上显示的M个参考关键点和该其他参考关键点可以组成标准参考模型在当前显示角度下的全部参考关键点。示例地，可以采用第一模式显示M个参考关键点的标识，并采用第二模式显示该其他参考关键点的标识，第一模式不同于第二模式，这样可以将该M参考关键点与该其他参考关键点区分开。例如，采用第一颜色的点或球体作为M个参考关键点的标识，并采用第二颜色的点或球体作为其他参考关键点的标识。可选地，M个参考关键点的标识的尺寸与该其他参考关键点的标识的尺寸不同，例如M个参考关键点的标识大于该其他参考关键点的尺寸，这样可以进一步加大二者的区别。例如，可以在标准参考模型上以不同的颜色和尺寸分别示出与下一个待标注关键点相对应的参考关键点以及其他参考关键点。

例如，如图3a所示，在初始阶段，可以以第一颜色(例如绿色)的点表示眉心处的参考关键点，并且以第二颜色(例如红色)的点表示其他参考关键点。图3a中用面积比较大、颜色比较深的点表示第一颜色的点。

如图3a所示，在初始阶段，用户尚未进行任何标注时，在标准参考模型上以与其他参考关键点的标识不同的颜色显示眉心处的参考关键点的标识，以指示用户从眉心关键点开始进行标注。随后，当用户通过鼠标、键盘、触摸屏等交互装置，完成在待标注模型上标注眉心关键点的操作时，处理器通过交互装置接收到的信号确定用户完成该标注操作。随后处理器在下一次渲染标准参考模型时，可以将眉心关键点渲染为第二颜色(例如红色)，并将第二个参考关键点渲染为第一颜色(例如绿色)。第二个参考关键点例如为左眉毛上最左边的点，可以将该点渲染为绿色。随后，在显示装置下一次刷新时，可以将新的渲染结果显示出来。用户看到新的显示内容，可以根据其指示继续对待标注模型上的左眉毛上最左边的点进行标注。示例地，可以预先设定标准参考模型上的参考关键点的显示顺序，即可以预先设定标注顺序。

图3b-3d示出根据本发明实施例的、图3a所示的标准参考模型及其上的参考关键点的标识在其他三种显示角度下的示意图。由图3b-3d可知，当标准参考模型处于不同显示角度时，初始的用第一颜色的点表示的参考关键点会发生变化。

通过跟随用户的当前标注状态不断更新显示下一参考关键点的标识，可以更清楚、更及时地提示用户当前的待标注关键点是哪个，用户可以一目了然地掌握后续需要标注的目标关键点，可以节省用户检查当前标注及后续标注情况的工作量，因此可以大大提高标注效率和准确率。

根据本发明实施例，步骤S210和S230中的待标注模型上还可以显示有之前已经被标注的至少一个目标关键点的标识，在步骤S210之前，关键点标注方法200还可以包括：至少基于待标注模型的当前标注状态确定该至少一个目标关键点。也就是说，待标注模型上不仅可以显示当前时段内已标注的M个目标关键点，还可以显示在当前时段之前已标注的至少一个目标关键点，即待标注模型上可以显示截止当前时刻部分或全部已标注的目标关键点。

在一个示例中，待标注模型仅具有一个显示角度，或者在当前显示角度下能够显示全部已标注的目标关键点的标识，在这种情况下，待标注模型上可以显示全部已标注的目标关键点。

在另一个示例中，待标注模型具有多个显示角度并且在每个显示角度下仅能够显示部分已标注的目标关键点的标识，在这种情况下，待标注模型上可以显示在当前显示角度下的全部已标注关键点。在本示例中，至少基于待标注模型的当前标注状态确定至少一个目标关键点可以包括：基于待标注模型的当前标注状态和待标注模型的当前显示角度确定至少一个目标关键点。

与参考关键点的标识类似地，在待标注模型上显示的已标注的目标关键点的标识可以包括但不限于具有特定颜色和/或特定尺寸的点或球体，例如在目标关键点所在位置处用红色的点进行标记，该红色的点即为目标关键点的标识。

处理器102可以采用预定频率渲染待标注模型和标准参考模型。预定频率可以是例如每秒20～30帧。每次渲染待标注模型时，可以首先确定待标注模型的当前标注状态(已标注了多少目标关键点)，并且可以可选地结合当前显示角度确定至少部分已标注的目标关键点。每次渲染待标注模型时，将至少部分已标注的目标关键点以预定模式(例如特定颜色)进行渲染，使得显示屏幕能够在至少部分已标注的目标关键点所在的位置处显示标识(例如具有特定颜色的点或球体)。

向用户呈现至少一个目标关键点的标识，可以方便用户确认标注工作的进度以及对先前的标注工作进行检查。

根据本发明实施例，关键点标注方法200还可以包括：接收用户输入的针对第一模型的调整指令，其中，第一模型为待标注模型和标准参考模型之一，调整指令包括用于指示旋转、平移和缩放中的一项或多项操作的指令；以及响应于调整指令，对第一模型执行调整指令指示的相应操作。

示例性地，关键点标注方法200还可以包括：检测是否接收到针对第一模型的调整指令。检测是否接收到针对第一模型的调整指令可以包括：监测鼠标事件、键盘事件、触屏事件和手势事件中的一项或多项；根据监测到的事件确定是否接收到所述调整指令。

例如，可以实时监测用户对鼠标、键盘和触摸屏中的一项或多项的操作，当用户通过鼠标、键盘和触摸屏中的一项或多项对待标注模型进行调整，例如通过拖动鼠标来使待标注模型旋转一定角度时，可以相应地对待标注模型执行旋转操作。

根据本发明实施例，关键点标注方法200还可以包括：响应于调整指令，对第二模型执行与第一模型一致的操作，其中，第二模型为待标注模型和标准参考模型之一，并且第二模型与第一模型不同。

例如，当用户通过拖动鼠标来使待标注模型旋转一定角度时，处理器102可以自动调整标准参考模型，使得标准参考模型也旋转一样的角度。当用户手动调整待标注模型和标准参考模型中的一者时，处理器可以自动调整另外一者，使得其也执行一致的操作，进而使得标准参考模型与待标注模型可以始终保持匹配的大小、角度等。这样，无需用户手动调整，标准参考模型和待标注模型可主动跟随对方做出调整，因此模型一致度较高，有利于用户进行查看和标注，同时用户体验也比较好。

根据本发明实施例，关键点标注方法200还可以包括：实时检测光标位置；若光标位于待标注模型上，则控制显示装置在光标与待标注模型的交点处实时显示设定标识。

在一个示例中，当用户操控鼠标，使得光标在显示屏幕上移动时，可以实时渲染光标位置与待标注模型的交点为特定颜色的小球，这样可以方便用户看清楚当前鼠标所在的位置。在用户移动鼠标的过程中，光标位置与待标注模型的交点可以视为虚拟关键点，上述特定颜色的小球可以视为虚拟关键点的标识(即设定标识)。比较可取的是，虚拟关键点的颜色与已标注关键点的颜色不同。用户可以看到显示屏幕上有个小球随着鼠标移动。当光标移动到待标注关键点位置时，用户可以单击鼠标左键、或点击键盘上的确认键(例如回车键)、或点击触摸屏上的确认控件，此时可以将该小球放置在该关键点的位置，并且可以将小球的颜色渲染为已标注关键点的颜色，从而完成对该关键点的标注。

在另一个示例中，鼠标移动时并不实时渲染光标位置与待标注模型的交点，而是当用户单击鼠标左键、或点击键盘上的确认键(例如回车键)、或点击触摸屏上的确认控件时，才渲染光标位置与待标注模型的交点，将其渲染为已标注关键点的颜色，从而完成对该交点位置处的目标关键点的标注。在渲染光标位置与待标注模型的交点的同时，可以渲染已完成标注的全部已标注关键点。

根据本发明实施例，M个目标关键点中的每个目标关键点的位置是通过以下方法获取的：接收用户输入的针对待标注模型的标注指令；响应于标注指令，确定光标与待标注模型的交点当前所在的位置为M个目标关键点之一的位置。

示例性地，关键点标注方法200还可以包括：检测是否接收到针对待标注模型的标注指令。检测是否接收到针对待标注模型的标注指令可以包括：监测鼠标事件、键盘事件、触屏事件和手势事件中的一项或多项；根据监测到的事件确定是否接收到所述标注指令。

如上文所述，当用户单击鼠标左键、或点击键盘上的确认键(例如回车键)、或点击触摸屏上的确认控件时，可以确定接收到标注指令。此时，可以将光标与待标注模型的交点视为目标关键点之一，该交点当前所在的位置视为该目标关键点的位置。可以将光标与待标注模型的交点渲染为已标注关键点的颜色。

根据本发明实施例，关键点标注方法200还可以包括：接收用户输入的针对待标注模型的标注撤销指令；以及响应于标注撤销指令，控制显示装置以删除M个目标关键点中最近一次标注的目标关键点在待标注模型上的标识。

示例性地，关键点标注方法200还可以包括：检测是否接收到针对待标注模型的标注撤销指令。检测是否接收到针对待标注模型的标注撤销指令可以包括：监测鼠标事件、键盘事件、触屏事件和手势事件中的一项或多项；根据监测到的事件确定是否接收到所述标注撤销指令。

例如，当用户单击鼠标右键、或点击键盘上的取消键(例如退格键或删除键)、或点击触摸屏上的取消控件时，可以确定接收到标注撤销指令。此时，可以撤销最近一次的标注结果。可以从存储器中删除与最近一次标注的目标关键点相关的关键点标注信息。此外，处理器还可以在下一次渲染时，不再渲染最近一次标注的目标关键点，使得显示装置不再显示最近一次标注的目标关键点的标识。

根据本发明实施例，关键点标注方法200还可以包括：基于待标注模型的当前标注状态确定在M个参考关键点之后的下一参考关键点；以及控制显示装置以在标准参考模型上采用第一模式显示下一参考关键点的标识，并采用第二模式显示其他参考关键点的标识。

第一模式和第二模式中的任一者或两者可以包括采用具有特定颜色的点或球体进行显示。第二模式与第一模式所对应的标识的颜色、大小等参数中的一项或多项不同，使得采用第一模式和第二模式显示的标识能够区分开。可选地，第二模式也可以是不显示任何标识。

上文已经结合附图3a-3d描述了采用不同颜色显示下一参考关键点与其他参考关键点的实施例，本领域技术人员可以参考上文的描述理解本实施例，此处不再赘述。

根据本发明实施例，关键点标注方法200还可以包括：接收用户输入的针对待标注模型的标注跳过指令；以及响应于标注跳过指令，控制显示装置以将标准参考模型上当前采用第一模式显示的第一参考关键点的标识修改为采用第二模式显示，并在标准参考模型上采用第一模式显示位于第一参考关键点之后的第二参考关键点的标识，第二参考关键点与第一参考关键点之间间隔预定数目的参考关键点；或者，响应于标注跳过指令，控制显示装置以将当前显示的待标注模型切换为另一待标注模型进行显示。

示例性地，关键点标注方法200还可以包括：检测是否接收到针对待标注模型的标注跳过指令。检测是否接收到针对待标注模型的标注跳过指令可以包括：监测鼠标事件、键盘事件、触屏事件和手势事件中的一项或多项；根据监测到的事件确定是否接收到所述标注跳过指令。

假设当前与下一待标注关键点相对应的参考关键点(即第一参考关键点)的标识用第一颜色显示，其他参考关键点的标识用第二颜色显示。例如，当用户双击鼠标左键、或点击键盘上的空格键、或点击触摸屏上的跳过控件时，可以确定接收到标注跳过指令。此时，可以跳过若干目标关键点的标注，直接开始标注后面的目标关键点。示例性地，在标准参考模型上，可以将与跳过预定数目的目标关键点之后的目标关键点(后续待标注关键点)相对应的参考关键点渲染为第一颜色的点，将其他参考关键点渲染为第二颜色的点。

在一个示例中，接收到标注跳过指令时，如果跳过预定数目的目标关键点之后已经不存在剩余的待标注关键点，则可以自动将待标注模型由当前模型切换为下一模型，重新开始对下一模型的标注。在另一个示例中，接收到标注跳过指令时，直接将待标注模型由当前模型切换为下一模型，重新开始对下一模型的标注。

根据本发明实施例，关键点标注方法200还可以包括：当待标注模型在当前显示角度下的全部目标关键点的标注完成时，将待标注模型和标准模型中的一者或两者旋转到下一显示角度；和/或当待标注模型在当前显示角度下的全部目标关键点的标注完成时，对在当前显示角度下的待标注模型进行截图并保存所截取的图像。

在一个示例中，待标注模型和标准模型中的任何一者可以自动旋转。例如，在用户完成如图3a所示显示角度下的标注之后，标准参考模型可以自动旋转到图3b所示的显示角度。标准参考模型可以按照图3a-3d所示的显示角度的顺序依次旋转显示，以方便用户逐一进行标注。待标注模型可以随标准参考模型的旋转而自动旋转到下一显示角度。当然，在标准参考模型自动旋转之后，用户可以参照标准参考模型的旋转情况来手动旋转待标注模型。

在另一个示例中，待标注模型和标准模型中的任何一者可以由用户手动旋转。如上文所述，待标注模型和标准模型中的另一者可以跟随前者的旋转而旋转。

可选地，每次完成当前显示角度下的目标关键点的标注之后，可以截图保存当前标注结果用于随后预览。

根据本发明实施例，关键点标注方法200还可以包括：当待标注模型的标注出现预定状况时，基于预定状况输出对应的用户提示信息。

用户提示信息可以包括文字信息和/或语音信息。

在一个示例中，预定状况可以包括：接收到针对待标注模型的标注跳过指令，且基于标注跳过指令确定将当前显示的待标注模型切换为下一个待标注模型；用户提示信息可以包括用于提示跳过当前显示的待标注模型的信息。

当用户输入标注跳过指令时，如果确定需要切换模型，则可以输出用户提示信息，以提醒用户当前操作为模型切换操作。用户可以进一步确认是否确实要切换模型。这样，可以防止用户误操作。

在另一个示例中，预定状况可以包括：在接收到的针对待标注模型的调整指令指示将待标注模型旋转到下一显示角度，且待标注模型在当前显示角度下的目标关键点的标注未完成；用户提示信息可以包括用于提示标注未完成的信息。

如果当前显示角度下的标注尚未完成时要转换显示角度，则可以提示用户标注未完成。这样，可以防止用户漏标注。

根据本发明实施例，关键点标注方法200还可以包括：采用预定频率渲染并输出待标注模型和标准参考模型以由显示装置显示；在每次渲染待标注模型时，确定待标注模型上的、待显示的已标注关键点和/或光标与待标注模型的交点当前所在的位置，渲染并输出待显示的已标注关键点的标识和/或与所述交点当前所在的位置相对应的预设标识以由显示装置显示；以及在每次渲染标准参考模型时，确定标准参考模型上的待显示的参考关键点，渲染并输出待显示的参考关键点的标识以由显示装置显示。

如上文所述，处理器102可以采用预定频率渲染待标注模型和标准参考模型。在每次渲染待标注模型和标准参考模型时，可以根据当前标注状态和预设要求确定在待标注模型和标准参考模型上待显示的关键点，并执行相应的渲染，以使得显示装置能够显示所需显示的关键点的标识。可以结合上文关于待标注模型和标准参考模型的渲染的描述理解本实施例，此处不再赘述。

图4示出根据本发明一个实施例的关键点标注方法的流程示意图。如图4所示，可以首先获取待标注模型的模型信息，并且可选地可以获取标准参考模型的模型信息及关键点信息。随后，可以将待标注模型和标准参考模型缩放移动到各自窗口的视角中心，添加光照、纹理等信息，分别进行模型渲染。随后，在标准参考模型上，可以以第一颜色渲染初始的参考关键点，并以第二颜色渲染其他参考关键点。应理解，初始的参考关键点指的是按照预先设定的显示顺序排列的参考关键点中的第一个参考关键点。随后，可以检测用户实时的鼠标及键盘操作，并且可以实时渲染光标位置与待标注模型的交点(参考上文描述)。随后，可以在接收到用户的标注指令时，确定交点位置为目标关键点所在位置，并记录目标关键点的位置信息。最后，在全部目标关键点标注完成后，可以输出各目标关键点的位置信息及其他相关信息。

本文所述的关键点标注方法可以应用于各种三维模型的关键点标注，但该方法并不局限于三维模型，也可以应用于二维模型(例如人脸图像)的关键点标注。

根据本发明另一方面，提供一种关键点标注装置。图5示出了根据本发明一个实施例的关键点标注装置500的示意性框图。

如图5所示，根据本发明实施例的关键点标注装置500包括第一显示控制模块510、位置获取模块520和第二显示控制模块530。可选地，装置500还可以包括显示装置。所述各个模块可分别执行上文中结合图2描述的关键点标注方法的各个步骤/功能。以下仅对该关键点标注装置500的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。

第一显示控制模块510用于控制显示装置以显示待标注模型和标准参考模型，标准参考模型上显示有M个参考关键点的标识，M为大于或等于1的整数。第一显示控制模块510可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

位置获取模块520用于获取用户根据M个参考关键点在待标注模型上确定的M个目标关键点的位置。位置获取模块520可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

第二显示控制模块530用于基于M个目标关键点的位置，控制显示装置以在待标注模型上显示M个目标关键点的标识。第二显示控制模块530可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

示例性地，装置500还包括：第一关键点确定模块，用于在第一显示控制模块510控制显示装置以显示待标注模型和标准参考模型之前，基于待标注模型的当前标注状态确定M个参考关键点。

示例性地，待标注模型上还显示有之前已经被标注的至少一个目标关键点的标识，装置500还包括：第二关键点确定模块，用于在第一显示控制模块510控制显示装置以显示待标注模型和标准参考模型之前，至少基于待标注模型的当前标注状态确定至少一个目标关键点。

示例性地，第二关键点确定模块具体用于基于待标注模型的当前标注状态和待标注模型的当前显示角度确定至少一个目标关键点。

示例性地，装置500还包括：接收模块，用于接收用户输入的针对第一模型的调整指令，其中，第一模型为待标注模型和标准参考模型之一，调整指令包括用于指示旋转、平移和缩放中的一项或多项操作的指令；以及操作执行模块，用于响应于调整指令，对第一模型执行调整指令指示的相应操作。

示例性地，操作执行模块还用于响应于调整指令，对第二模型执行与第一模型一致的操作，其中，第二模型为待标注模型和标准参考模型之一，并且第二模型与第一模型不同。

示例性地，装置500还包括：光标检测模块，用于实时检测光标位置；第三显示控制模块，用于若光标位于待标注模型上，则控制显示装置在光标与待标注模型的交点处实时显示设定标识。

示例性地，位置获取模块520具体用于：接收用户输入的针对待标注模型的标注指令；响应于标注指令，确定光标与待标注模型的交点当前所在的位置为M个目标关键点之一的位置。

示例性地，装置500还包括：撤销指令接收模块，用于接收用户输入的针对待标注模型的标注撤销指令；以及第四显示控制模块，用于响应于标注撤销指令，控制显示装置以删除M个目标关键点中最近一次标注的目标关键点在待标注模型上的标识。

示例性地，装置500还包括：第三关键点确定模块，用于基于待标注模型的当前标注状态确定在M个参考关键点之后的下一参考关键点；以及第五显示控制模块，用于控制显示装置以在标准参考模型上采用第一模式显示下一参考关键点的标识，并采用第二模式显示其他参考关键点的标识。

示例性地，装置500还包括：跳过指令接收模块以及第六显示控制模块。跳过指令接收模块用于接收用户输入的针对待标注模型的标注跳过指令。第六显示控制模块用于：响应于标注跳过指令，控制显示装置以将标准参考模型上当前采用第一模式显示的第一参考关键点的标识修改为采用第二模式显示，并在标准参考模型上采用第一模式显示位于第一参考关键点之后的第二参考关键点的标识，第二参考关键点与第一参考关键点之间间隔预定数目的参考关键点；或者，响应于标注跳过指令，控制显示装置以将当前显示的待标注模型切换为另一待标注模型进行显示。

示例性地，装置500还包括旋转模块和/或截图模块。旋转模块用于当待标注模型在当前显示角度下的全部目标关键点的标注完成时，将待标注模型和标准模型中的一者或两者旋转到下一显示角度。截图模块用于当待标注模型在当前显示角度下的全部目标关键点的标注完成时，对在当前显示角度下的待标注模型进行截图并保存所截取的图像。

示例性地，装置500还包括：提示模块，用于当待标注模型的标注出现预定状况时，基于预定状况输出对应的用户提示信息。

示例性地，第一显示控制模块510具体用于控制显示装置以分别在第一显示窗口和第二显示窗口中显示待标注模型和标准参考模型。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

图6示出了根据本发明一个实施例的关键点标注***600的示意性框图。关键点标注***600包括显示装置610、存储装置620、以及处理器630。

所述显示装置610用于显示待标注模型、标注参考模型以及各关键点的标识。

所述存储装置620存储用于实现根据本发明实施例的关键点标注方法中的相应步骤的计算机程序指令。

所述处理器630用于运行所述存储装置620中存储的计算机程序指令，以执行根据本发明实施例的关键点标注方法的相应步骤。

在一个实施例中，所述计算机程序指令被所述处理器630运行时用于执行以下步骤：控制显示装置以显示待标注模型和标准参考模型，标准参考模型上显示有M个参考关键点的标识，M为大于或等于1的整数；获取用户根据M个参考关键点在待标注模型上确定的M个目标关键点的位置；以及基于M个目标关键点的位置，控制显示装置以在待标注模型上显示M个目标关键点的标识。

示例性地，在所述计算机程序指令被所述处理器630运行时所用于执行的控制显示装置以显示待标注模型和标准参考模型的步骤之前，所述计算机程序指令被所述处理器630运行时还用于执行以下步骤：基于待标注模型的当前标注状态确定M个参考关键点。

示例性地，待标注模型上还显示有之前已经被标注的至少一个目标关键点的标识，在所述计算机程序指令被所述处理器630运行时所用于执行的控制显示装置以显示待标注模型和标准参考模型的步骤之前，所述计算机程序指令被所述处理器630运行时还用于执行以下步骤：至少基于待标注模型的当前标注状态确定至少一个目标关键点。

示例性地，所述计算机程序指令被所述处理器630运行时所用于执行的至少基于待标注模型的当前标注状态确定至少一个目标关键点的步骤包括：基于待标注模型的当前标注状态和待标注模型的当前显示角度确定至少一个目标关键点。

示例性地，所述计算机程序指令被所述处理器630运行时还用于执行以下步骤：接收用户输入的针对第一模型的调整指令，其中，第一模型为待标注模型和标准参考模型之一，调整指令包括用于指示旋转、平移和缩放中的一项或多项操作的指令；以及响应于调整指令，对第一模型执行调整指令指示的相应操作。

示例性地，所述计算机程序指令被所述处理器630运行时还用于执行以下步骤：响应于调整指令，对第二模型执行与第一模型一致的操作，其中，第二模型为待标注模型和标准参考模型之一，并且第二模型与第一模型不同。

示例性地，所述计算机程序指令被所述处理器630运行时还用于执行以下步骤：实时检测光标位置；若光标位于待标注模型上，则控制显示装置在光标与待标注模型的交点处实时显示设定标识。

示例性地，所述计算机程序指令被所述处理器630运行时还用于执行以下步骤：接收用户输入的针对待标注模型的标注撤销指令；以及响应于标注撤销指令，控制显示装置以删除M个目标关键点中最近一次标注的目标关键点在待标注模型上的标识。

示例性地，所述计算机程序指令被所述处理器630运行时还用于执行以下步骤：基于待标注模型的当前标注状态确定在M个参考关键点之后的下一参考关键点；以及控制显示装置以在标准参考模型上采用第一模式显示下一参考关键点的标识，并采用第二模式显示其他参考关键点的标识。

示例性地，所述计算机程序指令被所述处理器630运行时还用于执行以下步骤：接收用户输入的针对待标注模型的标注跳过指令；以及响应于标注跳过指令，控制显示装置以将标准参考模型上当前采用第一模式显示的第一参考关键点的标识修改为采用第二模式显示，并在标准参考模型上采用第一模式显示位于第一参考关键点之后的第二参考关键点的标识，第二参考关键点与第一参考关键点之间间隔预定数目的参考关键点；或者，响应于标注跳过指令，控制显示装置以将当前显示的待标注模型切换为另一待标注模型进行显示。

示例性地，所述计算机程序指令被所述处理器630运行时还用于执行以下步骤：当待标注模型在当前显示角度下的全部目标关键点的标注完成时，将待标注模型和标准模型中的一者或两者旋转到下一显示角度；和/或当待标注模型在当前显示角度下的全部目标关键点的标注完成时，对在当前显示角度下的待标注模型进行截图并保存所截取的图像。

示例性地，所述计算机程序指令被所述处理器630运行时还用于执行以下步骤：当待标注模型的标注出现预定状况时，基于预定状况输出对应的用户提示信息。

示例性地，所述计算机程序指令被所述处理器630运行时所用于执行的控制显示装置以显示待标注模型和标准参考模型的步骤包括：控制显示装置以分别在第一显示窗口和第二显示窗口中显示待标注模型和标准参考模型。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的关键点标注方法的相应步骤，并且用于实现根据本发明实施例的关键点标注装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。

在一个实施例中，所述程序指令在被计算机或处理器运行时可以使得计算机或处理器实现根据本发明实施例的关键点标注装置的各个功能模块，并和/或者可以执行根据本发明实施例的关键点标注方法。

在一个实施例中，所述程序指令在运行时用于执行以下步骤：控制显示装置以显示待标注模型和标准参考模型，标准参考模型上显示有M个参考关键点的标识，M为大于或等于1的整数；获取用户根据M个参考关键点在待标注模型上确定的M个目标关键点的位置；以及基于M个目标关键点的位置，控制显示装置以在待标注模型上显示M个目标关键点的标识。

示例性地，在所述程序指令在运行时所用于执行的控制显示装置以显示待标注模型和标准参考模型的步骤之前，所述程序指令在运行时还用于执行以下步骤：基于待标注模型的当前标注状态确定M个参考关键点。

示例性地，待标注模型上还显示有之前已经被标注的至少一个目标关键点的标识，在所述程序指令在运行时所用于执行的控制显示装置以显示待标注模型和标准参考模型的步骤之前，所述程序指令在运行时还用于执行以下步骤：至少基于待标注模型的当前标注状态确定至少一个目标关键点。

示例性地，所述程序指令在运行时所用于执行的至少基于待标注模型的当前标注状态确定至少一个目标关键点的步骤包括：基于待标注模型的当前标注状态和待标注模型的当前显示角度确定至少一个目标关键点。

示例性地，所述程序指令在运行时还用于执行以下步骤：接收用户输入的针对第一模型的调整指令，其中，第一模型为待标注模型和标准参考模型之一，调整指令包括用于指示旋转、平移和缩放中的一项或多项操作的指令；以及响应于调整指令，对第一模型执行调整指令指示的相应操作。

示例性地，所述程序指令在运行时还用于执行以下步骤：响应于调整指令，对第二模型执行与第一模型一致的操作，其中，第二模型为待标注模型和标准参考模型之一，并且第二模型与第一模型不同。

示例性地，所述程序指令在运行时还用于执行以下步骤：实时检测光标位置；若光标位于待标注模型上，则控制显示装置在光标与待标注模型的交点处实时显示设定标识。

示例性地，所述程序指令在运行时还用于执行以下步骤：接收用户输入的针对待标注模型的标注撤销指令；以及响应于标注撤销指令，控制显示装置以删除M个目标关键点中最近一次标注的目标关键点在待标注模型上的标识。

示例性地，所述程序指令在运行时还用于执行以下步骤：基于待标注模型的当前标注状态确定在M个参考关键点之后的下一参考关键点；以及控制显示装置以在标准参考模型上采用第一模式显示下一参考关键点的标识，并采用第二模式显示其他参考关键点的标识。

示例性地，所述程序指令在运行时还用于执行以下步骤：接收用户输入的针对待标注模型的标注跳过指令；以及响应于标注跳过指令，控制显示装置以将标准参考模型上当前采用第一模式显示的第一参考关键点的标识修改为采用第二模式显示，并在标准参考模型上采用第一模式显示位于第一参考关键点之后的第二参考关键点的标识，第二参考关键点与第一参考关键点之间间隔预定数目的参考关键点；或者，响应于标注跳过指令，控制显示装置以将当前显示的待标注模型切换为另一待标注模型进行显示。

示例性地，所述程序指令在运行时还用于执行以下步骤：当待标注模型在当前显示角度下的全部目标关键点的标注完成时，将待标注模型和标准模型中的一者或两者旋转到下一显示角度；和/或当待标注模型在当前显示角度下的全部目标关键点的标注完成时，对在当前显示角度下的待标注模型进行截图并保存所截取的图像

示例性地，所述程序指令在运行时还用于执行以下步骤：当待标注模型的标注出现预定状况时，基于预定状况输出对应的用户提示信息。

示例性地，预定状况包括：接收到针对待标注模型的标注跳过指令，且基于标注跳过指令确定将待标注模型由当前模型切换为下一模型；用户提示信息包括用于提示跳过当前模型的信息；和/或预定状况包括：在针对待标注模型的调整指令指示将待标注模型旋转到下一显示角度时，至少一个目标关键点中的、在当前显示角度下的目标关键点的标注未完成；用户提示信息包括用于提示标注未完成的信息。

示例性地，所述程序指令在运行时所用于执行的控制显示装置以显示待标注模型和标准参考模型的步骤包括：控制显示装置以分别在第一显示窗口和第二显示窗口中显示待标注模型和标准参考模型。

根据本发明实施例的关键点标注***中的各模块可以通过根据本发明实施例的实施关键点标注的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的关键点标注装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种关键点标注方法，包括：

控制显示装置以显示待标注模型和标准参考模型，所述标准参考模型上显示有M个参考关键点的标识，M为大于或等于1的整数；

获取用户根据所述M个参考关键点在所述待标注模型上确定的M个目标关键点的位置；以及

基于所述M个目标关键点的位置，控制所述显示装置以在所述待标注模型上显示所述M个目标关键点的标识；

其中，所述方法还包括：

基于所述待标注模型的当前标注状态确定在所述M个参考关键点之后的下一参考关键点；以及

控制所述显示装置以在所述标准参考模型上采用第一模式显示所述下一参考关键点的标识，并采用第二模式显示其他参考关键点的标识；

其中，所述方法还包括：

接收所述用户输入的针对所述待标注模型的标注跳过指令；以及

响应于所述标注跳过指令，控制所述显示装置以将所述标准参考模型上当前采用所述第一模式显示的第一参考关键点的标识修改为采用所述第二模式显示，并在所述标准参考模型上采用所述第一模式显示位于所述第一参考关键点之后的第二参考关键点的标识，所述第二参考关键点与所述第一参考关键点之间间隔预定数目的参考关键点；或者，

响应于所述标注跳过指令，控制所述显示装置以将当前显示的所述待标注模型切换为另一待标注模型进行显示。

2.如权利要求1所述的方法，其中，在所述控制显示装置以显示待标注模型和标准参考模型之前，所述方法还包括：

基于所述待标注模型的当前标注状态确定所述M个参考关键点。

3.如权利要求1所述的方法，其中，所述标准参考模型上还显示有其他参考关键点的标识，采用第一颜色的点或球体作为所述M个参考关键点的标识，并采用第二颜色的点或球体作为所述其他参考关键点的标识。

4.如权利要求1至3任一项所述的方法，其中，所述待标注模型上还显示有之前已经被标注的至少一个目标关键点的标识，

在所述控制显示装置以显示待标注模型和标准参考模型之前，所述方法还包括：

至少基于所述待标注模型的当前标注状态确定所述至少一个目标关键点。

5.如权利要求4所述的方法，其中，所述至少基于所述待标注模型的当前标注状态确定所述至少一个目标关键点包括：

基于所述待标注模型的当前标注状态和所述待标注模型的当前显示角度确定所述至少一个目标关键点。

6.如权利要求1至3任一项所述的方法，其中，所述方法还包括：

接收所述用户输入的针对第一模型的调整指令，其中，所述第一模型为所述待标注模型和所述标准参考模型之一，所述调整指令包括用于指示旋转、平移和缩放中的一项或多项操作的指令；以及

响应于所述调整指令，对所述第一模型执行所述调整指令指示的相应操作。

7.如权利要求6所述的方法，其中，所述方法还包括：

响应于所述调整指令，对第二模型执行与所述第一模型一致的操作，其中，所述第二模型为所述待标注模型和所述标准参考模型之一，并且所述第二模型与所述第一模型不同。

8.如权利要求1所述的方法，其中，所述方法还包括：

实时检测光标位置；

若所述光标位于所述待标注模型上，则控制所述显示装置在所述光标与所述待标注模型的交点处实时显示设定标识。

9.如权利要求1或8所述的方法，其中，所述M个目标关键点中的每个目标关键点的位置是通过以下方法获取的：

接收所述用户输入的针对所述待标注模型的标注指令；

响应于所述标注指令，确定光标与所述待标注模型的交点当前所在的位置为所述M个目标关键点之一的位置。

10.如权利要求1至3任一项所述的方法，其中，所述方法还包括：

接收所述用户输入的针对所述待标注模型的标注撤销指令；以及

响应于所述标注撤销指令，控制所述显示装置以删除所述M个目标关键点中最近一次标注的目标关键点在所述待标注模型上的标识。

11.如权利要求1至3任一项所述的方法，其中，所述方法还包括：

当所述待标注模型在当前显示角度下的全部目标关键点的标注完成时，将所述待标注模型和标准模型中的一者或两者旋转到下一显示角度；和/或

当所述待标注模型在当前显示角度下的全部目标关键点的标注完成时，对在所述当前显示角度下的所述待标注模型进行截图并保存所截取的图像。

12.如权利要求1至3任一项所述的方法，其中，所述方法还包括：

当所述待标注模型的标注出现预定状况时，基于所述预定状况输出对应的用户提示信息。

13.如权利要求12所述的方法，其中，

所述预定状况包括：接收到针对所述待标注模型的标注跳过指令，且基于所述标注跳过指令确定将当前显示的所述待标注模型切换为下一个待标注模型；所述用户提示信息包括用于提示跳过当前显示的所述待标注模型的信息；和/或

所述预定状况包括：在接收到的针对所述待标注模型的调整指令指示将所述待标注模型旋转到下一显示角度，且所述待标注模型在当前显示角度下的目标关键点的标注未完成；所述用户提示信息包括用于提示标注未完成的信息。

14.如权利要求1至3任一项所述的方法，其中，所述控制显示装置以显示待标注模型和标准参考模型包括：

控制所述显示装置以分别在第一显示窗口和第二显示窗口中显示所述待标注模型和所述标准参考模型。

15.一种关键点标注装置，包括：

第一显示控制模块，用于控制显示装置以显示待标注模型和标准参考模型，所述标准参考模型上显示有M个参考关键点的标识，M为大于或等于1的整数；

位置获取模块，用于获取用户根据所述M个参考关键点在所述待标注模型上确定的M个目标关键点的位置；以及

第二显示控制模块，用于基于所述M个目标关键点的位置，控制所述显示装置以在所述待标注模型上显示所述M个目标关键点的标识；

其中，所述关键点标注装置还包括：

第三关键点确定模块，用于基于所述待标注模型的当前标注状态确定在所述M个参考关键点之后的下一参考关键点；以及

第五显示控制模块，用于控制所述显示装置以在所述标准参考模型上采用第一模式显示所述下一参考关键点的标识，并采用第二模式显示其他参考关键点的标识；

其中，所述关键点标注装置还包括：

跳过指令接收模块，用于接收所述用户输入的针对所述待标注模型的标注跳过指令；以及

第六显示控制模块，用于响应于所述标注跳过指令，控制所述显示装置以将所述标准参考模型上当前采用所述第一模式显示的第一参考关键点的标识修改为采用所述第二模式显示，并在所述标准参考模型上采用所述第一模式显示位于所述第一参考关键点之后的第二参考关键点的标识，所述第二参考关键点与所述第一参考关键点之间间隔预定数目的参考关键点；或者，响应于所述标注跳过指令，控制所述显示装置以将当前显示的所述待标注模型切换为另一待标注模型进行显示。

16.一种关键点标注***，包括显示装置、处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至14任一项所述的关键点标注方法。

17.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行如权利要求1至14任一项所述的关键点标注方法。