CN117785099A - 显示设备及虚实交互方法 - Google Patents

Abstract

本申请提供一种显示设备及虚实交互方法，可以在采集到图像数据中识别运动目标的部位特征点，基于多帧图像数据中的部位特征点的动作基元，生成特征部位的运动链，按照最小表征部位集在关键特征部位的运动链中提取相似动作，构建关键特征部位的观察记录矩阵，在观察记录矩阵中提取特征动作组，并构建运动数据矩阵，根据运动数据矩阵查询目标运动模型，根据目标运动模型渲染运动目标图像，以及控制显示器在特定区域中显示运动目标图像。通过对用户的真实运动数据进行采集、识别、虚实重构、学习、纠错、训练等图像数据处理，并在显示设备中显示用户的真实影像，使用户能实时看到自己的真实运动情况和运动成效以及据此调整后续运动动作。

Description

显示设备及虚实交互方法

技术领域

本申请涉及人工智能领域，尤其涉及一种显示设备及虚实交互方法。

背景技术

显示设备是指能够输出具体显示画面的终端设备，可以是智能电视、移动终端、智能广告屏、投影仪等终端设备。以智能电视为例，智能电视是基于Internet应用技术，具备开放式操作***与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。

显示设备可以应用于运动领域，通过显示设备输出拥有燃脂，瑜伽，舞蹈等多种类的专业运动内容，为用户提供更加适合的运动方式，让用户足不出户就能轻松进行运动健身。解决了传统的运动容易受天气影响而没法运动以及室外运动可能会造成运动者丢失、受害等危险的问题。

然而，仅是通过显示设备观看运动课程或视频内容，并不能使用户产生更强的沉浸感和参与感。而配合室内器材运动，又需要足够的资金支撑器材购买、器材摆放，需要巨大的资金消耗。并且传统的室内器材运动只能运动，不支持其他娱乐方式，非常单调枯燥，也容易导致用户产生厌恶运动的情绪。最为关键的是，用户跟随显示设备运动时，并不能感知到自身动作是否规范，不能即时纠正动作，无法避免姿势错误带来的伤害，大大降低训练效果。

发明内容

本申请提供了一种显示设备及虚实交互方法，以解决传统的室内器材运动需要消耗巨大的资金，以及运动时用户不能感知自身动作是否规范的问题。

一方面，本申请提供一种显示设备，包括：显示器，被配置为显示特定区域，所述特定区域中包括至少一个运动目标图像；图像采集接口，被配置为采集运动目标的图像数据；控制器被配置为执行以下程序步骤：

获取所述图像数据，所述图像数据为通过所述图像采集接口采集的运动目标图像。

根据所述图像数据，获取运动目标特征部位的特征数据，并提取所述特征部位的部位特征点。

基于多帧图像数据中的所述部位特征点的运动基元，生成所述运动目标的运动链，所述运动链包括多个按照时间顺序记录的所述部位特征点的运动基元。

根据所述特征部位的运动链，计算所述特征部位的运动量密度，以获取最小表征部位集，所述最小表征部位集包括表征所述运动目标运动特征的关键特征部位。

在所述关键特征部位的运动链中提取相似动作，以构建所述关键特征部位的观察记录矩阵。

在所述观察记录矩阵中提取特征动作组，以构建所述运动目标的运动数据矩阵。

根据所述运动数据矩阵在预设运动模型库查询目标运动模型。

根据所述目标运动模型渲染运动目标图像，以及控制所述显示器在所述特定区域中显示所述运动目标图像。

另一方面，本申请还提供一种虚实交互方法，应用于上述显示设备，所述虚实交互方法包括以下步骤：

获取图像数据，所述图像数据为通过图像采集接口采集的运动目标图像。

根据所述图像数据，获取运动目标特征部位的特征数据，并提取所述特征部位的部位特征点。

基于多帧图像数据中的所述部位特征点的运动基元，生成所述运动目标的运动链，所述运动链包括多个按照时间顺序记录的所述部位特征点的运动基元。

根据所述特征部位的运动链，计算所述特征部位的运动量密度，以获取最小表征部位集，所述最小表征部位集包括表征所述运动目标运动特征的关键特征部位。

在所述关键特征部位的运动链中提取相似动作，以构建所述关键特征部位的观察记录矩阵。

在所述观察记录矩阵中提取特征动作组，以构建所述运动目标的运动数据矩阵。

根据所述运动数据矩阵在预设运动模型库查询目标运动模型。

根据所述目标运动模型渲染运动目标图像，以及控制所述显示器在所述特定区域中显示所述运动目标图像。

由以上技术方案可知，本申请提供的显示设备及虚实交互方法，可以在采集到运动目标的图像数据后，在所述图像数据中识别运动目标的部位特征点，基于多帧图像数据中的所述部位特征点的动作基元，生成所述特征部位的运动链，按照所述最小表征部位集在关键特征部位的运动链中提取相似动作，构建关键特征部位的观察记录矩阵，在观察记录矩阵中提取特征动作组，并构建运动数据矩阵，根据所述运动数据矩阵在预设运动模型库查询目标运动模型，根据所述目标运动模型渲染运动目标图像，以及控制所述显示器在所述特定区域中显示所述运动目标图像。通过对用户在显示设备前的真实运动数据进行采集、识别、虚实重构、学习、纠错、训练等图像数据处理，并在显示设备中显示用户的真实影像，使用户能实时看到自己的真实运动情况和运动成效。并且通过对用户的运动模式进行学习，以实现纠错和训练等功能。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中显示设备的使用场景；

图2为本申请实施例中控制装置的硬件配置框图；

图3为本申请实施例中显示设备的硬件配置图；

图4为本申请实施例中显示设备的软件配置图；

图5为本申请实施例中内置摄像头的显示设备结构示意图；

图6为本申请实施例中外接图像采集装置的显示设备结构示意图；

图7为本申请实施例中虚实交互方法的总体流程图；

图8为本申请实施例中虚实交互方法的总体流程示意图；

图9为本申请实施例中获取特征部位的特征数据的流程示意图；

图10为本申请实施例中获取最小表征部位集的流程示意图；

图11为本申请实施例中判断新动作基元的流程示意图；

图12为本申请实施例中构建运动数据矩阵的流程示意图；

图13为本申请实施例中运动模型库的示意图；

图14为本申请实施例中显示运动准确度报告的效果示意图；

图15为本申请实施例中显示运动目标图像的特定区域示意图；

图16为本申请实施例中显示标准参照模型的特定区域示意图；

图17为本申请实施例中远程共连的运动目标的特定区域示意图；

图18为本申请实施例中T1时刻显示的运动图像效果示意图；

图19为本申请实施例中T2时刻显示的运动图像效果示意图。

具体实施方式

下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的***和方法的示例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

图1为根据实施例中显示设备的使用场景的示意图。如图1所示，显示设备200还与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制显示设备200。

在一些实施例中，智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑，AR/VR设备等中的任意一种。

在一些实施例中，也可以使用智能设备300以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。

在一些实施例中，也可以使用智能设备300和显示设备进行数据的通信。

在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。

在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。

在一些实施例中，一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的，服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行，反之亦然。

图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。

图3示出了根据示例性实施例中显示设备200的硬件配置框图。

在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中控制器包括中央处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。

在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。

在一些实施例中，显示器260可为液晶显示器、OLED显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。

在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。

在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。

在一些实施例中，用户接口280，为可用于接收控制输入的接口(如：显示设备本体上的实体按键，或其他等)。

如图4所示，将显示设备的***分为三层，从上至下分别为应用层、中间件层和硬件层。

应用层主要包含电视上的常用应用，以及应用框架(Application Framework)，其中，常用应用主要是基于浏览器Browser开发的应用，例如：HTML5 APPs；以及原生应用(Native APPs)；

应用框架(Application Framework)是一个完整的程序模型，具备标准应用软件所需的一切基本功能，例如：文件存取、资料交换...，以及这些功能的使用接口(工具栏、状态列、菜单、对话框)。

本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(ContentProvider)等，其中管理器包括以下模块中的至少一个：活动管理器(Activity Manager)用与和***中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给***服务或应用提供了***位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(Notification Manager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。

在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)、检测是否开启光标模式、开启光标模式后控制光标移动至对应的位置等，例如，窗口管理器可以在检测到光标模式被开启后，调用光标的显示参数，并根据光标的显示参数控制在屏幕中显示所述光标，以及，可以根据接收到的光标移动指令，将光标移动至屏幕上的目标位置。

原生应用(Native APPs)可以支持在线或离线，消息推送或本地资源访问。

中间件层包括各种电视协议、多媒体协议以及***组件等中间件。中间件可以使用***软件所提供的基础服务(功能)，衔接网络上应用***的各个部分或不同的应用，能够达到资源共享、功能共享的目的。

硬件层主要包括HAL接口、硬件以及驱动，其中，HAL接口为所有电视芯片对接的统一接口，具体逻辑由各个芯片来实现。驱动主要包含：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

显示设备200作为用户的直接交互设备，可以接收用户的控制指令，并根据控制指令执行数据处理，以形成包含不同内容的用户界面，通过显示器260进行呈现。在一些实施例中，用户可以在显示设备200中安装多种应用程序，用于实现特定的功能。所安装的应用程序可以为***应用或第三方应用。例如，用户可以在显示设备200运营商提供的应用商店中下载并安装“运动健身”应用程序。“运动健身”应用程序中可以预先设置有运动素材，例如，运动教程，运动视频等相关内容，用户可以通过控制显示设备200运行该应用程序，并输入所要观看的运动素材，使显示设备200可以对用户输入的运动素材通过显示器260进行显示，为用户提供多种类的运动运动方式。

然而，仅是通过显示设备200观看运动课程或运动视频，并不能使用户产生更强的沉浸感和参与感。用户跟随显示设备200所播放的运动教程运动时，并不能感知到自身动作是否规范，用户无法精确模仿教程中的动作，人机交互体验较差。

为了提高交互体验，在本申请实施例中，显示设备200可以作为运动健身的专用设备，即显示设备200用于运行运动健身程序以及呈现运动界面。显示设备200可以响应于用户的控制指令，将用户的真实运动情况通过显示器260呈现在特定区域上，使得用户能实时看到自己的运动画面和运动成效。

为了获得更好的训练效果和交互体验，在本申请的部分实施例中提供一种虚实交互方法，所述方法可以应用于显示设备200，用于实时展示运动画面。其中，显示设备200包括显示器260、图像采集接口290以及控制器250。图像采集接口290可以连接外部的图像采集装置500或连接显示设备200内置的图像采集模块291，用于实时采集运动目标的图像，并经过图像信号处理，形成运动目标的图像数据。显示器260用于显示包含运动目标图像的特定区域。控制器250被配置为执行所述虚实交互方法。如图7所示，具体的，所述虚实交互方法包括以下内容：

S101：获取所述图像数据，所述图像数据为通过所述图像采集接口采集的运动目标图像。

S102：根据所述图像数据，获取运动目标特征部位的特征数据，并提取所述特征部位的部位特征点。

S103：基于多帧图像数据中的所述部位特征点的动作基元，生成所述运动目标的运动链，所述运动链包括多个按照时间顺序记录的所述部位特征点的动作基元。

S104：根据所述特征部位的运动链，计算所述特征部位的运动量密度，以获取最小表征部位集，所述最小表征部位集包括表征所述运动目标运动特征的关键特征部位。

S105：在所述关键特征部位的运动链中提取相似动作，以构建所述关键特征部位的观察记录矩阵。

S106：在所述观察记录矩阵中提取特征动作组，以构建所述运动目标的运动数据矩阵。

S107：根据所述运动数据矩阵在预设运动模型库查询目标运动模型。

S108：根据所述目标运动模型渲染运动目标图像，以及控制所述显示器在所述特定区域中显示所述运动目标图像。

为了便于对本申请一些实施例中技术方案的进一步理解，下面结合一些具体实施例和附图对虚实交互方法进行详细说明。

获取运动目标的图像数据，控制器250接收用户输入的用于开启运动的控制指令，并根据控制指令控制显示器260显示特定区域。通过图像采集接口290采集运动目标的图像，并对运动目标图像执行图像信号处理，以生成图像数据，并将图像数据作为一种图像信号输入显示设备200。

在一些实施例中，图像采集接口290连接显示设备200内置的图像采集模块291。例如，如图5所示，图像采集模块291为显示设备200上的摄像头，可以受显示设备200中控制器250的统一控制，并且可以将采集到的运动目标的图像直接发送给控制器250。显然，为了便于采集用户图像，摄像头应设置在显示设备200上的特定位置。例如，对于智能电视等显示设备200，摄像头可以设置在智能电视的顶部，并且摄像头的拍摄方向与智能电视的屏幕光发出方向相同，从而能够拍摄到位于屏幕前的运动目标的图像。

在一些实施例中，图像采集接口290可以连接外部的图像采集装置500，即如图6所示，图像采集装置500可以在接入图像采集接口290后，通过该接口所支持的特定数据传输方式，将采集到的运动目标的图像发送给显示设备200。

如图8所示，图像采集装置500在采集到运动目标的图像并生成图像数据后，可以将图像数据发送给显示设备200。显示设备200获取到运动目标的图像数据后，通过每帧图像数据可以确定运动目标的运动情况。在一些实施例中，控制器250在运动目标的图像数据中识别运动目标的部位特征点，根据每帧图像数据中部位特征点的运动变化，生成运动目标的运动链，所述运动链表征运动目标的部位特征点的一连串运动。所述部位特征点为表征运动目标运动特性的关键部位上的一个或多个点。

多个部位特征点可以用于指示运动目标的运动姿势和形状，为了识别用于表征运动特性的部位特征点，在一些实施例中，如图9所示，控制器250还被配置为执行以下步骤：

从所述图像数据中识别运动目标。在本步骤中，控制器250接收到通过图像采集装置500采集的包括运动目标和环境背景的图像，并且从图像中解析出运动目标。

根据所述运动目标产生运动的身体部位，更新预设的身体部位集，以得到运动特征部位最大集，所述运动特征部位最大集包括若干个表征运动特性的关键部位，即特征部位。在本实施例中，运动目标的某些特定部位要被选成目标识别对象，然后通过人工智能训练和训练结果筛选在不同运动速率下识别率较高的部位，来作为候选的、用来表征当前运动特性的运动目标的特征部位。在一些实施例中，可以以预设的身体部位集作为目标识别对象，可以是根据用户在运动之初设置的即将进行的运动类型，在运动模型库中对应匹配上的运动模型内所指定的该运动涉及的身体部位集，将该身体部位集设置为运动特征部位最大集初始值。若用户在运动之初未设置即将进行的运动类型，或用户预设的运动类型未能匹配到合适的运动模型，则将***默认的身体部位集作为该运动的运动特征部位最大集初始值。所述***默认的身体部位集可以包括：左手的手尖、右手的手尖、左手的手腕、右手的手腕、左脚的脚尖、右脚的脚尖、左脚的脚跟、右脚的脚跟、左腿的膝、右腿的膝盖、左胳膊肘、右胳膊肘、头顶、脖子、腰中部、左肩膀顶端、右肩膀顶端、左眼、右眼、鼻子、嘴巴、左耳、右耳等多个预置关键部位。对所述运动目标的图像数据进行监测和采样，获取产生运动的身体部位，将未在该运动对应的身体部位集内产生运动的身体部位添加至身体部位集，以得到运动特征部位最大集。

在所述运动特征部位最大集的每个特征部位中设定部位采样点。在一些实施例中，每个特征部位需要设定一个或多个跟该部位相关的一些特征跟踪点，即部位采样点，部位采样点可以是能表征其运动特性的关键部位上的一个或多个点，其可以设置在关键部位相关的边缘及关键部位区域内的一个或多个关键位置，同时，可以根据其表面颜色和纹理等特征信息设置不同的灵活的采样点位置、采样分辨率和采样频率，形成该特征部位的形状、颜色、纹理、位置、运动速度等实际部位的属性记录表Property_Body[i][b](第i个特征部位在第b个采样时刻对应的该部位的属性)。

需要说明的是，上述属性记录表的Class(c++编程语言)或Struct结构体(c编程语言)包括但不限于形状、颜色、纹理、相对位置、绝对位置、运动速度等跟该部位相关的基本信息。

基于所述部位采样点，提取所述运动特征部位最大集中每个特征部位的特有特征属性和运动属性。在预设标准部位模板中提取所述运动特征部位最大集中每个特征部位的通用固有属性。在本实施例中，显示设备200中预置M个关键部位的标准部位模板Property_Body_Standard[k](0≤k＜M)，基于部位采样点，采集不同时刻第i个特征部位的数据，记录进属性记录表Property_Body[i][b]，然后进行训练、学习和参数优化，获得每个第i个特征部位的图像观察模型，以Property_Body_Observed[i]表示从运动目标的图像数据中获得的第i个特征部位的图像观察模型，从所述图像观察模型中提取所述运动特征部位最大集中每个特征部位的特有特征属性和运动属性。所述特有特征属性为特征部位的特有特征，例如实际形状、实际颜色、实际纹理，主要边缘的相对位置(如右眼的眼角到眼尾的相对距离)等。所述运动属性为部位特征的运动特征，例如绝对位置三维坐标、运动速度和方向等。将该图像观察模型与预置的M个关键部位的标准部位模板进行数据对比，查询与Property_Body_Observed[i]图像观察模型相似度最大的标准模板Property_Body_Standard[m](0≤m＜M)。从Property_Body_Standard[m]标准模板中提取第i个特征部位的通用固有属性，所述通用固有属性为关键部位的名称及该关键部位的属性，例如人鼻子有两个鼻孔、每个鼻孔为圆形洞状的属性。

根据所述特有特征属性、所述运动属性和所述通用固有属性，获取所述特征部位的特征数据。控制器250将提取到的第i个特征部位的特有特征属性、运动属性和通用固有属性赋给Property_Body_Model[i](0≤i＜N)。Property_Body_Model[i]就是结合运动目标实际运动的第i个特征部位的特征数据，可作为该运动目标后续运动起来时，进行运动识别的基础，其中，通用固有属性和特有特征属性是作为运动时用来识别该运动目标的特征部位的生理属性图像比对基础，而运动属性是判断该特征部位运动现状的基础。重复执行上述步骤，直至得到运动特征部位最大集中每个特征部位的Property_Body_Model[i](0≤i＜N)。可以理解的是，为了后期对运动目标进行识别、跟踪等，上述步骤，在运动目标初次站在显示设备200前、开始正式做动作前就应该完成。

在一些实施例中，一个特征部位可能包括多个部位采样点，可以选取出一个能够表征该特征部位的唯一运动采样点，即部位特征点。根据所述特征数据，计算在预设观察周期内各个部位采样点的动作基元，以选取所述特征部位的部位特征点，所述部位特征点为与所述特征部位所有部位采样点的平均动作基元最接近的动作基元对应的部位采样点。通过选取在指定观察周期内各个部位采样点的动作基元值跟各个部位采样点动作基元值的平均值最接近的一个部位采样点，作为表征当前特征部位的唯一运动采样点。后续只对该采样点进行跟踪侦测和数据采集，其真实采样数据代表该特征部位运动基元的数据。

例如，“手肘”部位可以设有多个采样点，经过对该部位运动的观察，可以将“手肘”部位的胳膊转弯处的某一点作为“手肘”部位的唯一运动采样点，后续对“手肘”部位的动作进行分析，只需对“手肘”部位的胳膊转弯处的某一点做持续监测和数据采集即可。

在获取到运动特征部位最大集中每个特征部位的部位特征点后，根据每帧图像数据中部位特征点的运动基元，生成运动目标的运动链。本实施例中，对于a、b两个时刻，第i个特征部位的特征数据可分别用Property_Body_Model[i][a]、Property_Body_Model[i][b]表示。可以理解的是，对a、b两个时刻的同一个第i个特征部位来说，Property_Body_Model[i][a]、Property_Body_Model[i][b]二者之间的差异主要在运动属性，即b时刻的第i个特征部位相较于a时刻的第i个特征部位在绝对位置三维坐标发生变化、其速度和方向也都发生变化，从而形成其运动矢量和有向运动速度。因此，控制器250可以根据多帧运动目标的图像数据中的特征部位的运动属性的变化，生成用于表征运动目标运动的运动链。在一些实施例中，控制器250还被配置为执行以下步骤：

根据所述特征部位的特征数据，获取多帧图像数据中的所述部位特征点的坐标。

计算相邻两帧图像中的所述部位特征点坐标之间的运动矢量和有向运动速度，以得到所述部位特征点的动作基元。

根据所述动作基元，生成所述运动目标的运动链。

本实施例中，控制器250根据部位特征点的特征数据，获取到部位特征点的坐标，每个部位特征点的坐标可以用一个三维坐标[x，y，z]表示。控制器250根据获取到的部位特征点的坐标，计算相邻两帧图像中的部位特征点坐标之间的运动矢量和有向运动速度，以得到部位特征点的动作基元。其中，所述动作基元表征运动目标相邻的两个时刻之间的一个动作。根据多个时刻的动作基元得到一系列有先后顺序的动作组，从而形成运动目标的运动链。

示例性的，对a、b两个时刻的同一个第i个特征部位来说，a时刻时，第i个特征部位的部位特征点的坐标可以表示为(Property_Body_Model[i][a].x，Property_Body_Model[i][b].y，Property_Body_Model[i][b].z)。b时刻时，第i个特征部位的部位特征点的坐标可以表示为(Property_Body_Model[i][b].x，Property_Body_Model[i][b].y，Property_Body_Model[i][b].z)。从a时刻到b时刻之间部位特征点的运动变化，可以用这两时刻的部位特征点的运动矢量和有向运动速度表示。

运动矢量可以由两时刻的部位特征点坐标的矢量差异表示，计算如下：

Property_Body_Model[i][b].x-Property_Body_Model[i][a].x；

Property_Body_Model[i][b].y-Property_Body_Model[i][a].y；

Property_Body_Model[i][b].z-Property_Body_Model[i][a].z。

有向运动速度可以由两时刻的部位特征点坐标的直线距离除以时间(b-a)计算出来：

其中，v[i]_a，b表征了构成运动目标第i个特征部位的随时间连续进行的一串运动中前后相邻的两个时刻a、b之间的一个动作，即动作基元。

根据获取到的不同时刻的图像数据，则可获得第i个特征部位从“a时刻→b时刻→c时刻→……”的一系列有先后顺序的动作组，从而形成第i个特征部位的运动链，所述运动链为由有序动作基元构成的一系列运动。计算多帧图像中第i个特征部位的动作基元，并记录进第i个特征部位的运动链：{v[i]_a1，b1，v[i]_b1，c1，v[i]_c1，d1，……}。

按照上述步骤，则可获得运动特征部位最大集中每个特征部位从“a时刻→b时刻→c时刻→……”的各自运动矢量(位置变化)和有向运动速度。例如：

第0个特征部位的运动链：{v[0]_a1，b1，v[0]_b1，c1，v[0]_c1，d1，……}；

第1个特征部位的运动链：{v[1]_a1，b1，v[1]_b1，c1，v[1]_c1，d1，……}；

……

第i个特征部位的运动链：{v[i]_a1，b1，v[i]_b1，c1，v[i]_c1，d1，……}；

……

第N个特征部位的运动链：{v[N]_a1，b1，v[N]_b1，c1，v[N]_c1，d1，……}。

由于每种运动都由基本运动单元(即动作基元)组成，对每个身体部位来说，很多动作都是重复的，只不过重复有的有规律性，有的则随机无规律。然而，无论每个部位的动作是否有规律地重复，运动的动作基元再次重复时一定跟之前出现的同一动作基元是有很大的相似性。即对每个身体部位来说，每新产生一个动作基元，都与之前已有的运动链中的动作基元去进行相似度比较，当找到比较相似的动作时，说明此时，该身体部位的前一个运动周期已经结束、新一运动周期已经到来。

也就是说，通过上述记录的运动链，可以发现，对某一特征部位而言，有些按一定顺序依次出现的动作组Action[i][1]跟其后某个时刻出现的该特征部位的新动作组Action[i][2]很相似，这两组动作之间有很多高度相似的动作基元，甚至这些相似动作基元出现的顺序在Action[i][1]和Action[i][2]中都基本一致，这说明，该特征部位的前一个运动周期已经结束、新一运动周期已经到来。

例如：

v[i]_a1，b1≈v[i]_a2，b2；

v[i]_b1，c1≈v[i]_b2，c2；

v[i]_c1，d1≈v[i]_c2，d2；

……

则可以认为，Action[2]是第i个特征部位上继Action[1]这套动作后重复出现的新一轮与Action[1]相同的动作。

因此，控制器250可以在获取到每个特征部位的运动链中提取出中具有一定相似度的相似动作，根据相似动作，得到部位特征点的观察记录矩阵，据此得到部位特征点的特征动作组，进而构建运动数据矩阵，并对运动数据矩阵进行分析，得到运动目标的运动规律和运动周期等信息，用于识别运动目标的运动种类和运动时的范围轨迹等。

实际上，由于每做一个动作，一般至少牵涉到多个身体部位，但很少运动是全身每个部位都参与运动。因此，每种运动都会涉及到一组特定的身体部位的参与(参与集)、而其他身体部位可能不参与(不参与集)，我们称该参与集为该运动的最小表征部位集。

例如，跑步这项运动中涉及到左脚、右脚、左手、右手、左手肘、右手肘、左膝盖、右膝盖等至少8个身体部位的不断循环运动，而头部、腰部等部位，则非跑步这项运动中必须运动的身体部位。跑步的一个动作周期中，由动作组Action[1]＝{迈左脚→迈左腿→抬右胳膊→甩右胳膊肘→迈右脚→迈右腿→抬左胳膊→甩左胳膊肘→……}循环构成下方实际的动作链：

{迈左脚→迈左腿→抬右胳膊→甩右胳膊肘→迈右脚→迈右腿→抬左胳膊→甩左胳膊肘→迈左脚→迈左腿→抬右胳膊→甩右胳膊肘→……}。

因此，识别跑步这项运动的关键(如识别运动目标的动作是跑步)是：从运动特征部位最大集(N个特征部位)中，识别出只有8个关键特征部位参与了该运动目标的当前运动，从而排除掉其他几十个不参与当前运动的特征部位，用这8个关键特征部位的运动状态就能表征该运动的主要动作特征。这8个特征部位，构成了用来识别跑步这一运动的最小表征部位集。

这8个关键特征部位对应的动作链，是由“迈左脚”这样的动作基元按特定的时间顺序构成。因此，可以通过观察每个动作基元的重复规律和重复周期，来识别运动者运动以借此来模拟、重构、复现显示设备200前方处于现实生活中运动目标的实时运动。

至于头部、腰部，并非能表征跑步这个运动的关键特征部位，在识别用户的运动模式、表征运动目标的运动特性时，可以只留{左脚、右脚、左手、右手、左手肘、右手肘、左膝盖、右膝盖}等8个关键特征部位的集合来观察。即，通过观察动作链{Action[左脚][1]、Action[右脚][1]、Action[左手][1]、Action[右手][1]、Action[左手肘][1]、Action[右手肘][1]、Action[左膝盖][1]、Action[右膝盖][1]}，以及观察它们的循环周期和规律，可以用来确定该运动目标当前的实际运动特征和规律。

因此，在一些实施例中，控制器250在提取运动目标的运动链中的相似动作之前，可以通过对运动特征部位最大集中每个特征部位进行识别和筛选，筛选出参与运动目标当前运动的关键特征部位，构成最小表征部位集，根据最小表征部位集中每个关键特征部位的运动链，从这些运动链中提取相似动作，得到能表征每个特征部位运动特征的观察记录矩阵，在此基础上，构建能表征运动目标运动特征的运动数据矩阵。即如图10所示，控制器250还被配置为执行以下步骤：

计算每个特征部位的运动量密度，所述运动量密度为所述特征部位的运动链中动作基元范式与预设时间段的比值。

如果所述运动量密度小于所述预设密度阈值，将所述运动量密度对应的部位特征点从所述运动特征部位最大集中删除，以得到所述最小表征部位集。

在本实施例中，对在指定的观察周期内运动特征部位最大集中每个部位特征点的Power_Density[i]进行计算并筛选。Power_Density[i]为在预设时间内第i个部位特征点的所有动作基元在预设时间段[a，c]之间的运动量密度。|v[i]_a，j|为动作基元范式。所述运动量密度能够表征第i个特征部位在这段时间[a，c]之间的运动密度或运动程度。运动量密度的计算如下：

该运动量密度越小，说明该特征部位在这段时间内的运动量越小。如果Power_Density[i]的值小于预设密度阈值，则可认为第i个特征部位在[a，c]这段时间的运动量或运动程度相对于其他运动量大的部位特征点来说相对较小。如果Power_Density[i]的值大于或等于预设密度阈值，则可认为第i个特征部位在[a，c]这段时间的运动量或运动程度相对较大，即第i个特征部位参与运动目标的当前运动。这样，就可以将不参与当前运动的特征部位排除在该运动的最小表征部位集之外，进而获得该运动的最小表征部位集。

获取到最小表征部位集后，可以根据最小表征部位集中的各个关键特征部位，在相应关键特征部位的运动链中提取相似动作，构建观察记录矩阵，并在观察记录矩阵中提取特征动作组，构建运动数据矩阵。在一些实施例中，如图12所示，控制器250还被配置为执行以下步骤：

对比所述关键特征部位的运动链中新动作基元与已有动作基元，以获取动作相似度，所述新动作基元为所述运动链中新产生的动作基元，所述已有动作基元为所述运动链中任一个已记录的动作基元。在一些实施例中，如图11所示，在对动作基元的相似度进行判断之前，先对动作基元范式进行判断，若动作基元范式小于一定阈值，则认为该动作较轻微，则不计入新的动作基元。若动作基元的范式大于一定阈值，则计入新的动作基元。

如果所述动作相似度大于或等于预设相似度阈值，记录所述新动作基元与所述已有动作基元为相似动作，以构建所述观察记录矩阵。

具体的，若所述动作相似度大于或等于预设相似度阈值，将所述新动作基元放在该关键特征部位的观察记录矩阵中位于所述已有动作基元正下方的新的一行的位置；若所述所述动作相似度小于预设相似度阈值，记录所述新动作基元与所述已有动作基元为不相似，即出现全新动作，则将所述新动作基元放在该关键特征部位的观察记录矩阵中所述已有动作基元所在行的新一列。

每个关键特征部位的观察记录矩阵中每行都出现的动作基元称为重复动作基元，将重复动作基元按所在列号放在特征动作组的一行内，对应列号不变。其他无重复动作基元的列，在特征动作组中填为0，这样得到一个特征动作组。该特征动作组的最大周期为该身体部位的运动周期，该特征动作组中的重复动作为该身体部位在所述运动中的重复动作。

以上述跑步这项运动为例，在获取到跑步这项运动的最小表征部位集，跟踪最小表征部位集{左脚、右脚、左手、右手、左手肘、右手肘、左膝盖、右膝盖}中的8个关键特征部位，获取每一个关键特征部位的运动规律和运动周期，进而复现出运动目标的当前实际跑步运动。

例如，针对上述8个关键特征部位，观察每一个关键特征部位的运动链。每一个运动链中新的动作基元产生时，都需要跟之前已有的每个动作基元进行差异比较，以确认该新动作基元是否是之前已有动作基元的重复。通过将运动链中新产生的动作基元与已有的动作基元进行比对，如果新动作基元与已有的某个动作基元之间的动作相似度大于或等于预设相似度阈值，则认为新动作基元与已有的该动作基元为相似动作。例如第i个关键特征部位的运动链中新产生的动作基元为v[i]_a1，b1，v[i]_a1，b1与运动链中已有的动作基元v[i]_a2，b2之间的动作相似度大于或等于预设相似度阈值，即v[i]_a1，b1≈v[i]_a2，b2，则v[i]_a1，b1与v[i]_a2，b2为相似动作。

在一些实施例中，判断v[i]_a1，b1与v[i]_a2，b2为相似动作，除了比较两个动作基元对应数值的大小，即|v[i]_a1，b1|≈|v[i]_a2，b2|，还应比较二者之间的矢量角度差，如果两个动作基元之间的矢量角度差为0或很接近0。则可以认为v[i]_a1，b1≈v[i]_a2，b2。

可以理解的是，相似动作为一个或多个动作组，动作组中可以包含一个动作基元，也可以是包含多个动作基元。例如，动作组Action[i][1]＝{v[i]_a1，b1，v[i]_b1，c1，v[i]_c1，d1，……}与动作组Action[i][2]＝{v[i]_a2，b2，v[i]_b2，c2，v[i]_c2，d2，……}为相似动作。

在一些实施例中，针对跑步这项运动运动目标当前的运动链为{Action[左脚][1]、Action[右脚][1]、Action[左手][1]、Action[右手][1]、Action[左手肘][1]、Action[右手肘][1]、Action[左膝盖][1]、Action[右膝盖][1]}，接着在Action[左脚][1]出现大约10秒后，特征部位“左脚”的运动链中产生Action[左脚][11]，并且Action[左脚][11]与Action[左脚][1]两者的动作基元之间的动作相似度大于或等于预设相似度阈值，即两者具有一定的相似度。

然后后续每间隔大约10秒，部位特征点“左脚”的运动链中都会产生一个跟Action[左脚][1]很相似的Action[左脚][21]、Action[左脚][31]、Action[左脚][41]……。由此可以认为，Action[左脚][1]是一个会被部位特征点“左脚”周期重复的运动组。则Action[左脚][1]、Action[左脚][11]、Action[左脚][21]、Action[左脚][31]、Action[左脚][41]……在重复同一个运动组Action[左脚][1]。即Action[左脚][1]、Action[左脚][11]、Action[左脚][21]、Action[左脚][31]、Action[左脚][41]……为相似动作，并且部位特征点“左脚”对Action[左脚][1]这个运动组的重复周期是10秒。

同理，继Action[左脚][1]之后，可能还有Action[左脚][2]这个动作组，它与Action[左脚][1]两者相似度不大。但是，在Action[左脚][11]之后，有Action[左脚][12]与Action[左脚][2]相似度很高。然后后续每间隔大约10秒，均会产生一个跟Action[左脚][2]很相似的Action[左脚][22]、Action[左脚][32]、Action[左脚][42]……。

则Action[左脚][2]、Action[左脚][12]、Action[左脚][22]、Action[左脚][32]、Action[左脚][42]……在重复同一个运动组Action[左脚][2]。即Action[左脚][2]、Action[左脚][12]、Action[左脚][22]、Action[左脚][32]、Action[左脚][42]……为相似动作，且重复周期(相似动作出现的时间间隔)是10秒。

同理，可能还会出现Action[左脚][3]、Action[左脚][13]、Action[左脚][23]、Action[左脚][33]、Action[左脚][43]……在重复同一个运动组Action[左脚][3]，且重复的周期(相似动作出现的时间间隔)是10秒。

Action[左脚][4]、Action[左脚][14]、Action[左脚][24]、Action[左脚][34]、Action[左脚][44]……在重复同一个运动组Action[左脚][3]，且重复的周期(相似动作出现的时间间隔)是10秒。

通过上述得到的相似动作，构建特征部位“左脚”的观察记录矩阵：

在该M×N的运动数据矩阵中，M行代表其运动重复了M个周期，即M行代表该特征部位“左脚”的运动重复了M个周期，每行是一个周期内的动作数据记录。每列的动作组相似度很大，从而可以认为为重复的动作，即每列为相似动作。N列代表该部位特征点“左脚”的运动的每个运动周期由N个自左往右按时间先后顺序排列的运动组构成，每行的每一列代表一个运动组，动作组可以是一个动作基元，也可以是前后相邻的一连串动作基元的动作组。特征部位“左脚”的运动周期就是运动数据矩阵一行所有运动的总时长。

同理，构建第i个关键特征部位的观察记录矩阵：

通过上述步骤，可以通过逐步形成越来越多的行数为M的观察记录矩阵，能够反映对第i个特征部位当前实际运动的规律、周期、每个周期内的运动基元等运动特征信息。

对于观察记录矩阵在第M个周期时，如果之前曾出现的动作组现未出现的，则将对应动作组的第M行对应列填为0。在第M个周期时，如果之前从未出现而新出现的动作组，将记在观察记录矩阵的第M行的最后一列，之前(M-1)行对应列则填0。

这样，运动目标的每个关键特征部位的所有动作均记录在观察记录矩阵中，在观察周期内，其列数代表多少个动作，每列的一个或多个动作组，均为相似动作。

通过观察第i个特征部位的观察记录矩阵，可以发现某一动作组会连续、反复出现，第i个特征部位的运动链基本上可以划分成多个连续的相同动作组，则满足该条件的相同动作组就是第i个特征部位的特征动作组。在一些实施例中，构建所述观察记录矩阵后，计算所述观察记录矩阵在预设周期内所述相似动作的重复度，如果所述重复度大于预设阈值，则添加至特征动作组，以构建所述运动目标的运动数据矩阵。

本实施例中，如图12所示，统计第i个关键特征部位的观察记录矩阵的每列相似动作的重复度。例如，在观察记录矩阵M个观察周期内，出现次数大于等于一定预设阈值的动作，即相似动作的重复度大于预设重复度阈值，预设阈值可以为M-2，则认为是会被高概率重复的动作，则计入至第i个关键特征部位的特征动作组，其在特征动作组的列号同其在观察记录矩阵中的列号。对于M个观察周期内，出现次数小于一定预设阈值的动作，则认为是会被低概率重复的动作，则不计入第i个关键特征部位的特征动作组，在特征动作组对应列，将被记为0。

最后，统计最小表征部位集里所有关键特征部位的特征动作组，按每一个特征动作组占一行的方式填入运动数据矩阵，则运动数据矩阵记录了所述运动目标当前运动涉及的所有表征部位的运动特征。在运动数据矩阵中，每行为一个特征动作组，特征动作组为运动目标的身体部位在一个运动周期内的运动，其运动时长就是用户所做运动的运动周期。运动目标所有特征部位的特征动作组构成了运动目标的运动特征数据，因此，该运动数据矩阵包含了所述运动目标的所有运动信息。

在一些实施例中，根据每个周期内的运动进行分析和数据提取，并将提取后的数据跟预设的运动模型库的运动模型进行对比，并做运动相似度判断，可以获得运动目标当前实际运动的种类、属性等。其中，预设运动模型为预置在显示设备200中运动模型库中的运动模型。

在一些实施例中，在对运动数据矩阵与运动模型库内的运动模型进行匹配度比较之前，将最小表征部位集跟运动模型库内模型的关键运动部位集进行比较、匹配，选取出匹配度高的相似运动模型，然后将运动数据矩阵与该相似运动模型的关键特征数据匹配，进而筛选出匹配度最高者作为目标运动模型。

在一些实施例中，用户还可以在显示屏260显示的特定区域选取的即将运动的运动名，根据该运动名在运动模型库中提取出匹配的运动模型，将该运动模型的关键特征数据与运动数据矩阵进行匹配，筛选出匹配度最高者作为目标运动模型。

在一些实施例中，可以根据获取的运动目标的运动数据矩阵及其分析数据，以及用户在显示屏260显示的特定区域选取的运动模式等明确预设参数，通过用户逐渐增加的运动记录跟预置运动模型库中的对应运动模型类型比对、学习，通过人工智能方法进行自学习和参数优化形成新运动模型。通过这种方式能够使显示设备200逐渐积累具有用户个性化运动特性的运动数据、运动模型，这些模型更贴近该用户的实际身高、胖瘦、运动习惯等，进而能更快、更精确地获得该用户后续的运动类型和属性，提高用户运动体验。

在一些实施例中，用户也可以根据显示设备200的运动模型库的要求自己采集和制作运动模型，然后录入显示设备200的运动模型库中。

运动模型可以用来进一步精确判断运动目标的运动类型和相关属性，以便后续做运动模拟、复现及交互时。由此，控制器250可以根据获取到的反映运动目标当前实际运动的运动数据矩阵，在预设运动模型库中查询与运动目标当前实际运动匹配的目标运动模型。控制器250执行根据所述运动数据矩阵在预设运动模型库查询目标运动模型，还被配置为执行以下步骤：

遍历所述预设运动模型库中的关键运动部位集，以得到包含所述最小表征部位集的相似运动模型集合。

对所述相似运动模型集合中每个相似运动模型的关键运动部位集提取关键特征数据。

对比每个相似运动模型的关键特征数据与所述运动数据矩阵，以得到每个相似运动模型与所述运动数据矩阵的匹配度。

选取与所述运动数据矩阵的匹配度最高的相似运动模型作为目标运动模型。

本实施例中，在预设的运动模型库中，每个运动模型均对应一个关键运动部位集，例如，“仰卧起坐”这项运动的运动模型对应的关键运动部位集是“头，手，上半身”；“跳绳”这项运动的运动模型对应的关键运动部位集是“双手，双脚，膝盖，头”；“跑步”这项运动的运动模型对应的关键运动部位集是“左手，右手，左脚，右脚，左手肘、右手肘、左膝盖、右膝盖”；“瑜伽”这项运动的运动模型对应的关键运动部位集是“头，左手，右手，左腿，右腿，左脚，右脚，腰，左膝盖，右膝盖，左手肘，右手肘，左肩，右肩”。

为了精确查询到与运动目标当前实际运动匹配的目标运动模型，可以将参与运动目标当前运动的最小表征部位集与运动模型库中的关键运动部位集进行比较，找到包含最小表征部位集的相似运动模型，以得到相似运动模型集合。

以跑步这项运动为例，获取到的参与实际运动涉及的最小表征部位集为{左脚、右脚、左手、右手、左手肘、右手肘、左膝盖、右膝盖}8个关键特征部位。将最小表征部位集与运动模型库中每个运动模型的关键运动部位集进行比对，根据上述运动模型库中每个运动模型的关键运动部位集可知，完全包含了最小表征部位集的只有跑步、瑜伽两项运动模型的关键运动部位集。再进一步比较，只有跑步这项运动模型对应的关键运动部位集跟最小表征部位集的集合差异最小。因此，可以排除仰卧起坐、跳绳、瑜伽的运动模型，则跑步的运动模型作为相似运动模型。

在相似运动模型的关键运动部位集中提取关键特征数据，将关键特征数据与运动目标的运动数据矩阵进行比对，得到该相似运动模型与运动数据矩阵所展示的运动之间的匹配度，找到与运动数据矩阵反映的运动匹配度最高的运动模型，定为目标运动模型。在一些实施例中，需要分别用每个特征部位的运动数据矩阵的特征动作组与相似运动模型内对应该部位特征点的关键特征数据进行比对，如果两者的动作相似度越大，则认为该相似运动模型与运动数据矩阵的匹配度越高。对比运动数据矩阵的特征动作组与关键特征数据的步骤可以参见上述对比运动链中新动作基元与已有动作基元的步骤，也可以用别的策略、模块或算法来判断，本申请在此不作过多限定。

通过上述步骤，筛选出与运动数据矩阵的匹配度最高的目标运动模型，当前运动目标的实际运动种类和特性可以按照目标运动模型的数据来设定。

在一些实施例中，运动模型也可以用作判断用户运动标准度的参照模型，即，作为判断运动目标当前运动是否够符合某些指标，若差异较大，说明运动者实际锻炼时动作不够标准，则可以根据该运动模型生成差异报告，以使用户可以进行适当调整。

本实施例中，如图13所示，用户可以选取运动模型库中某一个运动模型，也可以录入其自己指定的运动模型到显示设备200中。在获取到用户的运动数据矩阵时，可以跟用户指定的某一个运动模型进行比对。比对中，将用户实际运动的最小表征部位集来跟该运动模型的关键运动部位集比对，如果二者差异很大，可以当即就给用户弹出运动准确度报告，例如，如图14所示，显示运动准确度报告，以使用户检查其指定的用来参照比对的运动模型是否正确。如果选择有误，用户可以选择更换其他运动模型，如果用户确认正确，说明用户的实际运动锻炼跟运用模型差异较大，可以生成差异报告，用于告知用户具体哪些身体部位应该运动却没有在实际运动中参与到锻炼、哪些身体部位应该运动到某个幅度而实际运动却没有达到这个幅度……等报告，以便用户实现对自己运动锻炼的检查和纠正，达到运动训练的效果。

如果用户的实际运动的最小表征部位集跟该运动模型的的关键运动部位集基本相似，则进一步对比该运动模型的关键特征数据与用户实际运动的运动数据矩阵。生成比对的数据差异，例如，可以形成实时的运动报告，运动报告可以实时显示在特定区域上，也可以间隔预设时间以消息或邮件等形式发到用户指定的地方，供用户观察自己的锻炼数据、与目标运动模型之间的差异数据、改进建议等。

在一些实施例中，还可以实时显示出自己的实际运动跟目标运动模型之间的差异点，包括但不限于图像或实时跟踪图形式。具体的，获取到与运动目标匹配的目标运动模型后，控制器250可以根据运动目标的运动数据矩阵，以及采集到的运动目标的身体外形数据，结合匹配出的目标运动模型或由用户指定的运动模型，将运动目标的实时运动根据该运动的特征实时绘制到特定区域上，在特定区域渲染运动目标的运动目标图形，也就是说，在特定区域中画出一个运动模拟人来代替运动目标在电视屏幕上运动。具体运动的趋势和数据可以根据运动数据矩阵以及目标运动模型来绘制。控制器250执行控制所述显示器在所述特定区域中显示所述运动目标图像。还被配置为执行以下步骤：

根据所述目标运动模型，在所述特定区域中添加运动目标图像。所述运动目标图像为根据目标运动模型和运动数据矩阵绘制出的运动模拟人。

根据所述目标运动模型，在所述特定区域中绘制所述目标运动模型，以得到标准参照模型。

例如，如图15所示，“高抬腿”锻炼，根据目标运动模型以及运动目标的实时动作，计算出运动目标在时刻A的左脚应该运动到距离地面0.3米的高度，于是，在距离显示设备200内模拟地面高0.3米的位置，可以画出一条水平线或是一个左脚的外轮廓，以作为标准参考。当运动目标实际运动的运动模拟人的左脚并未达到显示设备200内模拟地面0.3米的高度，而处在距离模拟地面0.2米的高度时，能够直观、实时指出运动目标实际训练或运动的达标程度。用户通过显示器260呈现的特定区域可以直观看到运动模拟人和目标运动模型的差异，也即看到不达标动作的实时具体信息，以使用户在下一次高抬腿时左脚再用力提高0.1米，从而达到智能、精细、实时、准确运动和锻炼的目的。

在一些实施例中，如图16所示，除了绘制出运动目标的运动模拟人，还可以根据用户的目标运动模型，将目标运动模型显示在运动模拟人周围，作为标准参照模型，使运动目标可以跟随其运动。

当然，用户也可以关闭这种精确运动模式，而是采用其他更娱乐化的模式。例如，可以更换运动的环境、背景。可以更换自己运动目标图像中运动模拟人的形象，如图5所示，可以将获取的锻练跑步的运动目标的运动目标图像更换为其他形象，例如，可以为卡通动漫形象，也可以自己输入自己喜爱的模拟人形象的3D数据。可以更换运动时的背景音乐。可以更换目标运动模型的显示方式。可以更换运动分析报告文件的内容、形式、样式和报告方式。例如，运动分析报告文件可以是跑步步数统计；运动数据自己与自己比的日、月、年数据分析图；运动数据自己与他人(指定目标)的日、月、年数据对比；自己与指定运动模型的技术细节的分析，如步长、步频、抬腿高度、手臂摆动频率、手臂摆动幅度、呼吸频率等。

在一些实施例中，用户的运动目标图像可以跟远程共联的其他运动者，实现跨距离和实体的交互。如图17所示，运动目标A和运动目标B为远程共联的两个运动者，在两者各自的显示设备200上呈现的特定区域显示两者的运动目标图像，实现跨距离和实体的交互。

在一些实施例中，根据运动目标的运动数据矩阵及目标运动模型，可以获取运动目标的运动特征信息，运动特征信息包括运动种类、运动规律、最小重复周期，每个周期的动作基元等信息。根据运动特征信息可以预测、模拟、重构运动目标的下一周期可能的动作和各个部位特征点的预计位置，进而不仅可以在特定区域绘制出跟运动目标同步的运动目标图像，还能实现对运动目标下一动作周期的运动模拟，从而生成预测出运动目标下一动作的预测数据。控制器250还被配置为执行以下步骤：

根据所述目标运动模型和所述运动数据矩阵，获取所述运动目标的运动特征信息，所述运动特征信息包括运动种类和运动属性。

根据所述运动特征信息，生成所述运动目标图像的运动的预测数据。

例如，用户可以选择运动模型为网球，通过实时采集用户的实时手部运动和速度，用户在拍子将要击到球的前一周期，根据用户的手的位置、速度、方向，模拟出下一周期用户的手的位置、速度、方向，从而模拟出可能的拍子位置、速度、方向，让用户实时看到如果继续按当前运动速度、方向击球，球未来可能的运动路线抛物线，从运动路线抛物线跟网之间的交点，可以看到如果用户的手继续这样运动将必然会使球击到网上，因此用户可迅速在下一周期的开始时刻快速调整手的运动方向、速度，从而迅速纠正玩网球的姿势动作，通过对当前运动进行实时预测，得到预测数据，并显示预测的运动效果，进而使用户根据预测数据改变其运动的动作。

在一些实施例中，显示设备200可以支持运动分享，用户可以分享运动数据、截图到社交软件，或分享给同在该显示设备200上的其他用户。

在一些实施例中，显示设备200按不同的运动分类，实时更新所有正在使用显示设备进行该类运动的运动者列表、数据大集合，并生成运动竞技排名榜，排行榜会根据排名允许运动者进行点赞、给打赏、加勋章等。根据不同类的运动分为不同的运动广场，每个运动广场设置一个运动竞技排名榜单，实时更新所有新加入、刚退出以及运动数据有变化的运动者运动信息。

每个运动广场都有各自的讨论区，可分享本运动种类的运动者的动态。运动者所发的内容可以被下载、回复、转发等。该讨论区会被***管理员分时段定时清理。点击运动广场上每个人的缩略图，可以看到该运动者的实时运动大图，并且可以与该运动者进行语音或视频通话。

运动竞技排名榜还可以设置荣誉升级策略，排行榜靠前的运动者能获得更多积分，积分达到一定程度可以升级级别。积分可以用来购买运动商城里的物品，而升级到一定级别的运动者，可以在运动商城享受某些商品的会员价或折扣优惠。运动级别越高，其享受的优惠力度越大。积分用来购买运动商城里的物品后会从该运动者的积分中扣掉，但不会影响其已经收获的运动级别。运动者如果连续N天(根据预设规则定N值)在某个板块的运动排名都掉出前M名(根据预设规则动态调整和确定M值)，其在该运动广场的运动级别可能会被降低。具体规则可以根据实际需求确定。

同一个用户，可以参加多种运动，这样，该用户可以在多个运动种类的运动广场具有排名。其在不同运动广场排名的积分可以累加起来用。其在不同运动广场排名的级别不可以累加起来用，但是不同运动广场的优先级别只对运动商城里各自运动种类的商品有购买的优先特权，对跟优先级别对应的运动种类不同的运动商城商品，该优先级别无法为其带来任何优惠。

在一些实施例中，显示设备200可以将多个运动者实时的动态运动图像(视频或动图)以最近5秒的缩略图形式均匀显示，形成实时运动竞技场，可以实现多人异地比赛运动的实时直播。通过在显示器260呈现的特定区域中绘制多个运动者的运动模拟人实现异地交互，而不是只通过运动者的实时动态运动图像进行分享。

其中，显示运动者最近秒的缩略图，具体是10秒或其他时长，可以根据实际需求设定。通过采用最近5秒的缩略图比显示运动者原始图像会大大减少运动图像的内存占用。但具体是显示最近5秒的缩略图形式的动态视频还是显示最近5秒的某一帧静态图，可以根据实际需求设定。

在一些实施例中，可以从正在显示设备前运动的运动者列表中选择一人、两人或N人组成运动小组，可以进行同跑、伴跑或竞跑。可以是在做同样运动的运动者被选中，也可以是另一个做不同运动的运动者被选中。组成运动小组的两人、三人或N人，相互可以看到该运动小组里的每个人的实时运动图像，如实时视频缩略图，类似直播小窗口。

运动小组的成员可以直接通过显示设备的摄像头跟其他成员一起边运动边视频聊天。每个人的实时视频图像以缩略视频的方式可以显示在指定区域。

运动小组的成员也可有自己专属的运动聊天区，聊天信息优先支持语音输入、手势输入等多种灵活快捷的方式。该运动聊天区里的语音或手势等多种格式输入信息，可以默认直接通过语音播报给运动小组里的所有其他人员，无需点击就直接播报。播报顺序是按消息提交到聊天区的时间先后顺序。

在一些实施例中，运动目标图像可以是仿真运动人像，即将运动目标从其实际环境中实时进行目标识别，将其轮廓提取出来跟仿真背景合成后通过显示器260显示在特定区域中，也可以是运动模拟人。前者是将真人实时动态影像传到显示设备200上让自己看到自己动作是否标准，类似镜子效果。即将运动目标从运动目标所在的背景中提取出来，再与仿真背景图合成后显示到屏幕上，后者仅仅显示一个仿真的动漫图像在仿真背景上运动、不显示真人图像。但二者在显示设备200上的人物形象都根据运动目标的运动动作实时同步变换相同动作，二者均可设置仿真背景图、比如跑步的路和周围的树。

控制器250还被配置为执行以下步骤：

计算所述显示器和仿真背景图的目标比例。

按照所述目标比例将所述运动目标图像合成至所述仿真背景图。

控制所述显示器在所述特定区域中显示所述运动目标图像和所述仿真背景图。

在本实施例中，获取到运动目标的图像数据，识别出图像数据中运动目标的轮廓，按照轮廓将运动目标提取出来。并按照相应比例将提取出的运动目标合成至仿真背景图中。

示例性的，时刻T1，获取到图像采集装置500采集到的运动目标的一帧图像数据，可以采用人工智能目标识别的方式识别出人像的边缘，将其人像之外的图像数据均填为空白、仅保留人像的原始数据，以将人像部分从采集到的图像数据中提取出来，得到仿真运动人像。

将提取出的的不规则边的仿真运动人像跟仿真背景图进行合成。首先，计算显示器260和仿真背景图的目标比例，图像采集装置500拍摄的照片应跟显示屏260的屏幕大小一致，而仿真背景图的大小应该跟显示屏260的屏幕大小成一定比例。假设显示器260的屏幕长X、宽Y，而仿真背景图的长M、宽N，则显示器260的屏幕和仿真背景图的比例为X∶M＝k，Y∶N＝k，则采集的运动目标的图像数据也是长X、宽Y，将提取出的的不规则边的仿真运动人像按比例计算可知其在原始图像的位置左上角坐标(A，B)对应放到仿真背景图上的左上角坐标是(A/k，B/k)，其中，原始图像左上角坐标默认(0，0)。

因此，直接将提取出的仿真运动人像按比例计算出其目标识别和轮廓提取后各个角的位置坐标后，合成到仿真背景图相同比例位置即可，得到合成后的运动图像。显示器260在T1时刻显示的运动图像如图18所示。

运动目标做运动到T2时刻时，其运动位置发生变化，获取到图像采集装置500采集到的T2时刻运动目标的一帧图像数据，采用人工智能目标识别的方式根据运动模型进行目标识别，识别出人像的边缘，将其人像之外的图像数据均填为空白、仅保留人像的原始数据，得到长X、宽Y的仅剩人像部分的仿真运动人像。

对于仿真背景图为静态仿真背景图来说，即仿真背景图是固定的、不变换透视角度的。此时在仿真背景上只有运动目标的轮廓形象在动，或者如果未采用运动目标自己的形象而是采用另一个卡通形象图代替运动目标在进行实时运动模拟。这种情况下的显示器260呈现的动态画面，是由指定的仿真背景图跟实时采集到的运动目标的图像进行合成，合成后显示到显示器260上。其静态仿真背景图在时刻T1、T2时都是一样的，所以，将T2时刻获取的仅剩人像部分的仿真运动人像跟静态仿真背景图合成即可。合成步骤同时刻T1时的合成步骤。显示器260在T2时刻显示的运动图像如图19所示。

将时刻T1、时刻T2的两张合成图放到一起，在显示器260呈现的特定区域中呈现的运动图像的效果为仿真背景图未动，但仿真运动人像在运动，从俯卧撑的高位置压到地平位置，从而成功仿真出运动目标在室外的运动景像。

而对于仿真背景图为动态仿真背景图来说，与上述将仿真运动人像合成至仿真背景图的步骤中不同的是，仿真背景图发生变化，即时刻T1、T2的仿真背景图不同，在时刻T2时，仿真背景图变成了另一背景帧，例如，由仿真背景图A变为仿真背景图B，进而，在合成时刻T2时的运动图像时，将时刻T2获得的仿真运动人像跟仿真背景图B合成即可。其合成原理和步骤与上述步骤相同。

需要说明的是，在上述讲述的仿真运动人像与仿真背景合成步骤中，是采用了最简化的模型，只列出T1、T2时刻的运动演变合成方法。但实际上要更加复杂，假设图像采集装置500采样拍摄的帧率是R帧/秒，那么，每秒这种运动合成计算轮次(每轮至少包含上述步骤)将进行R轮。

执行上述操作时，X*Y个像素点的图像从拍摄、目标识别和轮廓提取、合成，整个过程非常消耗资源、需要大量CPU、GPU和内存。因此，需要用更简化的方法来传递数据和计算。在一些实施例中，鉴于前后相邻的两个采样时刻T1、T2之间，一般情况下，仿真背景图变化极小、前后两帧的数据差异很小。同时，采集的室内运动目标的图像数据，在时刻T1和T2时的图像差异也比较小，所以，在间隔时间小于预置时间Z时，即|T1-T2|<Z时，则认为前后两帧图像数据的背景差异不大，只传输跟目标识别和轮廓提取运动目标相关的局部小区域的数据给显示设备200即可。可节省大量数据传递和目标识别和轮廓提取消耗。而由于仿真背景图的每一帧都可快速获取到，因此，用只对运动目标的运动区域附近的小区域采样，然后进行目标识别和轮廓提取后所得到的T2时刻的仿真运动人像合成至T2时刻的仿真背景图，即可快速获得T2时刻的运动图像。

在一些实施例中，仿真背景图也可以是随仿真运动人像或真人的视野变化而显示角度改变后的透视图，获得类似矢量建模后的图像，但其透视角度改变后，对应显示的环境都还是只是静态不动的。

在一些实施例中，仿真背景图随着用户运动改变透视角度后的仿真背景也可以是动态的，例如有行人、树叶动、小鸟飞、花瓣落。

在一些实施例中，仿真背景图不仅可以带有动态图，还有声音。增加了仿真背景图的自身声音，可以有人声、鸟声、风声等，使模拟的仿真背景环境更贴近真实世界。

在一些实施例中，仿真背景图可以根据运动特征信息进行动态自动调整，比如，剧烈运动时，自动添加健身房的仿真背景图；舒缓运动时，自动添加风景的仿真背景图等。

在一些实施例中，用户也可自己拍摄或者下载符合格式要求的仿真背景图，并预置到显示设备200上，下次再启动显示设备200时，其自己提供的仿真背景图就会被加载并列出在可选的仿真背景图中。

用户自己提供的仿真背景图可以在显示设备200上被预览、剪辑和保存。剪辑包括且不限于旋转、修剪、滤镜、虚化、调节、美颜、马赛克、涂鸦、水印、标注等多个子功能。

在一些实施例中，运动仿真环境可供用户进行个性化设置以及转换，如山川、小溪、花园、公园等。每种环境切换后，对应可提供给用户来当做仿真背景图的集合也会更换。

在一些实施例中，用户可以自定义对应于不同运动仿真环境的仿真背景图集合。例如，显示设备200上有M套预置的仿真背景图和N套用户自定义的仿真背景图，用户可以选取其中的部分图用作运动仿真环境1的图，而选取其中另外一部分仿真背景图用作运动仿真环境2的图。同一张运动仿真背景图可以同时被两种仿真环境采用。

在一些实施例中，显示设备200支持带有运动仿真功能的游戏。可以借助显示设备200，进行虚实结合的仿真游戏。传统仿真游戏不提供玩游戏的用户的真人动作在游戏中，而本申请提供的虚实交互方法可以将用户真人真实动作加入显示设备200中的虚拟游戏。

本申请提供的方案可直接使用显示设备200的摄像头、人工智能识别用户身体手势动作、人工智能学习用户动作习惯，进而优化识别准确率改进对该用户的识别模型，对用户动作和指令进行仿真学习、纠错矫正。不依赖于显示设备200之外的硬件设备，用户玩游戏时无需拿其他装备，提高用户体验。用户可以设置仿真背景图，也就可以改变某些游戏中的背景图。从而实现更高级的、定制化的游戏体验。

基于上述虚实交互方法，在本申请的部分实施例中还提供一种显示设备200包括：显示器260、图像采集接口290、以及控制器250。其中，所述显示器260被配置为显示特定区域，所述特定区域中包括至少一个运动目标图像；所述图像采集接口290被配置为采集运动目标的图像数据；所述控制器250被配置为执行以下程序步骤：

S101：获取所述图像数据，所述图像数据为通过所述图像采集接口采集的运动目标图像。

S102：根据所述图像数据，获取运动目标特征部位的特征数据，并提取所述特征部位的部位特征点。

S103：基于多帧图像数据中的所述部位特征点坐标，生成所述运动目标的运动链，所述运动链包括多个按照时间顺序记录的所述部位特征点的坐标。

S104：根据所述运动链，获取最小表征部位集，所述最小表征部位集包括表征所述运动目标运动特征的关键部位特征点。

S105：在所述关键特征部位的运动链中提取相似动作，以构建所述关键特征部位的观察记录矩阵。

S106：在所述观察记录矩阵中提取特征动作组，以构建所述运动目标的运动数据矩阵。

S107：根据所述运动数据矩阵在预设运动模型库查询目标运动模型。

S108：根据所述目标运动模型渲染运动目标图像，以及控制所述显示器在所述特定区域中显示所述运动目标图像。

由以上技术方案可知，本申请提供的显示设备及虚实交互方法，可以对用户在显示设备前的真实运动数据进行采集、识别、虚实重构、学习、纠错、训练等图像数据处理，并在显示设备中显示用户的真实影像，使用户能实时看到自己的真实运动情况和运动成效。并且通过对用户的运动模式进行学习，以实现纠错和训练等功能。

本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (10)

1.一种显示设备，其特征在于，包括：

显示器，被配置为显示特定区域，所述特定区域中包括至少一个运动目标图像；

图像采集接口，被配置为采集运动目标的图像数据；

控制器，被配置为：

获取所述图像数据，所述图像数据为通过所述图像采集接口采集的运动目标图像；

根据所述图像数据，获取运动目标特征部位的特征数据，并提取所述特征部位的部位特征点；

基于多帧图像数据中的所述部位特征点的动作基元，生成所述特征部位的运动链，所述运动链包括多个按照时间顺序记录的所述部位特征点的动作基元；

根据所述特征部位的运动链，计算所述特征部位的运动量密度，以获取最小表征部位集，所述最小表征部位集包括表征所述运动目标运动特征的关键特征部位；

在所述关键特征部位的运动链中提取相似动作，以构建所述关键特征部位的观察记录矩阵；

在所述观察记录矩阵中提取特征动作组，以构建所述运动目标的运动数据矩阵；

根据所述运动数据矩阵在预设运动模型库查询目标运动模型；

根据所述目标运动模型渲染运动目标图像，以及控制所述显示器在所述特定区域中显示所述运动目标图像。

2.根据权利要求1所述的显示设备，其特征在于，所述控制器还被配置为：

从所述图像数据中识别运动目标；

根据所述运动目标产生运动的身体部位，更新预设的身体部位集，以得到运动特征部位最大集，所述运动特征部位最大集包括若干个表征运动特性的特征部位；

在所述运动特征部位最大集的每个特征部位中设定部位采样点；

基于所述部位采样点，提取所述运动特征部位最大集中每个特征部位的特有特征属性和运动属性；

在预设标准部位模板中提取所述运动特征部位最大集中每个特征部位的通用固有属性；

根据所述特有特征属性、所述运动属性和所述通用固有属性，获取所述特征部位的特征数据；

根据所述特征数据，计算在预设观察周期内各个部位采样点的动作基元，以提取所述特征部位的部位特征点，所述部位特征点为与所述特征部位所有部位采样点的平均动作基元最接近的动作基元对应的部位采样点。

3.根据权利要求2所述的显示设备，其特征在于，所述控制器执行基于多帧图像数据中的所述部位特征点的运动基元，生成所述运动目标的运动链，还被配置为：

根据所述特征部位的特征数据，获取多帧图像数据中的所述部位特征点的坐标；

计算相邻两帧图像中的所述部位特征点坐标之间的运动矢量和有向运动速度，以得到所述部位特征点的动作基元；

根据所述动作基元，生成所述运动目标的运动链。

4.根据权利要求2所述的显示设备，其特征在于，所述控制器执行根据所述特征部位的运动链，计算所述特征部位的运动量密度，以获取最小表征部位集，还被配置为：

计算每个特征部位的运动量密度，所述运动量密度为所述特征部位的运动链中动作基元与预设时间段的比值；

如果所述运动量密度小于所述预设密度阈值，将所述运动量密度对应的特征部位从所述运动特征部位最大集中删除，以得到所述最小表征部位集。

5.根据权利要求1所述的显示设备，其特征在于，所述控制器还被配置为：

对比所述关键特征部位的运动链中新动作基元与已有动作基元，以获取动作相似度，所述新动作基元为所述运动链中新产生的动作基元，所述已有动作基元为所述运动链中任一个已记录的动作基元；

如果所述动作相似度大于或等于预设相似度阈值，记录所述新动作基元与所述已有动作基元为相似动作，以构建所述关键特征部位的观察记录矩阵；

计算所述观察记录矩阵在预设周期内所述相似动作的重复度，如果所述重复度大于预设重复度阈值，则将所述相似动作添加至所述特征动作组，以构建所述运动目标的运动数据矩阵。

6.根据权利要求5所述的显示设备，其特征在于，所述控制器执行根据所述运动数据矩阵在预设运动模型库查询目标运动模型，还被配置为：

遍历所述预设运动模型库中的关键运动部位集，以得到包含所述最小表征部位集的相似运动模型集合；

对所述相似运动模型集合中每个相似运动模型的关键运动部位集提取关键特征数据；

对比每个相似运动模型的关键特征数据与所述运动数据矩阵，以得到每个相似运动模型与所述运动数据矩阵的匹配度；

选取与所述运动数据矩阵的匹配度最高的相似运动模型作为目标运动模型。

7.根据权利要求l所述的显示设备，其特征在于，所述控制器执行控制所述显示器在所述特定区域中显示所述运动目标图像，还被配置为：

根据所述目标运动模型，在所述特定区域中添加运动目标图像；

根据所述目标运动模型，在所述特定区域中绘制所述目标运动模型，以得到标准参照模型。

8.根据权利要求1所述的显示设备，其特征在于，所述控制器还被配置为：

根据所述目标运动模型和所述运动数据矩阵，获取所述运动目标的运动特征信息；

根据所述运动特征信息，生成所述运动目标图像的运动的预测数据。

9.根据权利要求1所述的显示设备，其特征在于，所述控制器还被配置为：

计算所述显示器和仿真背景图的目标比例；

按照所述目标比例将所述运动目标图像合成至所述仿真背景图；

控制所述显示器在所述特定区域中显示所述运动目标图像和所述仿真背景图。

10.一种虚实交互方法，其特征在于，包括：

获取图像数据，所述图像数据为通过图像采集接口采集的运动目标图像；

根据所述图像数据，获取运动目标特征部位的特征数据，并提取所述特征部位的部位特征点；

基于多帧图像数据中的所述特征部位的动作基元，生成所述特征部位的运动链，所述运动链包括多个按照时间顺序记录的所述部位特征点的动作基元；

根据所述特征部位的运动链，计算所述特征部位的运动量密度，以获取最小表征部位集，所述最小表征部位集包括表征所述运动目标运动特征的关键特征部位；

在所述关键特征部位的运动链中提取相似动作，以构建所述关键特征部位的观察记录矩阵；

在所述观察记录矩阵中提取特征动作组，以构建所述运动目标的运动数据矩阵；

根据所述运动数据矩阵在预设运动模型库查询目标运动模型；

根据所述目标运动模型渲染运动目标图像，以及控制所述显示器在所述特定区域中显示所述运动目标图像。