CN111862333A - 基于增强现实的内容处理方法、装置、终端设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种基于增强现实的内容处理方法、装置、终端设备及存储介质，涉及显示技术领域。该方法包括：获取三维对象的模型数据；根据采集的标记物图像，确定交互装置的六自由度(6DoF)信息，标记物图像包含设于所述交互装置的标记物；根据6DoF信息确定虚拟切割平面的空间位置；根据空间位置获取虚拟切割平面对于三维对象的切割信息；根据切割信息以及模型数据获取三维对象的内部虚拟剖切内容；以及显示内部虚拟剖切内容。本方法可以通过交互装置的6DoF信息虚拟切割平面，并由此获取三维对象对于虚拟切割平面的内部虚拟剖切内容，从而使用户可以通过交互装置直接观察并控制三维对象被剖切后的信息，提高用户查看三维对象的切割信息的便捷性。

Description

基于增强现实的内容处理方法、装置、终端设备及存储介质

技术领域

本申请涉及显示技术领域，更具体地，涉及一种基于增强现实的内容处理方法、处理装置、终端设备及存储介质。

背景技术

在日常的生活中，人们对物体的观察，通常仅停留于物体的表面特征，例如，观察现实环境中的建筑，仅可以看到建筑的外部结构，或是观察动物时，也仅可看到动物的外部形态等。对于利用电子设备显示的虚拟物体也是如此，通常用户仅可看到电子设备呈现的虚拟物体的表面特征，导致用户观察物体的效率低。

发明内容

本申请实施例提出了一种基于增强现实的内容处理方法、处理装置、终端设备及存储介质，能够通过增强现实的方式查看三维对象的内部结构，提高观察效率，且互动性高。

第一方面，本申请实施例提供了一种基于增强现实的内容处理方法，应用于终端设备，该处理方法包括：获取三维对象的模型数据；根据采集的标记物图像，确定交互装置的六自由度(6DoF)信息，标记物图像包含设于交互装置上的标记物；根据6DoF信息确定虚拟切割平面的空间位置；根据空间位置获取虚拟切割平面对于三维对象的切割信息；根据切割信息以及模型数据获取三维对象的内部虚拟剖切内容；以及显示内部虚拟剖切内容。

第二方面，本申请实施例提供了一种基于增强现实的内容处理装置，该装置包括模型数据获取模块、信息确定模块、虚拟切割平面确定模块、剖切内容获取模块以及显示模块。模型数据获取模块用于获取三维对象的模型数据，信息确定模块用于根据采集的标记物图像，确定交互装置的六自由度(6DoF)信息，标记物图像包含标记物，标记物设于交互装置上。虚拟切割平面确定模块，用于根据6DoF信息确定虚拟切割平面的空间位置，剖切内容获取模块，用于获取虚拟切割平面对于三维对象的切割信息，并根据切割信息以及模型数据获取三维对象的内部虚拟剖切内容。显示模块用于显示内部虚拟剖切内容。

第三方面，本申请实施例提供了一种终端设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行上述第一方面提供的基于增强现实的内容处理方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行上述第一方面提供的基于增强现实的内容处理方法。

本申请实施例提供的基于增强现实的内容处理方法、装置、终端设备及存储介质，根据交互装置的6DoF信息虚拟切割平面的空间位置，根据该虚拟切割平面获取并显示三维对象的内部虚拟剖切内容，从而使用户可以利用交互装置控制三维对象被剖切后的信息，并通过增强现实的方式观察到三维对象的内部结构，提高用户查看三维对象的内部结构的便捷性，提高观察效率，且互动性高。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的基于增强现实的内容处理***的应用示意图。

图2为本申请实施例提供的基于增强现实的内容处理***的框架示意图。

图3为本申请实施例提供的基于增强现实的内容处理方法的流程示意图。

图4为本申请实施例提供的另一基于增强现实的内容处理方法的流程示意图。

图5为图4所示方法中创建三维虚拟对象的流程示意图。

图6为图5所示创建三维虚拟对象的一种过程的示意图。

图7为图5所示创建三维虚拟对象的另一过程的示意图。

图8为图5所示创建三维虚拟对象的另一过程的示意图。

图9为图4所示方法中确定虚拟切割平面的流程示意图。

图10为本申请实施例提供的基于增强现实的内容处理装置的结构框图。

图11为本申请实施例提供的终端设备的结构框图。

图12为本申请实施例提供的一种计算机可读存储介质的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合一些实施例中的附图，对一些实施例中的技术方案进行清楚、完整地描述。

近年来，随着增强现实(Augmented Reality，AR)技术的发展，AR相关的电子设备逐渐走入了人们的日常生活中。其中，AR是通过计算机***提供的信息增加用户对现实世界感知的技术，其将计算机生成的虚拟对象、场景或***提示信息等内容对象叠加到真实场景中，来增强或修改对现实世界环境或表示现实世界环境的数据的感知。在传统的AR场景中，用户通常需要佩戴AR眼镜或者AR头盔等AR设备，对现实环境中的标记物(又称Marker或Tag)进行采集与识别，以看到AR设备显示的虚拟物体与现实环境叠加的场景。但传统的AR，通常仅是单纯地显示虚拟物体，通常用户仅可看到电子设备呈现的虚拟物体的表面特征。

发明人经过研究，提出了一些实施例中的基于增强现实的内容处理方法、装置、终端设备及存储介质，能够通过增强现实的方式查看三维对象的内部结构，提高观察效率，且互动性高。

请参见图1，图1示出了一些实施例提供的一种基于增强现实的内容处理***10的框架示意图，该基于增强现实的内容处理***10包括：终端设备100、交互装置200及三维对象300。终端设备100用于根据交互装置200的空间位置信息确定虚拟切割平面401，基于虚拟切割平面401确定对应于三维对象100的内部虚拟剖切内容，并根据交互装置200产生的控制指令控制内部虚拟剖切内容的显示，以允许用户能够通过增强现实的方式查看三维对象300的内部结构。

请同时参阅图2，在一些实施例中，终端设备100可以是头戴显示装置，也可以是手机、平板等移动设备。终端设备100为头戴显示装置时，头戴显示装置可以为一体式头戴显示装置，也可以是外接式/接入式头戴显示装置。终端设备100也可以是与外接式头戴显示装置连接的手机等智能终端，即终端设备100可作为头戴显示装置的处理和存储设备，用以***或者接入外接式头戴显示装置。

在一些实施例中，交互装置200为平板状电子设备，其上设有标记物210。交互装置200的具体形态结构不受限制，可以为各种形状，例如正方形、圆形。其中，交互装置200上的标记物210可以是一个或多个。作为一种实施方式，标记物210设于交互装置200的表面，此时，交互装置200是集成有标记物210的电子设备。在一些实施例中，交互装置200可以被用户手持并进行操控，标记物210可以集成于交互装置200中，也可以粘贴附着于交互装置200上，若第一交互装置200上设置有显示屏时，标记物210还可以显示于交互装置200的显示屏上。在一些实施方式中，标记物210可以采用配件的方式连接至交互装置200，例如，标记物210可以设置在交互装置200的保护套上，或是标记物210通过USB(Universal Serial Bus，通用串行总线)接口插接至交互装置200上。

在使用交互装置200时，可使标记物210位于终端设备100的视野范围内，进而使得终端设备100可以采集到包含设置于交互装置200上的标记物210的图像，以对标记物210进行识别追踪，进而实现对交互装置200的定位追踪或识别交互装置200的空间位置信息、空间姿态信息。进一步地，交互设备200与终端设备100之间可以通过蓝牙、WiFi(Wireless-Fidelity，无线保真)、ZigBee(紫峰技术)等通信方式连接，也可以采用数据线等有线方式进行通信连接，当然，终端设备100与交互设备200的连接方式在本申请实施例中可以不作为限定。

在一些实施方式中，在一些实施方式中，标记物210为具有拓扑结构的图案，拓扑结构是指标记物210中的子标记物和特征点等之间连通关系。当上述标记物210处于终端设备100的视野范围内时，终端设备100可将上述处于视野范围内的标记物210作为目标标记物，并采集包含该目标标记物的图像。在采集到包含该目标标记物的图像后，可以识别采集到的目标标记物的图像，来得到目标标记物相对终端设备100的位置、姿态等空间位置信息，以及目标标记物的身份信息等识别结果，进而得到交互装置200相对终端设备100的位置、姿态等空间位置信息，也即交互装置200的六自由度(Six Degrees of Freedom，6DoF)信息，从而实现对交互装置200的定位及跟踪。

在一些实施方式中，标记物210还可以为光点式的标记，终端设备通过对光点追踪以相对位置、姿态等空间位置信息。在一个具体的实施方式中，可在第一交互装置上设置光点和惯性测量单元(Inertial measurement unit，IMU)，终端设备可以通过图像传感器采集第一交互装置上的光点图像，并通过惯性测量单元获取测量数据，根据该光点图像和测量数据即可确定第一交互装置与终端设备之间的相对空间位置信息，实现对第一交互装置的定位及追踪。其中，第一交互装置上设置的光点可以是可见光点或者红外光点，光点的数量可以是一个或者由多个光点组成的光点序列。

其中，交互装置200的6DoF信息，是指交互装置在空间具有六个自由度信息，即在空间坐标系中沿X、Y、Z三个直角坐标轴方向的移动自由度和分别绕这X、Y、Z三个直角坐标轴的转动自由度信息。在一些实施例中，交互装置200的6DoF信息至少包括：交互装置200相对终端设备100的移动方向、移动距离、旋转方向及旋转角度。

终端设备100获取交互装置200的6DoF信息后，可根据交互装置200的6DoF信息确定虚拟切割平面401的空间位置，该虚拟切割平面401与交互装置200可具备一定的相对位置关系，例如，可以是在交互装置200所在的平面，或是与交互装置200之间成一定的夹角等。在一些实施方式中，终端设备100确定虚拟切割平面401的空间位置后，可根据该空间位置显示虚拟切割平面401，用户通过终端设备100可看到虚拟切割平面401与交互装置200叠加显示，在其他实施例中，终端设备100也可不对虚拟切割平面401进行显示。用户可移动交互装置200，利用虚拟切割平面401对三维对象300进行切割。

终端设备100可根据虚拟切割平面401的空间位置，获取虚拟切割平面401对于三维对象300的切割信息，从而可根据该切割信息获取并显示三维对象300的内部虚拟剖切内容403。从而使用户可以通过交互装置200直接观察并控制三维对象300被剖切后的信息(如截面、内部结构等)，提高用户查看三维对象300的切割信息的便捷性。

在一些实施例中，三维对象300为第三方对象，即，三维对象300是终端设备100、交互装置200以外的对象，其可以是现实世界中的任一物理实体，例如，三维对象300可以是任何仿真模型、概念模型物理实体、建筑物、交通工具或是具有生命的动物、植物等，在此不作限定。在一些实施方式中，三维对象300也可以是通过终端设备100显示的任一三维虚拟对象。

当控制交互装置200与三维对象300之间形成指定的相对位置关系时，终端设备100可以根据交互装置200的空间位置信息，获取虚拟切割平面401的空间位置，并基于虚拟切割平面403，获取三维对象300对应于虚拟切割平面401的切割信息，终端设备100还根据该切割信息获取三维对象300的内部虚拟剖切内容403，可基于标记物210相对终端设备的空间位置信息显示内部虚拟剖切内容403，并供用户通过交互装置200处理。

在一些实施方式中，交互装置200上设有至少一个操控区，以供用户对操控区进行控制操作，从而处理内部虚拟剖切内容403。其中，操控区可以包括按键、触摸板和触摸屏中的至少一种。交互装置200可以通过操控区检测到的控制操作，获取与该控制操作对应的控制数据，并将该控制数据发送给终端设备100。当终端设备100接收到交互装置200发送的控制数据时，可根据控制数据对内部虚拟剖切内容403进行处理。例如，终端设备100可以根据控制数据改变内部虚拟剖切内容403的轮廓、线条、颜色等属性，或者重建内部虚拟剖切内容403。

在一些实施方式中，交互装置200也可以是带有触摸屏的移动终端，比如智能手机、平板电脑等，交互装置200可以具有可显示画面且可进行操控的触摸屏。

基于上述处理***，一些实施例提供了一种基于增强现实的内容处理方法，应用于上述基于增强现实的内容处理***的终端设备以及交互装置。下面对具体的基于增强现实的内容处理方法进行介绍。

请参阅图3，图3示出了一些实施例提供的一种基于增强现实的内容处理方法，可应用于上述终端设备。该基于增强现实的内容处理方法，使用户可以通过交互装置的6DoF信息确定虚拟切割平面的空间位置，终端设备根据该虚拟切割平面获取并显示三维对象的内部虚拟剖切内容。从而使用户可以利用交互装置控制三维对象被剖切后的信息，并通过增强现实的方式观察到三维对象的内部结构(如截面、内部结构等)，提高用户查看三维对象的内部结构的便捷性。一些实施例提供的基于增强现实的内容处理方法一旦被触发，则实施例中方法的流程可以通过终端设备动运行，其中，各个步骤在运行的时候可以是按照如流程图中的顺序先后进行，也可以是根据实际情况多个步骤同时进行，在此并不做限定。在一些实施例中，该基于增强现实的内容处理方法可以包括步骤S110～S160。

步骤S110：获取三维对象的模型数据。

在一些实施例中，三维对象可以包括现实空间中的实体对象以及终端设备显示的虚拟对象中的至少一种。

现实空间中的实体对象可以是任意的物体对象，例如，在图2所示的实施例中，实体的三维对象是用户握持在手中的仿真心脏模型300。终端设备可通过图像采集装置采集实体对象的图像，并对图像中的实体对象进行识别，得到实体对象的身份信息，从而可根据该身份信息获取实体对象的模型数据，该身份信息可包括实体对象的名称、型号、物体编号等，在此不作限定。

终端设备显示的虚拟对象可以指的是利用AR显示的三维虚拟对象(如图2中的虚拟对象400)，或者，终端设备显示的虚拟对象可以是终端设备利用混合现实的显示技术(如全息投影技术)所显示的虚拟对象。用户透过终端设备的镜片可以查看虚拟对象以及镜片前的现实空间场景，因此，用户所观察到的是叠加显示于现实空间的虚拟对象，如虚拟人体、虚拟器官、虚拟动物、虚拟房屋等。作为一种实施方式，终端设备可直接根据虚拟对象对应的编号等身份信息获取模型数据。

在一些实施例中，三维对象的模型数据至少包括三维对象的外部结构信息和内部结构信息，在一些实施例中，外部结构信息可以为该三维对象的外观信息，如线条、形状、颜色、尺寸等，内部结构信息可以为该三维对象的内部结构信息，如填充物、内部架构、颜色等。例如在图2所示的实施例中，三维对象的内部结构信息可以包括仿真心脏模型300的外部形状、颜色、血管脉络、以及动脉、静脉的结构方位信息等，三维对象的内部结构信息可以包括仿真心脏模型300内部的左右心房、左右心室、以及动脉、静脉等结构信息。

进一步地，利用三维对象的身份信息获取三维对象的模型数据，可以由终端设备根据三维对象的身份信息从服务器中下载，也可以由终端设备根据三维对象的身份信息从其他设备中获取，还可以是终端设备根据三维对象的身份信息从本地存储器中获取。

步骤S120：根据采集的标记物图像，确定交互装置的六自由度(6DoF)信息，标记物图像包含设于交互装置上的标记物。

在一些实施方式中，可以通过终端设备的图像采集装置采集包含标记物的标记物图像，其中，标记物可以集成于交互装置中，也可以粘贴附着于交互装置上，或者为可选择性地呈现在交互装置上的图案(如交互装置通电后显示的图案)。

在一些实施例中，可以通过图像采集装置获取交互装置上的标记物的图像，终端设备再识别图像中的标记物，且根据标记物的识别结果，获取交互装置相对终端设备的位置及姿态信息，也即交互装置的六自由度(Six Degrees of Freedom，6DoF)信息。

步骤S130：根据6DoF信息确定虚拟切割平面的空间位置。

在一些实施例中，终端设备可以根据获取到的交互装置的6DoF信息，确定虚拟切割平面的空间位置，其中，虚拟切割平面指的是用来对三维对象进行切割的虚拟平面。

其中，终端设备中可以预置有虚拟切割平面与交互装置之间的相对位置关系，虚拟切割平面的空间位置，可以基于该相对位置关系而确定。进一步地，虚拟切割平面的空间位置，可以根据获取到的交互装置的6DoF信息，并基于该相对位置关系，通过确定虚拟切割平面在虚拟空间中坐标集而获得。其中，虚拟切割平面可以是交互装置所在的平面，也可以是终端设备基于交互装置的空间位置而确定的平面，例如，虚拟切割平面可以与交互装置所在的平面之间形成预设夹角，例如，90度，45度等。例如，请参阅图2，虚拟切割平面401是基于交互装置200的空间而确定的平面，其与交互装置200所在的平面之间大致呈90度夹角。

步骤S140：获取虚拟切割平面对于三维对象的切割信息。

在一些实施例中，虚拟切割平面对应的切割信息指的是三维对象在被虚拟切割平面剖切后对应的信息数据，该信息数据可包括三维对象的模型数据在虚拟空间中被虚拟切割平面切割后所形成的内容，例如三维对象被剖切后所形成的剖面对应的坐标集合、剖面的形状外观、以剖面为基准三维对象的内部结构等信息，该信息数据也可以为三维对象被虚拟切割平面切割时的内容的对应数据，比如在该虚拟切割平面内的部件参数、属性、性质介绍等，但不限于此。

进一步地，确定虚拟切割平面对于三维对象的切割信息，可以由终端设备根据虚拟切割平面与三维对象的对应关系、以及三维对象的模型数据从服务器中下载，也可以由终端设备根据虚拟切割平面与三维对象的对应关系以及三维对象的模型数据从其他设备中获取，还可以是终端设备根据上述对应关系以及模型数据从本地存储器中获取。

步骤S150：根据切割信息以及模型数据获取三维对象的内部虚拟剖切内容。

由于终端设备已经确定虚拟切割平面对于三维对象的切割信息，则终端设备可以根据由切割信息获取三维对象被切割的面(即上述的剖面)对应的模型坐标集合，该模型坐标集合可用于表示剖面在三维对象的模型中的位置，从而可根据模型坐标信息及模型数据获取三维对象的内部虚拟剖切内容。该虚拟剖切内容可以为三维对象在被虚拟切割平面剖切后的立体模型内容(如，三维对象在虚拟空间中被剖成两部分立体虚拟模型)，或者，该虚拟剖切内容可以为三维对象在被虚拟切割平面剖切后的断面模型内容，也即，内部虚拟剖切内容可以为三维对象的模型在剖面的形状轮廓等内容。

步骤S160：显示内部虚拟剖切内容。

在一些实施例中，终端设备获取内部虚拟剖切内容后，可以对内部虚拟剖切内容进行显示。

在一些实施方式中，若交互装置设有显示区域，终端设备获取的内部虚拟剖切内容可以直接显示于交互装置的显示区域。其中，交互装置的显示区域可以为设于交互装置的显示屏所在的区域，即通过交互装置的显示屏对内部虚拟剖切内容进行显示。

在另一些实施方式中，终端设备可以基于交互装置的6DoF信息确定指定显示区，该指定显示区可用于定义内部虚拟剖切内容叠加显示在现实空间的区域，以适应未设有显示屏的交互装置，或交互装置的显示屏不适合显示当前内部虚拟剖切内容的情况。此时，终端设备获取内部虚拟剖切内容后，可以基于该指定显示区的空间位置渲染内部虚拟剖切内容，并将内部虚拟剖切内容叠加显示于该指定显示区。该指定显示区所在的平面可以与交互装置的触控平面相垂直，或相重合，或相并列，或相对倾斜设置，该指定显示区与交互装置的相对位置关系，可以根据用户的观看习惯进行调节，以便于用户的使用。需要说明的是，指定显示区的尺寸大小，可以为预先设定好的尺寸大小，也可以根据实际应用时的需求对指定显示区的尺寸进行调节。

当三维对象为基于终端设备而显示的三维虚拟对象时，可以直接控制三维虚拟对象的显示状态，以显示内部虚拟剖切内容。

上述实施例提供的内部虚拟剖切内容的处理方法，根据交互装置的6DoF信息确定虚拟切割平面的空间位置，根据该虚拟切割平面获取并显示三维对象的内部虚拟剖切内容。从而使用户可以利用交互装置控制三维对象被剖切后的信息，并通过增强现实的方式观察到三维对象的内部结构(如截面、内部结构等)，提高用户查看三维对象的内部结构的便捷性，提高观察效率，且互动性高。

请参阅图4，本申请另一实施例提供了一种基于增强现实的内容处理方法，可应用于上述终端设备。该基于增强现实的内容处理方法，使用户可以通过交互装置的6DoF信息确定虚拟切割平面的空间位置，终端设备根据该虚拟切割平面获取并显示三维对象的内部虚拟剖切内容，从而使用户可以利用交互装置控制三维对象被剖切后的信息，并通过增强现实的方式观察到三维对象的内部结构，并直接通过交互装置对该内部虚拟剖切内容进行处理，可以提高用户查看并编辑三维对象的内部结构的便捷性，提高观察效率，且互动性高。

一些实施例提供的基于增强现实的内容处理方法一旦被触发，则实施例中方法的流程可以通过终端设备自动运行，其中，各个步骤在运行的时候可以是按照如流程图中的顺序先后进行，也可以是根据实际情况多个步骤同时进行，在此并不做限定。在一些实施例中，请参阅图4，该内部虚拟剖切内容的处理方法可以包括步骤S210～S290。

步骤S210：获取三维对象的模型数据。

在一些实施例中，三维对象可以包括现实空间中的实体对象以及终端设备显示的虚拟对象中的至少一种。

在一些实施例中，当三维对象为终端设备显示的三维虚拟对象时，该三维虚拟对象可以为由用户利用交互装置上创建的三维虚拟对象。此时，请参阅图5，在获取三维对象的模型数据之前，本方法还包括：创建三维虚拟对象的步骤，包括步骤S211～S214。

步骤S211：根据交互装置获取的控制操作，确定与控制操作对应的绘图命令。

在一些实施例中，交互装置的操控区具有触控面板，用户通过在操控区进行触控并移动时，交互设备接收控制操作并生成相应的控制指令，终端设备能够控制指令生成对应的绘图命令。其中，该绘图命令可以包括绘图内容的线条、轮廓、颜色等属性信息。

步骤S212：获取交互装置的6DoF信息，并基于6DoF信息及绘图命令，确定三维虚拟对象的截面参数。

在一些实施例中，终端设备可以获取交互装置的6DoF信息，根据与6DoF信息对应的绘图命令，确定三维虚拟对象与该6DoF信息对应截面的截面参数。三维虚拟对象的截面参数包括但不限于包括：截面轮廓、材质效果、尺寸、线条样式等等。作为一种具体实施方式，交互装置的每个不同的6DoF信息可分别对应三维虚拟对象不同的截面，利用交互装置的6DoF信息可以确定交互装置所在的平面，可将该所在的平面作为三维虚拟对象的截面所在的平面，也即，可使交互装置与三维虚拟对象的截面共面，或是直接将交互装置与截面重合。用户可通过移动交互装置，改变交互装置的6DoF信息以确定三维虚拟对象不同的截面，再通过交互装置的操控区进行控制操作，以绘制三维虚拟对象的截面，终端设备可根据生成的绘图命令确定对应截面的截面参数。

在一些实施例中，三维虚拟对象的创建过程，可以从端部轮廓建立三维虚拟对象的轮廓数据，并根据交互装置的6DoF信息确定三维虚拟对象的立体结构数据，此时，步骤S212可以包括：确定绘图基准面，并根据绘图命令在绘图基准面上生成三维虚拟对象的端部轮廓，当交互装置移动时，获取移动后的交互装置的6DoF信息，并根据6DoF信息及确定的绘图命令，生成三维虚拟对象与6DoF信息对应的截面轮廓。

在一些实施例中，终端设备根据交互装置的6DoF信息，确定绘图基准面，并根据交互装置所接收的触控操作，确定绘图基准面对应的绘图命令，从而确定三维虚拟对象的端部轮廓，该绘图基准面可以用于定义模型绘制的起始面，作为一种具体实施方式，绘图基准面可为交互装置所在的平面。例如图6所示，若以当前交互装置200所在平面为绘图基准面，此时，终端设备100能够基于交互装置200的6DoF信息确定的绘图基准面405则为三维虚拟对象400的端部截面所在平面，用户通过在交互装置200的操控区绘制所需的图形(在图中显示为圆环)，终端设备100根据交互装置200所发送的触控命令，确定三维虚拟对象400的端部轮廓为圆环状。

当交互装置移动时，获取移动中交互装置变化的6DoF信息，以及分别与各个6DoF信息对应的绘图命令，终端设备可生成三维虚拟对象与各个6DoF信息对应截面的截面轮廓。

进一步地，在一些实施方式中，交互装置可以设有显示屏，该显示屏可以为触控显示屏，则用户所绘制的三维虚拟对象的截面轮廓能够实时地显示在交互装置的显示屏中。

步骤S213：根据截面参数，确定三维虚拟对象的立体模型数据。

在交互装置移动时，会产生多个不同的6DoF信息，每个6DoF信息可能具有对应的绘图命令，终端设备可确定每个6DoF信息所对应的截面轮廓。在一个实施例中，步骤S213可以包括：根据截面轮廓对应的6DoF信息，确定截面轮廓与端部轮廓之间的相对距离；根据该相对距离，生成三维虚拟对象中自端部轮廓延展至该截面轮廓的立体模型。

交互装置在移动时，可根据移动过程中两个截面对应的6DoF信息确定两个截面轮廓之间的空间距离，从而确定三维虚拟对象在两个截面之间的厚度信息，终端设备可根据两个截面的截面轮廓及相对距离，对两个截面之间的立体模型进行填充，得到相应的立体模型数据。在一个实施例中，终端设备生成截面的截面轮廓后，可根据该截面的6DoF信息，确定该截面与绘图基准面之间的相对距离，即该截面轮廓与端部轮廓之间的相对距离，并生成自端部轮廓延展至该截面轮廓的立体模型。三维虚拟对象的整个模型可看作是由多个截面轮廓组成的立体模型。

举例说明，如图6至图7所示，在图6中，以当前交互装置200所在平面为绘图基准面405，此时，基于交互装置200能够确定三维虚拟对象400的端部截面，用户通过触控交互装置200绘制了三维虚拟对象400呈圆环状的端部轮廓，此时，用户将交互装置200向上移动且同时在交互装置200上修改圆环轮廓的直径数据，则终端设备根据交互装置200的实时6DoF信息，确定与6DoF信息所对应的三维虚拟对象400的空间高度尺寸以及对应的截面轮廓参数，其中，该空间高度尺寸由交互装置200的位移确定，如在图7中，交互装置200在竖直方向上向上移动了距离D，此时，用户当前所编辑的绘图截面由图6的绘图基准面405移动至当前绘图截面406，此时用户在当前绘图截面406中绘制截面轮廓，则三维虚拟对象400当前的空间模型高度由距离D确定，也即，三维虚拟对象400当前的空间模型高度为当前截面轮廓与端部轮廓之间的相对距离确定，由此，终端设备能够根据实时的6DoF信息及其对应的绘图命令，确定三维虚拟对象400的空间结构数据，从而生成三维虚拟对象中自端部轮廓延展至截面轮廓的立体模型。

步骤S214：根据立体模型数据生成并显示三维虚拟对象。

终端设备在生成立体模型，可将该立体模型实时地叠加显示于现实空间中。在一些实施方式中，当终端设备获取并生成三维虚拟对象的完整的立体模型后，且终端设备收到显示三维虚拟对象的控制指令时，将构建好的三维虚拟对象叠加显示于现实空间中。例如，在用户绘制了完整的三维虚拟模型，操作了“保存”三维虚拟模型后，终端设备根据用户的控制指令，将三维虚拟对象叠加显示于现实空间中。

在另一些实施方式中，终端设备可以将构建过程中的三维虚拟对象叠加显示于交互装置，并使当前正在生成的截面轮廓与交互装置的操控区重叠，如图7及图8所示，从而提高用户操作、编辑三维虚拟对象的便捷性。

步骤S220：根据采集的标记物图像，确定交互装置的六自由度(6DoF)信息，标记物图像包含设于交互装置上的标记物。

在一些实施方式中，识别交互装置上的标记物，可以由终端设备先通过图像采集装置采集包含标记物的图像，然后再对该图像中的标记物进行识别。其中，终端设备采集包含标记物的图像之前，可以通过调整终端设备在现实空间中的空间位置，也可以通过调整交互装置在现实空间中的空间位置，以使该交互装置上的标记物处于终端设备的图像采集装置的视觉范围内，从而使终端设备可以对该标记物进行图像采集和图像识别。其中，图像采集装置的视觉范围可以由视场角的方位以及大小决定。

步骤S230：根据6DoF信息确定虚拟切割平面的空间位置。

在一些实施例中，步骤S230可以包括步骤：根据交互装置的6DoF信息，获取交互装置在虚拟空间的第一空间坐标集合；获取虚拟切割平面与交互装置之间的相对位置关系；根据第一空间坐标集合与相对位置关系得到虚拟切割平面在虚拟空间的第二空间坐标集合。其中，该相对位置关系可包括但不限于虚拟切割平面相对交互装置的位置信息、旋转方向及旋转角度等。

作为一种具体实施方式，可以终端设备为原点，建立虚拟空间坐标系，则基于交互装置的6DoF信息，能够获取交互装置在虚拟空间坐标系中的第一空间坐标集合，第一空间坐标集合包含交互装置的各个点在虚拟空间坐标系中的坐标。终端设备中可以预设有虚拟切割平面与交互装置之间的相对位置关系，该相对位置关系可以为虚拟切割平面与交互装置整体的相对空间位置关系，则根据该相对位置关系以及交互装置的第一空间坐标集合，可以确定虚拟切割平面在虚拟空间的第二空间坐标集合，由此能够确定虚拟切割平面在虚拟空间中的空间位置。例如，相对位置关系为虚拟切割平面与交互装置重合，则可直接将第一空间坐标集合作为第二空间坐标集合，相对位置关系在此不作限定。用户通过操作交互装置移动，终端设备则基于交互装置于虚拟切割平面之间的第一相对位置关系，实时地确定与交互装置的6DoF信息所对应的虚拟切割平面。

在一些实施方式中，请参阅图9，步骤S230可以包括步骤S231～S233。

步骤S231：获取参考轴，参考轴为三维对象的指定结构轮廓轴，或者为指定空间坐标系的指定坐标轴。

在一些实施方式中，获取三维对象的结构轮廓轴作为参考轴，该结构轮廓轴可以为三维对象距离终端设备最近或最远的轮廓轴，例如，当三维对象为几何模型时，其具有明显的外轮廓棱，则可以将任一外轮廓棱作为参考轴，如，将三维对象中与终端设备的距离最近的外轮廓棱作为参考轴；在一些实施方式中，该结构轮廓轴也可以为三维对象建模时参考的对称轴、中心轴等，例如，当三维对象为回转模型时，如图8所示，三维虚拟对象400为回转模型，其具有回转中心轴O，则可以将回转中心轴O作为参考轴。

在一些实施方式中，获取虚拟空间坐标系中的指定坐标轴为参考轴。该虚拟空间坐标系可以为用于渲染并显示三维虚拟模型的虚拟空间坐标系，例如，以终端设备为原点所建立的虚拟空间坐标系，此时，可以将虚拟空间坐标系中的X、Y、Z中的任意一个轴作为参考轴。

步骤S232：根据参考轴建立虚拟切割平面，虚拟切割平面与参考轴形成指定的夹角关系。

在一些实施方式中，确定参考轴后，获取参考轴在虚拟空间坐标系中的轴坐标集合，并根据指定的夹角关系，确定虚拟切割平面与参考轴之间的夹角，则根据该夹角以及轴坐标集合，确定虚拟切割平面在虚拟空间坐标系中的面坐标集合。例如，指定的夹角关系可以为垂直关系、平行关系、或者二者之间呈预定的角度。应当理解的是，基于参考轴建立的虚拟切割平面，有可能存在无数个，例如，与参考轴垂直的平面有无数个，此时，可以获取虚拟切割平面与交互装置之间的相对位置关系，以进一步根据相对位置关系确定具体的虚拟切割平面。

在一些实施例中，终端设备中可以预设有虚拟切割平面与交互装置之间的第一相对位置关系，在一些实施方式中，该第一相对位置关系可以为虚拟切割平面与交互装置的参考点之间的相对距离关系，或者，该第一相对位置关系可以为虚拟切割平面的参考点与交互装置的参考点之间的相对距离关系。例如，虚拟切割平面的参考点可以为虚拟切割平面与参考轴之间的交点，交互装置的参考点可以为交互装置的标记物的质心点，则该第一相对位置关系为虚拟切割平面与参考轴之间的交点与交互装置的标记物的质心点之间的相对距离关系，由此，可以免于交互装置的细微的空间运动引起的虚拟切割平面的较大幅度的变动。因此，终端设备根据交互装置的6DoF信息，获取交互装置在虚拟空间的第一空间坐标集合，并则根据该第一相对位置关系、交互装置的第一空间坐标集合、以及参考轴与虚拟切割平面之间的指定夹角关系，可以确定虚拟切割平面在虚拟空间的第二空间坐标集合。

步骤S233：当交互装置移动时，根据交互装置在参考轴的方向上的移动分量，控制虚拟切割平面移动，并根据交互装置的6DoF信息确定虚拟切割平面的空间位置。

进一步地，通过限定虚拟切割平面与参考轴之间的指定夹角关系，能够固定虚拟切割平面与参考轴的相对角度，再根据交互装置在参考轴的方向上的移动分量，控制虚拟切割平面可延着参考轴的方向进行移动。例如，在图8所示的实施例中，以回转轴O作为参考轴时，虚拟切割平面401垂直于回转轴O，当交互装置200移动时，仅取交互装置200在回转轴O方向上的移动分量作为有效移动，并控制虚拟切割平面沿着回转轴O移动。

当交互装置持续移动时，则根据交互装置的6DoF信息，确定与6DoF信息对应的虚拟切割平面在虚拟空间的第二空间坐标集合。

步骤S240：获取虚拟切割平面对于三维对象的切割信息。

在一些实施方式中，步骤S240可以包括：获取三维对象在虚拟空间的第三空间坐标集合；获取第三空间坐标集合与第二空间坐标集合中相同的空间坐标，确定交集坐标集合；根据交集坐标集合获取三维对象的切割信息。终端设备确定与交互装置的6DoF信息所对应的虚拟切割平面的第二坐标集合后，通过第二坐标集合与三维对象在虚拟空间中的坐标集合之间的关系，确定虚拟切割平面对于三维对象的切割信息。

当三维对象为基于终端设备显示在虚拟空间中的三维虚拟对象时，终端设备直接根据三维虚拟对象的渲染坐标确定三维对象的第三空间坐标集合，并针对第二空间坐标集合和第三空间坐标集合进行布尔运算，计算得出第三空间坐标集合与第二空间坐标集合中相同的空间坐标，确定交集坐标集合，从而根据交集坐标集合获取三维对象的切割信息。其中，交集坐标集合可以理解为三维对象被虚拟切割平面切割时其断面元素所占据的虚拟空间坐标值。

当三维虚拟对象为存在于现实空间中的实体对象时，终端设备可以通过图像识别来获取实体对象的空间位置坐标。在一些实施例中，，终端设备通过图像采集装置采集实体对象的图像，并获取图像中的实体对象于终端设备之间的实际相对位置关系，根据该实际相对位置关系，确定实体对象在现实空间中的实际坐标，并将实体对象的实际坐标映射至上述的虚拟空间坐标系中，获得作为实体对象存在的三维对象在虚拟空间坐标系中的第三空间坐标集合。终端设备再针对第二空间坐标集合和第三空间坐标集合进行布尔运算，计算得出第三空间坐标集合与第二空间坐标集合中相同的空间坐标，确定交集坐标集合，从而根据交集坐标集合获取三维对象的切割信息。在一些实施方式中，实体对象还可以设有实体标记物，以便于终端设备通过识别实体标记物来确定实体对象的空间姿态，从而确定实体对象的空间位置信息。实体标记物的具体特征以及终端设备识别实体标记物的方法可参考前述关于交互装置的标记物的记载，本说明书不再赘述。

步骤S250：根据切割信息以及模型数据获取三维对象的内部虚拟剖切内容。

在一些实施方式中，内部虚拟剖切内容包括内部虚拟剖切面，内部虚拟剖切面为虚拟切割平面对三维对象进行剖切时，三维对象的内部所形成的断面。进一步地，终端设备根据切割信息可获取该断面在虚拟空间中的坐标集合，再根据该坐标集合的各个坐标对应的模型数据对断面进行渲染以便于显示内部虚拟剖切内容。

在一些实施方式中，内部虚拟剖切内容可以为三维对象被虚拟切割平面剖切后所形成的立体模型，三维对象被剖切后形成的立体模型至少包括分别位于虚拟切割平面相对两侧的第一立体模型以及第二立体模型，则终端设备对第一立体模型以及第二立体模型进行渲染以便于显示内部虚拟剖切内容。此时，步骤S250可以包括：根据切割信息和模型数据，确定三维对象被虚拟切割平面剖切后的第一虚拟剖切内容以及第二虚拟剖切内容，其中，第一虚拟剖切内容位于虚拟切割平面靠近终端设备的一侧，第二虚拟剖切内容位于虚拟切割平面远离终端设备的一侧。因此，第二虚拟剖切内容关于虚拟切割平面而形成的断面能够朝向终端设备所处的方向，以便于用户观察。

举例进行说明，如图2所示，当三维对象为仿真心脏模型300时，终端设备100根据交互装置200的6DoF信息确定用于切割仿真心脏模型300的虚拟切割平面401，则仿真心脏模型300被虚拟切割平面401剖切后，其对应的虚拟剖切内容可以包括第一立体模型4031以及第二立体模型4033，其中，第一立体模型4031位于切割平面401靠近终端设备100的一侧，第二立体模型4033位于切割平面401远离切割平面的一侧，使用户能够从终端设备100的视角在第二立体模型4033上观察到三维对象300被剖切后的断面。在其他的一些实施方式中，第一立体模型4031以及第二立体模型4033之间的相对位置可以互换，并不局限于本说明书所描述，例如，第一立体模型4031位于切割平面401远离终端设备100的一侧，第二立体模型4033位于切割平面401靠近切割平面的一侧，使用户能够从终端设备100的视角在第一立体模型4031上观察到三维对象300被剖切后的断面。

步骤S260：显示内部虚拟剖切内容。

终端设备获取内部虚拟剖切内容后，可以对内部虚拟剖切内容进行显示。在一些实施例中，终端设备确定用于虚拟空间中渲染待显示的内部虚拟剖切内容的渲染坐标之后，终端设备可以根据获取到的待显示的内部虚拟剖切内容对应的参数数据，构建三维对象的内部虚拟剖切内容，以及根据上述渲染坐标渲染该内部虚拟剖切内容。其中，终端设备可以从参数数据得到内部虚拟剖切内容各个顶点的RGB值及对应的坐标等。

在一些实施方式中，内部虚拟剖切内容为三维对象被虚拟切割平面剖切后所形成的立体模型，也即，内部虚拟剖切内容包括第一虚拟剖切内容以及第二虚拟剖切内容，则终端设备在显示内部虚拟剖切内容时，可以分别确定第一虚拟剖切内容以及第二虚拟剖切内容的显示参数，再根据该显示参数分别显示第一虚拟剖切内容以及第二虚拟剖切内容。此时，步骤S260可以包括：获取第一虚拟剖切内容的第一显示参数，及第二虚拟剖切内容的第二显示参数，根据第一显示参数显示第一虚拟剖切内容，并根据第二显示参数显示第二虚拟剖切内容；其中，第一显示参数包括第一透明度，第二显示参数包括第二透明度。进一步地，终端设备将第一透明度设置为大于第二透明度的数值，使位于虚拟切割平面靠近终端设备的一侧的第一虚拟剖切内容的透明度大于位于虚拟切割平面远离终端设备的一侧的第二虚拟剖切内容的透明度，以便于当第一虚拟剖切内容位于终端设备和第二虚拟剖切内容之间时，也即，从终端设备的视角看来第二虚拟剖切内容被第一虚拟剖切内容遮挡时，用户能够透过第一虚拟剖切内容观察到第二虚拟剖切内容。

在一些实施例中，例如，如图2所示，当三维对象为仿真心脏模型300时，仿真心脏模型300被虚拟切割平面401剖切后形成第一立体模型4031以及第二立体模型4033，其中，第一立体模型4031位于切割平面401靠近终端设备100的一侧，第二立体模型4033位于切割平面401远离切割平面的一侧，则终端设备100可以设置第一立体模型4031的第一透明度大于第二立体模型4033的第二透明度，例如，第一透明度为70％，第二透明度为5％，则此时用户能够透过第一立体模型4031观察到第二立体模型4033，使用户能够从终端设备100的视角在第二立体模型4033上观察到三维对象300被剖切后的断面。

在一些实施方式中，内部虚拟剖切内容的显示参数还可以包括透明度以外的参数，例如，饱和度、灰度、亮度、对比度等图像参数，并不局限于本说明书实施例所描述。

进一步地，在一些实施方式中，在显示内部虚拟剖切内容时，终端设备还可以确定虚拟切割平面的显示参数，虚拟切割平面的显示参数包括但不限于包括：透明度、饱和度、灰度、亮度、对比度等图像参数。用户通过设置不同的参数，可以使虚拟切割平面以不同的状态显示，例如，隐藏或显示虚拟切割平面等，以利于用户观察内部虚拟剖切内容。

步骤S270：接收交互装置发送的操作指令。

在一些实施方式中，交互装置发送的操作指令，是基于用户在交互装置输入的控制操作(如，触控动作、按压动作等等)而生成，该控制操作可以包括触控操作、按压按键操作等控制操作，其中，该触控操作的类型至少包括点击、滑动、多点触控中任一种或多种。交互装置还可以检测在交互装置的不同控制操作参数(如触控位置参数、触控次数参数)，发送不通过的操作指令。其中，交互装置将用户的控制操作信息转换为操作指令，并将该操作指令发送至终端设备。

步骤S280：基于操作指令，确定对应的内容处理指令。

终端设备接收到交互装置发送的操作指令之后，根据预定的数据分析和数据处理，确定对应的内容处理指令。其中，内容处理指令的种类至少包括编辑属性、缩放、标记、移动、旋转等指令。

步骤S290：根据内容处理指令对内部虚拟剖切内容进行处理。

进一步地，终端设备根据交互设备所接收的控制操作生成内容处理指令后，根据该内容处理指令，对之前确定的内部虚拟剖切内容进行处理，其中，根据内容处理指令，对内部虚拟剖切内容的处理动作至少可以包括：编辑内部虚拟剖切内容的属性、缩放内部虚拟剖切内容、标记内部虚拟剖切内容、移动内部虚拟剖切内容、旋转内部虚拟剖切内容等。

在一些实施方式中，在终端设备显示内部虚拟剖切内容时，当获取用户在交互装置输入的操作指令为对某一内部虚拟剖切内容进行双击或多次点击时，生成修改或标记内部虚拟剖切内容的内容处理指令，例如该内容处理指令为控制终端设备在选中的内部虚拟剖切内容周围生成数据框或文本框，再进一步检测用户的操作以对数据框进行参数修改或对文本框进行文字输入。其中，数据框内的数据可以为内部虚拟剖切内容相关的参数，如元素名称(如图2中的动脉、静脉等)、特性等。

在一些实施方式中，在终端设备显示内部虚拟剖切内容时，当获取用户在交互装置输入的操作指令为双指的距离相对收缩合并时，生成缩小当前显示的内部虚拟剖切内容的内容处理指令，该内容处理指令为控制终端设备将当前显示的内部虚拟剖切内容相对于用户的视角缩小。若获取用户在交互装置输入的操作指令为双指的距离相对扩大远离时，生成放大当前显示的内部虚拟剖切内容的内容处理指令，该内容处理指令为控制终端设备将当前显示的内部虚拟剖切内容相对于用户的视角放大。

在一些实施方式中，内部虚拟剖切内容包括内部虚拟剖切面，该内部虚拟剖切面为三维对象被虚拟切割平面切割后的断面，则终端设备对内部虚拟剖切内容进行处理，可以根据用户的控制操作直接对内部虚拟剖切面的参数进行处理。此时，步骤S290可以包括：获取内部虚拟剖切面的参数数据；根据触控指令对参数数据进行修改，并根据修改后的参数数据调整内部虚拟剖切面。

例如，在图8所示的实施例中，用户通过移动交互装置200确定虚拟切割平面401后，终端设备100基于交互装置200显示出内部虚拟剖切面4035的内容，则用户可以在交互装置200上执行控制操作，终端设备100根据该控制操作确定对应的内容处理指令，例如，用户按压圆环形截面的轮廓线并拖动时，终端设备100根据用户的控制操作生成改变圆环直径的内容处理指令，并根据该内容处理指令，改变三维虚拟对象400在该内部虚拟剖切面4035处的圆环直径。

在一些实施方式中，用户可以通过交互装置输入旋转内部虚拟剖切内容的指令，则终端设备根据交互装置接收的控制操作，生成旋转内部虚拟剖切内容的指令，并控制虚拟剖切内容进行相应的旋转动作，以利于用户从不同的角度观察内部虚拟剖切内容。例如，在图2所示的实施例中，内部虚拟内容包括仿真心脏模型300被剖切后的两个第一立体模型4031和第二立体模型4033，当用户需要查看第二立体模型4033的不同角度的内容时，可以在交互装置200上输入旋转的指令，则终端设备100控制第二立体模型4033及第一立体模型4031进行旋转。

其中，用户可以通过交互装置的操控区控制内部虚拟剖切内容旋转，也可以根据交互装置的空间姿态控制内部虚拟剖切内容旋转，以改变内部虚拟剖切内容的显示角度。在一些实施方式中，终端设备可以根据交互装置的标记物确定交互装置的空间姿态，在另一些方式中，终端设备可以根据交互装置的惯性测量传感器的检测数据确定交互装置的空间姿态。

在一些实施方式中，三维对象为实际存在于真实空间中的实体对象，则用户可以通过改变实体对象的空间姿态控制内部虚拟剖切内容旋转，以改变内部虚拟剖切内容的显示角度。此时，终端设备可以通过图像识别来获取实体对象的空间姿态，并根据实体对象的空间姿态，确定内部虚拟剖切内容的显示角度，因此，上述的基于增强现实的内容处理方法还可以包括步骤：采集包含实体对象的图片，识别图片中的实体对象，并确定实体对象的姿态信息；根据实体对象的姿态信息，确定内部虚拟剖切内容对应于姿态信息的显示角度；以显示角度控制内部虚拟剖切内容的显示。

其中，在一些实施方式中，实体对象还可以设有实体标记物，以便于终端设备通过识别实体标记物来确定实体对象的空间姿态，从而确定内部虚拟剖切内容的显示角度。进一步地，实体标记物的具体特征以及终端设备识别实体标记物的方法可参考前述关于实体对象的标记物的记载，本说明书不再赘述。在另一些实施方式中，实体对象还可以设有惯性测量传感器，终端设备可以根据实体对象的惯性测量传感器检测的数据确定实体对象的空间姿态。例如图2所示的具体实施例中，当三维对象仿真心脏模型300时，用户可以通过握持仿真心脏模型300进行旋转，终端设备则能够根据仿真心脏模型300的转动角度确定内部虚拟剖切内容的显示角度。

进一步地，为了避免交互装置在接收用户的控制操作时产生的位移导致虚拟切割平面移动的情况，终端设备可以根据用户的需求锁定当前的虚拟切割平面。例如，用户需要编辑当前的内部虚拟剖切内容时，则输入锁定指定，终端设备则根据用户的锁定指令锁定当前的虚拟切割平面，使当前虚拟切割平面与三维对象之间的相对空间位置关系保持不变，并使虚拟切割平面与交互装置之间的相对空间位置关系解耦，此时，交互装置能够产生空间位移，而终端设备不会基于交互装置的空间位置而改变虚拟切割平面的空间位置，从而避免交互装置在接收用户的控制操作时产生的位移导致虚拟切割平面移动的情况。当用户需要更新虚拟切割平面的位置时，可以通过交互装置输入解锁指令，终端设备则根据用户的解锁指令解锁当前的虚拟切割平面，使当前虚拟切割平面与三维对象之间的相对空间位置关系解耦，终端设备再次根据交互装置的6DoF信息确定虚拟切割平面的空间位置，其中，终端设备确定虚拟切割平面的空间位置的过程，可以参考本说明书的上述步骤，本说明书不再一一赘述。

上述实施例提供的基于增强现实的内容处理方法，根据交互装置的6DoF信息确定用于切割三维对象的虚拟切割平面的空间位置，根据该虚拟切割平面获取并显示三维对象的内部虚拟剖切内容。从而使用户可以利用交互装置控制三维对象被剖切后的信息，并通过增强现实的方式观察到三维对象的内部结构，提高用户查看三维对象的内部结构的便捷性，提高观察效率，且互动性高。

本申请提供的基于增强现实的内容处理方法，可以应用于诸多领域，例如，可以应用于教学领域或医疗领域。当该内容处理方法应用于医疗领域时，上述的三维对象可以为基于患者的病灶所建立的三维虚拟模型，则通过交互装置可以确定用于切割三维虚拟模型的虚拟切割平面，并根据该虚拟切割平面获取三维虚拟模型的虚拟剖切内容，也即，用户可以通过控制交互装置的移动，查看患者的病灶的三维虚拟模型的任意部位的内部结构或/及图像，以便于深入了解病灶的病变情况，有利于制定更为精细、准确的治疗方案，具有重大的现实意义。

请参阅图10，其示出了一些实施例提供的一种基于增强现实的内容处理装置500的结构框图，应用于终端设备，用以执行上述的基于增强现实的内容处理方法。基于增强现实的内容处理装置500运行于如图2所示的终端设备100上，其用于执行上述的基于增强现实的内容处理方法。在一些实施方式中，基于增强现实的内容处理装置500被存储在终端设备100的存储器中，并被配置为由终端设备1的一个或多个处理器执行。

在图10所示的实施例中，基于增强现实的内容处理装置500可以包括：模型数据获取模块510、信息确定模块520、虚拟切割平面确定模块530、剖切内容获取模块540以及显示模块550。可以理解的是，上述各模块可以为运行于计算机可读存储介质中的程序模块，上述各个模块的用途及工作如下：

模型数据获取模块510用于获取三维对象的模型数据。信息确定模块520用于根据采集的标记物图像，确定交互装置的六自由度(6DoF)信息，标记物图像包含标记物，标记物设于交互装置上。虚拟切割平面确定模块530用于根据6DoF信息确定虚拟切割平面的空间位置。剖切内容获取模块540用于获取虚拟切割平面对于三维对象的切割信息，并根据切割信息以及模型数据获取三维对象的内部虚拟剖切内容。显示模块550用于显示内部虚拟剖切内容。

虚拟切割平面确定模块530还用于根据交互装置的6DoF信息，获取交互装置在虚拟空间的第一空间坐标集合，获取虚拟切割平面与交互装置之间的相对位置关系，并根据第一空间坐标集合与相对位置关系得到虚拟切割平面在虚拟空间的第二空间坐标集合。进一步地，在一些实施方式中，虚拟切割平面确定模块530还用于：获取参考轴，参考轴为三维对象的指定结构轮廓轴，或者为指定空间坐标系的指定坐标轴，并根据参考轴建立虚拟切割平面，虚拟切割平面与参考轴形成指定的夹角关系。当交互装置移动时，虚拟切割平面确定模块530根据交互装置在参考轴的方向上的移动分量，控制虚拟切割平面移动，并根据交互装置的6Dof信息确定虚拟切割平面的空间位置。

剖切内容获取模块540还用于获取三维对象在虚拟空间的第三空间坐标集合，获取第三空间坐标集合与第二空间坐标集合中相同的空间坐标，确定交集坐标集合；并根据交集坐标集合获取三维对象的切割信息。

在一些实施方式中，剖切内容获取模块540还用于根据切割信息和模型数据，获取三维对象被虚拟切割平面剖切后的第一虚拟剖切内容以及第二虚拟剖切内容，其中，第一虚拟剖切内容位于虚拟切割平面靠近终端设备的一侧，第二虚拟剖切内容位于虚拟切割平面远离终端设备的一侧。

在一些实施方式中，显示模块550还用于获取第一虚拟剖切内容的第一显示参数，及第二虚拟剖切内容的第二显示参数，根据第一显示参数显示第一虚拟剖切内容，并根据第二显示参数显示第二虚拟剖切内容；其中，第一显示参数包括第一透明度，第二显示参数包括第二透明度。

在一些实施方式中，基于增强现实的内容处理装置500还包括内容处理模块560，内容处理模块560用于接收交互装置发送的操作指令，基于操作指令，确定对应的内容处理指令，并根据内容处理指令对内部虚拟剖切内容进行处理。在一些实施方式中，内部虚拟剖切内容包括内部虚拟剖切面，内部虚拟剖切面为虚拟切割平面对三维对象进行剖切时，三维对象的内部所形成的断面；则内容处理模块560还用于获取内部虚拟剖切面的参数数据，根据触控指令对参数数据进行修改，并根据修改后的参数数据调整内部虚拟剖切面。

在一些实施方式中，三维对象为在虚拟空间中显示的三维虚拟对象，则基于增强现实的内容处理装置500还包括虚拟对象创建模块570，虚拟对象创建模块570用于创建三维虚拟对象。在一些实施例中，虚拟对象创建模块570用于根据交互装置获取的控制操作，确定与控制操作对应的绘图命令；获取交互装置的6DoF信息，并基于6DoF信息及绘图命令，确定三维虚拟对象的截面参数；根据截面参数，确定三维虚拟对象的立体模型数据；以及根据立体模型数据生成三维虚拟对象。显示模块550还用于显示虚拟对象创建模块创建的三维虚拟对象。

在一些实施方式中，虚拟对象创建模块570截面创建单元571以及立体模型创建单元572。截面创建单元571用于获取交互装置的6DoF信息，并基于6DoF信息及绘图命令，确定三维对象的截面参数。在一些实施例中，截面创建单元571用于定绘图基准面，并根据绘图命令在绘图基准面上生成三维虚拟对象的端部轮廓，当交互装置移动时，截面创建单元571获取移动后的交互装置的6DoF信息，并根据6DoF信息及确定的绘图命令，生成三维虚拟对象与6DoF信息对应的截面轮廓。立体模型创建单元572用于根据截面创建单元571确定的截面参数，确定三维虚拟对象的立体模型数据。在一些实施例中，立体模型创建单元572用于根据截面轮廓对应的6DoF信息，确定截面轮廓与端部轮廓之间的相对距离，还用于根据相对距离，生成三维虚拟对象中自端部轮廓延展至截面轮廓的立体模型。

在一些实施方式中，三维对象为在现实空间中实际存在的实体对象，则基于增强现实的内容处理装置500还包括实体对象监控模块580，实体对象监控模块580用于采集包含实体对象的图片，识别图片中的实体对象，并确定实体对象的姿态信息，根据实体对象的姿态信息，确定内部虚拟剖切内容对应于姿态信息的显示角度，显示模块550还用于以实体对象监控模块580所确定的显示角度控制内部虚拟剖切内容的显示。

综上，一些实施例提供的一种基于增强现实的内容处理方法及装置，应用于终端设备，根据交互装置的6DoF信息用于切割三维对象的虚拟切割平面，根据该虚拟切割平面获取并显示三维对象的内部虚拟剖切内容。从而使用户可以利用交互装置控制三维对象被剖切后的信息，并通过增强现实的方式观察到三维对象的内部结构，提高用户查看三维对象的内部结构的便捷性，提高观察效率，且互动性高。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图11，其示出了一些实施例提供的一种终端设备的结构框图。该终端设备100可以是智能手机、平板电脑、头戴显示装置等能够运行应用程序的终端设备。本申请中的终端设备100可以包括一个或多个如下部件：处理器110、存储器120、图像采集装置130以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个终端设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行终端设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备100在使用中所创建的数据等。

在一些实施例中，图像采集装置130用于采集三维对象的图像以及采集目标场景的场景图像。图像采集装置130可以为红外摄像头，也可以是彩色摄像头，具体的摄像头类型在一些实施例中并不作为限定。

请参考图12，其示出了一些实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质800中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。该计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种基于增强现实的内容处理方法，应用于终端设备，其特征在于，包括：

获取三维对象的模型数据；

根据采集的标记物图像，确定交互装置的六自由度(6DoF)信息，所述标记物图像包含设于所述交互装置上的标记物；

根据所述6DoF信息确定虚拟切割平面的空间位置；

根据所述空间位置获取所述虚拟切割平面对于所述三维对象的切割信息；

根据所述切割信息以及所述模型数据获取所述三维对象的内部虚拟剖切内容；以及

显示所述内部虚拟剖切内容。

2.如权利要求1所述的方法，其特征在于，所述内部虚拟剖切内容包括内部虚拟剖切面，所述内部虚拟剖切面为所述虚拟切割平面对所述三维对象进行剖切时，所述三维对象的内部所形成的断面；所述显示所述内部虚拟剖切内容后，所述方法还包括：

获取所述内部虚拟剖切面的参数数据；

接收所述交互装置发送的操作指令；

基于所述操作指令，确定对应的内容处理指令；以及

根据所述内容处理指令对所述参数数据进行修改，并根据修改后的参数数据调整所述内部虚拟剖切面。

3.如权利要求1所述的方法，其特征在于，所述根据所述切割信息以及所述模型数据获取所述三维对象的内部虚拟剖切内容，包括：

根据所述切割信息和模型数据，获取所述三维对象被所述虚拟切割平面剖切后的第一虚拟剖切内容以及第二虚拟剖切内容，其中，所述第一虚拟剖切内容位于所述虚拟切割平面靠近所述终端设备的一侧，所述第二虚拟剖切内容位于所述虚拟切割平面远离所述终端设备的一侧。

4.如权利要求3所述的方法，其特征在于，所述显示所述内部虚拟剖切内容，包括：

获取所述第一虚拟剖切内容的第一显示参数，及所述第二虚拟剖切内容的第二显示参数；以及

根据所述第一显示参数显示所述第一虚拟剖切内容，并根据所述第二显示参数显示所述第二虚拟剖切内容；其中，所述第一显示参数包括第一透明度，所述第二显示参数包括第二透明度。

5.如权利要求1所述的方法，其特征在于，所述根据所述6DoF信息确定虚拟切割平面的空间位置包括：

根据所述6DoF信息，获取所述交互装置在所述虚拟空间的第一空间坐标集合；

获取虚拟切割平面与所述交互装置之间的相对位置关系；

根据所述第一空间坐标集合与所述相对位置关系得到所述虚拟切割平面在所述虚拟空间的第二空间坐标集合；

所述获取所述虚拟切割平面对于所述三维对象的切割信息，包括：

获取所述三维对象在所述虚拟空间的第三空间坐标集合；

获取所述第三空间坐标集合与所述第二空间坐标集合中相同的空间坐标，确定交集坐标集合；

根据所述交集坐标集合获取所述三维对象的切割信息。

6.如权利要求1所述的方法，其特征在于，所述根据所述6DoF信息确定虚拟切割平面的空间位置，包括：

获取参考轴，所述参考轴为所述三维对象的指定结构轮廓轴，或者为指定空间坐标系的指定坐标轴；

根据所述参考轴建立虚拟切割平面，所述虚拟切割平面与所述参考轴形成指定的夹角关系；

当所述交互装置移动时，根据所述交互装置在所述参考轴的方向上的移动分量，控制所述虚拟切割平面移动，并根据交互装置的6DoF信息确定虚拟切割平面的空间位置。

7.如权利要求1所述的方法，其特征在于，所述三维对象包括三维虚拟对象；在所述获取三维对象的模型数据之前，所述方法还包括：创建三维虚拟对象，包括：

根据交互装置获取的控制操作，确定与所述控制操作对应的绘图命令；

获取所述交互装置的6DoF信息，并基于所述6DoF信息及所述绘图命令，确定三维虚拟对象的截面参数；

根据所述截面参数，确定所述三维虚拟对象的立体模型数据；以及

根据所述立体模型数据生成并显示所述三维虚拟对象。

8.如权利要求7所述的方法，其特征在于，所述获取所述交互装置的6DoF信息，并基于所述6DoF信息及所述绘图命令，确定三维对象的截面参数，包括：确定绘图基准面，并根据所述绘图命令在所述绘图基准面上确定三维虚拟对象的端部轮廓；

当所述交互装置移动时，获取移动后的交互装置的6DoF信息，并根据所述6DoF信息及确定的绘图命令，确定三维虚拟对象与所述6DoF信息对应的截面轮廓；

所述根据所述截面参数，确定所述三维虚拟对象的立体模型数据，包括：

根据所述截面轮廓对应的6DoF信息，确定所述截面轮廓与所述端部轮廓之间的相对距离；

根据所述相对距离，生成所述三维虚拟对象中自所述端部轮廓延展至所述截面轮廓的立体模型。

9.一种基于增强现实的内容处理装置，其特征在于，所述装置包括：

模型数据获取模块，用于获取三维对象的模型数据；

信息确定模块，用于根据采集的标记物图像，确定交互装置的六自由度(6DoF)信息，所述标记物图像包含标记物，所述标记物设于所述交互装置上；

虚拟切割平面确定模块，用于根据所述6DoF信息确定虚拟切割平面的空间位置；

剖切内容获取模块，用于获取所述虚拟切割平面对于所述三维对象的切割信息，并根据所述切割信息以及所述模型数据获取所述三维对象的内部虚拟剖切内容；以及

显示模块，用于显示所述内部虚拟剖切内容。

10.一种终端设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1～10中任一项所述的方法。

11.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1～8中任一项所述的方法。

Images