CN113793422B - 三维模型的显示控制方法、电子设备及可读存储介质 - Google Patents

三维模型的显示控制方法、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113793422B
CN113793422B CN202110934092.0A CN202110934092A CN113793422B CN 113793422 B CN113793422 B CN 113793422B CN 202110934092 A CN202110934092 A CN 202110934092A CN 113793422 B CN113793422 B CN 113793422B
Authority
CN
China
Prior art keywords
view angle
dimensional model
target
information
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110934092.0A
Other languages
English (en)
Other versions
CN113793422A (zh
Inventor
李太和
龚金思
黄有志
魏仁杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Annet Innovation System Co ltd
Original Assignee
Shenzhen Annet Innovation System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Annet Innovation System Co ltd filed Critical Shenzhen Annet Innovation System Co ltd
Priority to CN202110934092.0A priority Critical patent/CN113793422B/zh
Publication of CN113793422A publication Critical patent/CN113793422A/zh
Application granted granted Critical
Publication of CN113793422B publication Critical patent/CN113793422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Architecture (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种三维模型的显示控制方法,所述显示控制方法步骤包括:识别三维模型中的目标区域;获取目标区域的属性信息;根据属性信息确定所述三维模型的目标视角;获取各个目标视角对应的初始预设权重;根据初始预设权重展示目标视角对应的视角图像。本发明还公开了一种电子设备及可读存储介质,本申请通过获取三维模型对应的目标区域的属性信息确定目标视角,并且基于所述目标视角的初始预设权重向用户排序展现所述目标视角对应的视角图像,用户可通过所述视角图像快速观察所述三维模型进而对所述三维模型进行评估,而无需人工操作,反复调整三维模型去获取符合用户预期的视角图像。

Description

三维模型的显示控制方法、电子设备及可读存储介质
技术领域
本发明涉及图像处理领域,尤其涉及三维模型的显示控制方法、电子设备及可读存储介质。
背景技术
现有的医疗技术中,可通过CT,MR,US对病人的***位进行三维可视化重建,便于医护人员直观地评估病人病情,但在实际操作过程中,医护人员需要反复调整检查视角,导致检查过程繁琐,并且有可能会漏看***位中病灶与重要脏器或血管的连接关系,导致对病人疾病的误诊和漏诊。
发明内容
本发明的主要目的在于提供一种三维模型的显示控制方法、电子设备及可读存储介质,旨在解决观察三维模型时需要反复调整视角导致观察时间过长,步骤繁琐。
为实现上述目的,本发明提供一种三维模型的显示控制方法,所述三维模型的显示控制方法包括:
识别三维模型中的目标区域,其中,所述三维模型为影像通过预设神经网络算法进行三维建模确定的三维模型;
获取所述目标区域的属性信息;
根据所述属性信息确定所述三维模型的目标视角;
获取各个所述目标视角对应的初始预设权重;
根据初始预设权重展示所述目标视角对应的视角图像。
可选地,所述属性信息包括目标区域的长短径信息,目标区域的体积信息,目标区域的投影面积信息,目标区域的位置信息,目标区域与相邻区域的关联信息,目标区域的性质信息以及目标区域对应的知识图谱关系信息中的至少一个。
可选地,所述根据所述初始预设权重展示所述目标视角对应的视角图像的步骤包括:
比对各个所述目标视角对应的初始预设权重;
基于各个所述初始预设权重从大到小的顺序以预设展示方式展示各个目标视角对应的视角图像,并输出提示信息,其中,所述预设展示方式包括将所述视角图像与所述三维模型叠加展示。
可选地,所述输出提示信息的步骤包括:
根据所述视角图像确定提示信息,其中,所述提示信息包括针对所述视角图像的操作信息;
以预设方式输出所述提示信息,其中,所述预设方式包括但不限于语音以及标记。
可选地,所述根据所述预设权重展示所述目标视角对应的视角图像的步骤还包括:
根据所述三维模型以及目标视角确定视角参数,其中,所述视角参数包括光圈,焦距以及景深的至少一个;
根据所述视角参数以及所述初始预设权重展示所述目标视角对应的视角图像。
可选地,根据初始预设权重展示所述目标视角对应的视角图像的步骤之后还包括:
记录并保存各个所述视角图像对应的当前浏览时长并获取各个所述视角图像对应的历史浏览时长;
根据所述当前浏览时长和/或历史浏览时长调整所述目标视角对应的权重;
根据所述调整后的权重确定所述目标视角对应的下一次预设权重,以使下一用户展示所述目标视角对应的视角图像时,根据所述下一次预设权重以大到小的顺序展示所述目标视角对应的视角图像。
可选地,根据初始预设权重展示所述目标视角对应的视角图像的步骤之后还包括:
记录并保存各个所述视角图像对应的当前调整操作并获取各个所述视角图像对应的历史调整操作;
根据所述当前调整操作和/或历史调整操作调整各个所述视角图像的视角参数;
根据所述调整后的视角参数确定下一次视角参数,以使下一次展示所述目标视角对应的视角图像时,根据所述下一次视角参数展示所述目标视角对应的视角图像。
可选地,所述识别三维模型中的目标区域的步骤包括:
根据预设的神经网络算法识别所述三维模型中的目标区域。
此外,为实现上述目的,本发明还提供一种电子设备,所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的三维模型的显示控制程序,所述三维模型的显示控制程序被所述处理器执行时实现如上所述的三维模型的显示控制方法的步骤。
此外,为实现上述目的,本发明还提供一种可读存储介质,所述可读存储介质上存储有三维模型的显示控制程序,所述三维模型的显示控制程序被处理器执行时实现如上所述的三维模型的显示控制方法的步骤。
本发明实施例提出的一种涉及三维模型的显示控制方法、电子设备及可读存储介质,通过识别所述三维模型的目标区域及所述目标区域的属性信息,进而根据所述属性信息确定观察所述三维模型的至少一个目标视角,进而根据所述目标视角的初始预设权重向用户展示各个所述目标视角对应的视角图像,以供用户快速高质量精准地观察所述三维模型并评估所述三维模型对应的扫描对象,而减少或不需人工调整三维模型以获取符合用户预期的视角图像。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的电子设备结构示意图;
图2为本发明三维模型的显示控制方法第一实施例的流程示意图;
图3为本发明三维模型的显示控制方法第二实施例步骤S50的细化流程示意图;
图4为本发明三维模型的显示控制方法第三实施例步骤S50的细化流程示意图;
图5为本发明三维模型的显示控制方法第四实施例的流程示意图;
图6为本发明三维模型的显示控制方法第五实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决方案是:识别三维模型中的目标区域;获取所述目标区域的属性信息;根据所述属性信息确定所述三维模型的目标视角;按照所述目标视角调整所述三维模型的显示角度。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的电子设备结构示意图。
本发明实施例提供了一种电子设备,所述电子设备可以是终端,如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等,可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatilememory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,终端还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在移动终端移动到耳边时,关闭显示屏和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;当然,移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及三维模型的显示控制程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的三维模型的显示控制程序,并执行以下操作:
识别三维模型中的目标区域,其中,所述三维模型为影像通过预设神经网络算法进行三维建模确定的三维模型;
获取所述目标区域的属性信息;
根据所述属性信息确定所述三维模型的目标视角;
获取所述目标视角对应的初始预设权重;
根据初始预设权重展示所述目标视角对应的视角图像。
进一步地,处理器1001可以调用存储器1005中存储的三维模型的显示控制程序,还执行以下操作:
所述属性信息包括目标区域的长短径信息,目标区域的体积信息,目标区域的投影面积信息,目标区域的位置信息,目标区域与相邻区域的关联信息,目标区域的性质信息以及目标区域对应的知识图谱关系信息的至少一个。
进一步地,处理器1001可以调用存储器1005中存储的三维模型的显示控制程序,还执行以下操作:
比对各个所述目标视角对应的初始预设权重;
基于各个所述初始预设权重从大到小的顺序以预设展示方式展示各个目标视角对应的视角图像,并输出提示信息,其中,所述预设展示方式包括将所述视角图像与所述三维模型叠加展示。
进一步地,处理器1001可以调用存储器1005中存储的三维模型的显示控制程序,还执行以下操作:
根据所述视角图像确定提示信息,其中,所述提示信息包括针对所述视角图像的操作信息;
以预设方式输出所述提示信息,其中,所述预设方式包括但不限于语音以及标记。
进一步地,处理器1001可以调用存储器1005中存储的三维模型的显示控制程序,还执行以下操作:
根据所述三维模型以及目标视角确定视角参数,其中,所述视角参数包括光圈,焦距以及景深的至少一个;
根据所述视角参数以及所述初始预设权重展示所述目标视角对应的视角图像。
进一步地,处理器1001可以调用存储器1005中存储的三维模型的显示控制程序,还执行以下操作:
记录并保存各个所述视角图像对应的当前浏览时长并获取各个所述视角图像对应的历史浏览时长;
根据所述当前浏览时长和/或历史浏览时长调整所述目标视角对应的权重;
根据所述调整后的权重确定所述目标视角对应的下一次预设权重,以使下一用户展示所述目标视角对应的视角图像时,根据所述下一次预设权重以大到小的顺序展示所述目标视角对应的视角图像。
进一步地,处理器1001可以调用存储器1005中存储的三维模型的显示控制程序,还执行以下操作:
记录并保存各个所述视角图像对应的当前调整操作并获取各个所述视角图像对应的历史调整操作;
根据所述当前调整操作和/或历史调整操作调整各个所述视角图像的视角参数;
根据所述调整后的视角参数确定下一次视角参数,以使下一次展示所述目标视角对应的视角图像时,根据所述下一次视角参数展示所述目标视角对应的视角图像。
进一步地,处理器1001可以调用存储器1005中存储的三维模型的显示控制程序,还执行以下操作:
根据预设的神经网络算法识别所述三维模型中的目标区域。
为了获取扫描对象的三维模型,首先需要利用成像设备对扫描对象进行扫描。成像设备对扫描对象进行扫描,得到扫描数据,根据扫描数据生成图像序列。其中,医学图像序列为扫描对象在扫描方向上的每一个横截面的图像。再根据图像序列最终可以生成扫描对象内部结构的三维模型。其中成像设备可以为:X光成像仪器(Xray)、CT(普通CT、螺旋CT)、正子扫描(PET)、核磁共振成像(MR)、红外扫描设备、内镜、US以及多种扫描设备的组合扫描设备等。在获取到所述三维模型,为了评估所述扫描对象,用户需要反复调整所述三维模型的显示角度以对所述扫描对象进行检查,导致检查步骤繁琐,且容易漏看所述扫描对象的重要区域,导致评估错误。
可以理解的是,所述扫描对象可以包括任意一种实体对象,包括但不限于患者,工业设备,本发明实施例以患者进行举例分析,在所述三维模型为患者的三维模型时,基于所述成像设备获取患者对应的影像后,基于所述影像获取三维模型。
参照图2,本发明第一实施例提供一种三维模型的显示控制方法,所述三维模型的显示控制方法包括:
步骤S10,识别三维模型中的目标区域,其中,所述三维模型为影像通过预设神经网络算法进行三维建模确定的三维模型;
步骤S20,获取所述目标区域的属性信息;
步骤S30,根据所述属性信息确定所述三维模型的目标视角;
步骤S40,获取各个所述目标视角对应的初始预设权重;
步骤S50,根据初始预设权重展示所述目标视角对应的视角图像。
在本实施例中,在识别所述三维模型的目标区域前,所述影像的获取方式可以是通过X光成像仪器(Xray)、CT(普通CT、螺旋CT)、正子扫描(PET)、核磁共振成像(MR)、红外扫描设备、内镜、US以及多种扫描设备的组合扫描设备等成像设备形成扫描对象的影像,根据所述影像通过预设神经网络算法获取扫描对象的三维模型后,其中,所述扫描对象可以是患者需要重点观察的器官、组织或细胞集合等,还可以是工业设备需要重点观察的部件,可以理解的是,成像设备可通过预设的扫描参数获取不同实物的三维模型。
可选地,所述三维模型基于体绘制方式获取。
可选地,所述三维模型包括所述扫描对象的目标区域和非目标区域,所述目标区域为用户重点观察的对象。
可选地,识别所述三维模型的目标区域可以是用户通过观察所述三维模型,确定所述三维模型中的目标区域,进而接收用户输入,根据所述用户输入在所述三维模型中确定目标区域,进而以预设方式显示所述目标区域,其中,所述预设方式可以通过勾留所述目标区域轮廓,还可以是将所述目标区域进行高亮显示,还可以是通过边框截取所述目标区域进行显示。例如,在医生观察患者的三维模型时,所述目标区域可以为病灶区域,在医生确定所述三维模型的病灶区域后,输入所述确定的病灶区域,进而根据医生输入将所述病灶区域以预设方式显示。
可选地,识别所述三维模型的目标区域还可以是基于神经网络算法获取,所述步骤S10包括:
根据预设神经网络算法识别所述三维模型中的目标区域。
具体地,将所述三维模型输入到基于图像训练集训练得到的预设的神经网络算法中,通过特征或变量的提取匹配得到目标区域。其中,所述预设的神经网络算法可以获取大量的用于训练神经网络的图像的训练集,训练图像可以是任意成像设备获取的二维图像或三维图像,进而通过所述图像的学习特征或变量基于机器学习训练神经网络。
可选地,所述属性信息包括目标区域的长短径信息,目标区域的体积信息,目标区域的投影面积信息,目标区域的位置信息,目标区域与相邻区域的关联信息,目标区域的性质信息以及目标区域对应的知识图谱关系信息的至少一个。
可选地,根据所述属性信息确定所述三维模型的目标视角,所述目标视角为用户观察所述三维模型时能快速观察扫描对象的较佳的观察角度,例如,在医生观察患者的三维模型时,所述目标视角可以是所述病灶区域最大投影面积对应的视线,还可以是所述病灶区域与所述病灶区域对应的血管组织对应的视线。可以理解的是,所述目标区域的属性不同,其所对应的目标视角也不同。
可选地,获取所述目标视角的方式可以是基于所述目标区域的投影面积信息确定最大投影面积,确定所述最大投影面积的法线方向,根据所述法线方向确定所述目标区域的预设视角。例如,在医生查阅患者的三维模型时,为了更清楚的观察病灶区域,向用户所述病灶区域对应的最大投影面积,以使医生快速看清所述病灶区域。
可选地,所述三维模型中还包括与所述目标区域相邻的相邻区域,获取所述目标视角的方式还可以是基于所述目标区域的位置信息确定所述目标区域与所述相邻区域的最短距离,进而将所述最短距离对应的法线方向确定所述目标区域的目标视角。例如,在医生查阅患者的三维模型时,需要评判非目标区域的重要器官或血管是否靠近所述病灶区域,从而在后续对所述病灶区域的治疗中,规避对非目标区域中的重要器官或血管的影响。
可以理解的是,所述目标视角的获取方式不限于上述两种方式,在实际操作中,所述终端存储有目标区域的属性信息与目标视角的映射关系,在用户输入三维模型后,根据所述三维模型的目标区域的属性信息以及所述映射关系自动为用户匹配多种不同的目标视角,并将各个所述目标视角对应的视角图像向用户展示。
可选地,在获取所述三维模型的目标视角后,确定所述各个目标视角的初始预设权重。可选地,各个目标视角对应的初始预设权重可以不同,也可以相同。
可选地,所述目标区域的属性信息与目标视角的映射关系中还包括各个目标视角的初始预设权重,可以理解的是,各个目标视角对应的初始预设权重的大小不同,所述初始预设权重用于表征所述目标视角的有用程度,初始预设权重越高,对应的有用程度越高,则表征所述目标视角的重要程度越高,反之,权重越低,对应的有用程度越低,则表征所述待目标视角的重要程度越低。在实际操作过程中,在生成所述三维模型中的目标区域对应的目标视角的同时,根据所述映射关系为所述目标视角匹配对应的初始预设权重。例如,在医生检查患者的三维模型中,为了更好的评估病灶以及确定治疗方案,在观察所述三维模型时,将病灶区域的最大投影面积的法线方向确定为较佳的观察视角,则将所述病灶区域的最大投影面积的法线方向对应的目标视角的初始预设权重设置为较高,当所述病灶区域的位置并不靠近血管或重要器官时,此时基于所述病灶区域与相邻区域的关联信息确定目标视角的方式对用户来说重要程度不高,则将基于所述目标区域与相邻区域的关联信息对应的初始预设权重设置为较低。
在具体操作中,在获取所述三维模型中的目标区域的属性信息,自动为所述三维模型匹配较佳的目标视角,以及根据当前目标区域的属性信息自动匹配各个所述目标视角的初始预设权重,进而根据所述初始预设权重为用户依次显示所述目标视角。
可选地,在获取所述三维模型的目标视角后,计算机根据所述目标视角形成所述目标视角对应的视角图像,进而根据所述初始预设权重向用户依次展示所述目标视角对应的视角图像,例如,医生在观察患者的三维模型时,在所述目标视角A为所述病灶区域最大投影面积对应的视线时,生成所述三维模型最大投影面积对应的视角图像,在所述目标视角B为所述病灶区域与相邻区域的关联信息对应的视线时,生成所述病灶区域与相邻区域的关联信息对应的视角图像。同时,通过计算机计算目标视角A对应的初始预设权重为100,所述目标视角B对应的初始预设权重为50,则将所述目标视角A对应的视角图像设置在所述目标视角B对应的视角图像之前,以使医生快速根据所述视角图像评估所述病灶区域。
可选地,所述视角图像可基于面绘制方式获取。
在本申请实施例中,通过三维模型中的目标区域的属性信息获取目标视角,同时为各个所述目标视角分配了初始预设权重,进而根据所述初始预设权重依次向用户展示所述目标视角对应的视角图像,以供用户方便查看所述三维模型,解决了用户在观察三维模型时需要手动多次调节三维模型的显示角度的问题,提升了用户评估所述三维模型对应的扫描对象的效率。
可选地,所述三维模型包括多个不同的观察视角,为了使用户更好的观察所述三维模型,避免漏看某些重要部位,导致对扫描对象的误判,基于此,参照图3,本申请第二实施例所述步骤S50包括:
步骤S51,比对各个所述目标视角对应的初始预设权重;
步骤S52,基于所述初始预设权重从大到小的顺序以预设展示方式展示各个目标视角对应的视角图像,并输出提示信息,其中,所述预设展示方式包括将所述视角图像与所述三维模型叠加展示。
在本实施例中,获取到各个所述目标视角的初始预设权重后,可以基于所述初始预设权重的大小,从大到小的排序在所述终端的显示界面上展示各个所述目标视角对应的视角图像,用户可以基于显示界面中目标视角的分布顺序可以确定哪些目标视角是有用视角,哪些可能是不重要视角。
可选地,所述预设展示方式包括将所述视角图像与所述三维模型叠加展示。具体地,将所述三维模型作为基准,将所述视角图像叠加在所述三维模型中。
可选地,在又一实施例中,在获取所述三维模型,将所述三维模型单独展示在显示界面中,以供用户观察所述三维模型。
可选地,在又一实施例中,在获取所述三维模型的目标区域后,根据所述目标区域对应的剖面图,将所述剖面图与所述三维模型叠加展示在所述显示界面中,以供用户根据所述剖面图快速诊断所述目标区域。
可以理解的是,所述预设展示方式包括但不限于上述三种方式。
可选地,本申请实施例中还包括向用户展示所述视角图像的同时,向用户输出提示信息,以供用户在浏览视角图像的同时,基于提示信息了解所述视角图像。
可选地,所述步骤S52包括:
根据所述视角图像确定提示信息,其中,所述提示信息包括针对所述视角图像的操作信息;
以预设方式输出所述提示信息,其中,所述预设方式包括但不限于语音以及标记。
在医生实际浏览所述视角图像时,需要根据所述视角图像规划针对所述三维模型的手术治疗路线,在规划手术治疗路线的过程中需要判断在实际手术过程需要规避的重要器官和/或血管,同时还需要注意规避在实际操作过程中哪些位置不方便操作。因此,医生需要花费长时间观察并思考。基于此,本发明实施例提出了一种输出提示信息的方法,医生根据所述提示信息更快的确定手术治疗路线。
可选地,所述提示信息包括但不限于需要规避的重要器官/或血管以及操作位置。例如,在医生观察患者的三维模型时,所述目标区域为肺部,肺部相邻位置遍布血管,医生后续的手术治疗过程中,需要规避所述血管,防止患者出现大出血。另外,医生还需要判断在对所述目标区域进行手术治疗时,哪些位置不方便操作,基于所述血管以及位置自动向用户输出提示信息,以使用户基于所述位置调整手术治疗路线。
可选地,在确定提示信息后,所述终端可将所述提示信息进行标记,具体标记的方式可以是圆圈、圆点,此处不做具体限定。另外,所述终端还可将所述提示信息进行语音播放,用户接收所述语音后,可获取所述提示信息。或者,所述终端还可以将所述提示信息进行标记的同时进行语音播放。
可以理解的是,所述预设方式包括但不限于上述三种方式。
本实施例根据初始预设权重的大小,从大到小的排序显示各个所述目标视角,也即初始预设权重低的目标视角排列在显示界面的后面,初始预设权重高的目标视角排列在显示界面的前边,便于用户从所述显示界面前面快速浏览所述视角图像,同时还向用户输出提示信息,以供用户根据所述提示信息更好地评估所述三维模型。
可选地,参照图4,基于第二实施例,本申请第三实施例中步骤S50还包括:
步骤S53,根据所述三维模型以及目标视角确定视角参数,其中,所述视角参数包括光圈,焦距以及景深的至少一个。
步骤S54,根据所述视角参数以及所述初始预设权重展示所述目标视角对应的视角图像.
在本申请实施例中,所述光圈用于控制进光量,所述终端获取所述目标区域的图像信息,判断所述目标区域对应的显示位置的图像亮度,在所述图像亮度不满足预设亮度阈值时,难以看清所述目标区域对应的显示位置的图像细节,增大或缩小所述光圈,使得目标区域对应的显示位置的图像亮度满足预设亮度阈值,从而用户可根据调节后的视角参数清楚地检测到所述三维模型中的目标区域的图像细节。
所述焦距用于控制三维模型与用户的距离,所述终端获取所述目标区域的图像信息后,判断所述目标区域与用户的距离是否不满足预设距离阈值,在所述距离不满足预设距离阈值时,增大或缩小所述焦距,使得用户可根据调节后的焦距清楚地检测搭配所述三维模型中的目标区域的图像细节。
所述景深用于控制所述三维模型焦点前后的范围内所呈现的清晰图像的距离,所述终端获取所述目标区域的图像信息后,根据所述图像信息自动调整景深参数。
可以理解的是,所述视角参数包括但不限于光圈、焦距以及景深。
在实际操作过程中,在用户上传所述三维模型至终端后,所述终端根据所述三维模型获取所述三维模型的目标区域以及所述目标区域的属性信息,根据所述属性信息为用户自动匹配目标视角,所述终端根据所述三维模型及目标视角自动获取视角参数,进而所述视角参数以及初始预设权重展示所述目标视角对应的视角图像,以使用户基于合适的距离、合适的亮度、合适的视角观察所述三维模型。
可选地,基于第一实施例,参照图5,根据初始预设权重展示所述目标视角对应的视角图像的步骤之后还包括:
步骤S60,记录并保存各个所述视角图像对应的当前浏览时长并获取各个所述时间图像对应的历史浏览时长;
步骤S70,根据所述当前浏览时长和/或历史浏览时长调整所述目标视角对应的权重;
步骤S80,根据所述调整后的权重确定所述目标视角对应的下一次预设权重,以使下一次展示所述目标视角对应的视角图像时,根据所述下一次预设权重以大到小的顺序展示所述目标视角对应的视角图像。
在本申请实施例,所述终端配置有计时装置,在用户基于自身需求浏览所述视角图像,记录并保存用户浏览所述视角图像的浏览时长,各个所述视角图像的浏览时长可以不同,也可以相同。
在一般情况下,用户实际浏览所述视角图像时,根据自身需求查看自身需求对应的视角图像,浏览时长长的话,代表所述视角图像重要程度较高,浏览时长短的话,代表所述视角图像重要程度较低。
可选地,在获取各个所述目标视角对应的视角图像对应的当前浏览时长后,根据所述当前浏览时长调整所述目标视角的权重。如将所述当前浏览时长最长的视角图像对应的目标视角的权重调至最高,将所述当前浏览时长最短的对应的目标视角对应的权重调至最高。例如视角图像A的当前浏览时长为10min,视角图像B的当前浏览时长为9min,视角图像C的当前浏览时长为3min,以此类推,确定所述当前浏览时长后,将所述视角图像A对应的目标视角的权重调整为100.视角图像B对应的目标视角的权重调整为90,将视角图像C对应的目标视角的权重调整为80。
可选地,在获取各个所述目标视角对应的视角图像对应的浏览时长后,同时获取各个所述视角图像对应的历史浏览时长,其中,所述历史浏览时长为各个所述视角图像在当前浏览之前所获取的历史浏览时长。基于此,各个所述根据所述浏览时长调整所述目标视角的权重的方式还可以是在所述终端记录并保存用户对各个所述视角图像的当前浏览时长,并基于所述历史浏览时长,通过将所述当前浏览时长与所述历史浏览时长叠加,进而基于叠加后的的浏览时长调整所述视角图像的权重。例如,视角图像A的历史浏览时长为1200s,视角图像B的历史浏览时长为2000s,当前浏览视角图像A的浏览时长为60s,当前浏览视角图像B的浏览时长为100s,所述视角图像A对应的叠加后的浏览时长为1290s,所述视角图像B对应的叠加后的浏览时长为2100s,基于所述视角图像B对应的叠加后的浏览时长大于所述视角图像A对应的叠加后的浏览时长,判断所述视角图像B对应的重要程度高,增加所述视角图像B对应的目标视角的权重并降低所述视角图像A对应的目标视角对应的权重,以使所述视角图像B的下一次预设权重大于所述视角图像A的下一次预设权重。
可以理解的是,本申请实施例基于所述浏览时长重新调整各个目标视角对应的权重,所述权重与所述初始预设权重可以相同,也可以不同。
可选地,根据所述调整后的权重确定所述目标视角对应的下一次预设权重,其中,所述下一次预设权重用于用户下一次观察所述三维模型时,将所述下一次预设权重迭代所述初始预设权重,以供所述终端根据所述下一次预设权重以大到小的顺序展示所述目标视角对应的视角图像。
可选地,在又一实施中,在用户浏览各个所述视角图像时,在记录并保存各个所述视角图像对应的当前浏览时长的同时,通过麦克风获取用户在浏览所述视角图像时输入的语音信息,将所述语音信息转换为对应的文字信息,根据所述文字信息对对应的视角图像进行标记。可以理解的是,标记过的视角图像的重要程度大于未标记过的视角图像的重要程度,文字信息越多的视角图像的重要程度越高。基于此,在记录并保存各个所述视角图像对应的当前浏览时长的同时,并根据对应的语音信息对所述语音信息对应的所述视角图像进行标记,进而根据所述标记以及对应的当前浏览时长调整所述视角图像对应的目标视角对应的权重。
可选地,在又一实施例中,在用户浏览各个所述视角图像时,记录并保存各个所述视角图像对应的当前浏览时长的同时,并根据用户输入的语音信息对所述语音信息对应的视频图像进行标记,同时还获取各个所述视角图像对应的历史浏览时长,进而根据所述当前浏览时长、所述标记以及所述历史浏览时长调整所述视角图像对应的目标视角对应的权重。
可以理解的是,所述调整所述目标视角对应的权重包括但不限于上述所述的几种方式。
在本申请实施例中,根据用户实际浏览所述视角图像时的浏览时长,重新调整所述目标视角对应的权重,以供用户下一次观察所述三维模型时,所述终端根据调整后地权重向用户展示所述目标视角对应的视角图像。
可选地,基于第一实施例,参照图6,根据初始预设权重展示所述目标视角对应的视角图像的步骤之后还包括:
步骤S90,记录并保存各个所述视角图像对应的当前调整操作并获取各个所述视角图像对应的历史调整操作;
步骤S100,根据所述当前调整操作和/或历史调整操作调整各个所述视角图像的视角参数;
步骤S110,根据所述调整后的视角参数确定下一次视角参数,以使下一次展示所述目标视角对应的视角图像时,根据所述下一次视角参数展示所述目标视角对应的视角图像。
在用户实际浏览过程中,用户根据自身需求调整所述视角图像,其中所述调整的方式包括但不限于将所述视角图像放大/缩小以及将提高或降低所述视角图像的图像亮度。
可选地,在获取用户的当前调整操作后,保存所述当前调整操作,并根据所述当前调整操作调整所述视角参数。例如,用户将所述视角图像放大时,可将视角参数的焦距调小,用户将所述视角图像的图像亮度调高时,将视角参数的光圈调大。
可选地,在又一实施例中,在记录并保存各个视角图像对应的当前调整操作时,还获取各个所述视角图像对应的历史调整操作,所述历史调整操作包括所述视角图像在当前调整操作之前的历史调整操作,进而根据所述当前调整操作以及所述历史调整操作调整各个所述视角图像的视角参数。
可选地,根据所述调整后的视角参数确定下一次视角参数,其中,所述下一次视角参数用于用户下一次观察所述三维模型时,将所述下一次视角参数迭代所述视角参数,以供所述终端根据所述下一次视角参数序展示所述目标视角对应的视角图像。
在本申请实施例中,通过记录并保存用户的调整操作,根据所述调整操作调整所述视角参数,并根据所述调整后的视角参数确定下一次视角参数,以供下一次展示所述视角图像时,自动根据所述下一次视角参数展示所述目标视角对应的视角图像,而无需用户再次手动调节视角参数,提高了用户浏览所述视角图像的效率。
此外,本发明实施例还提出一种可读存储介质,所述可读存储介质上存储有三维模型的显示控制程序,所述三维模型的显示控制程序被处理器执行如上述任一实施例中的三维模型的显示控制方法的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种三维模型的显示控制方法,其特征在于,所述三维模型的显示控制方法的步骤包括:
识别三维模型中的目标区域,其中,所述三维模型为影像通过预设神经网络算法进行三维建模确定的三维模型;
获取所述目标区域的属性信息,所述属性信息包括目标区域的长短径信息,目标区域的体积信息,目标区域的投影面积信息,目标区域的位置信息,目标区域与相邻区域的关联信息,目标区域的性质信息,以及目标区域对应的知识图谱关系信息中的至少一个;
根据所述属性信息与目标视角的映射关系确定所述三维模型的目标视角;
获取各个所述目标视角对应的初始预设权重;
比对各个所述目标视角对应的初始预设权重;
基于各个所述初始预设权重从大到小的顺序以预设展示方式展示各个目标视角对应的视角图像,并输出提示信息,其中,所述预设展示方式包括将所述视角图像与所述三维模型叠加展示;
记录并保存各个所述视角图像对应的当前浏览时长并获取各个所述视角图像对应的历史浏览时长;
根据所述当前浏览时长和/或历史浏览时长调整所述目标视角对应的权重;
根据所述调整后的权重确定所述目标视角对应的下一次预设权重,以使下一用户展示所述目标视角对应的视角图像时,根据所述下一次预设权重以大到小的顺序展示所述目标视角对应的视角图像。
2.如权利要求1所述的三维模型的显示控制方法,其特征在于,所述输出提示信息的步骤包括:
根据所述视角图像确定提示信息,其中,所述提示信息包括针对所述视角图像的操作信息;
以预设方式输出所述提示信息,其中,所述预设方式包括语音以及标记。
3.如权利要求1所述的三维模型的显示控制方法,其特征在于,所述根据所述预设权重展示所述目标视角对应的视角图像的步骤还包括:
根据所述三维模型以及目标视角确定视角参数,其中,所述视角参数包括光圈,焦距以及景深的至少一个;
根据所述视角参数以及所述初始预设权重展示所述目标视角对应的视角图像。
4.如权利要求3所述的三维模型的显示控制方法,其特征在于,所述根据所述视角参数以及所述初始预设权重展示所述目标视角对应的视角图像的步骤之后还包括:
记录并保存各个所述视角图像对应的当前调整操作并获取各个所述视角图像对应的历史调整操作;
根据所述当前调整操作和/或历史调整操作调整各个所述视角图像的视角参数;
根据所述调整后的视角参数确定下一次视角参数,以使下一次展示所述目标视角对应的视角图像时,根据所述下一次视角参数展示所述目标视角对应的视角图像。
5.如权利要求1所述的三维模型的显示控制方法,其特征在于,所述识别三维模型中的目标区域的步骤包括:
根据预设神经网络机器学习算法识别所述三维模型中的目标区域。
6.一种电子设备,其特征在于,所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的三维模型的显示控制程序,所述三维模型的显示控制程序被所述处理器执行时实现如权利要求1至5中任一项所述的三维模型的显示控制方法的步骤。
7.一种可读存储介质,其特征在于,所述可读存储介质上存储有三维模型的显示控制程序,所述三维模型的显示控制程序被处理器执行时实现如权利要求1至5中任一项所述的三维模型的显示控制方法的步骤。
CN202110934092.0A 2021-08-13 2021-08-13 三维模型的显示控制方法、电子设备及可读存储介质 Active CN113793422B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110934092.0A CN113793422B (zh) 2021-08-13 2021-08-13 三维模型的显示控制方法、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110934092.0A CN113793422B (zh) 2021-08-13 2021-08-13 三维模型的显示控制方法、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113793422A CN113793422A (zh) 2021-12-14
CN113793422B true CN113793422B (zh) 2024-02-23

Family

ID=79181699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110934092.0A Active CN113793422B (zh) 2021-08-13 2021-08-13 三维模型的显示控制方法、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113793422B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103124362A (zh) * 2012-10-09 2013-05-29 友达光电股份有限公司 多视角三维显示器
CN108765272A (zh) * 2018-05-31 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
CN109242978A (zh) * 2018-08-21 2019-01-18 百度在线网络技术(北京)有限公司 三维模型的视角调整方法和装置
CN109745062A (zh) * 2019-01-30 2019-05-14 腾讯科技(深圳)有限公司 Ct图像的生成方法、装置、设备及存储介质
CN109978640A (zh) * 2017-12-27 2019-07-05 广东欧珀移动通信有限公司 服饰试穿方法、装置、存储介质及移动终端
CN110472085A (zh) * 2019-07-19 2019-11-19 平安科技(深圳)有限公司 三维图像搜索方法、***、计算机设备和存储介质
CN111524232A (zh) * 2020-04-23 2020-08-11 网易(杭州)网络有限公司 三维建模方法、装置和服务器
CN111599022A (zh) * 2020-04-30 2020-08-28 北京字节跳动网络技术有限公司 房屋展示方法、装置和电子设备
CN111815761A (zh) * 2020-07-14 2020-10-23 杭州翔毅科技有限公司 三维立体展示方法、装置、设备及存储介质
CN111862106A (zh) * 2019-04-30 2020-10-30 曜科智能科技(上海)有限公司 基于光场语义的图像处理方法、计算机装置、及存储介质
CN113220251A (zh) * 2021-05-18 2021-08-06 北京达佳互联信息技术有限公司 物体显示方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127721B2 (en) * 2013-07-25 2018-11-13 Hover Inc. Method and system for displaying and navigating an optimal multi-dimensional building model
US20150035823A1 (en) * 2013-07-31 2015-02-05 Splunk Inc. Systems and Methods for Using a Three-Dimensional, First Person Display to Convey Data to a User

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103124362A (zh) * 2012-10-09 2013-05-29 友达光电股份有限公司 多视角三维显示器
CN109978640A (zh) * 2017-12-27 2019-07-05 广东欧珀移动通信有限公司 服饰试穿方法、装置、存储介质及移动终端
CN108765272A (zh) * 2018-05-31 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
CN109242978A (zh) * 2018-08-21 2019-01-18 百度在线网络技术(北京)有限公司 三维模型的视角调整方法和装置
CN109745062A (zh) * 2019-01-30 2019-05-14 腾讯科技(深圳)有限公司 Ct图像的生成方法、装置、设备及存储介质
CN111862106A (zh) * 2019-04-30 2020-10-30 曜科智能科技(上海)有限公司 基于光场语义的图像处理方法、计算机装置、及存储介质
CN110472085A (zh) * 2019-07-19 2019-11-19 平安科技(深圳)有限公司 三维图像搜索方法、***、计算机设备和存储介质
CN111524232A (zh) * 2020-04-23 2020-08-11 网易(杭州)网络有限公司 三维建模方法、装置和服务器
CN111599022A (zh) * 2020-04-30 2020-08-28 北京字节跳动网络技术有限公司 房屋展示方法、装置和电子设备
CN111815761A (zh) * 2020-07-14 2020-10-23 杭州翔毅科技有限公司 三维立体展示方法、装置、设备及存储介质
CN113220251A (zh) * 2021-05-18 2021-08-06 北京达佳互联信息技术有限公司 物体显示方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于序列图像的三维重建算法研究;彭科举;中国博士学位论文全文数据库信息科技辑(第03期);I138-32 *

Also Published As

Publication number Publication date
CN113793422A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN109567865B (zh) 一种面向非医护人员的智能超声诊断设备
CN112075914B (zh) 胶囊内窥镜检查***
US20200155114A1 (en) Ultrasound diagnosis apparatus for determining abnormality of fetal heart, and operating method thereof
CN109044398A (zh) 超声***成像方法、装置及计算机可读存储介质
JP6916876B2 (ja) 画像セレクタを有する超音波イメージング装置
CN112807025A (zh) 超声扫查引导方法、装置、***、计算机设备和存储介质
EP3595533B1 (en) Determining a guidance signal and a system for providing a guidance for an ultrasonic handheld transducer
CN113662594B (zh) 乳腺穿刺定位/活检方法、装置、计算机设备和存储介质
US10139614B2 (en) Microscope system and microscopy method using digital markers
JP2014178458A (ja) 携帯型医療画像表示装置
CN113133813A (zh) 基于穿刺过程的动态信息显示***及方法
WO2006060373A2 (en) Ultrasonic image and visualization aid
CN113793422B (zh) 三维模型的显示控制方法、电子设备及可读存储介质
JP2020039646A (ja) 超音波診断装置及びボリュームデータ取込方法
US11806192B2 (en) Guiding system and guiding method for ultrasound scanning operation
KR20100007819A (ko) 회복 기능을 포함하는 초음파 시스템 및 그의 동작 방법
JP5576041B2 (ja) 超音波診断装置
CN114830638A (zh) 用于具有空间记忆的远程图解的***和方法
US20200261053A1 (en) Method and apparatus for displaying ultrasound image and computer program product
JP2006280411A (ja) 眼底画像の解析方法及び眼底画像解析装置
US11779308B2 (en) Ultrasound diagnosis apparatus and method of managing ultrasound image obtained thereby
EP4197443A1 (en) X-ray image processing system, x-ray imaging system and method for processing an x-ray image
EP3851051B1 (en) Ultrasound diagnosis apparatus and operating method thereof
US20240046600A1 (en) Image processing apparatus, image processing system, image processing method, and image processing program
KR102169613B1 (ko) 사용자의 모션 정보에 기초하여 사용자 인터페이스(ui)를 변경시키는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant