CN114648615A - 目标对象交互式重现的控制方法、装置、设备及存储介质 - Google Patents

目标对象交互式重现的控制方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114648615A
CN114648615A CN202210566832.4A CN202210566832A CN114648615A CN 114648615 A CN114648615 A CN 114648615A CN 202210566832 A CN202210566832 A CN 202210566832A CN 114648615 A CN114648615 A CN 114648615A
Authority
CN
China
Prior art keywords
image information
target object
target
acquiring
control parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210566832.4A
Other languages
English (en)
Other versions
CN114648615B (zh
Inventor
陈政权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Zhongsheng Matrix Technology Development Co ltd
Original Assignee
Sichuan Zhongsheng Matrix Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN202210566832.4A priority Critical patent/CN114648615B/zh
Application filed by Sichuan Zhongsheng Matrix Technology Development Co ltd filed Critical Sichuan Zhongsheng Matrix Technology Development Co ltd
Publication of CN114648615A publication Critical patent/CN114648615A/zh
Application granted granted Critical
Publication of CN114648615B publication Critical patent/CN114648615B/zh
Priority to PCT/CN2022/137768 priority patent/WO2023226371A1/zh
Priority to AU2022368364A priority patent/AU2022368364A1/en
Priority to US18/149,678 priority patent/US20230386041A1/en
Priority to EP23151524.8A priority patent/EP4283441A1/en
Priority to KR1020230007538A priority patent/KR20230163921A/ko
Priority to JP2023057652A priority patent/JP7337428B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Library & Information Science (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明适用于三维图像技术领域，提供了一种目标对象交互式重现的控制方法、装置、设备及存储介质，方法包括：获取目标对象的控制指令，控制指令包括多个方向控制参数；根据多个方向控制参数的组合，获取目标对象的目标图像信息，目标图像信息通过预设的三维重现方法获取；基于方向控制参数和目标图像信息对目标对象进行交互式重现。通过获取用户根据交互需求输入的多个控制参数的任意组合，控制目标对象在多个方向、任意视角下，基于预设的三维重现方法获取的高精度的目标图像信息在任一时刻或在一段时间内的运动和重现，便于用户根据交互需求从任意视角静态或动态地全方位、高精度地观察和交互式控制目标对象，提升用户控制目标对象的体验感。

Description

目标对象交互式重现的控制方法、装置、设备及存储介质
技术领域
本发明涉及三维图像技术领域，尤其是涉及一种目标对象交互式重现的控制方法、装置、设备及存储介质。
背景技术
目前，三维数据的采集方法主要是人工根据对象的特征运用适宜的软硬件进行三维扫描和建模的技术，生成的数据以面(Surface)或点云(Point cloud)的方式呈现。但现有的三维扫描和建模技术，一方面对物体的质感、纹理、尺寸不能精确的采集，精度较低，导致三维呈现的效果较差；另一方面，三维呈现的方式较为单一，不便于360度全方位、高精度地交互式展现，难以满足用户的需求，导致用户体验感较差。
发明内容
本发明的目的是提供一种目标对象交互式重现的控制方法、装置、设备以及存储介质，方便用户交互式地控制目标对象进行全方位、高精度的重现，提升用户体验感。
第一方面，本发明提供一种目标对象交互式重现的控制方法，包括：
S1、获取目标对象的控制指令，所述控制指令包括多个方向控制参数；
S2、根据所述多个方向控制参数的组合，获取所述目标对象的目标图像信息，所述目标图像信息通过预设的三维重现方法获取；
S3、基于所述方向控制参数和所述目标图像信息对所述目标对象进行交互式重现。
进一步的，所述多个方向控制参数包括第一方向控制参数、第二方向控制参数以及时间控制参数。
进一步的，所述控制指令还包括视角控制参数。
进一步的，所述目标图像信息包括第一图像信息，所述第一图像信息通过预设的三维重现方法获取的步骤包括：
计算目标对象在多个视角下的视角边界；
获取所述视角边界内，目标对象在多个视角下的图像信息；
对图像信息进行边界处理，获得所述目标对象多视角的第一图像信息。
进一步的，所述目标图像信息还包括第二图像信息，所述第二图像信息通过预设的三维重现方法获取的步骤包括：
控制采集装置根据预设采集规则获取多个视角下的图像信息；
将同一视角下的图像信息进行切割和融合，得到融合图像信息；
获取多个视角下的融合图像信息，形成所述目标对象的第二图像信息。
进一步的，所述方法还包括：
对所述第一图像信息和/或第二图像信息建立属性编号，并根据所述属性编号将图像信息存储于预设位置。
进一步的，所述根据所述多个方向控制参数的组合，获取所述目标对象的目标图像信息包括：
基于所述第一方向控制参数和/或所述第二方向控制参数和/或视角控制参数以及所述时间控制参数获得属性编号；
根据所述属性编号从预设位置获取所述目标对象对应的目标图像信息。
进一步的，所述基于所述方向控制参数和所述目标图像信息对所述目标对象进行交互式重现包括：
基于所述第一方向控制参数、所述第二方向控制参数、所述视角控制参数和/或所述时间控制参数建立坐标系；
在所述坐标系中，使用所述目标图像信息对目标对象进行交互式重现。
第二方面，本发明提供一种目标对象交互式重现的控制装置，包括：
第一获取模块，用于获取目标对象的控制指令，所述控制指令包括多个方向控制参数；
第二获取模块，用于根据所述多个方向控制参数的组合，获取所述目标对象的目标图像信息，所述目标图像信息通过预设的三维重现方法获取；
重现模块，用于基于所述目标图像信息对所述目标对象进行交互式重现。
第三方面，本发明实施例提供一种计算机设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的目标对象交互式重现的控制方法中的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的目标对象交互式重现的控制方法中的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
（1）通过获取用户根据交互需求输入的多个控制参数的任意组合，可以控制目标对象在多个方向、任意视角下，基于预设的三维重现方法获取的高精度的目标图像信息在任一时刻或在一段时间内的运动和重现，便于用户根据交互需求从任意视角静态或动态地全方位、高精度地观察和交互式控制目标对象，从而提升用户控制目标对象的体验感。
（2）通过获取同一视角下采集装置和目标对象之间的采集距离，然后将采集距离按照预设数量进行分割，获取对应的切割图像信息，并将多个切割图像进行融合，使得获得的图像信息更加的清晰，较好地保留了目标对象的质感、纹理、尺寸等信息，提高了图像的精度，且所携带的噪音信息较少，有助于在交互式控制目标对象重现时更加顺畅、快速，进一步提升用户体验。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明可以应用于其中的示例性***架构图；
图2是本发明中的一种目标对象交互式重现的控制方法的一个实施例的流程图；
图3是本发明中的U-V-W坐标系的一个具体实施例的结构示意图；
图4是本发明中的U-V-W-P坐标系的一个具体实施例的结构示意图；
图5是本发明中的一种目标对象交互式重现的控制装置的一个实施例的结构示意图；
图6是本发明中的一种计算机设备的结构示意图。
图1中：101、手机终端，102、平板终端，103、电脑终端，104、网络，105、服务器；
图5中：501、第一获取模块，502、第二获取模块，503、重现模块；
图6中：61、存储器，62、处理器，63、网络接口。
具体实施方式
以下的说明提供了许多不同的实施例、或是例子，用来实施本发明的不同特征。以下特定例子所描述的元件和排列方式，仅用来精简的表达本发明，其仅作为例子，而并非用以限制本发明。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，图1是本发明可以应用于其中的示例性***架构图，***架构100可以包括终端设备、网络104和服务器105，终端设备可以包括手机终端101、平板终端102、电脑终端103。网络104用以在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用手机终端101、平板终端102、电脑终端103等终端设备通过网络104与服务器105交互，以接收或发送消息等。终端设备上可以安装有各种通讯客户端应用，例如网页浏览器、即时通信工具、客户端APP、命令行工具等，或者直接运行本发明的目标对象交互式重现的控制方法，在终端设备本地离线进行目标对象交互式重现的控制。
终端设备可以是具有显示屏并且支持网页浏览、APP的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备上显示的页面或APP提供支持的后台服务器。
需要说明的是，本申请实施例所提供的目标对象交互式重现的控制方法可以由服务器执行，也可以由终端设备本地离线执行，相应地，目标对象交互式重现的控制装置可以设置于服务器中，也可以设置于终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
如图2所示，图2是本发明的一种目标对象交互式重现的控制方法的一个实施例的流程图，上述目标对象交互式重现的控制方法包括：
S1、获取目标对象的控制指令，所述控制指令包括多个方向控制参数；
S2、根据所述多个方向控制参数的组合，获取所述目标对象的目标图像信息，所述目标图像信息通过预设的三维重现方法获取；
S3、基于所述方向控制参数和所述目标图像信息对所述目标对象进行交互式重现。
在本发明实施例中，用户可以通过如图1所示的***架构100中的终端设备输入上述目标对象的控制指令，然后在终端设备本地执行本发明的方法；或者通过在服务器105上执行本发明的方法并通过网络104接收终端设备发送的上述目标对象的控制指令。上述目标对象的控制指令包括多种形式，例如可以是特定格式的文件（如XML、JSON、HTML等），也可以是终端命令行输入的字符串命令，还可以是通过GUI（图形用户界面）获取的用户的点击、拖拉、滑动等操作指令，具体的目标对象的控制指令的形式和内容可以是根据用户的交互需求进行预设的规范，以便于后续根据规范进行相应解析，得到正确的控制指令内容。上述目标对象的控制指令包括多个方向控制参数，通过上述方向控制参数及其组合，获取目标对象的目标图像信息，并基于获取的目标图像信息控制上述目标对象在相应方向上的运动和重现。
进一步的，上述多个方向控制参数包括第一方向控制参数、第二方向控制参数以及时间控制参数。上述第一方向控制参数用于控制目标对象沿第一方向运动并展现第一方向上目标对象的目标图像信息，上述第二方向控制参数用于控制目标对象沿第二方向运动并展现第二方向上目标对象的目标图像信息，其中第一方向和第二方向可以是任意方向，也可以是目标对象在三维空间直角坐标系中的任意两个正交的方向，如XYZ坐标系中的X方向和Y方向、X方向和Z方向等，也可以是UVW坐标系中的U方向和V方向。为便于理解，本发明实施例中采用UVW坐标系来表示上述方向控制参数，且以W方向来表示其中的时间控制参数，时间控制参数用来控制目标对象在任一时刻或在一段时间内在上述第一方向和/或第二方向上的运动和重现。上述多个控制参数可以分别使用，例如单独使用U方向的控制参数可以获取U方向上的目标图像信息，并基于获取的U方向上的目标图像信息控制目标对象沿U方向的运动和重现，也可以组合使用，使用U方向和V方向的控制参数的组合可以获取对应的目标图像信息同时基于获取的目标图像信息控制目标对象沿U方向和/或V方向进行运动和重现，使用U方向控制参数或V方向控制参数以及时间控制参数的组合可以控制目标对象仅在某一时刻在U或V方向上基于获取的目标图像信息的静态重现，或者在某一时间段内在U或V方向上基于获取的目标图像信息的动态重现，从而便于用户根据需求从多个方向上静态或动态地观察目标对象以及目标对象的变化情况。
更进一步的，上述控制指令还包括视角控制参数，视角控制参数用于控制目标对象的任意重现视角。上述视角控制参数可以和上述第一方向控制参数、第二方向控制参数以及时间控制参数任意组合，控制目标对象在任意视角下，基于获取的目标图像信息在任一时刻或在一段时间内，在上述第一方向和/或第二方向上的运动和重现，从而更加便于用户根据需求从任意视角静态或动态地全方位观察目标对象以及目标对象的变化情况，提升用户交互式控制目标对象的体验感。
需要说明的是，上述目标图像信息包括第一图像信息，第一图像信息通过如下预设的三维重现方法获取，包括以下步骤：
计算目标对象在多个视角下的视角边界；
获取所述视角边界内，目标对象在多个视角下的图像信息；
对图像信息进行边界处理，获得所述目标对象多视角的第一图像信息。
在本发明实施例中，在使用采集装置采集目标对象的图像信息之前，为了减小采集目标对象时多余干扰信息的影响，需要计算目标对象的在不同视角下的视角边界，如，目标对象需要采集的视角包括：视角1、视角2、视角3、视角4、......视角N，当需要采集目标对象在视角1下的图像信息时，先获取目标对象在视角1下的显示图像，然后计算目标对象在视角1下的显示图像中目标对象的中心位置，然后计算以中心位置为圆心，对应的最大边界半径，将最大边界半径所形成的圆（或球）的边缘作为上述视角边界，通过这样形成的视角边界可以将目标对象全部容纳在对应的视角边界之内。为了更好地理解，假设目标对象在视角1下的显示图像为长方形，然后计算长方形的中心位置，将其中心位置作为圆心，计算以圆心为基础的最大边界半径（外接半径），即长方形的外接圆，将外接圆的边缘作为视角边界，使得长方形全部包含在外接圆内；目标对象在视角2下的显示的图像为三角形，然后计算三角形的中心位置，将其中心位置作为圆心，计算以圆心为基础的最大边界半径（外接半径），即三角形的外接圆，将外接圆的边缘作为视角边界，使得三角形全部包含在外接圆内；进一步的，比较目标对象在各个视角下的最大边界半径，选择其中最大边界半径最长的一个作为目标最大边界半径并将其形成的球形视角边界完全包裹目标对象，在此基础上获取各个视角下目标对象的图像信息；当然，也可以将其中任意两个或多个视角的最大边界半径联合形成的椭圆（或椭球）边缘作为视角边界，在此视角边界内获取目标对象各个视角下的图像信息；最后对获取的视角边界内目标对象多个视角下的图像信息进行边界处理，例如图像切割等，获得上述目标对象在对应视角下的第一图像信息。
值得说明的是，本发明实施例中对图像信息进行图像切割的步骤具体包括：先计算获取的图像信息中的目标区域，目标区域为目标对象的边界所形成的区域，具体可以采用现有的基于深度学习的图像分割等方法来计算目标区域，这里不具体展开；然后将不含目标对象的区域进行切割，获取仅包含目标对象的目标区域中的图像信息；接着切除同一视角下每一获取的图像信息中不含目标对象的区域，得到仅包含目标对象图像信息；按上述步骤可以获得多个视角下的仅包含目标对象的第一图像信息，大大减小了第一图像信息所携带的边界噪音信息量，使得目标对象重现的信息量大幅减小，节约了重现的图像加载时间，提高了控制目标对象重现的效率，从而进一步提升用户体验。当然，上述图像切割的步骤还进一步的包括将获取的第一图像信息分割成多个子图像信息，在控制目标对象重现的时候，再按需将子图像进行拼接，还原成对应的第一图像信息。
目标对象在不同视角下的显示的图像形状可能全部相同、也可能部分相同、还有可能是全部不同，其中不同的视角可以根据用户对目标对象不同的重现需求进行设定。
本发明实施例中的采集装置可以是相机、摄像头等实体，也可以是虚拟相机（虚拟相机可以用来采集虚拟目标对象的图像信息）等，只要能够采集目标对象的图像信息即可，在此不做具体的限制。
本发明实施例中在获取目标对象的图像信息之前，首先通过计算目标对象在对应视角下的显示图像的最大边界半径，以最大边界半径形成的边缘作为视角边界，将目标对象在对应视角下的显示图像容纳在视角边界中，使得在对目标对象的第一图像信息的采集中，将目标对象在对应视角下的视角边界多余的图像信息去除掉，使得仅获取需要的信息，避免其他信息对后续三维重现的影响，也减少了需要存储的图像信息量。
更进一步的，上述目标图像信息还包括第二图像信息，第二图像信息通过以下预设的三维重现方法获取，包括：
控制采集装置根据预设采集规则获取多个视角下的图像信息；
将同一视角下的图像信息进行切割和融合，得到融合图像信息；
获取多个视角下的融合图像信息，形成所述目标对象的第二图像信息。
在本发明实施例中，在计算出目标对象在不同视角下的显示图像中的视角边界后，使用采集装置根据预设的采集规则获取目标对象在对应视角下的视角边界内的图像信息，具体包括：首先，获取每个视角下目标对象和采集装置之间的采集距离，然后设置预设数量，该预设数量指的是将采集距离需要分割的数量，在对应视角下的每个分割点处获取对应的图像信息，和/或经过上述图像切割步骤切割后得到切割图像信息；最后，当同一视角下沿每个分割点处的切割图像信息获取完成后，将所有的切割图像信息按照融合规则进行融合，获得同一视角下的融合图像信息。如，假设有视角1、视角2、视角3、视角4、......视角N，首先获取目标对象在视角1下时，采集装置与该视角下目标对象的采集距离，然后设置需要切割的预设数量，如预设数量为3，并采集每个切割距离或切割点处的切割图像信息，即采集分别位于切割距离1的切割图像信息1、切割距离2的切割图像信息2、切割距离3的切割图像信息3，将切割图像1、切割图像信息2、切割图像信息3按照切割距离或者采集装置的深度等其他的规则进行融合，形成目标对象在视角1下的融合图像信息。
需要的说明的是，不同视角下的目标对象和采集装置之间的采集距离可能相同、可能部分相同、可能都不同；不同视角下的目标对象和采集装置之间的采集距离需要分割的预设数量可以相同、也可以部分相同、还可以都不相同；不同视角下的目标对象和采集装置之间的采集距离的分割方式不做限制，可以均匀分割，也可以在目标对象的图像信息较多的地方分割密集，在图像信息较少的地方分割稀疏。
在获取目标对象的图像信息时，可以采用规律的采集方式，也可以采用不规律的采集方式；可以采集同一时刻下，目标对象在不同视角下的图像信息，也可以采集一段时间内，目标对象在同一视角和/或不同视角下的图像信息。
通过获取同一视角下采集装置和目标对象之间的采集距离，然后将采集距离按照预设数量进行分割，获取对应的切割图像信息，并将多个切割图像进行融合，使得获得的第二图像信息更加的清晰，较好地保留了目标对象的质感、纹理、尺寸等信息，提高了图像的精度，且所携带的噪音信息较少，有助于在交互式控制目标对象重现时更加顺畅、快速，进一步提升用户体验。
更进一步的，在获取了目标对象的第一目标图像信息和/或第二目标图像信息后，对第一图像信息和/或第二图像信息建立属性编号，并根据属性编号将图像信息存储于预设位置。其中，属性编号可以根据上述采集图像信息时的视角信息、方向信息（如上述U、V方向，可以理解为上述视角边界形成的外接球的经纬度）和时间信息等建立，格式可设置如P-U-V-W，也可以是嵌套的格式P（W（U（V））），例如，视角1下采集的图像信息的属性编号可以编号为1-30-45-5、0001、a&b&c*d等，属性编号具体的建立规则在这里不作限制，只要能够表示当前时刻当前视角和/或方向的图像信息即可。然后根据建立的属性编号将获取的第一目标图像信息和/或第二目标图像信息存储于数据库或者内存等预设的位置，例如以属性编号为索引、图像信息为内容并一起存入关系型数据库（如MYSQL）的表中，也可以以属性编号为键、图像信息为值的键值对一起写入内存（如非关系数据库Redis）中，便于根据属性编号快速查找到对应的数据；对应嵌套格式的属性编号P（W（U（V））），还可以以嵌套文件夹的形式将对应的图像信息存储到文件***（如硬盘、磁盘等），如文件夹路径为P1/W1/U1/V1、P1/W2/U1/V2可分别存储P1视角下W1、W2两个时间的不同方向（或相同方向）的图像信息。
进一步的，可以根据上述多个方向控制参数的组合，获取目标对象的目标图像信息，然后基于方向控制参数和目标图像信息对目标对象进行三维重现，具体包括：
基于第一方向控制参数和/或第二方向控制参数和/或视角控制参数以及时间控制参数获得属性编号；
根据属性编号从预设位置获取目标对象对应的目标图像信息；
基于第一方向控制参数、第二方向控制参数、视角控制参数和/或时间控制参数建立坐标系；
在所述坐标系中，使用所述目标图像信息对目标对象进行三维重现。
在本发明实施例中，可以根据用户根据交互需求输入的控制指令中的第一方向控制参数（U或V）和/或第二方向控制参数（U或V）和/或视角控制参数（可以P表示）以及时间控制参数（W）组成具体的P-U-V-W属性编号，然后根据该属性编号从预存的位置获取对应的目标图像信息；并通常以目标对象的质心（也可以是其他地方，如上表面或下表面等）为坐标原点，建立如图3中所示的U-V-W的坐标系，然后加载根据U-V-W的属性编号获取的对应的目标图像信息到该坐标系中进行目标对象的静态或动态重现，从而便于用户根据需求从多个方向上静态或动态地观察目标对象以及目标对象的变化情况。
值得一提的是，还可以以目标对象的任一视角P为坐标原点，建立如图4中所示的U-V-W-P的坐标系，其中视角P可以在目标对象表面上，也可以不在目标对象表面上，如可以是上述视角边界的外接球上的点；然后加载根据U-V-W-P的属性编号获取的对应的目标图像信息到该坐标系中进行目标对象的静态或动态重现。通过视角控制参数P和上述第一方向控制参数U、第二方向控制参数V以及时间控制参数W的任意组合，可以控制目标对象在任意视角下，基于获取的高精度的上述目标图像信息在任一时刻或在一段时间内，在上述第一方向和/或第二方向上（U和/或V）的运动和重现，更加便于用户根据需求从任意视角静态或动态地全方位、高精度地观察目标对象以及交互式控制目标对象，从而提升用户交互式控制目标对象的体验感。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）等非易失性存储介质，或随机存储记忆体（Random Access Memory，RAM）等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图5，作为对上述图2所示方法的实现，本申请提供了一种目标对象交互式重现的控制装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该目标对象交互式重现的控制装置具体可以应用于各种电子设备中。
如图5所示，本实施例所述的目标对象交互式重现的控制装置500包括：
第一获取模块501，用于获取目标对象的控制指令，所述控制指令包括多个方向控制参数；
第二获取模块502，用于根据所述多个方向控制参数的组合，获取所述目标对象的目标图像信息，所述目标图像信息通过预设的三维重现方法获取；
重现模块503，用于基于所述目标图像信息对所述目标对象进行交互式重现。
本发明实施例提供的目标对象交互式重现的控制装置能够实现图2的目标对象交互式重现的控制方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。
为解决上述技术问题，本发明实施例还提供一种计算机设备。具体请参阅图6，图6为本发明实施例的计算机设备的基本结构示意图。
所述计算机设备6包括通过***总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是，图中仅示出了具有组件61-63的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器 (Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器61可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器61也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（FlashCard）等。当然，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器61通常用于存储安装于所述计算机设备6的操作***和各类应用软件，例如目标对象交互式重现的控制方法的程序代码等。此外，所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器62在一些实施例中可以是中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器62用于运行所述存储器61中存储的程序代码或者处理数据，例如运行所述目标对象交互式重现的控制方法的程序代码。
所述网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有目标对象交互式重现的控制程序，所述目标对象交互式重现的控制程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的目标对象交互式重现的控制成方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本申请各个实施例所述的方法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种目标对象交互式重现的控制方法，其特征在于，包括：
S1、获取目标对象的控制指令，所述控制指令包括多个方向控制参数；
S2、根据所述多个方向控制参数的组合，获取所述目标对象的目标图像信息，所述目标图像信息通过预设的三维重现方法获取；
S3、基于所述方向控制参数和所述目标图像信息对所述目标对象进行交互式重现。
2.如权利要求1所述的方法，其特征在于，所述多个方向控制参数包括第一方向控制参数、第二方向控制参数以及时间控制参数。
3.如权利要求2所述的方法，其特征在于，所述控制指令还包括视角控制参数。
4.如权利要求3所述的方法，其特征在于，所述目标图像信息包括第一图像信息，所述第一图像信息通过预设的三维重现方法获取的步骤包括：
计算目标对象在多个视角下的视角边界；
获取所述视角边界内，目标对象在多个视角下的图像信息；
对图像信息进行边界处理，获得所述目标对象多视角的第一图像信息。
5.如权利要求4所述的方法，其特征在于，所述目标图像信息还包括第二图像信息，所述第二图像信息通过预设的三维重现方法获取的步骤包括：
控制采集装置根据预设采集规则获取多个视角下的图像信息；
将同一视角下的图像信息进行切割和融合，得到融合图像信息；
获取多个视角下的融合图像信息，形成所述目标对象的第二图像信息。
6.如权利要求5所述的方法，其特征在于，还包括：
对所述第一图像信息和/或第二图像信息建立属性编号，并根据所述属性编号将图像信息存储于预设位置。
7.如权利要求6所述的方法，其特征在于，所述根据所述多个方向控制参数的组合，获取所述目标对象的目标图像信息包括：
基于所述第一方向控制参数和/或所述第二方向控制参数和/或视角控制参数以及所述时间控制参数获得属性编号；
根据所述属性编号从预设位置获取所述目标对象对应的目标图像信息。
8.如权利要求7所述的方法，其特征在于，所述基于所述方向控制参数和所述目标图像信息对所述目标对象进行交互式重现包括：
基于所述第一方向控制参数、所述第二方向控制参数、所述视角控制参数和/或所述时间控制参数建立坐标系；
在所述坐标系中，使用所述目标图像信息对目标对象进行交互式重现。
9.一种目标对象交互式重现的控制装置，其特征在于，包括：
第一获取模块，用于获取目标对象的控制指令，所述控制指令包括多个方向控制参数；
第二获取模块，用于根据所述多个方向控制参数的组合，获取所述目标对象的目标图像信息，所述目标图像信息通过预设的三维重现方法获取；
重现模块，用于基于所述目标图像信息对所述目标对象进行交互式重现。
10.一种计算机设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的目标对象交互式重现的控制方法中的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的目标对象交互式重现的控制方法中的步骤。
CN202210566832.4A 2022-05-24 2022-05-24 目标对象交互式重现的控制方法、装置、设备及存储介质 Active CN114648615B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN202210566832.4A CN114648615B (zh) 2022-05-24 2022-05-24 目标对象交互式重现的控制方法、装置、设备及存储介质
PCT/CN2022/137768 WO2023226371A1 (zh) 2022-05-24 2022-12-09 目标对象交互式重现的控制方法、装置、设备及存储介质
AU2022368364A AU2022368364A1 (en) 2022-05-24 2022-12-09 Control method, device, equipment and storage medium for interactive reproduction of target object
US18/149,678 US20230386041A1 (en) 2022-05-24 2023-01-04 Control Method, Device, Equipment and Storage Medium for Interactive Reproduction of Target Object
EP23151524.8A EP4283441A1 (en) 2022-05-24 2023-01-13 Control method, device, equipment and storage medium for interactive reproduction of target object
KR1020230007538A KR20230163921A (ko) 2022-05-24 2023-01-18 목표 대상의 상호작용적 재구성을 위한 제어 방법, 장치, 기기 및 저장 매체
JP2023057652A JP7337428B1 (ja) 2022-05-24 2023-03-31 対象物の双方向な三次元表現の制御方法、制御装置及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210566832.4A CN114648615B (zh) 2022-05-24 2022-05-24 目标对象交互式重现的控制方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114648615A true CN114648615A (zh) 2022-06-21
CN114648615B CN114648615B (zh) 2022-07-29

Family

ID=81997602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210566832.4A Active CN114648615B (zh) 2022-05-24 2022-05-24 目标对象交互式重现的控制方法、装置、设备及存储介质

Country Status (7)

Country Link
US (1) US20230386041A1 (zh)
EP (1) EP4283441A1 (zh)
JP (1) JP7337428B1 (zh)
KR (1) KR20230163921A (zh)
CN (1) CN114648615B (zh)
AU (1) AU2022368364A1 (zh)
WO (1) WO2023226371A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115225884A (zh) * 2022-08-30 2022-10-21 四川中绳矩阵技术发展有限公司 一种图像和声音的交互式重现方法、***、设备和介质
WO2023226371A1 (zh) * 2022-05-24 2023-11-30 四川中绳矩阵技术发展有限公司 目标对象交互式重现的控制方法、装置、设备及存储介质
WO2024037643A1 (zh) * 2022-08-19 2024-02-22 北京字跳网络技术有限公司 图像显示方法、图像处理方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881886A (zh) * 2018-05-31 2018-11-23 成都中绳科技有限公司 一种基于相机矩阵技术实现在显示端进行大数据无损交互应用的方法
US20190138786A1 (en) * 2017-06-06 2019-05-09 Sightline Innovation Inc. System and method for identification and classification of objects
CN110473285A (zh) * 2019-07-30 2019-11-19 上海联影智能医疗科技有限公司 图像重构方法、装置、计算机设备和存储介质
US20200168138A1 (en) * 2018-11-22 2020-05-28 Electronics And Telecommunications Research Institute Hologram content generation apparatus, integrated hologram content control system having the same, and method for operating the hologram content generation apparatus
CN113269864A (zh) * 2020-02-14 2021-08-17 福州非圆网络科技有限公司 一种多视角三维重建装置及方法
CN113784148A (zh) * 2020-06-10 2021-12-10 阿里巴巴集团控股有限公司 数据处理方法、***、相关设备和存储介质
WO2022000755A1 (zh) * 2020-06-29 2022-01-06 济南浪潮高新科技投资发展有限公司 机器人及其行动控制方法、装置和计算机可读存储介质
CN114049674A (zh) * 2021-11-24 2022-02-15 华中科技大学鄂州工业技术研究院 一种三维人脸重建方法、装置及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6290754B2 (ja) * 2014-09-11 2018-03-07 株式会社パスコ 仮想空間表示装置、仮想空間表示方法及びプログラム
EP3220357A3 (de) * 2016-03-15 2018-01-10 Siemens Healthcare GmbH Modellhaftes erzeugen und darstellen von dreidimensionalen objekten
US20180143693A1 (en) * 2016-11-21 2018-05-24 David J. Calabrese Virtual object manipulation
JP7200678B2 (ja) * 2017-02-20 2023-01-10 ソニーグループ株式会社 画像処理装置および画像処理方法
CN111696193B (zh) * 2020-05-06 2023-08-25 广东康云科技有限公司 基于三维场景的物联网控制方法、***、装置及存储介质
JP7458889B2 (ja) * 2020-05-08 2024-04-01 キヤノン株式会社 画像表示装置、制御方法、およびプログラム
CN112291550A (zh) * 2020-10-29 2021-01-29 苏州浪潮智能科技有限公司 自由视点图像生成方法、装置、***及可读存储介质
CN114648615B (zh) * 2022-05-24 2022-07-29 四川中绳矩阵技术发展有限公司 目标对象交互式重现的控制方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190138786A1 (en) * 2017-06-06 2019-05-09 Sightline Innovation Inc. System and method for identification and classification of objects
CN108881886A (zh) * 2018-05-31 2018-11-23 成都中绳科技有限公司 一种基于相机矩阵技术实现在显示端进行大数据无损交互应用的方法
US20200168138A1 (en) * 2018-11-22 2020-05-28 Electronics And Telecommunications Research Institute Hologram content generation apparatus, integrated hologram content control system having the same, and method for operating the hologram content generation apparatus
CN110473285A (zh) * 2019-07-30 2019-11-19 上海联影智能医疗科技有限公司 图像重构方法、装置、计算机设备和存储介质
CN113269864A (zh) * 2020-02-14 2021-08-17 福州非圆网络科技有限公司 一种多视角三维重建装置及方法
CN113784148A (zh) * 2020-06-10 2021-12-10 阿里巴巴集团控股有限公司 数据处理方法、***、相关设备和存储介质
WO2021249414A1 (zh) * 2020-06-10 2021-12-16 阿里巴巴集团控股有限公司 数据处理方法、***、相关设备和存储介质
WO2022000755A1 (zh) * 2020-06-29 2022-01-06 济南浪潮高新科技投资发展有限公司 机器人及其行动控制方法、装置和计算机可读存储介质
CN114049674A (zh) * 2021-11-24 2022-02-15 华中科技大学鄂州工业技术研究院 一种三维人脸重建方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
崔波等: "自适应显示界面的三维交互图像仿真分析", 《计算机仿真》 *
闫志远等: "三维虚拟摄像机的建模及其漫游控制方法", 《高技术通讯》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023226371A1 (zh) * 2022-05-24 2023-11-30 四川中绳矩阵技术发展有限公司 目标对象交互式重现的控制方法、装置、设备及存储介质
WO2024037643A1 (zh) * 2022-08-19 2024-02-22 北京字跳网络技术有限公司 图像显示方法、图像处理方法、装置、设备及介质
CN115225884A (zh) * 2022-08-30 2022-10-21 四川中绳矩阵技术发展有限公司 一种图像和声音的交互式重现方法、***、设备和介质

Also Published As

Publication number Publication date
EP4283441A1 (en) 2023-11-29
US20230386041A1 (en) 2023-11-30
AU2022368364A1 (en) 2023-12-14
WO2023226371A1 (zh) 2023-11-30
JP7337428B1 (ja) 2023-09-04
JP2023172893A (ja) 2023-12-06
CN114648615B (zh) 2022-07-29
KR20230163921A (ko) 2023-12-01

Similar Documents

Publication Publication Date Title
CN114648615B (zh) 目标对象交互式重现的控制方法、装置、设备及存储介质
CN106846497B (zh) 应用于终端的呈现三维地图的方法和装置
CN106997613B (zh) 根据2d图像的3d模型生成
CN105637559A (zh) 使用深度传感器的结构建模
CN107329671B (zh) 模型显示方法和装置
US11039061B2 (en) Content assistance in a three-dimensional environment
CN112733641B (zh) 物体尺寸测量方法、装置、设备及存储介质
WO2020046450A1 (en) Enhanced techniques for merging content from separate computing devices
JP2015079354A (ja) 仮想現実を用いた３次元地図表示システム
EP3970124A1 (en) Normalization of objects for a 3d environment within an authoring application
US9646362B2 (en) Algorithm for improved zooming in data visualization components
CN107967709B (zh) 通过使用透视图或者传送的改进的对象涂绘
CN115619904A (zh) 图像处理方法、装置及设备
CN114797109A (zh) 对象编辑方法、装置、电子设备和存储介质
CN114564268A (zh) 一种设备管理方法、装置、电子设备和存储介质
CN113126863A (zh) 对象选择实现方法及装置、存储介质及电子设备
CN114820575B (zh) 图像验证方法、装置、计算机设备及存储介质
CN106569785B (zh) 一种作业表单生成方法及设备
CN115049804B (zh) 虚拟场景的编辑方法、装置、设备及介质
US20220254097A1 (en) Digital Image Editing using a Depth-Aware System
CN114820908B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
US11694376B2 (en) Intuitive 3D transformations for 2D graphics
CN113835791B (zh) 呈现视图组件的层级关系的方法和装置
CN118069487A (zh) 页面展示方法、装置、设备及存储介质
CN115509405A (zh) 操作图标的控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant