CN112184857A - 一种数据生成*** - Google Patents
一种数据生成*** Download PDFInfo
- Publication number
- CN112184857A CN112184857A CN202010819135.6A CN202010819135A CN112184857A CN 112184857 A CN112184857 A CN 112184857A CN 202010819135 A CN202010819135 A CN 202010819135A CN 112184857 A CN112184857 A CN 112184857A
- Authority
- CN
- China
- Prior art keywords
- data
- dimensional scene
- entity
- simulation
- data generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种数据生成***,包括终端、服务器和数据库;数据生成***基于实体‑组件‑***架构组织三维场景数据、模拟数据和结构化数据;数据库中存储有基于实体和组件组织的三维场景数据;终端通过三维场景编辑接口采集用户自定义的三维场景条件,通过基于***提供的处理指令编辑接口采集用户编辑的处理指令,并将三维场景条件和处理指令发送至服务器;服务器根据三维场景数据生成满足三维场景条件的三维场景图,然后根据处理指令对三维场景图进行调整,根据处理指令基于三维场景图进行传感器数据模拟生成模拟数据或/和直接输出结构化数据并存储。该数据生成***能够大量产生质量高、标注准确的三维数据,且成本低。
Description
技术领域
本发明属于计算机图形学、计算机视觉和仿真模拟领域,具体涉及一种数据生成***。
背景技术
AI是当代最强大的技术力量。第一阶段人工智能将实现全新的软件自动化水平,从而帮助诸多行业提高生产力;其后,人工智能与传感器和执行器相结合,将成为新一代自主机器的核心。
在人工智能、自动驾驶、机器人等领域,产品的最终质量取决于训练数据的质量和规模。故工业界、学术界都对各自领域的高质量数据有着极大需求。近几年,蓬勃发展的无人自动驾驶领域,业界已经在大量使用合成的仿真数据进行训练。大量使用仿真数据,不断提升了训练的效率也避免了安全等问题。由此可见,人工智能训练数据生产行业,是一个门槛较高、影响深远、前景广阔的市场。
随着人工智能、室内外机器人及场景数据采集设备的快速发展,工业界对于三维场景及环境的模拟仿真和数据生成需求已经越来越广泛。目前,Facebook AI Habitat兼容几个三维场景数据集,包括MatterPort3D,Gibson和SUNCG,通过这几个三维场景数据集,虽然可以比现实世界快数百倍地运行模拟世界。但是这些三维场景数据集并不能满足需求。
目前三维场景数据生产处于初级阶段,具有以下缺点:
缺点一:数据采集及仿真成本高。物理真实世界的三维数据的采集需要在特定环境中采用特定采集设备并经过特定的人工操作。受特定采集设备成本,政策和法律监管以及人力成本等因素影响,采集真实三维数据成本昂贵,为解决采集真实三维数据成本高问题,可以构建仿真***,利用仿真***合成虚拟三维数据,但是仿真***的构建仍然需要耗费大量的成本。
缺点二:数据质量低。受采集设备、受采集环境、采集操作流程的差异影响,采集的真实三维数据差异大,不规整,且不同时期不同企业的数据集规范也可能不一样,导致一个个数据孤岛的形成,整合难度很大。
缺点三:数据标注成本高且标注精度低。真实三维数据和虚拟三维数据均需要大量人力进行语义信息标注,因而数据标注成本高;由于数据质量低和专业深度大,人工标注的准确度难以保证。
缺点四:数据生产能力有限。目前三维数据仍然采用真实物理环境中进行采集和分析,受采集设备及物理原理限制,大量现象和场景都无法通过已有采集设备采集。
发明内容
本发明的目的是提供一种数据生成***,该数据生成***能够根据使用者需求大量产生质量高、标注准确的三维数据,且成本低。
为实现上述发明目的,本发明实施例提供了一种数据生成***,包括任意两者互相通信的终端、服务器和数据库;所述数据生成***基于实体-组件-***架构组织三维场景数据、模拟数据和结构化数据;
所述数据库中存储有基于实体-组件-***架构中实体和组件组织的三维场景数据;
所述终端通过三维场景编辑接口采集用户自定义的三维场景条件,通过基于实体-组件-***架构中***提供的处理指令编辑接口采集用户编辑的处理指令,并将三维场景条件和处理指令发送至所述服务器;
所述服务器根据三维场景数据生成满足三维场景条件的三维场景图,然后根据处理指令对三维场景图进行调整,根据处理指令基于三维场景图进行传感器数据模拟生成模拟数据或/和直接输出结构化数据并存储。
本发明具有的有益效果至少包括:
(1)本发明实施例提供的数据生成***带有与真实场景对应的三维场景数据,该些三维场景数据具有精确的语义和类别,因此模拟数据和结构化数据的采集成本低、数据标注成本低;
(2)本发明实施例提供的数据生成***采用实体-组件-***(Entity-Component-System,ECS)架构中的EC组织和维护三维场景数据,方便对三维场景数据管理,采用ECS架构中的S为用户提供可自定义编辑处理命令的接口,同时执行用户编辑的处理命令,生成满足用户需求的模拟数据和结构化数据,因此模拟数据和结构化数据标注精度高、产生能力高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动前提下,还可以根据这些附图获得其他附图。
图1是本发明提供的数据生成***第一实施例的结构示意图;
图2是本发明提供的数据库中采用实体和组件组织三维场景数据的示意图;
图3是本发明提供的数据生成***第二实施例的结构示意图;
图4是本发明提供的数据生成***第三实施例的结构示意图;
图5是本发明提供的数据生成***第四实施例的结构示意图;
图6是本发明提供的数据生成***第五实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。
为解决人工智能及场景认知任务中数据采集成本高、数据标注成本高、数据标注精度低、数据产生能力有限等问题。实施例提供的一种数据生成***。图1是本发明提供的数据生成***第一实施例的结构示意图。如图1所示,实施例提供的一种数据生成***100包括终端101、服务器102和数据库103。终端101分别与服务器102和数据库103通信,服务器103还与数据库103通信。具体通信内容包括数据的传输和命令的传输,具体通信方式可以4G、5G蜂窝网,局域网等,通信网络不受限制。
该数据生成***100基于实体-组件-***(ECS)架构组织三维场景数据、模拟数据和结构化数据。ECS架构的模式遵循组合优于继承原则。最开始用于游戏开发中,每一个基本单元都是一个实体,每个实体又由一个或多个组件构成,每个组件仅仅包含代表组件特性的数据(即在组件中没有任何方法)。例如:移动相关的组件MoveComponent包含速度、位置、朝向等属性,一旦一个实体拥有了MoveComponent组件便可以认为它拥有了移动的能力,***便是来处理拥有一个或多个相同组件的实体集合的工具,其只拥有行为(即在***中没有任何数据),在这个例子中,处理移动的***仅仅关心拥有移动能力的实体,它会遍历所有拥有MoveComponent组件的实体,并根据相关的数据(速度、位置、朝向等),更新实体的位置。实体与组件是一个一对多的关系,实体拥有怎样的能力,完全是取决于其拥有哪些组件,通过动态添加或删除组件,可以在运行时改变实体的行为。
本实施例提供的实体-组件-***架构中,实体对应三维场景中的实体对象;
组件对应用来描述实体对象的实体属性,所述实体属性包括实体对象位置信息、实体对象语义信息、实体对象之间的关系信息、实体对象的专有属性信息;所述实体对象的专有属性信息包括实体对象的材质信息、风格信息;
***对应为终端提供用于编写处理指令的处理指令编辑接口和用户编辑的处理指令。
三维场景是指通过计算机三维图形显示,可以在屏幕上观察到一个三维的仿真环境,仿真环境中的所有物体都是由三维数据描述的,它们共同构成了三维场景。实体对象是指三维场景中的具体物体,包括具有固定形状的物体,如建筑物、车、道路等,还包括不具有固定形状的物体,如光、空气、水等。在家装设计领域对应的室内三维场景中,实体对象包括家具实体、相机实体、光实体以及建筑结构实体等。
一个三维场景由多个实体对象组成,每个实体对象又由多个组件组成,组件用来描述实体对象的实体属性,该实体属性包括实体对象空间信息,如实体对象的位置、平移、缩放等,拥有包含实体对象空间信息的组件的实体对象可以被执行平移、缩放操作。该实体属性还包括实体对象语义信息,该实体对象语义信息用于描述实体对象的语义,一般用作实体对象的标签。该实体属性还包括实体对象之间的关系信息,该关系信息用于描述实体对象之间的所属关系,连接关系等。一些特定的实体对象除了具有以上的实体对象空间信息、实体对象语义信息、实体对象之间的关系信息等公用实体属性外,还包括一些独有的实体属性,即该实体属性还包括实体对象的专有属性信息。该专有属性信息可以包括实体对象的材质信息、风格信息等。例如对于家居实体对象,具有一些材质信息,还具有一些风格信息,这些均属于家具实体对象具有,但是光实体对象和相机实体对象不具有的实体属性。
根据实体属性可以定义不同种类的组件,每种组件对应一种实体属性,这样,每个实体均可以通过多个不同种类的组件进行描述,这样就通过实体组织管理了一个三维场景对应的数据。
图2是本发明提供的数据库中采用实体和组件组织三维场景数据的示意图。如图2所示,家具实体FurnitureEntity、相机实体CameraEntity、光实体Entitylight以及建筑结构实体ArchEntity,这些实体均由空间组件TransformComponents和语义组件SemanticComponents组成,通过处理指定对这些组件进行处理后,处理后的结果同步到ECS架构中。
***主要为终端提供用于编写处理指令的处理指令编辑接口,用户可以通过该处理指令编辑接口采用DSL(领域特定语言)编写用于数据处理、数据增强以及格式转换的处理命令。服务器执行这些处理命令,以生成满足用户需求的模拟数据和结构化数据。
数据库103为数据生成提供数据基础,存储有基于实体-组件-***架构中实体和组件组织的三维场景数据。这些三维场景数据与真实场景相对应,主要来自于在线平台,例如来自于家装平台。由于这些在线平台的三维场景数据已经是一些完整的数据,自带精确的语义及类别表达,标注精度高,且直接从在线平台获取,标注成本低,采集成本低。
终端101通过三维场景编辑接口采集用户自定义的三维场景条件,通过基于实体-组件-***架构中***提供的处理指令编辑接口采集用户编辑的处理指令,并将三维场景条件和处理指令发送至服务器102;服务器102根据三维场景数据生成满足三维场景条件的三维场景图,然后根据处理指令对三维场景图进行调整,根据处理指令基于三维场景图进行传感器数据模拟生成模拟数据或/和直接输出结构化数据并存储。终端101提供的三维场景编辑接口为用户提供了自定义的编写功能,用户可通过该三维场景编辑接口采用DSL定义自己需要的三维场景条件,该三维场景条件包含场景类型,场景尺寸,场景包含的实体对象及其属性等。终端101同时还为用户提供用于编辑处理三维场景图处理指令的处理指令编辑接口,用户通过该处理指令编辑接口采用DSL编辑三维场景图的调整,数据的生成和后处理的处理指令。
服务器102主要是处理指令的执行者,主要根据三维场景条件生成三维场景图和依据处理指令,基于三维场景图生成满足用户需求的模拟数据和结构化数据。
图3所示的是本发明提供的数据生成***第二实施例的结构示意图。如图3所示,在另外一个实施方式中,第二实施例的数据生成***300中,所述终端101为用户提供三维场景编辑接口301,并采集用户通过三维场景编辑接口自定义的三维场景条件,该三维场景条件包含场景类型,场景尺寸,场景包含的实体对象及其属性;
所述服务器102包括场景图生成模块302,所述场景图生成模块302接收并解析三维场景条件,根据解析结果编写查询语句,依据查询语句对数据库中的三维场景数据进行筛选,获得满足三维场景条件的三维场景图。
该数据生成***具有用户自定义三维场景功能,用户通过终端101的三维场景编辑接口301采用DSL定义符合个人需求的三维场景条件,具体可以定义三维场景的类型,例如是客厅、厨房、卧室、卫生间等,还可以定义三维场景的尺寸,还可以定义三维场景包含的实体对象及其属性,实体对象属性包括实体对象类型和实体对象之间关系等,例如,沙发靠墙摆放,且为白色。举例来说,三维场景条件可以为场景有厨房,且厨房中必须有冰箱。再如为了增强家居机器人针对木制家具的视觉避障能力,三维场景条件可以为房间中包含木制家具的场景。
数据库中的三维场景数据通过实体和组件的构建进行组织管理,根据该实体和组件能为每个场景构建一个三维场景图。基于此,服务器102中的场景图生成模块302根据这些三维场景条件将对场景的查询转化为对实体对象的查询,将三维场景条件的解析结果抽象为查询语句,然后依据查询语句对数据库中的实体对象进行筛选,得到三维场景图或生成三维场景图。
在一个实施方式中,所述根据解析结果编写查询语句包括:
查询语句一:指定实体对象和实体对象类型,例如,自然描述为选择一个客厅,转换为查询语句为:实体对象为房间,实体对象类型为客厅;
查询语句二:指定连接头实体对象和尾实体对象的关系,头实体对象类型、尾实体对象类型,例如,针对自然语言描述为客餐厅内有沙发,转换为查询语句为:头实体对象为房间,尾实体对象为家具,关系为房间到家具,房间类型为客餐厅,家具类目为沙发组合;
这样利用上述两个查询语句,即可以将所有三维场景条件转化为对实体的查询,然后再对数据库中的所有实体进行遍历筛选,具体地,所述依据查询语句对数据库中的三维场景数据进行筛选包括:
对三维场景数据中所有实体对象进行拓扑排序,针对每个实体对象执行查询语句,以获得满足查询语句的三维场景图。
基于大数据和图数据库的能力,通过将三维场景条件逐一转换成为相应数据库的查询语句,利用分布式大数据能力完成场景的筛选和检索,大大提升了筛选的速率和准确性。
当筛选不能获得满足三维场景条件的三维场景图时,或者需要生成自定义的三维场景图时,可以为用户智能生成三维场景图。因此,在另外一个实施方式中,所述服务器的场景图生成模块302还根据三维场景条件中户型条件采用查询语句对数据库中的三维场景数据进行筛选,获得满足三维场景条件的户型图;
根据三维场景条件中家具条件,在所述户型图上设计满足家具条件的家具以形成三维场景图。
该数据生成***中,场景图生成模块302具有一些智能设计算法,利用这些是智能设计算法在给定的三维户型下基于给定家具模型列表,生成完整的三维场景,以满足自动生成目的。如文献1~3公开的智能设计算法,文献1:Merrell,P.,Schkufza,E.,Li,Z.,Agrawala,M.,&Koltun,V.(2011).Interactive furniture layout using interiordesign guidelines.ACM transactions on graphics(TOG),30(4),1-10.文献2:Yu,L.F.,Yeung,S.K.,Tang,C.K.,Terzopoulos,D.,Chan,T.F.,&Osher,S.J.(2011).Make it home:automatic optimization of furniture arrangement.ACM Transactions on Graphics(TOG)-Proceedings of ACM SIGGRAPH 2011,v.30,(4),July 2011,article no.86,30(4).文献3:Kán,P.,&Kaufmann,H.(2017,November).Automated interior design usinga genetic algorithm.In Proceedings of the 23rd ACM Symposium on VirtualReality Software and Technology(pp.1-10).
在另外一个实施方式中,所述服务器将生成的三维场景图发送给终端,终端接收三维场景图并可视化,在用户不满意三维场景图时重新采集用户自定义的三维场景条件。
该数据生成***中,还提供了为用户预览确认和修改的功能。生成三维场景图会发送至终端可视化呈现,用户会对可视化呈现的三维场景图进行检查和确认,具体可以检查和确认三维场景图中的户型、家具分布等是否符合预期。当认为符合自己预期时,对三维场景图进行确认;当认为不符合自己预期,则通过三维场景编辑接口重新编辑自定义三维场景条件,终端重新采集用户自定义的新三维场景条件并发送至服务器的场景图生成模块,场景图生成模块根据新三维场景条件重新生成三维场景图,如此往复,直到用户确认满足为止。
图4所示的是本发明提供的数据生成***第三实施例的结构示意图。如图4所示,在另外一个实施方式中,在如图3所示的第二实施例提供的数据生成***的基础上,第三实施例提供的数据生成***400中,所述终端101为用户提供实体调整编辑接口401,采集用户通过实体调整编辑接口401编写的实体调整指令并发送至实体调整模块402,所述实体调整指令包含的调整内容包括实体对象空间信息、实体对象之间关系信息、实体对象属性信息、实体对象类型信息;
所述服务器102包括实体调整模块402,所述实体调整模块402接收并执行所述实体调整指令,对三维场景图中进行实体调整。
该数据生成***还为用户提供了自定义实体调整功能。当用户需要调整三维场景图中的实体布局或者灯光来衍生出更多三维场景图时,通过终端提供的实体调整编辑接口401来编写实体调整指令。基于ECS架构,用户可以通过修改组件的方式来实现对实体对象的处理,该数据生成***通过实体调整编辑接口暴露了一些组件结构以及修改该些组件结构的修改函数、替换函数等基本调整函数,用户只需要根据这些基本调整函数自定义编写一个或多个用于调整实体的处理函数,然后将这些处理函数封装成实体调整指令并发送至实体调整模块402。
实体调整模块402接收到实体调整指令后,依据实体调整指令包含的处理函数按照顺序对实体进行调整,来增强数据和增加数据分布的多样性。具体调整内容可以包括三维场景图中实体对象的空间信息,通过修改空间组件的方式,对实体对象进行大小缩放或者位置调整;还可以包括实体对象之间关系信息,通过修改关系组件的方式,修改两个实体之间的包含关系等;还可以包括实体对象属性信息,通过修改属性组件的方式,修改对象的属性信息,即修改材质信息和风格信息对家具实体进行调整,例如用户需要更多带有北欧风格的家具的场景时,可以通过DSL指定替换场景中的家具为带有北欧标签的家具,通过替换不同的家具,衍生出更多场景数据。
通过数据生成***的实体调整功能,一方面用户可以把场景数据根据预期中的分布进行数据增强,丰富数据的多样性;另外一方面用户可以针对较为特殊的场景集合(例如极端条件环境,生产出错的场景)进行模拟和扩充,极大地提升三维场景图生成的效率和速度。
图5所示的是本发明提供的数据生成***第四实施例的结构示意图。如图5所示,在另外一个实施方式中,在如图4所示的第三实施例提供的数据生成***的基础上,第四实施例提供的数据生成***500中,所述终端101为用户提供数据生成编辑接口501,采集用户通过数据生成编辑接口编写的数据生成指令并发送至数据生成模块502,所述数据生成指令包含的模拟数据属性和/或结构化条件,所述模拟数据属性包括模拟数据类型、模拟数据标注信息及标注方法信息;
所述服务器102包括数据生成模块502,所述数据生成模块502接收并执行所述数据生成指令,根据三维场景图生成满足所述模拟数据属性的模拟数据和/或满足所述结构化条件的结构化数据。该数据生成***还为用户提供了数据生成功能。用户需要生成实际算法任务需要的各类型模拟数据和结构化数据时,可以通过数据生成编辑接口501来编写数据生成指令。具体可以采用DSL语言定义模拟数据属性。数据生成模块502根据数据生成指令包含的模拟数据属性,对三维场景图进行处理,以获得满足用户定义模拟数据属性的模拟数据。其中模拟数据属性是指模拟数据的类型,包括RGB、深度、法向、语义、实例、IMU、GPS等,对应的模拟数据是指对各类型传感器进行模拟得到的数据,包括模拟RGB相机的RGB图数据、模拟深度相机的深度图数据、法向图数据、语义分割图数据、实例分割图数据、模拟惯性测量单元(IMU)的IMU数据、GPS数据等。其中,语义分割图和实例分割图中具有模拟数据的标注信息以及标注方法信息。
当针对多个三维场景图生成大量模拟数据时,数据生成模块直接根据数据生成指令包含的模拟数据属性,对三维场景图进行渲染,得到满足模拟数据属性的模拟数据。例如,当数据生成指令包含RGB、深度、法向、语义以及实例属性时,在对三维场景图进行渲染时,提取与模拟数据属性的相关数据得到模拟数据。
当需要针对一个三维场景图进行场景仿真时,数据生成模块根据接收的实体移动命令对三维场景图中的目标实体进行移动,以实现动态场景的模拟,同时,根据数据生成指令,连续生成对每时刻更新的三维场景进行渲染获得的模拟数据。
当模拟动态场景,数据生成指令还包括IMU、GPS等关于监测动态传感器数据的属性,生成的每时刻物理场景的模拟数据还包括IMU数据、GPS数据等具有动态属性的数据,该些动态属性的数据一般与目标实体有关系,即描述目标实体的运动情况。
针对场景仿真,数据生成模块具有动画仿真功能,在实现动画仿真时,根据目标实体的预设移动命令,对三维场景中的目标实体进行步长移动,以生成目标实体的动画仿真,同时,根据数据生成指令,连续生成对每时刻更新的三维场景进行渲染获得的模拟数据。
针对场景仿真,数据生成模块具有智能体物理仿真功能,在实现智能体物理仿真时,智能体根据接收的实时控制命令在三维场景中移动,以动态更新三维场景,数据生成模块根据数据生成指令,连续生成对每时刻更新的三维场景进行渲染获得的模拟数据。
在智能体物理仿真时,该数据生成***会与智能体操作***进行通信连接,数据生成模块输出的模拟数据会提供给智能体操作***,只能提操作***会根据接收的模拟数据生成新控制命令发送给数据生成模块,以事实控制智能体下一时刻在三维场景中移动。
结构化数据是指三维场景数据中能够表示实体与实体连接关系的数据,这些结构化数据包含在三维场景数据中,例如三维户型数据中,墙体与顶面的连接数据即为结构化数据。当需要结构化数据时,直接通过数据生成编辑接口编写结构化条件,该结构化条件封装成结构生成命令传输给数据生成模块,数据生成模块直接根据结构化条件从三维场景数据中筛选得到结构化数据。
图6所示的是本发明提供的数据生成***第六实施例的结构示意图。如图6所示,在另外一个实施方式中,在如图5所示的第四实施例提供的数据生成***的基础上,第六实施例提供的数据生成***600中,所述终端101为用户提供数据后处理编辑接口601,采集用户通过该数据后处理编辑接口编写的数据后处理指令并发送至数据后处理模块602,所述数据后处理指令包含的数据处理内容包括三维数据格式、三维数据中目标信息标注;
所述服务器102包括数据后处理模块602,所述数据后处理模块接收并执行所述数据后处理指令,按照所述数据处理内容后处理三维数据。
该数据生成***还提供了数据后处理功能。用户通过数据后处理编辑接口601设置三维数据格式、三维数据中目标信息标注等,然后封装成数据后处理指令。其中,三维数据中目标信息标注可以为目标检测算法中的anchor-free方法需要目标框的对角点坐标,anchor-base方法需要目标框的起始点和长宽,以及SLAM任务通常还需要体素数据。
数据后处理模块602根据数据后处理指令对生成的三维数据作进一步的处理,包括改变数据格式,对三维数据进行图像和几何上的后处理,如标注目标信息等。用户通过数据后处理编辑接口采用DSL可以定义像素处理函数,输入是数据生成模块输出的所有图层数据,输出处理完成的像素数据。同时提供了图像空间中的语义分割矢量化文件数据生成的能力和内置的一系列图片后处理函数。同样地,利用现代解释型语言的特性,用户自定义处理函数可以轻松嵌入子***处理流程中。后处理后的三维数据打包存储,可以上传至云端存储。
上述提供的数据生成***还包括身份认证功能,当身份认证功能时,服务器对客户端开放数据生成***使用权限,并根据用户使用情况生产购买金额,在客户端支付购买金额后,开放模拟数据和机构化数据下载权限供用户下载。本实施例中,使用情况可以包括数据量、数据生成***的使用时长等。
上述数据生成***通过网络平台前端与用户进行信息与数据交互。网络平台前端作为终端通过UI进行可视化、处理指令和三维场景条件的编程,通过网络传输将用户采用DSL编写的处理指令和三维场景条件传到后端服务器进行后续处理。同时网络平台可以展示网络平台后端生成的场景预览数据,也就是三维场景图,以便用户确认和修改,还可以即时展示三维场景实时仿真漫游及附加信息。用户通过网络平台前端发送数据同步和数据下载等请求,后端响应前端发送的数据同步和数据下载请求返回数据给用户。
上述数据生成***的构建过程为:
1.建立或获取虚拟三维场景和环境中与真实环境尺寸对应的仿真模型、仿真材质、仿真灯光和仿真场景及语义信息,该些信息通过实体-组件-***架构组织形成数据库,该数据库可以是本地数据库,也可以是云端数据库。
2.建立与真实环境尺寸对应且可互动的三维虚拟场景和环境的网络平台和可编程的数据生成管线;
3.设计并实现相应领域特定语言(DSL),用于用户和可编程管线之间的交互;
4.网络平台在用户前端提供DSL编辑(UI、文本等方式)能力,并可以平台后端的可编程数据生成管线,用于大规模数据生成;
5.网络平台支持前后端信息同步、数据下载,并支持本地和云端计算能力共享。
上述实施例提供的数据生成***带有与真实场景对应的三维场景数据,该些三维场景数据具有精确的语义和类别,因此三维数据的采集成本低、数据标注成本低;
上述实施例提供的数据生成***采用ECS架构中的EC组织和维护三维场景数据,方便对三维场景数据管理,采用ECS架构中的S为用户提供可自定义编辑处理命令的接口,同时执行用户编辑的处理命令,生成满足用户需求的三维数据,因此三维数据标注精度高、产生能力高。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的最优选实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换等,均应包含在本发明的保护范围之内。
Claims (13)
1.一种数据生成***,其特征在于,包括任意两者互相通信的终端、服务器和数据库;所述数据生成***基于实体-组件-***架构组织三维场景数据、模拟数据和结构化数据;
所述数据库中存储有基于实体-组件-***架构中实体和组件组织的三维场景数据;
所述终端通过三维场景编辑接口采集用户自定义的三维场景条件,通过基于实体-组件-***架构中***提供的处理指令编辑接口采集用户编辑的处理指令,并将三维场景条件和处理指令发送至所述服务器;
所述服务器根据三维场景数据生成满足三维场景条件的三维场景图,然后根据处理指令对三维场景图进行调整,根据处理指令基于三维场景图进行传感器数据模拟生成模拟数据或/和直接输出结构化数据并存储。
2.如权利要求1所述的数据生成***,其特征在于,所实体-组件-***架构中,实体对应三维场景中的实体对象;
组件对应用来描述实体对象的实体属性,所述实体属性包括实体对象空间信息、实体对象语义信息、实体对象之间的关系信息、实体对象属性信息;所述实体对象属性信息包括实体对象的材质信息、风格信息;
***对应为终端提供用于编写处理指令的处理指令编辑接口和用户编辑的处理指令。
3.如权利要求1所述的数据生成***,其特征在于,所述终端为用户提供三维场景编辑接口,并采集用户通过三维场景编辑接口自定义的三维场景条件,该三维场景条件包含场景类型,场景尺寸,场景包含的实体对象及其属性;
所述服务器包括场景图生成模块,所述场景图生成模块接收并解析三维场景条件,根据解析结果编写查询语句,依据查询语句对数据库中的三维场景数据进行筛选,获得满足三维场景条件的三维场景图。
4.如权利要求3所述的数据生成***,其特征在于,所述根据解析结果编写查询语句包括:
查询语句一:指定实体对象和实体对象类型;
查询语句二:指定连接头实体对象和尾实体对象的关系,头实体对象类型、尾实体对象类型;
所述依据查询语句对数据库中的三维场景数据进行筛选包括:
对三维场景数据中所有实体对象进行拓扑排序,针对每个实体对象执行查询语句,以获得满足查询语句的三维场景图。
5.如权利要求3所述的数据生成***,其特征在于,所述服务器的场景图生成模块还根据三维场景条件中户型条件采用查询语句对数据库中的三维场景数据进行筛选,获得满足三维场景条件的户型图;
根据三维场景条件中家具条件,在所述户型图上设计满足家具条件的家具以形成三维场景图。
6.如权利要求3所述的数据生成***,其特征在于,所述服务器将生成的三维场景图发送给终端,终端接收三维场景图并可视化,在用户不满意三维场景图时重新采集用户自定义的三维场景条件。
7.如权利要求1所述的数据生成***,其特征在于,所述终端为用户提供实体调整编辑接口,采集用户通过实体调整编辑接口编写的实体调整指令并发送至实体调整模块,所述实体调整指令包含的调整内容包括实体对象空间信息、实体对象之间关系信息、实体对象属性信息、实体对象类型信息;
所述服务器包括实体调整模块,所述实体调整模块接收并执行所述实体调整指令,对三维场景图中进行实体调整。
8.如权利要求1所述的数据生成***,其特征在于,所述终端为用户提供数据生成编辑接口,采集用户通过数据生成编辑接口编写的数据生成指令并发送至数据生成模块,所述数据生成指令包含模拟数据属性和/或结构化条件,所述模拟数据属性包括模拟数据类型、模拟数据标注信息及标注方法信息;
所述服务器包括数据生成模块,所述数据生成模块接收并执行所述数据生成指令,根据三维场景图生成满足所述模拟数据属性的模拟数据和/或满足所述结构化条件的结构化数据。
9.如权利要求8所述的数据生成***,其特征在于,当针对多个三维场景图生成大量模拟数据时,数据生成模块直接根据数据生成指令包含的模拟数据属性,对三维场景图进行渲染,得到满足模拟数据属性的模拟数据;
当需要针对一个三维场景图进行场景仿真时,数据生成模块根据接收的实体移动命令对三维场景图中的目标实体进行移动,以实现动态场景的模拟,同时,根据数据生成指令,连续生成对每时刻更新的三维场景进行渲染获得的模拟数据。
10.如权利要求9所述的数据生成***,其特征在于,数据生成模块具有动画仿真功能,在实现动画仿真时,根据目标实体的预设移动命令,对三维场景中的目标实体进行步长移动,以生成目标实体的动画仿真,同时,根据数据生成指令,连续生成对每时刻更新的三维场景进行渲染获得的模拟数据。
11.如权利要求9所述的数据生成***,其特征在于,数据生成模块具有智能体物理仿真功能,在实现智能体物理仿真时,智能体根据接收的实时控制命令在三维场景中移动,以动态更新三维场景,数据生成模块根据数据生成指令,连续生成对每时刻更新的三维场景进行渲染获得的模拟数据。
12.如权利要求1所述的数据生成***,其特征在于,所述终端为用户提供数据后处理编辑接口,采集用户通过该数据后处理编辑接口编写的数据后处理指令并发送至数据后处理模块,所述数据后处理指令包含的数据处理内容包括三维数据格式、三维数据中目标信息标注;
所述服务器包括数据后处理模块,所述数据后处理模块接收并执行所述数据后处理指令,按照所述数据处理内容后处理三维数据。
13.如权利要求1所述的数据生成***,其特征在于,所述数据生成***还包括身份认证功能,当身份认证功能时,服务器对客户端开放数据生成***使用权限,并根据用户使用情况生产购买金额,在客户端支付购买金额后,开放模拟数据和机构化数据下载权限供用户下载。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010819135.6A CN112184857B (zh) | 2020-08-14 | 2020-08-14 | 一种数据生成*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010819135.6A CN112184857B (zh) | 2020-08-14 | 2020-08-14 | 一种数据生成*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112184857A true CN112184857A (zh) | 2021-01-05 |
CN112184857B CN112184857B (zh) | 2023-09-29 |
Family
ID=73919256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010819135.6A Active CN112184857B (zh) | 2020-08-14 | 2020-08-14 | 一种数据生成*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112184857B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112950760A (zh) * | 2021-01-29 | 2021-06-11 | 杭州群核信息技术有限公司 | 一种三维合成场景数据生成***和方法 |
CN113052983A (zh) * | 2021-04-14 | 2021-06-29 | 杭州群核信息技术有限公司 | 一种可自定义的室内三维场景编辑方法、装置、***和存储介质 |
CN113052973A (zh) * | 2021-04-14 | 2021-06-29 | 杭州群核信息技术有限公司 | 一种可编程定义的室内场景生成方法、装置、***和存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104616357A (zh) * | 2015-02-12 | 2015-05-13 | 刘鹏 | 可附带即时信息的三维仿真模型交互使用的网络平台*** |
CN109190225A (zh) * | 2018-08-24 | 2019-01-11 | 湘潭大学 | 一种模拟硬质涂层内部裂纹与界面裂纹的有限元分析方法 |
US20190065028A1 (en) * | 2017-08-31 | 2019-02-28 | Jedium Inc. | Agent-based platform for the development of multi-user virtual reality environments |
CN109754458A (zh) * | 2018-12-11 | 2019-05-14 | 新华三大数据技术有限公司 | 三维场景的构建方法、装置及计算机可读存储介质 |
US10375206B1 (en) * | 2016-09-20 | 2019-08-06 | Amazon Technologies, Inc. | Entity-component architecture with components having multiple configurations |
US10474655B1 (en) * | 2018-07-23 | 2019-11-12 | Improbable Worlds Ltd | Entity database |
US20190377672A1 (en) * | 2018-06-12 | 2019-12-12 | Unity IPR ApS | Method and system for improved performance of a video game engine |
CN110675466A (zh) * | 2019-09-27 | 2020-01-10 | 广州华多网络科技有限公司 | 渲染***及渲染方法、装置、电子设备和存储介质 |
WO2020024998A1 (en) * | 2018-07-31 | 2020-02-06 | Shadow Factory Limited | System and method for controlling a computer-simulated environment |
CN110941732A (zh) * | 2019-11-28 | 2020-03-31 | 上海交通大学 | 自适应的标准件三维cad模型检索*** |
-
2020
- 2020-08-14 CN CN202010819135.6A patent/CN112184857B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104616357A (zh) * | 2015-02-12 | 2015-05-13 | 刘鹏 | 可附带即时信息的三维仿真模型交互使用的网络平台*** |
US10375206B1 (en) * | 2016-09-20 | 2019-08-06 | Amazon Technologies, Inc. | Entity-component architecture with components having multiple configurations |
US20190065028A1 (en) * | 2017-08-31 | 2019-02-28 | Jedium Inc. | Agent-based platform for the development of multi-user virtual reality environments |
US20190377672A1 (en) * | 2018-06-12 | 2019-12-12 | Unity IPR ApS | Method and system for improved performance of a video game engine |
US10474655B1 (en) * | 2018-07-23 | 2019-11-12 | Improbable Worlds Ltd | Entity database |
WO2020024998A1 (en) * | 2018-07-31 | 2020-02-06 | Shadow Factory Limited | System and method for controlling a computer-simulated environment |
CN109190225A (zh) * | 2018-08-24 | 2019-01-11 | 湘潭大学 | 一种模拟硬质涂层内部裂纹与界面裂纹的有限元分析方法 |
CN109754458A (zh) * | 2018-12-11 | 2019-05-14 | 新华三大数据技术有限公司 | 三维场景的构建方法、装置及计算机可读存储介质 |
CN110675466A (zh) * | 2019-09-27 | 2020-01-10 | 广州华多网络科技有限公司 | 渲染***及渲染方法、装置、电子设备和存储介质 |
CN110941732A (zh) * | 2019-11-28 | 2020-03-31 | 上海交通大学 | 自适应的标准件三维cad模型检索*** |
Non-Patent Citations (1)
Title |
---|
张锦飞, 陈务军: "膜结构设计过程中的两个实用辅助程序开发", 空间结构, no. 03 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112950760A (zh) * | 2021-01-29 | 2021-06-11 | 杭州群核信息技术有限公司 | 一种三维合成场景数据生成***和方法 |
CN112950760B (zh) * | 2021-01-29 | 2023-08-11 | 杭州群核信息技术有限公司 | 一种三维合成场景数据生成***和方法 |
CN113052983A (zh) * | 2021-04-14 | 2021-06-29 | 杭州群核信息技术有限公司 | 一种可自定义的室内三维场景编辑方法、装置、***和存储介质 |
CN113052973A (zh) * | 2021-04-14 | 2021-06-29 | 杭州群核信息技术有限公司 | 一种可编程定义的室内场景生成方法、装置、***和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112184857B (zh) | 2023-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112184857B (zh) | 一种数据生成*** | |
CN101930627B (zh) | 一种基于二维户型图的三维户型建模方法 | |
CN112818446A (zh) | 一种智能车间数字孪生***的构建方法 | |
CN100527169C (zh) | 一种三维场景实时绘制*** | |
CN107103638A (zh) | 一种虚拟场景与模型的快速渲染方法 | |
CN104484522A (zh) | 一种基于现实场景的机器人模拟演练***的构建方法 | |
RU2005129896A (ru) | Способ автоматического построения трехмерной геометрической модели изделия в системе геометрического моделирования | |
CN115098100B (zh) | 基于云原生面向工业应用场景的数字孪生体组件驱动方法 | |
CN112446937A (zh) | 基于bim技术的项目进度三维可视化方法 | |
CN111179391A (zh) | 一种三维动画制作方法、***及存储介质 | |
CN116796504A (zh) | 基于数字孪生的生产线仿真方法及其相关设备 | |
CN109712236A (zh) | 基于svg地图数据的三维可视化实现方法 | |
CN106846431B (zh) | 一种支持多表现形式的统一Web图形绘制*** | |
Zhang et al. | The Application of Folk Art with Virtual Reality Technology in Visual Communication. | |
CN102646286B (zh) | 三维空间结构的数字图形介质模拟方法 | |
Guo et al. | Exploration of human-computer interaction system for product design in virtual reality environment based on computer-aided technology | |
Hu et al. | Extended interactive and procedural modeling method for ancient Chinese architecture | |
Li et al. | Advances in 3d generation: A survey | |
WO2021095704A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
Liao et al. | Advances in 3D Generation: A Survey | |
CN109615709A (zh) | 基于云计算的多人协作三维场景建模与绘制方法 | |
WO2021203076A1 (en) | Method for understanding and synthesizing differentiable scenes from input images | |
Xiong | Reconstructing and correcting 3d building models using roof topology graphs | |
Watson et al. | The need for an integrated 2D/3D cad system in structural engineering | |
Ermolenko | Algorithm-aided Information Design: Hybrid Design approach on the edge of Associative Methodologies in AEC |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |