CN111488147A - 一种智能布局方法及装置 - Google Patents

Abstract

本申请公开了一种智能布局方法及装置，涉及通信技术领域，能够解决鲁班***设计平台的设计风格单一，无法满足业务多样性需要的问题。其方法为：装置根据编排请求识别用户意图和选取编排策略，编排请求包括用户意图和布局元素，编排策略用于编排布局元素；装置触发端侧智能编排软件开发工具包SDK根据布局元素以及编排策略进行智能编排，生成编排后的布局描述语言DSL，再根据DSL进行服务智能编排；装置根据服务智能编排的结果生成多模态数据，根据预设的控件和多模态数据输出布局结果。本申请实施例用于实现布局元素的智能布局。

Description

一种智能布局方法及装置

技术领域

本申请涉及通信技术领域，尤其涉及一种智能布局方法及装置。

背景技术

鲁班***是一款智能设计平台，此平台原理是通过人工智能算法和大量数据训练机器学***台是一套可以通过自学***台设计了一套可以快速学习设计风格并且不断成长的闭环***，包括“风格学习-行动器-评估网络”三大核心模块。机器从大量设计文件中学习到设计风格后，由行动器根据设计需求生成设计结果，生成结果的好坏由评估网络给予反馈。评估器的工作原理是输入大量的设计图片和评分数据，经过训练最终让机器学会判断设计的好坏。

一般高质量的广告设计需要将商品图片进行抠图后添加到设计主题中。鲁班***可以自动处理海量的商品设计，自动抠图，然后拆解设计元素的组成部分和控件布局，按照风格组织元素，生成海报，并且动态的根据海报的大小实现自动排版。这样看来，鲁班平台针对的是海报的自动排版生成，面向的仅是设计领域，生成的图片仅根据图片大小做自动排版布局，在安卓***中，用户界面(User Interface，UI)开发是有UI设计获取该设计中的所有界面元素以及相关属性，再有研发人员进行相应的开发，输出布局代码，由于布局代码固定，使得设计出的***风格统一一致，样式单一，大小和格式受限，无法满足业务多样性需要。

发明内容

本申请实施例提供一种智能布局方法及装置，能够解决鲁班***设计平台的设计风格单一，无法满足业务多样性需要的问题。

第一方面，提供一种智能布局方法，包括：装置根据编排请求识别用户意图和选取编排策略，编排请求包括用户意图和布局元素，编排策略用于编排布局元素；装置触发端侧智能编排软件开发工具包SDK根据布局元素以及编排策略进行智能编排，生成编排后的布局描述语言DSL，再根据DSL进行服务智能编排；装置根据服务智能编排的结果生成多模态数据，根据预设的控件和多模态数据输出布局结果。这样一来，本申请的编排策略是根据编排请求灵活选取的，DSL也是根据布局元素和编排策略直接生成的，而不是预先对布局元素进行研发生成固定不变的DSL，也就是可以根据布局元素和编排策略灵活生成合适的布局代码，从而根据生成的布局代码进行智能编排，使得设计平台风格多样化，可以满足业务多样性需要。

在一种可能的设计中，装置触发端侧智能编排软件开发工具包SDK根据布局元素以及编排策略进行智能编排包括：装置触发SDK调用端侧智能编排引擎和云侧智能编排引擎根据布局元素和编排策略进行智能编排；其中，端侧智能编排引擎用于编排布局元素；云侧智能编排引擎用于执行策略更新和处理布局元素。这里的编排或处理布局元素也可以是端侧智能编排引擎和云侧智能编排引擎共同执行的，具体与端侧的计算能力有关，若端侧的计算能力强，编排或处理布局元素可以在端侧执行，若端侧计算能力一般，由于云侧的计算能力强，编排或处理布局元素可以在云侧执行。这样通过端侧和云侧的交互执行，可以提升编排计算效率。

在一种可能的设计中，云侧智能编排引擎用于智能编排布局元素和处理基础服务；其中，云侧智能编排引擎用于智能编排布局元素时包括以下至少一种算法或规则：配色算法、上色算法、智能设计算法、布板算法、量化评估算法、规则模版以及配色规则；基础服务包括策略更新和服务鉴权。这样，通过云侧根据布局元素和编排策略对布局元素实施各种算法和规则处理，可以实现对布局元素根据编排策略进行智能编排。

在一种可能的设计中，生成编排后的布局描述语言DSL，再根据DSL进行服务智能编排包括：生成编排后的DSL；对DSL进行解析，得到执行布局结果的平台对应的DSL；根据布局结果的平台对应的DSL对编排请求对应的服务进行串行编排。也即，执行布局结果的平台的操作***的语言与编排后的DSL不同时，要将编排后的DSL再解析为执行布局结果的平台对应的DSL，以便于在执行布局结果的平台设备中播放智能编排结果。

在一种可能的设计中，根据服务智能编排的结果生成多模态数据包括：根据串行编排后的服务生成多模态数据；其中，多模态包括语音、环境信息、视觉信息、文字信息、以及设备信息中的至少一个。环境信息用于表征最终执行编排结果的设备所在的环境。编排结果最终呈现在执行布局结果的平台时，可以是语音形式，也可以是文字形式等。这样，可以使得编排结果以多模态的形式呈现。

在一种可能的设计中，预设的控件包括图形用户界面GUI、语音交互界面VUI和面板界面PUI中的至少一个。当预设的控件为GUI或PUI时，编排结果可以以网页的形式或者电视画面或智能终端的显示模式等呈现，当预设的控件为VUI时，编排结果可以以语音的形式呈现，从而实现编排结果的多模态呈现。

第二方面，提供一种装置，包括：编排逻辑模块，用于根据编排请求识别用户意图和选取编排策略，编排请求包括用户意图和布局元素，编排策略用于编排布局元素；布局智能编排模块，用于触发端侧智能编排软件开发工具包SDK根据布局元素以及编排策略进行智能编排，生成编排后的布局描述语言DSL；服务智能编排模块，用于根据DSL进行服务智能编排；多模态适配模块，用于根据服务智能编排的结果生成多模态数据，根据预设的控件和多模态数据输出布局结果。

在一种可能的设计中，布局智能编排模块用于：触发SDK调用端侧智能编排引擎和云侧智能编排引擎根据布局元素和编排策略进行智能编排；其中，端侧智能编排引擎用于编排布局元素；云侧智能编排引擎用于执行策略更新和处理布局元素。

在一种可能的设计中，云侧智能编排引擎用于智能编排布局元素和处理基础服务；其中，云侧智能编排引擎用于智能编排布局元素时包括以下至少一种算法或规则：配色算法、上色算法、智能设计算法、布板算法、量化评估算法、规则模版以及配色规则；基础服务包括策略更新和服务鉴权。

在一种可能的设计中，布局智能编排模块用于：生成编排后的DSL；对DSL进行解析，得到执行布局结果的平台对应的DSL；服务智能编排模块，用于：根据布局结果的平台对应的DSL对编排请求对应的服务进行串行编排。

在一种可能的设计中，多模态适配模块，用于：根据串行编排后的服务生成多模态数据；其中，多模态包括语音、环境信息、视觉信息、文字信息、以及设备信息中的至少一个。

在一种可能的设计中，预设的控件包括图形用户界面GUI、语音交互界面VUI和面板界面PUI中的至少一个。

这样一来，本申请的编排策略是根据编排请求灵活选取的，DSL也是根据布局元素和编排策略直接生成的，而不是预先对布局元素进行研发生成固定不变的DSL，也就是可以根据布局元素和编排策略灵活生成合适的布局代码，从而根据生成的布局代码进行智能编排，使得设计平台风格多样化，可以满足业务多样性需要。

附图说明

图1为本申请实施例提供的一种网络架构示意图；

图2为本申请实施例提供的一种端侧***和云侧***的架构示意图；

图3为本申请实施例提供的一种智能布局方法流程示意图；

图4为本申请实施例提供的一种智能布局方法流程示意图；

图5为本申请实施例提供的一种网络设备的结构示意图；

图6为本申请实施例提供的一种网络设备的结构示意图。

具体实施方式

为了便于理解，示例地给出了部分与本申请相关概念的说明以供参考。如下所示：

HAG(HUAWEI Ability Gallery)卡片：是华为的快服务的分发平台，聚合终端多媒体平台，在多场景和多入口精准分发第三方的快服务，提高开发者推广效率，为终端用户提供更便捷、更优化的体验。在本申请中，HAG卡片可以根据第三方服务商的编排请求生成布局代码。

领域特定语言(domain-specific languages，DSL):针对某一领域，具有受限表达性的一种计算机程序设计语言，是为了解决***(包括硬件***和软件***)构建初期，使用者和构建者的语言模型不一致导致需求收集的困难。

自然语言处理(Natural Language Processing，NLP)：人工智能(ArtificialIntelligence，AI)的一个子领域，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学和数学于一体的科学。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机***，特别是其中的软件***。

从文本到语音(Text To Speech，TTS)：是人机对话的一部分，让机器能够说话。在内置芯片的支持之下，通过神经网络的设计，把文字智能地转化为自然语音流。

面板用户界面(Panels User Interface，PUI)：由terrestrial开发的界面插件，它可以让用户在界面上使用图片。

图形用户界面(Graphical User Interface，GUI)：是指采用图形方式显示的计算机操作用户界面，是一种人与计算机通信的界面显示格式，允许用户使用鼠标等输入设备操纵屏幕上的图标或菜单选项，以选择命令、调用文件、启动程序或执行其它一些日常任务。

语音用户界面(voice-user interface，VUI)：任何语音应用程序/设备的接口。

本申请实施例用于对设计稿特征值实现智能布局，能够将设计稿的界面元素直接生成布局代码，进而通过布局代码对设计稿进行智能排版。

如图1所示，本申请实施例的网络架构可以包括端侧***和云侧***，端侧***可以包括移动终端，如手机、语音助手和智能手环等设备，端侧***的能力具体可以固化在移动终端中的应用程序(Application，APP)，或者移动终端中的***级芯片(System onChip，SoC) 等。

如图2所示为端侧***和云侧***的架构示意图。端侧***可以分为业务层、服务层和平台层，云侧***按照其能力划分模块。下面对各层的能力进行介绍。

A、业务层包括华为服务卡片和三方服务卡片。服务卡片即移动终端的情景智能卡片，能够提供端侧***所需要的所有功能上的算法和计算过程，并与服务层和平台层交互，也就是处理与业务相关的部分，一般来说，业务层包含一系列的执行与数据的操作，例如能够调用应用程序接口(Application Program Interface，API)进行参数设置和提供元素排版的能力。华为服务卡片即华为HAG卡片，为第三方服务接入的智能布局模版，可以生成布局代码；三方服务卡片即开放给第三方服务的模版，能够接收第三方服务提供的布局元素等。

B、服务层，是一系列服务的集合，在两个相互通信的层中间的一个层，用于合理的安排业务对象，在清楚业务逻辑层和领域模型的情况下，合理的安排业务组件，合理的安排应用的服务、工作流和业务逻辑的其他组件。在本申请实施例中，服务层包括编排逻辑模块、布局智能编排模块、服务智能编排模块、多模态适配模块、智慧引擎、HBS(Handlebars)引擎、多模态交互控件和动效库等模块。

其中，编排逻辑模块用于负责数据处理、用户意图识别、显示分发和选取策略等。数据处理例如可以是对第三方提供的布局元素进行切割、调整和提取等操作；用户意图识别可以是识别用户的意图，例如用户的意图为要打车到目的地、或在外卖平台点餐或要订酒店等；显示分发为端侧***或云侧***调用其他设备，将智能编排后的结果分发给其他设备；选取策略即端侧***根据用户意图选择与用于意图对应的智能编排策略。

布局智能编排模块分为端侧编排模块和云端编排模块。端侧编排模块和云端编排模块均用于处理第三方的编排请求，端侧编排模块所属端侧***，云端编排模块所属云侧***。当端侧***的计算能力不足时，端侧***可以请求云端编排模块进行计算处理。一般来说，云端编排模块负责策略更新和处理编排请求。云端编排模块包括元素智能编排和基础服务两个模块。元素智能编排模块主要包括配色算法、上色算法、智能设计算法、布板算法、量化评估、规则模版和配色规则等，基础服务负责策略更新和服务鉴权等。

服务智能编排模块负责将第三方请求的多个服务进行串行编排。

多模态适配模块负责多模态的融合处理以及多模态的交互处理。

智慧引擎用于进行图像识别、NLP以及执行从文本到语言(Text To Speech，TTS)等。 TTS用于将文字智能地转化为自然语音流。

HBS引擎包括渲染引擎、***适配和自适应用户界面(user interface，UI)。渲染引擎也即排版引擎，负责取得智能布局的内容，如超文本标记语言(HyperText MarkupLanguage， HTML)、可扩展标记语言(EXtensible Markup Language，XML)、图像等等、整理信息(例如加入CSS等)，以及计算网页的显示方式等。***适配用于将布局内容调整至适应于设备播放的状态；自适应UI用于保证布局一致性的灵活网格、内容如何在不同屏幕上重绘的断点细节以及关于一个应用如何从小的屏幕缩放到超大屏幕的描述。

多模态交互控件包括PUI、GUI以及VUI等。

动效库包括通用动效库，通用动效库包括通用的动画效果。

C、平台层为最终播放智能布局的排版结果的操作***。该操作***可以为Android、 Windows或WatchOS等。

云侧***还包括智慧化能力模块，智慧化能力模块包括画像服务、NLP处理和图片语义处理等功能。画像服务是指分析用户行为喜好，根据该行为喜好给用户推荐合适的界面编排方案；NLP处理是将平台层的操作***的计算机语言转换为人说话时的自然语言；图片语义处理是自动分割并识别出图像中的内容，比如给出一个人骑摩托车的照片，机器判断后应当能够生成人和车分割后的图像。

云侧***的公有云可以包括I层和P层等。I层即基础设施即服务层(Infrastructure as a Service，IAAS)，P层即平台即服务(Platform as a Service，PAAS)。

该端侧***的操作***可以为EMUI9.X(Emotion UI)或EMUI10.X，EMUI是基于Android 进行开发的情感化操作***。

应用上述端侧***和云侧***，本申请通过对设计稿特征值的提取生成模型，以及结合其他布局影响因数如眼动热点算法和视觉中心算法等，直接针对布局元素(图片、文字等) 生成合适的布局代码。更进一步的，根据布局元素中的图片背景、颜色等通过配色算法生成一个合适的配色方案和主题风格，通过智能排版算法将布局元素做适当的排版。

下面对本申请实施例进行进一步说明。

本申请实施例提供一种智能布局方法，如图3所示，包括：

301、装置根据编排请求识别用户意图和选取编排策略，编排请求包括用户意图和布局元素，编排策略用于编排布局元素。

该装置可以是端侧***中的设备或者云侧***中的设备，或者端侧***中的设备在能力不支持时，可请求云侧***中的设备进行处理。端侧***中的设备例如可以是手机或平板电脑等，本申请实施例介绍的智能布局***具体可以部署在手机中的SoC芯片中。

以装置为手机为例，用户可以在手机上操作，使得手机产生编排请求。例如用户在手机上的打车软件中操作要打车，那么该编排请求指示手机用户想要打车去目的，用户意图例如可以为XX点打车去目的地，布局元素包括时间、地点以及用户信息等。一个编排请求可以对应一个服务或者多个服务，打车操作即为一个服务。手机识别到编排请求可以通过业务层的三方服务卡片实现，三方服务卡片可以提取编排请求中的用户意图和布局元素。

302、装置触发端侧智能编排软件开发工具包SDK根据布局元素以及编排策略进行智能编排，生成编排后的DSL，再根据DSL进行服务智能编排。

装置在选取了编排策略后，可以根据编排策略在业务层的华为服务卡片中利用SDK开始进行智能编排。该智能编排的处理可以分为端侧布局智能编排和多模态适配两种操作。

在端侧布局智能编排中，首先，可以通过编排逻辑模块对三方服务卡片中的用户意图和编排策略进行处理，而后，手机业务层的华为服务卡片根据三方服务卡片提供的用户意图和布局元素选取与该用户意图和布局元素对应的编排策略。例如用户意图为用户打车去目的地，那么编排策略可以使得手机屏幕最终显示有打车的车辆信息，例如车牌号、车身颜色以及到达时间等。此外，编排逻辑模块可以在识别到用户意图后，对布局元素进行数据预处理，例如对布局元素的数据包进行拆包处理，拆包后可以提取元素中的图片资源和文字资源等，进而可以对图片资源中的图片进行切割和调整得到图片中有用图像。

而后，通过布局智能编排模块对提取的图片资源和文字资源等进行智能编排。由于端侧的计算能力受限，智能编排可以通过端侧的设备和云侧的设备配合执行。布局智能编排模块中的端侧编排模块可以将图片资源和文字资源等通过网络传输给云侧设备的云端编排模块。如图2所示，云端编排模块包括元素智能编排和基础服务两个模块。元素智能编排模块主要包括配色算法、上色算法、智能设计算法、布板算法、量化评估、规则模版和配色规则等，基础服务负责策略更新和服务鉴权等。配色算法可以对图片资源和文字资源进行颜色上的搭配；上色算法可以对搭配后的颜色进行上色；智能设计算法可以用于为不同的界面元素选择一套合适的布局方案；布板算法可以用于将元素放置在布局方案中；量化评估可以是用于评估布局后的界面的美学评分，以通过美学评分不断去优化智能设计算法；规则模版可以是布局方案；配色规则可以是对图片元素取色，通过图片元素的主副配色选择布局的字体、背景等搭配颜色。

在通过布局智能编排模块编排了布局元素后，可以根据编排后的编排结果生成DSL，DSL 在这里可以为一种中间代码，再对生成的DSL进行解析，将DSL解析为装置平台层的操作***能够识别的语言，例如操作***为Android时，解析后的语言为Android语言。

继而，再通过服务智能编排模块可以对编排请求对应的多个服务进行串行编排，例如用户连续向装置请求多个服务，包括打车服务、订餐服务和订酒店服务等，那么装置可以对这多个服务对应解析后的语言进行串行编排，例如先编排打车服务，再编排订餐服务，最后编排订酒店服务。

303、装置根据服务智能编排的结果生成多模态数据，根据预设的控件和多模态数据输出布局结果。

装置可以根据串行编排后的服务生成多模态数据。其中，多模态包括语音、环境信息、视觉信息、文字信息、以及设备信息中的至少一个。

具体来说，装置可以对串行编排后的服务对应的语言进行数据多模态融合处理，例如根据语音、环境感知和设备信息生成多模态数据，或者根据语音、视觉、文字、环境感知和设备信息等生成多模态数据。也即是，根据串行编排后的语言生成用户可以听的语音或者可以看的用户界面等。例如编排请求是以语音的形式触发装置的，那么生成的多模态数据可以是语音数据，或者编排请求是用户在用户界面手动输入触发的，那么生成的多模态数据可以是文字，或文字和图片形式的数据。从串行编排后的语言转为语音数据可以用过智慧引擎实现，从串行编排后的语言转为用户界面可以通过HBS引擎实现。若输出的图片需带动画效果，还需要对生成的图片数据通过动效库处理。环境感知可以是用户所在的家庭环境或工作环境等因素，例如获知家庭环境中是否有人在休息，工作环境中是否有人在工作等，即环境感知对界面生成和多模态数据转换产生影响。

而后，通过预设的多模态交互控件对多模态数据进行处理。预设的多模态交互控件包括 GUI、VUI和PUI中的至少一个。例如多模态数据包括语音数据，那么可以对语音数据经过VUI 控件处理后输出。如果多模态数据包括图片数据，那么可以对图片数据经过GUI控件和/或 PUI控件处理后输出。

下面以一种可能的智慧化交互***的应用场景为例对本申请上述步骤301-303步骤的智能编排方法进行说明。

应用场景例如为用户早上在家通过语音助手打车。

地点：家时间：早上7:50用户：Chris语音助手：小E

用户Chris和小E的语音交互流程可以为：

Chris：你好，小E，帮我打车到公司。

小E：好的，正在使用XX打车为您叫车，成功之后会将车辆信息发到您的手机上。

小E：车辆信息：白色宝马320Li，车牌苏******，客户评分4.9分，车辆5分钟后到达小区北门。

上述Chris的语音数据会被小E识别到，语音数据即为步骤301中的编排请求，用于意图为打车，布局元素可以包括Chris所在的家的地点、识别到语音数据的时间、发出语音的用户人名以及打车目的地等。所选的编排策略即为获取打车的车辆信息的策略。

考虑到小E的计算能力受限，小E可以将编排请求和编排策略发送至云端设备执行步骤 302中的“触发智能编排软件开发工具包SDK根据布局元素以及编排策略进行智能编排”这一过程。云端设备得到的智能编排后的结果即车辆信息。智能编排后的结果再发送给小E执行步骤302中“生成编排后的DSL并解析DSL，得到解析结果，再根据解析结果进行服务智能编排”。即将云端设备发送的车辆信息生成编排后的DSL并解析DSL，得到小E这个设备的操作***的语言。

而后，小E执行步骤303，将解析后的结果生成多模态数据，例如最终小E要语音播放车辆信息，那么多模态数据包括车辆信息对应的语音数据，再调用VUI控件播放该语音数据，车辆信息会同时发送给用户Chris的手机，那么小E也会通过编辑逻模块中的显示分发功能调用PUI控件和GUI控件将车辆信息发送给Chris的手机进行显示。

对于以上应用场景的过程，如图4所示，小E作为语音指令接收设备，云端设备为服务器，那么该过程可以为：

401、语音指令接收设备接收用户的语音指令，并将语音指令发送给服务器。

语音指令可以理解为以上描述中的编排请求，应用上述场景即对应“你好，小E，帮我打车到公司”的语音数据。

402、服务器根据语音指令进行智能编排，并将智能编排的服务数据下发给智能编排***。

服务器可以根据语音指令触发服务器中的SDK根据编排请求以及编排策略进行智能编排，得到智能编排的服务数据。应用上述场景，该服务数据即为车辆信息。智能编排***例如包括图4中示意的手机、语音助手小E以及智能手环。步骤402的具体实现可以与步骤301和步骤302中的“装置触发端侧智能编排软件开发工具包SDK根据布局元素以及编排策略进行智能编排”类似。

403、智能编排***根据服务数据进行适配和排版。

步骤403的实现可以与步骤302中的“生成编排后的DSL并解析DSL，得到解析结果，再根据解析结果进行服务智能编排”以及步骤303中的“装置根据服务智能编排的结果生成多模态数据，根据预设的控件和多模态数据输出布局结果”的实现方式类似。

例如智能编排***为手机、语音助手或智能手环时，手机可以根据服务数据在手机的显示屏幕中以文字形式显示车辆信息，语音助手小E可以以语音形式播放车辆信息，智能手环也可根据屏幕大小以文字形式显示车辆信息。

通过以上实施例的说明，对于用户，本申请的网络架构可以使得相同的服务在不同的设备展现具有价值且美感的内容，提升用户体验。对于开发人员和设计人员，本申请能够减少开发和设计人员工作量。

在采用集成的单元的情况下，图5示出了一种网络设备的结构示意图，该网络设备可以包括上述实施例中所涉及的装置。网络设备50包括：处理模块502和通信模块503。处理模块502用于对网络设备的动作进行控制管理，例如，处理模块502用于支持网络设备执行图 3中的过程301、302和303，和/或用于本文所描述的技术的其它过程。通信模块503用于支持网络设备与其他网络实体的通信，例如与图1中示出的功能模块或网络实体(云侧***) 之间的通信。网络设备还可以包括存储模块501，用于存储网络设备的程序代码和数据。

其中，处理模块502可以是处理器或控制器，例如可以是中央处理器(CentralProcessing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-Specific Integrated Circuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP 和微处理器的组合等等。通信模块503可以是收发器、收发电路或通信接口等。存储模块501 可以是存储器。

当处理模块502为处理器，通信模块503为收发器，存储模块501为存储器时，本申请实施例所涉及的网络设备可以为图6所示的网络设备。

参阅图6所示，该网络设备60包括：处理器601、收发器602、存储器603以及总线604，还可以包括显示器605。其中，收发器602、处理器601以及存储器603通过总线604相互连接；总线604可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种智能布局方法，其特征在于，包括：

装置根据编排请求识别用户意图和选取编排策略，所述编排请求包括所述用户意图和布局元素，所述编排策略用于编排所述布局元素；

所述装置触发端侧智能编排软件开发工具包SDK根据所述布局元素以及所述编排策略进行智能编排，生成编排后的布局描述语言DSL，再根据所述DSL进行服务智能编排；

所述装置根据所述服务智能编排的结果生成多模态数据，根据预设的控件和所述多模态数据输出所述布局结果。

2.根据权利要求1所述的方法，其特征在于，所述装置触发端侧智能编排软件开发工具包SDK根据所述布局元素以及所述编排策略进行智能编排包括：

所述装置触发所述SDK调用端侧智能编排引擎和云侧智能编排引擎根据所述布局元素和所述编排策略进行智能编排；

其中，所述端侧智能编排引擎用于编排所述布局元素；所述云侧智能编排引擎用于执行策略更新和处理所述布局元素。

3.根据权利要求2所述的方法，其特征在于，所述云侧智能编排引擎用于智能编排所述布局元素和处理基础服务；

其中，所述云侧智能编排引擎用于智能编排所述布局元素时包括以下至少一种算法或规则：配色算法、上色算法、智能设计算法、布板算法、量化评估算法、规则模版以及配色规则；

所述基础服务包括策略更新和服务鉴权。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述生成编排后的布局描述语言DSL，再根据所述DSL进行服务智能编排包括：

生成编排后的所述DSL；

对所述DSL进行解析，得到执行所述布局结果的平台对应的DSL；

根据所述布局结果的平台对应的DSL对所述编排请求对应的服务进行串行编排。

5.根据权利要求4所述的方法，其特征在于，所述根据所述服务智能编排的结果生成多模态数据包括：

根据所述串行编排后的服务生成多模态数据；

其中，所述多模态包括语音、环境信息、视觉信息、文字信息、以及设备信息中的至少一个。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述预设的控件包括图形用户界面GUI、语音交互界面VUI和面板界面PUI中的至少一个。

7.一种装置，其特征在于，包括：

编排逻辑模块，用于根据编排请求识别用户意图和选取编排策略，所述编排请求包括所述用户意图和布局元素，所述编排策略用于编排所述布局元素；

布局智能编排模块，用于触发端侧智能编排软件开发工具包SDK根据所述布局元素以及所述编排策略进行智能编排，生成编排后的布局描述语言DSL；

服务智能编排模块，用于根据所述DSL进行服务智能编排；

多模态适配模块，用于根据所述服务智能编排的结果生成多模态数据，根据预设的控件和所述多模态数据输出所述布局结果。

8.根据权利要求7所述的装置，其特征在于，所述布局智能编排模块用于：

触发所述SDK调用端侧智能编排引擎和云侧智能编排引擎根据所述布局元素和所述编排策略进行智能编排；

其中，所述端侧智能编排引擎用于编排所述布局元素；所述云侧智能编排引擎用于执行策略更新和处理所述布局元素。

9.根据权利要求8所述的装置，其特征在于，所述云侧智能编排引擎用于智能编排所述布局元素和处理基础服务；

其中，所述云侧智能编排引擎用于智能编排所述布局元素时包括以下至少一种算法或规则：配色算法、上色算法、智能设计算法、布板算法、量化评估算法、规则模版以及配色规则；

所述基础服务包括策略更新和服务鉴权。

10.根据权利要求7-9任一项所述的装置，其特征在于，所述布局智能编排模块用于：

生成编排后的所述DSL；

对所述DSL进行解析，得到执行所述布局结果的平台对应的DSL；

所述服务智能编排模块，用于：

根据所述布局结果的平台对应的DSL对所述编排请求对应的服务进行串行编排。

11.根据权利要求10所述的装置，其特征在于，所述多模态适配模块，用于：

根据所述串行编排后的服务生成多模态数据；

其中，所述多模态包括语音、环境信息、视觉信息、文字信息、以及设备信息中的至少一个。

12.根据权利要求7-11任一项所述的装置，其特征在于，所述预设的控件包括图形用户界面GUI、语音交互界面VUI和面板界面PUI中的至少一个。

Images