CN1675917A - 多媒体消息的编排方法 - Google Patents

Abstract

本发明属于成像领域。更具体来说，本发明涉及在至少一页(37)上合成多媒体消息的自动编排过程，该消息要用来在终端屏幕上显示，以及要用来使用与终端通信的打印机来打印。所显示的合成多媒体消息可包括图像、文本和声音(音频)的实体。这些实体通常由若干原始多媒体消息的内容组成。这些原始多媒体消息分别被转化成合成多媒体消息(37)中的消息(38)、(39)、(40)、(41)、(42)、(43)。自动编排根据各种原始多媒体消息的分析来执行，它是一种特别结合了时间、内容的特征或者甚至组成原始消息的图像和文本的上下文的分析。本发明的过程用于配备显示屏幕的终端上的应用中，所述终端能够与打印机通信。

Description

多媒体消息的编排方法

发明领域

本发明属于成像领域。更具体地说，本发明涉及合成多媒体消息的自动编排过程，该消息要用来在终端屏幕上显示，以及要用来使用能够与终端通信的打印机进行打印。所显示的合成多媒体消息可包括图像、文本和声音(音频)的实体。这些实体通常由若干原始多媒体消息的内容组成。根据对各种原始多媒体消息的分析来执行自动编排。这种分析特别包括时间、内容的特征，或者甚至包括组成原始消息的图像和文本的上下文。

发明背景

在先有技术中已经公开了实现使多媒体消息能够通过适配其呈现来发送和接收的通信装置的方法和***。国际专利申请WO-0197504描述了MMS类型(多媒体消息传递***)的方法和***，其中包括能够经由控制装置、例如MMS服务器相互通信并链接到一个或多个打印机的一个或多个终端。通信装置使包含例如数字图像和文本的多媒体消息能够在第一终端与第二终端之间交换。从第二终端进行的打印多媒体消息的请求由发送多媒体消息的第一终端来控制(是否授权、副本的最大数量等)。

欧洲专利申请EP-1085464描述一种装置，特别是一种方法，它把附加文本元素或者附加图形元素包含在能够在终端上显示的数字图像中，以便产生包含这些元素的所得图像。所公开的装置使包含添加了附加元素的所得图像的整个多媒体消息能够一在屏幕上显示就可容易和有趣地阅读并得到解释。例如，图像的某些区域或部分被文本覆盖不应当消去图像内容的某些实体，从而有损于所显示消息的整体解释或理解。欧洲专利申请EP-1085464中所述的方法使数字图像的分析能够识别和标识所述数字图像中的“最佳”区域。又称作候选区的这个最佳区域表示图像中放置附加元素(文本、图形元素)的部分。要用来接收这些附加元素的图像的候选区是色彩或灰度变化小的区域，或者是未包含构成所述图像内容的实体或受关注主体的区域。该方法还使附加元素的放置或色彩能够被修改，从而优化所得图像对于观看者的整体呈现。

欧洲专利申请EP-1117230描述一种在终端显示屏幕上呈现来自诸如静止或动画(视频)图像、文本或声音(音频)的多媒体成分的信息的方法和***。呈现模型(SMIL：同步多媒体集成语言)被设计成根据由编译文件预置的配置以及对应于编程格式来显示多媒体消息，以便使组成多媒体消息页面的各种成分的呈现在发送消息的终端与接收所述消息的终端之间同步。这个编程格式定义分别显示图像和文本的区域以及组成多媒体消息的组。如果接收终端没有适合呈现消息的某些成分的特征，则这些是空白的。

先有技术的装置无法例如在单页上得到若干多媒体消息的显示。

发明内容

本发明的一个目的是提供在至少一页上自动编排以及在终端屏幕上自动显示由若干原始多媒体消息组成的合成多媒体消息的过程。

根据本发明的过程包括以下步骤：

a)从终端键盘在终端屏幕上手动显示至少一个原始多媒体消息的组；

b)从终端键盘在至少一个所显示原始多媒体消息的组中手动选择至少一个原始多媒体消息；

c)手动确认在步骤b)中作出的选择；

d)自动分析和记录至少一个所选原始多媒体消息的顺序数据；

e)自动分析和记录至少一个所选原始多媒体消息的语义数据；

f)自动分析和记录至少一个所选原始多媒体消息之间的关系数据；

g)根据所记录的数据(顺序的、语义的和关系的)自动确定至少一个已转化的多媒体消息；

h)在具有第一格式的至少一页上自动编排由至少一个已转化多媒体消息组成的合成多媒体消息；

i)在终端屏幕上自动显示合成多媒体消息，同时保持第一格式的尺寸比率；

j)从终端键盘手动确认合成多媒体消息的显示。

对一页或多页进行编排，所述页面的数量小于或等于原始多媒体消息的数量。这种编排尤其是根据各包含图像、文本或声音实体的原始多媒体消息特有的特征的自动分析来执行。这种分析则使得能够在一页或若干页上确定合成多媒体消息的优化编排。根据各原始多媒体消息的内容的关键特征来确定合成多媒体消息。这使得不仅能够得到具有单一视图或数量减少的视图的显示，而且在选择打印所得合成消息时能够降低打印成本。单页或者甚至几页被产生，并且包含各原始多媒体消息的所有重要图像和文本特征。

合成多媒体消息是根据用户从终端键盘对至少一个原始多媒体消息进行的选择、然后根据对原始多媒体消息的内容的自动分析而形成的。形成合成多媒体消息的页面数量少于或等于原始多媒体消息的数量。

本发明在合成多媒体消息的自动显示之后还允许从终端键盘手动使所建议的合成多媒体消息的显示无效。在这种情况下，本发明方法重新允许具有第二格式的至少一页上合成多媒体消息的自动编排，然后允许这个合成多媒体消息在终端屏幕上自动显示。只要根据本发明方法以给定格式显示的合成多媒体消息不适合用户，则这样迭代地进行。

本发明的过程还使对于与终端通信的打印机确认的合成多媒体消息的打印请求能够从终端键盘发送。

通过参照各种附图来阅读以下说明，会明白其它特征和优点。

附图概述

图1表示用来实现本发明的硬件环境的一个实例。

图2表示本发明过程执行的操作的示意图。

图3表示原始多媒体消息在终端屏幕上的显示的一个实例。

图4表示合成多媒体消息在终端屏幕上根据本发明过程的显示的一个实例。

发明的详细描述

以下描述是参照各种附图对本发明的主要实施例的详细描述。

本发明涉及一个过程，它从一个终端12实现在单页或者甚至若干页上对一个或者更通常的是若干多媒体消息的自动编排。有利的是，页面数量在一和五之间。有利的是，多媒体消息是例如MMS(多媒体消息服务)消息，其中包含数字图像、与所述图像相关的文本以及声音或音频消息(音乐或旋律)。因此，这些多媒体消息可以在网络中活动的终端用户之间交换。各所述用户能够例如通过向其中添加文本来修改传递消息。

图1以图解方式表示用于实现本发明的一个优选实施例。终端12通过链路17、18与服务器14通信。服务器14通过链路20与图像数据库15通信。图像数据库15存储或保存例如先前记录的高分辨率数字图像。服务器14通过链路19与打印机16通信。打印机16例如是采用专用纸(支持)、使它能够产生优质图像的打印机；这种打印机，例如喷墨、热敏、激光或照相打印机，常用于数字照片处理实验室(微型实验室)。可使用用于联机打印服务的其它图像支持：T恤、身份证照片等。终端12最好是移动终端：例如配备了键盘19A和显示屏18A的蜂窝电话，配备了能够记录数字快照的照相机模块的蜂窝电话(电话照相机)，或者配备了能够从远程在线相册下载数字照片的GSM/GPRS或3G类型蜂窝调制解调器的数字照相机(无线照相机)。在终端12为例如在GSM型网络(全球移动***)中工作的移动终端的优选实施例中，网关13实现这个终端12、服务器14以及待管理的图像数据库15之间的通信。例如WAP类型(无线应用协议)的网关13允许由终端12与网络、例如GSM之间的链路17所表示的通信。本发明可在因特网环境中实现。也就是说，在利用例如“电话照相机”类型的移动终端12的一个优选实施例中，这个终端12能够与因特网类型网络进行通信。例如希望从终端12访问在例如经由链路18链接到因特网的数据库15中包含的一个或多个图像的用户以用于电话线路的适当协议、例如WAP发送消息。该消息通过网关13传送，在其中它被转化为符合用于因特网的HTTP协议(超文本传输协议)的消息。因此，用户可恢复并在其终端屏幕上显示来自数据库15的一个或多个图像。

在一个特定实施例中，如果终端12例如属于“电话照相机”类型，则快照直接从终端12获取，并保存或存储在所述终端12的存储器中。在这种情况下，图像具有例如640×480像素的VGA类型分辨率(视频图形阵列)。

根据图2，终端12的用户从终端键盘12手动显示一个或者通常为若干原始多媒体消息。原始多媒体消息包括数字图像以及或者至少一个文本消息和/或一个声音消息。这个声音消息包括音频数据、例如已知的音乐或旋律。包含在多媒体消息中的数字图像可以是静止的或者动画的(视频剪辑)。音频数据保存在声音文件中、例如在服务器14上。根据终端12的显示屏的大小和容量，一个或多个消息在所述屏幕的一页上显示。

在第一实施例中，显示原始多媒体消息的方法可减少到连续行的显示，仅给出：“消息1”、“消息2”等等。通过单击“消息1”，相应的多媒体消息则出现在屏幕上，其形式是例如图像(图像区25、26、27、28)，在其下方出现一个或多个文本(文本区29、30、31、32)。文本区29、30、31、32也可显示在图像区之上或旁边。文本区29、30、31、32明确地提供图像固有的一个或多个文本；这是文本较短、即仅由几个字或表达式组成时的情况。或者，文本区29、30、31、32提供若干行类型“文本1”、“文本2”等，用户明确地通过单击“文本1”、“文本2”等使相应文本显示。

在第二实施例中，根据图3，原始多媒体消息21、22、23、24以上下形式出现，作为显示在屏幕18A上的页面20A。屏幕20的页面具有例如四条消息。这些原始多媒体消息21、22、23、24中的每个包括图像区25、26、27、28，文本区29、30、31、32，以及声音区32A、33；声音区32A、33表明声音消息与所述原始多媒体消息22、24相关联。图像25、26、27、28中的每个例如以低分辨率显示，使所述图像的内容可被查看。文本区可如上述第一实施例中那样显示缩短的文本(例如“文本1”、“文本2”等等)，或者明确地显示与原始多媒体消息的图像相关联的文本。在声音消息与原始多媒体消息22、24相关联的特殊情况下，图标或区分符号32A、33被显示；这个区分符号是例如音符。如果用户希望选择超过四条消息，则他们使用键盘19A滚动其它原始多媒体消息。

根据图2和图3，用户利用终端12的键盘19A，从这些原始多媒体消息21、22、23、24的显示中手动选择这些所显示消息中的一个或多个。根据一个特定实施例，利用终端12的键盘19A来进行选择，例如通过指向所选消息21、23、24，通过单击各个所述消息特定的特殊区域34、35、36。所选消息21、23、24组成例如一个故事，所述消息已经由不同发射器及时连续地传送。当用户已经选择至少一个原始多媒体消息的组时，他们通过利用例如本发明方法特有的、在终端12的屏幕18A上显示的菜单来确认这样进行的选择1。例如“供编排的消息”类型的指示在此菜单中提出。然后，本发明过程允许自动分析为编排选取的原始多媒体消息。这种分析的所得数据被自动保存。分析通过用来实现本发明过程的算法来执行。这个算法包括图2中以图解方式表示的一系列指令。在一个优选实施例中，把本发明过程特有的应用或程序安装在终端12上；在此实施例中，例如使用具有以Java或C++开发的代码的NOKIATM7650类型的终端。但是，在另一个实施例中，程序还可以安装在服务器14上。分析的第一步骤在于自动执行各所选及确认的原始多媒体消息的顺序分析2。在数据对应于原始多媒体消息创建的时刻、消息被发送的时刻、消息被接收的时刻、消息的发射器的标识、所述消息的接收器的标识的时间，这个顺序分析2实现了表征。根据此实施例，所分析的顺序数据被保存到终端12的存储器或者被保存到服务器14的存储器。

分析的第二步骤在于自动执行原始多媒体消息的语义分析4。这个语义分析是原始多媒体消息的整个内容的分析：消息内容固有的图像、文本、声音或语音。本发明方法的算法例如仅让最初相当长的文本能够留待稍后编排，同时利用所述文本的关键字保持文本的含义。根据此实施例，所分析的语义数据被保存到终端12的存储器或者被保存到服务器14的存储器。

在本发明的另一个实施例中，语义数据的自动分析和记录的步骤在顺序数据的自动分析和记录的步骤之前执行。

分析的第三步骤在于自动执行所选原始多媒体消息之间的关系分析3。本发明过程的算法使链接或对应关系能够在分别组成各种所选原始多媒体消息21、23、24中每一个的图像、文本和声音之间建立。关系分析利用所有先前保存的顺序和语义数据来执行。这个关系分析使关系数据能够被建立，关系数据对应于各所选原始多媒体消息的相应内容之间存在的链接或对应关系，并且被链接到各所述消息的相应含义；这就能够通过使用顺序和语义数据自动确定权衡各个所选原始消息之间的现有关系等级的关系数据。关系数据被保存到终端12的存储器或者被保存到服务器14的存储器。

本发明过程的算法利用所有已保存的顺序、语义和关系数据，自动确定至少一个已转化多媒体消息38、39、40、41、42、43。例如根据两个原始多媒体消息之间的现有关系等级，本发明过程的算法允许各所述原始消息的相应图像调整大小、缩放、仅保持一个受关注区域(例如面部)，和/或仅保持组成所述原始消息的文本的一部分或若干文本部分。在多媒体消息包括作为视频剪辑的图像的一个实施例中，本发明过程例如实现对所述视频剪辑的关键图像的确定；这个关键图像则由本发明过程进行处理，以便被包含在合成多媒体消息中。

因此，本发明过程实现对作为原始多媒体消息的转化的多媒体消息的确定，因为只有原始消息的关键部分被保留。这个转化6具有预测目标，尤其旨在优化以后的编排。当然，并非所有所选原始多媒体消息21、23、24都必需被转化。已转化多媒体消息38、39、40、41、42、43在整体内容(图像、文本和声音)上可与所选原始多媒体消息21、23、24相同。在这个转化步骤之后，已转化多媒体消息的数量等于原始多媒体消息的数量。所有所述已转化消息构成合成多媒体消息。

根据图4，本发明过程然后在具有给定格式的至少一页37上自动编排7由各个已转化多媒体消息组成的合成多媒体消息。图4说明例如六个所选多媒体消息38、39、40、41、42、43的编排。然后，合成多媒体消息根据本发明过程给定的格式在终端屏幕12上自动显示8。图4说明一个实例，其中，本发明过程在单页37上编排六个多媒体消息。这意味着，或者只有六个多媒体消息在先前被选取及确认，然后在此页37上编排出来，或者更多数量的消息、例如十、十二或十八条消息被选取及确认。如果十条消息被选取及确认，则本发明过程根据对这些消息的自动分析以及编程格式，在第一页37上编排和显示例如六条消息，然后在第二页37上编排和显示四条消息。如果十二条消息被选取及确认，则本发明过程根据对这些消息的自动分析和编程格式，在第一页37上编排和显示例如六条消息，然后在第二页37上编排和显示六条消息。如果十八条消息被选取及确认，则本发明过程根据对这些消息的自动分析以及编程格式，在第一页37上编排和显示例如六条消息，在第二页37上编排和显示六条消息，以及在第三页37上编排和显示六条消息。当合成多媒体消息在若干页37上被编排和显示，则各所述页37在屏幕18上的显示可通过利用终端12的键盘19A来手动执行。但是，在本发明的有利实施例中，若干页37的显示根据设定的显示时间自动执行，例如每页显示十或十五秒。对于各页有利地设置显示时间，或者对于一组页面全局设置显示时间，各所述页面自动显示实际上等于全局设定时间的约数的时间。显示时间可从键盘19A进行修改。特征在于其宽度44及其高度45的格式由本发明方法根据最初编程的格式数据自动选取。尺寸比率表征例如格式的高度和宽度之比。合成多媒体消息以作为位图文件(像素)的图像(图像格式)显示。根据图4所示的附图，以及根据消息38、39、40，所显示的图像表示例如一人或多人的面部，以及对应于所述人群之间的语言交流的文本在特定区域46、47、48、49中显示；这些区域46、47、48、49例如在图像中以气球表示。如果所显示的合成多媒体消息37适合已请求此编排的终端12的用户，则所述用户从终端12的键盘19手动确认10所建议的显示。本发明过程还使用户能够例如由终端12的屏幕上显示的菜单执行已确认合成多媒体消息的打印请求11。根据图1，打印机16例如在一张照片纸上、以其尺寸比与自动编排的大小相同的格式产生合成多媒体消息。因此，本发明过程允许产生少于或等于原始多媒体消息的数量的多张打印纸，所有所述消息例如讲述一个故事。因此，有利地节省了打印纸。

在一个特定实施例中，本发明过程还允许通过利用取决于与多媒体消息链接的上下文的分析规则5来确定已转化多媒体消息。这些分析规则5包含在算法中，并且使指令能够被执行，根据所述消息的性质：专业上下文(房地产、保险、公安等)、节假日、家庭、夜间环境等，这些指令加入对消息的语义分析，影响已转化多媒体消息的呈现，从而影响编排。分析规则根据在各上下文中最可能发生的事件来拟订。这些最可能的事件允许例如保留图像实体的表征，以便确定已转化多媒体消息，或者例如保留关键字，以便形成已转化多媒体消息的文本。

本发明过程的算法的目的是优化一组所选原始多媒体消息的编排，以便根据可用的编程格式形成合成多媒体消息。但是，如果用户决定宣告编排无效，则本发明过程通过使用与对应于已宣告无效的编排的第一格式不同的第二格式，使另一个编排9能够自动执行。用户可以选择确认10此第二编排，或者继续使其无效。本发明过程根据不同于第一和第二格式的第三格式使第三编排能够自动执行。无效宣告可按照这种方式重复进行，只要还有尚未用来执行自动编排的不同编程格式。换言之，如果本发明过程中的编程格式的数量为“n”，其中“n”为整数，则本发明过程使本发明过程自动确定的编排能够被取消“n”次。一旦所有可用的编程格式已经被宣告无效，则本发明过程再次向用户提出第一个已宣告无效的格式，然后是第二个，等等。在这种情况下，用户仅可选择从“n”中确认最适合他们的格式。在本发明的优选实施例中，编程格式的数量在一和十之间。但是，对于实现本发明过程，没有“n”的上限。

虽然已经参照其优选实施例描述了本发明，但是应当清楚，在权利要求的范围内可产生变化和修改。

Claims (13)

1.一种实现在至少一页(37)上的合成多媒体消息的自动编排以及所述合成多媒体消息在终端(12)的屏幕(18A)上的自动显示的方法；所述合成多媒体消息通过从所述终端(12)的键盘(19A)执行的至少一个原始多媒体消息(21)、(23)、(24)的选择，然后再通过对所述原始多媒体消息的内容的自动分析来形成，所述页面(37)的数量少于或等于所述原始多媒体消息(21)、(23)、(24)的数量。

2.如权利要求1所述的方法，其特征在于，它包括以下步骤：

a)从所述终端(12)的所述键盘(19A)在所述终端(12)的所述屏幕(18A)上手动显示至少一个原始多媒体消息(21)、(22)、(23)、(24)的组；

b)从所述终端(12)的所述键盘(19)在至少一个所显示的原始多媒体消息(21)、(22)、(23)、(24)的组中手动选择至少一个原始多媒体消息(21)、(23)、(24)；

c)手动确认(1)在步骤b)中作出的选择；

d)自动分析和记录所述至少一个所选原始多媒体消息(21)、(23)、(24)的顺序数据(2)；

e)自动分析和记录所述至少一个所选原始多媒体消息的语义数据(4)；

f)自动分析和记录所述至少一个所选原始多媒体消息之间的关系数据(3)；

g)根据所记录的数据(顺序的、语义的和关系的)自动确定(6)至少一个已转化多媒体消息(38)、(39)、(40)、(41)、(42)、(43)；

h)在具有第一格式的至少一页(37)上自动编排(7)由所述至少一个已转化多媒体消息组成的合成多媒体消息；

i)在所述终端屏幕上自动显示(8)所述合成多媒体消息，同时保持所述第一格式的尺寸比率；

j)从所述终端键盘手动确认(10)所述合成多媒体消息的显示。

3.如权利要求2所述的方法，其特征在于，语义数据的自动分析和记录的步骤(4)在顺序数据的自动分析和记录的步骤(2)之前执行。

4.如权利要求2所述的方法，其特征在于，所述已转化原始多媒体消息(38)、(39)、(40)、(41)、(42)、(43)与所述所选原始多媒体消息(21)、(23)、(24)一致。

5.如权利要求2所述的方法，其特征在于，所述单页的第一格式是从所述终端键盘手动选取的。

6.如权利要求2所述的方法，其特征在于，所述已转化多媒体消息的自动确定还利用取决于与所述多媒体消息链接的上下文的分析规则(5)来执行。

7.如权利要求1到6中任一项所述的方法，其特征在于，若干页面(37)的显示是通过从所述键盘(19A)手动地或者根据设定的显示时间自动地在所述终端(12)的屏幕(18A)上接连地显示所述页面(37)来执行的。

8.如权利要求2所述的方法，其特征在于，它在自动显示所述合成多媒体消息之后还包括以下步骤：

a)从所述终端键盘手动取消(10)所述合成多媒体消息的显示。

b)在具有与所述第一格式不同的第二格式的至少一页(37)上自动编排(7)所述合成多媒体消息；

c)在所述终端的屏幕上自动显示(8)所述合成多媒体消息。

9.如权利要求8所述的方法，其特征在于，所述取消被执行(n)次，(n)是使所述合成多媒体消息的编排能够执行的可用不同格式的数量。

10.如权利要求9所述的方法，其特征在于，(n)是在一和十之间的整数。

11.如权利要求2所述的方法，其特征在于，所述所选原始多媒体消息(21)、(23)、(24)包括数字图像(25)、(27)、(28)。

12.如权利要求2所述的方法，其特征在于，所述所选原始多媒体消息(21)、(23)、(24)包括数字图像(25)、(27)、(28)以及至少一个文本消息(29)、(31)、(32)。

13.如权利要求2所述的方法，其特征在于，所述所选原始多媒体消息(21)、(23)、(24)包括数字图像(25)、(27)、(28)、至少一个文本消息(29)、(31)、(32)以及音频数据(33)。

Images