CN110324232A - 基于即时通讯服务中的使用人员情况的有效的多媒体消息提供方法及*** - Google Patents

基于即时通讯服务中的使用人员情况的有效的多媒体消息提供方法及*** Download PDF

Info

Publication number
CN110324232A
CN110324232A CN201910246208.4A CN201910246208A CN110324232A CN 110324232 A CN110324232 A CN 110324232A CN 201910246208 A CN201910246208 A CN 201910246208A CN 110324232 A CN110324232 A CN 110324232A
Authority
CN
China
Prior art keywords
mentioned
terminal
data
staff
reception staff
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910246208.4A
Other languages
English (en)
Other versions
CN110324232B (zh
Inventor
张赫宰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lian Plus Co Ltd
Original Assignee
Lian Plus Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lian Plus Co Ltd filed Critical Lian Plus Co Ltd
Publication of CN110324232A publication Critical patent/CN110324232A/zh
Application granted granted Critical
Publication of CN110324232B publication Critical patent/CN110324232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50Business processes related to the communications industry
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10Multimedia information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06Message adaptation to terminal or network requirements
    • H04L51/063Content adaptation, e.g. replacement of unsuitable content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Operations Research (AREA)

Abstract

本发明公开即时通讯服务中基于使用人员情况的有效的多媒体消息提供方法及***。可通过本发明实施例的多媒体消息提供方法在即时通讯服务中基于消息的发送人员和接收人员各自的情况(context)更有效地发送、接收和/或显示多媒体消息。

Description

基于即时通讯服务中的使用人员情况的有效的多媒体消息提 供方法及***
技术领域
以下说明涉及基于即时通讯服务中的使用人员情况(context)的有效的多媒体消息提供方法及***,更详细地涉及基于即时通讯服务中的消息的发送人员和接收人员各自的情况更有效地发送、接收和/或显示多媒体消息的多媒体消息提供方法、执行上述多媒体消息提供方法的计算机装置、为了与上述计算机装置相结合并使上述计算机装置执行上述多媒体消息提供方法而存储于计算机可读记录介质的计算机程序及其记录介质。
背景技术
在最近的即时通讯服务中,使用人员不仅单纯发送或接收文本消息,还发送或接收如照片、动态影像、录音等的多种多媒体消息。例如,韩国公开专利第10-2006-0039497号涉及移动多媒体即时通讯服务***及利用其的移动多媒体即时通讯服务方法,公开了使用移动多媒体即时通讯服务***在即时通讯服务过程中实时发送或接收包括利用摄像机拍摄的图像或动态影像的多媒体数据的移动多媒体即时通讯服务方法。
但是,与文本消息不同地,这种多媒体消息的单一消息的大小如数百千字节(kilobyte,KB)至数十兆字节(megabyte,MB)相对很大于文本消息。因此,在网络情况不佳的地区或国家,发送或接收这种多媒体消息时将消耗很多时间或根本无法发送或接收。
发明内容
本发明提供在即时通讯服务中基于消息的发送人员和接收人员各自的情况更有效地发送、接收和/或显示多媒体消息的多媒体消息提供方法、执行上述多媒体消息提供方法的计算机装置、为了与上述计算机装置相结合并使上述计算机装置执行上述多媒体消息提供方法而存储于计算机可读记录介质的计算机程序及其记录介质。
本发明提供一种多媒体消息提供方法,上述多媒体消息提供方法包括:从发送人员终端接收用于向接收人员终端发送多媒体消息的请求的步骤;分析分别从上述发送人员终端及上述接收人员终端收集的情况信息来确定情况的步骤;根据所确定的上述情况来对于上述多媒体消息所包含的原始多媒体数据确定需从上述发送人员终端接收的数据的第一种类及需向上述接收人员终端发送的数据的第二种类的步骤;以及对于上述原始多媒体数据,从上述发送人员终端接收所确定的上述第一种类的数据,向上述接收人员终端发送所确定的上述第二种类的数据,从而处理上述多媒体消息的发送请求的步骤。
根据一实施方式,本发明的特征在于,所收集的上述情况信息可包含上述发送人员终端的网络情况、上述接收人员终端的网络情况、接收人员是否使用上述接收人员终端、访问可能性、使用投入强度、根据上述接收人员的明确输入来从上述接收人员终端接收的原本请求中的2种以上的信息。
根据再一实施方式,本发明的特征在于,上述第一种类的数据可包含上述原始多媒体数据及与上述原始多媒体数据有关的预览中的任一种,上述第二种类的数据可包含与上述多媒体消息的发送有关的事件、上述原始多媒体数据及与上述原始多媒体数据有关的预览中的任一种,在所确定的上述情况中,上述第一种类的数据和上述第二种类的数据确定为互不相同的数据。
根据另一实施方式,本发明的特征在于,上述多媒体消息提供方法还可包括:在所确定的上述情况根据所收集的上述情况信息的变化而变更的情况下,根据所变更的上述情况来变更上述第一种类及上述第二种类中的至少一种的步骤;以及从上述发送人员终端还接收所变更的上述第一种类的数据或向上述接收人员终端还发送所变更的上述第二种类的数据的步骤。
根据还有一实施方式,本发明的特征在于,处理上述多媒体消息的发送请求的步骤可包括:从上述发送人员终端接收及存储作为上述第一种类的数据的上述原始多媒体数据的步骤;生成与上述原始多媒体数据有关的预览的步骤;将所生成的上述预览作为上述第二种类的数据来向上述接收人员终端发送的步骤;以及随着接收来自上述接收人员终端的以上述预览为基础的原本请求而情况变更,将所存储的上述原始多媒体数据作为变更的第二种类的数据来向上述接收人员终端发送的步骤。
根据又一实施方式,本发明的特征在于,处理上述多媒体消息的发送请求的步骤可包括:从上述发送人员终端接收作为上述第一种类的数据的与上述原始多媒体数据有关的预览的步骤;将上述预览作为上述第二种类的数据来向上述接收人员终端发送的步骤;随着接收来自上述接收人员终端的以上述预览为基础的原本请求而情况变更,从上述发送人员终接收上述原始多媒体数据作为变更的第一种类的数据的步骤;以及将所接收的上述原始多媒体数据作为变更的第二种类的数据来向上述接收人员终端发送的步骤。
根据又一实施方式,本发明的特征在于,处理上述多媒体消息的发送请求的步骤可包括:将上述事件作为上述第二种类的数据来向上述接收人员终端发送的步骤;通过安装于上述接收人员终端的即时通讯应用程序来识别上述事件发生的步骤;响应上述识别来从上述发送人员终端接收作为上述第一种类的数据的与上述原始多媒体数据有关的预览及上述原始多媒体数据中的任一种数据的步骤;以及随着识别上述事件发生而情况变更,将上述预览及上述原始多媒体数据中的任一种数据作为变更的第二种类的数据来向上述接收人员终端发送的步骤。
根据又一实施方式,本发明的特征在于,上述接收任一种数据并向上述接收人员终端发送的步骤可包括:在从上述发送人员终端接收上述预览并向上述接收人员终端发送的情况下,随着接收来自上述接收人员终端的以上述预览为基础的原本请求而情况追加变更,从上述发送人员终端接收作为变更的第一种类的数据的上述原始多媒体数据的步骤;以及将所接收的上述原始多媒体数据作为追加变更的第二种类的数据来向上述接收人员终端发送的步骤。
根据又一实施方式,本发明的特征在于,上述多媒体消息提供方法还可包括:对与已向上述接收人员终端发送的数据有关的发送历史进行管理的步骤;通过所管理的上述发送历史来确认是否存在向上述接收人员终端发送上述第二种类的数据的历史的步骤;以及在存在向上述接收终端发送上述第二种类的数据的历史的情况下,向上述接收人员终端发送上述第二种类的数据的标识符或发送上述第二种类的数据时所利用的消息的标识符的步骤,在上述接收人员终端通过上述数据的标识符或消息的标识符来识别已发送并存储于上述接收人员终端的数据。
本发明提供一种多媒体消息提供方法,上述多媒体消息提供方法包括:发送人员终端向即时通讯服务器发送用于向接收人员终端发送多媒体消息的请求的步骤;上述发送人员终端向上述即时通讯服务器发送情况信息的步骤;以及分析所发送的上述情况信息及从上述接收人员终端接收的情况信息并根据通过上述即时通讯服务器确定的情况来由上述发送人员终端向上述即时通讯服务器发送上述即时通讯服务器请求的上述多媒体消息所包含的与原始多媒体数据有关的第一种类的数据的步骤。
本发明提供一种计算机程序,上述计算机程序为了通过与计算机装置相结合来使计算机装置执行上述多媒体消息提供方法而存储于计算机可读记录介质。
本发明提供一种计算机可读记录介质,存储有用于使计算机装置执行上述多媒体消息提供方法的程序。
本发明提供一种计算机装置,本发明的特征在于,包括用于在计算机执行可读指令的至少一个处理器,通过上述至少一个处理器从发送人员终端接收用于向接收人员终端发送多媒体消息的请求,分析分别从上述发送人员终端及上述接收人员终端收集的情况信息来确定情况,根据所确定的上述情况来对于上述多媒体消息所包含的原始多媒体数据确定需从上述发送人员终端接收的数据的第一种类及需向上述接收人员终端发送的数据的第二种类,对于上述原始多媒体数据,从上述发送人员终端接收所确定的上述第一种类的数据,向上述接收人员终端发送所确定的上述第二种类的数据,从而处理上述多媒体消息的发送请求。
本发明提供一种计算机装置,本发明的特征在于,包括用于在计算机装置执行可读指令的至少一个处理器,通过上述至少一个处理器,发送人员终端向即时通讯服务器发送向接收人员终端发送多媒体消息的请求,上述发送人员终端向上述即时通讯服务器发送情况信息并通过分析所发送的上述情况信息及从上述接收人员终端接收的情况信息来根据通过上述即时通讯服务器确定的情况由上述发送人员终端向上述即时通讯服务器发送上述即时通讯服务器请求的上述多媒体消息所包含的与原始多媒体数据有关的第一种类的数据。
可在即时通讯服务中根据消息的发送人员和接收人员各自的情况更有效地发送、接收和/或显示多媒体消息。
附图说明
图1为示出本发明一实施例的网络环境的例的图。
图2为示出本发明一实施例的计算机装置的例的框图。
图3为示出本发明一实施例的提供多媒体消息的例的图。
图4为示出本发明一实施例的与预览的等级和/或形式有关的例的图。
图5为示出本发明一实施例的预览的等级和/或形式的另一例的图。
图6为示出本发明一实施例的用于防止发送数据的重复发送的过程的例的图。
图7为示出本发明一实施例的用于防止发送数据的重复发送的过程的另一例的图。
图8为示出本发明一实施例的即时通讯服务器的多媒体消息提供方法的例的流程图。
图9为示出本发明一实施例的处理多媒体消息的发送请求的第一例的流程图。
图10为示出本发明一实施例的处理多媒体消息的发送请求的第二例的流程图。
图11为示出本发明一实施例的处理多媒体消息的发送请求的第三例的流程图。
图12为示出本发明一实施例的用于防止重复发送向接收人员终端发送的数据的例的流程图。
图13为示出本发明一实施例的发送人员终端的多媒体消息提供方法的例的流程图。
具体实施方式
以下,参照附图详细说明实施例。
本发明实施例的多媒体消息提供方法可通过之后所要说明的如电子设备或服务器的计算机装置实现。此时,可在计算机装置设置及驱动本发明一实施例的计算机程序,计算机装置可根据所驱动的计算机程序的控制执行本发明实施例的多媒体消息提供方法。如上所述的计算机程序为了与计算机装置相结合使计算机装置执行多媒体消息提供方法而存储于计算机可读记录介质。
图1为示出本发明一实施例的网络环境的例的图。图1示出网络环境包括多个电子设备110、120、130、140、多个服务器150、160以及网络170的例。上述图1为用于说明发明的一例,电子设备的数量或服务器的数量并不限定于图1。
多个电子设备110、120、130、140可为利用计算机装置实现的固定型终端或移动型终端。多个电子设备110、120、130、140为如智能手机(smart phone)、手机、导航机、计算机、笔记本计算机、数字广播用终端、掌上电脑(PDA,Personal Digital Assistants)、便携式多媒体播放器(PMP,Portable Multimedia Player)、平板电脑等。如一例,在图1中作为电子设备110的例子呈现了智能手机的形状,在本发明的实施例中,电子设备110可意味着实质上利用无线或有线通讯方式通过网络170可与其他多个电子设备120、130、140和/或服务器150、160进行通讯的多种物理计算机装置中的一种。
通讯方式并不受限,不仅可包括利用网络170可包括的通讯网(如一例,移动通讯网、有线网络、无线网络、广播网)的通讯方式,还可包括多个设备之间的近距离无线通讯。例如,网络170可包括个人局域网(PAN,personal area network)、局域网(LAN,local areanetwork)、校园局域网(CAN,campus area network)、城域网(MAN,metropolitan areanetwork)、广域网(WAN,wide area network)、宽带网络(BBN,broadband network)、因特网等的网络中的一种以上的任意网络。并且,网络170可包括网络拓扑结构中的一种以上,上述网络拓扑结构包括总线网络、星形网络、环形网络、网状网络、星形-总线网络、树形或分级(hierarchical)网络等,但并不限定于此。
服务器150、160分别可利用与多个电子设备110、120、130、140通过网络170进行通讯来提供指令、代码、文件、内容、服务等的计算机装置或多个计算机装置实现。例如,服务器150可为向通过网络170连接的多个电子设备110、120、130、140提供服务(如一例,游戏服务、社交网络服务、消息服务、搜索服务、邮箱服务、内容提供服务等)的***。
图2为示出本发明一实施例的计算机装置的例的框图。之前说明的多个电子设备110、120、130、140或多个服务器150、160可分别通过图2所示的计算机装置200实现。
如图2所示,上述计算机装置200可包括存储器210、处理器220、通讯接口230以及输入输出接口240。存储器210为计算机可读记录介质,可包括随机存取存储器(RAM,randomaccess memory)、只读存储器(ROM,read only memory)以及如磁盘驱动器的永久性大容量存储装置(permanent mass storage device)。其中,如只读存储器和磁盘驱动器的永久性大容量存储装置为区别于存储器210的额外的永久存储装置,还可包括于计算机装置200。并且,在存储器210可存储操作***和至少一个程序代码。这种软件结构要素可从独立于存储器210的计算机可读记录介质向存储器210加载。这种独立计算机可读记录介质可包括软盘驱动器、磁盘、磁带、DVD/CD-ROM驱动器、存储卡等的计算机可读记录介质。在另一实施例中,软件结构要素可通过通讯接口230向存储器210加载,而不是通过计算机可读记录介质向存储器210加载。例如,软件结构要素可基于计算机程序向计算机装置200的存储器210加载,上述计算机程序借助通过网络170接收的文件设置。
处理器220可通过执行基本算数、逻辑及输入输出计算来处理计算机程序的指令。指令可通过存储器210或通讯接口230向处理器220提供。例如,处理器220可执行根据存储于如存储器210的记录装置的程序代码接收的指令。
通讯接口230可提供计算机装置200通过网络170与其他装置(如一例,之前说明的存储装置)进行通讯的功能。如一例,计算机装置200的处理器220将根据存储于如存储器210的记录装置的程序代码生成的请求或指令、数据、文件等可根据通讯接口230的控制通过网络170向其他装置传递。反之,来自其他装置的信号或指令、数据、文件等可经过网络170通过计算机装置200的通讯接口230向计算机装置200发送。通过通讯接口230接收的信号或指令、数据等可向处理器220或存储器210传递,文件等可存储于计算机装置200还可包括的存储介质(上述永久存储装置)。
输入输出接口240可为用于与输入输出装置250接口的单元。例如,输入装置可包括麦克风、键盘或鼠标等的装置,并且,输出装置可包括显示器、扬声器等的装置。如另一例,输入输出接口240还可为与如触摸屏用于输入和输出的功能集成为一体的装置接口的单元。输入输出装置250还可与计算机装置200形成为一体。
并且,在另一实施例中,计算机装置200所包括的结构要素的数量可比图2中的结构要素更少或更多。但是,无需明确示出大部分的现有技术的结构要素。例如,计算机装置200可包括上述输入输出装置250中的至少一部分,还可包括如收发器(transceiver)、数据库等的其他结构要素。
在通过图1说明的多个电子设备110、120、130、140等的即时通讯服务的使用人员终端各自中的网络情况和手机使用情况实时改变,因此,在多名使用人员之间发送、接收和/或显示多媒体数据的过程中可能存在问题。
例如,网络情况不佳的接收人员投入长时间和费用(数据)下载了多媒体消息所包含的多媒体数据(如一例,动态影像),但是,多媒体数据的内容可能为不必非在当时下载的内容。
如再一例,可能发生如下的情况:接收多媒体消息时的网络情况佳,但没有及时下载多媒体消息所包含的多媒体数据,一定时间之后,当要下载多媒体数据时的网络情况变坏而无法下载多媒体数据。
如另一例,即使发送人员发送多媒体消息,接收人员也无法确认多媒体消息的情况下,发送人员可在网络慢的情况下发送多媒体消息本身,但没有必要立即发送包括于多媒体消息的容量大的多媒体数据。
因此,为了应对这种多种情况,本发明的实施例分析网络情况和使用人员的终端使用状态并综合分析参与对话的成员的情况来更有效地发送、接收和/或显示多媒体消息。
图3为示出本发明一实施例的提供多媒体消息的例的图。在本实施例中,对网络情况优良的发送人员终端310通过即时通讯服务器330向网络情况不佳的接收人员终端320发送包括如动态影像的多媒体数据的多媒体消息的情况的例进行说明。此时,假设接收人员正在使用接收人员终端320且处于使用投入强度高的情况。其中,在图3示出发送人员终端310和接收人员终端320的画面的例,发送人员终端310和接收人员终端320实质上可为设置及驱动即时通讯应用程序并通过之前说明的网络170与即时通讯服务器330进行通讯的同时发送或接收消息的物理装置,可通过图2说明的计算机装置200实现。并且,即时通讯服务器330可为如下的装置:设置驱动即时通讯应用程序的发送人员终端310与接收人员终端320之间的通讯会话,通过设定的通讯会话路由选择在发送人员终端310及接收人员终端320发送或接收的消息,以使设置通讯会话的发送侧310和接收侧320相互发送或接收消息的方式支援的一种以上的物理装置。此时,实现即时通讯服务器330的装置也可借助图2中说明的计算机装置200实现。图3的实施例中说明的通讯会话可在作为发送人员终端310及接收人员终端320的使用人员的发送人员与接收人员的账户之间设置,可在即时通讯环境中的对话窗口应对。在图3的实施例中,以发送人员与接收人员两名的使用人员之间发送或接收多媒体消息的过程为例进行了说明,在具有一名发送人员和两名以上的接收人员的群聊窗口也可适用相似的过程。此时,对于每个接收人员的多媒体消息的发送方式可根据接收人员的互不相同的使用人员情况而不同。并且,之后所要说明的发送人员终端310、接收人员终端320与即时通讯服务器330之间的信号、请求、消息、数据等的发送、上传、接收及下载可通过之前说明的网络170实现。
1)请求发送动态影像消息
在网络情况佳的发送人员终端310中,若发送人员通过借助即时通讯应用程序提供的功能选择第一动态影像311向即时通讯服务器330请求发送多媒体消息,则可根据即时通讯应用程序的控制来向即时通讯服务器330发送用于请求发送多媒体消息的信号(事件)。
2)接收动态影像消息发送请求
即时通讯服务器330可接收发送人员终端310通过网络发送的信号。此时,上述信号为用于告知发送人员终端310要发送多媒体消息的信号,不包括多媒体数据本身。
3)分析发送侧/接收侧情况信息
即时通讯服务器330可响应上述信号的接收来分析与发送人员终端310及接收人员终端320各自有关的情况信息。情况信息还可周期性地利用预先收集的信息,还可通过根据上述信号的接收向发送人员终端310及接收人员终端320发送特定信号的方式实时获取,2种方式均可利用。之后将更详细地说明与情况信息有关的具体内容和获取及分析情况信息的方法。此时,即时通讯服务器330中,如图3所假设,作为与发送人员终端310及接收人员终端320各自有关的情况信息分析结果,可确定发送人员终端310的网络情况为“佳”(如一例,“佳”及“不佳”2种已定义的等级中的第一个等级),相反,接收人员终端320的网络情况为“不佳”。并且,即时通讯服务器330可确定作为接收人员终端320的使用人员的接收人员正在使用接收人员终端320且使用投入强度“高”(如一例“佳”及“不佳”2种已定义的等级中的第一个等级)。网络情况和使用投入强度可分类为3种以上的等级。
4)确定发送方式
即时通讯服务器330可根据之前确定的情况信息的分析结果对于发送人员终端310和接收人员终端320各自确定从发送人员终端310向接收人员终端320发送的第一动态影像311的发送方式。例如,即时通讯服务器330可选择从网络情况“佳”的发送人员终端310直接接收第一动态影像311的发送方式。相反,即时通讯服务器330可选择如下的方式:不直接向网络情况“不佳”的接收人员终端320发送第一动态影像311,而从第一动态影像311生成作为动态照片的动画(animated)GIF文件a 321并发送,并根据来自接收人员终端320的明确请求发送第一动态影像311。
5)请求第一动态影像311
即时通讯服务器330可根据确定的发送方式请求向发送人员终端310上传相应第一动态影像311。
6)根据发送方式上传第一动态影像311
发送人员终端310可根据即时通讯服务器330的请求向即时通讯服务器330请求第一动态影像311。在根据实施例确定不同的发送方式的情况下,发送人员终端310可根据其他发送方式向即时通讯服务器330上传第一动态影像311。例如,还可确定如下的发送方式:在发送人员终端310的网络情况为“不佳”的情况下,发送人员终端310生成与第一动态影像311有关的预览(如一例,作为如之前说明的动画GIF文件a 321的预览(preview)数据,对如录音或音乐的音源也可利用相似的概念。)并向即时通讯服务器330发送,在发送人员终端310的网络情况改变为佳之后发送实际第一动态影像311。之后,将更详细地说明这种实施例。
7)接收及存储第一动态影像311
即时通讯服务器330接收发送人员终端310上传的第一动态影像311,并可存储于即时通讯服务器330的存储部。
8)从第一动态影像311生成动画GIF文件a 321
即时通讯服务器330可从接收的第一动态影像311生成动画GIF文件a 321。如一例,相比于普通情况,向网络情况“不佳”的接收人员终端320发送容量大的第一动态影像311可能引起接收人员在很长时间之后接收发送人员的消息或接收不到的情况。相反,通过第一动态影像311生成的动画GIF文件a 321具有相对小于第一动态影像311的容量是显而易见的,由此,接收人员可更快地获取与第一动态影像311的发送有关的信息,并可获取与第一动态影像311有关的大致信息。之后,将更详细地说明从第一动态影像311生成动画GIF文件a 321的方式。
9)发送动画GIF文件a 321
即时通讯服务器330可向接收人员终端320发送从第一动态影像311生成的动画GIF文件a 321。
10)下载及显示动画GIF文件a 321
接收人员终端320可下载即时通讯服务器330发送的动画GIF文件a 321并在画面显示。图3示出在接收人员终端320中通过对话窗口显示动画GIF文件a 321的例。接收人员可通过这种动画GIF文件a 321的下载及显示在更快的时间内确认发送人员要发送动态影像,并可掌握所要发送的动态影像的大致内容。换言之,接收人员可通过预览如动画GIF文件a 321来确定下载第一动态影像311的时间。例如,即使网络情况“不佳”接收人员也可选择直接下载第一动态影像311,还可在网络情况变为“佳”之后选择下载第一动态影像311。
11)根据接收人员的输入来请求第一动态影像311
接收人员终端320可根据来自接收人员的明确输入向即时通讯服务器330请求第一动态影像311。例如,动画GIF文件a 321可与如图3所示的“确认动态影像?”按钮322的用户界面一同显示,如接收人员选择“确认动态影像?”按钮322(如一例,在触摸屏环境中,使用人员用手指触摸显示“确认动态影像?”按钮322的区域),可根据来自接收人员的明确请求向即时通讯服务器330请求第一动态影像311。如一例,在“确认动态影像?”按钮322可设置包括用于存储于即时通讯服务器330的第一动态影像311的网络位置(如一例,统一资源定位符(URL))的链接,接收人员终端320可根据接收人员的选择向即时通讯服务器330请求存储于相应网络位置的第一动态影像311。
12)根据接收侧请求来发送第一动态影像311
即时通讯服务器330可根据来自接收人员终端320的请求向接收人员终端320发送相应第一动态影像311。
13)下载及显示第一动态影像311
接收人员终端320可从即时通讯服务器330下载第一动态影像311并在画面显示。图3示出通过对话窗口在接收人员终端320的画面显示第一动态影像311的例。此时,即使网络情况“不佳”,接收人员可在接收第一动态影像311之前预先知道发送人员发送了第一动态影像311,并可通过动画GIF文件a 321预先确认大致内容。
之前,在图3的实施例中说明了即时通讯服务器330中继发送人员终端310与接收人员终端320之间的消息传递的例,即时通讯服务器330可仅执行用于中继的功能,发送人员终端310与接收人员终端320之间可直接实际传递消息。例如,即时通讯服务器330可控制为发送人员终端310生成动画GIF文件a 321并直接向接收人员终端320发送或向接收人员终端320直接发送第一动态影像311。这还可适用于之后说明的其他实施例。
并且,图3中说明了即时通讯服务器330收集发送人员终端310及接收人员终端320各自的情况信息的实施例,根据实施例,还可使发送人员终端310及接收人员终端320各自收集情况信息。例如,发送人员终端310及接收人员终端320各自监控与即时通讯服务器330的当前网络情况来判断是否适合发送和/或接收多种多媒体消息,还可利用与平时网络情况有关的监控结果预测与未来时间有关的情况。此时,即时通讯服务器330通过分析发送人员终端310及接收人员终端320各自收集的情况信息来确定用于发送人员终端310及接收人员终端320各自的多媒体消息的发送方式。
图4为示出本发明一实施例的与预览的等级和/或形式有关的例的图。如通过之前图3进行的说明,发送人员终端310和/或即时通讯服务器330作为用于减少原始数据的容量和鉴赏时间的用途生成如动画GIF文件a 321的预览并向接收人员终端320提供。这种预览可根据情况以多种等级和/或形式生成。例如,在第二动态影像410的情况下,如直接包括原始第二动态影像410的第一等级预览、从第二动态影像410抽取突出部分420并包括的第二等级预览、包括从第二动态影像410抽取已设置的数量的图像并生成的动画GIF文件430的第三等级预览及从第二动态影像410抽取一个代表图像440并包括的第四等级预览,预览可根据情况以多种等级和/或形式生成。例如,图3中将网络情况分类为“佳”和“不佳”2种等级,但还可如“好”、“普通”、“不好”或“第一等级”、“第二等级”、“第三等级”及“第四等级”等,网络情况还可分类为3种以上的等级。并且,如已进行的说明,不仅可利用网络情况,还可利用如接收人员是否正在使用接收人员终端320、接收人员对于接收人员终端320的访问可能性和/或接收人员对接收人员终端320的使用投入强度等的多种使用人员情况信息,由此定义可确定的多媒体消息的多种发送方式并利用。此时,预览的等级和/或形式可根据多媒体消息的发送方式不同。
动态影像中的突出部分可利用如确定主题并根据所确定的主题利用神经网络(neural network)学习影像之后基于所学习的神经网络抽取突出部分的方式或在基于支持向量机(SVM,Support Vector Machine)提供动态影像服务的网站按照主题查找原始动态影像和所编辑(edit)的影像进行比较并在影像内查找相似度高的部分学习的方式等用于在动态影像抽取突出部分的多种技术中的一种以上来形成。
另一方面,作为与动态影像有关的预览生成突出部分,由于即时通讯服务的特性,多数为发送或接收包括个人影像的多媒体消息,因此,可通过与常规情况不同的突出部分抽取法进行。例如,在接收人员的观点中,通过基于与发送人员或接收人员在即时通讯服务中设置人际关系的其他使用人员(接收人员的即时通讯朋友)的头像的人脸识别在动态影像中将出现接收人员的朋友脸部的部分抽取为突出部分。除此之外,还可利用声音和/或画面上的晃动确定突出部分。例如,在动态影像中,以喊声或由于喊叫声音量急剧变大的时间点为基准将n秒钟的区间确定为突出部分。如另一例,动态影像的拍摄人员可根据特定事件的产生查找画面晃动的部分并将从画面晃动之前至画面晃动之后再次稳定为止的部分作为突出部分抽取。
另一方面,图4中对即时通讯服务器330生成预览并向接收人员终端320提供的实施例进行了说明,还可根据实施例在发送人员终端310生成预览并通过即时通讯服务器330向接收人员终端320提供。这种实施例的差异不仅仅是生成预览的主体不同,还可考虑如发送人员终端310和/或接收人员终端320的网络情况、接收人员终端320的使用与否等的使用人员情况进行。例如,在发送人员终端310的网络情况为“不佳”、接收人员终端320的网络情况为“不佳”且接收人员当前正在使用接收人员终端320的情况下,发送人员终端310可生成预览并向即时通讯服务器330上传来向接收人员终端320发送,并依次向即时通讯服务器330上传第二动态影像410来向接收人员终端320发送,而不是直接向即时通讯服务器330上传作为原始多媒体数据的第二动态影像410。在此情况下,接收人员终端320通过相对小容量的预览大致掌握第二动态影像410的内容并可确定与第二动态影像410有关的下载与否及下载时间。此时,随着接收人员请求下载第二动态影像410,第二动态影像410从发送人员终端310向即时通讯服务器330上传并可通过即时通讯服务器330向接收人员终端320提供。
图5为示出本发明一实施例的预览的等级和/或形式的另一例的图。在如录音或音乐的第一音源510的情况下,如直接包括原始第一音源510的第一等级预览、从第一音源510抽取并包括文本520的第二等级预览及从所抽取的文本520中抽取并包括代表文本530的第三等级预览,预览可根据情况以多种等级和/或形式生成。这种多种等级和/或形式的预览也可如上所述地根据使用人员的情况通过即时通讯服务器330或发送人员终端310生成并向接收人员终端320提供。
并且,根据实施例,从第一音源510抽取文本520并从文本520抽取代表词语或文章之后,还可将从第一音源510仅抽取与代表词语或文章相对应的部分并编辑的音源作为预览生成。
发送人员终端310中的发送事件输入和实际多媒体数据的发送可单独处理。例如,图3中说明了由发送人员确定动态影像消息的发送且在即时通讯服务器330确定第一动态影像311的上传时间的例。换言之,可通过服务器确定原始多媒体数据的发送时间。并且,发送人员终端310还可根据通过即时通讯服务器330确定的发送方式仅发送预览或事件,而不是发送原始多媒体数据。例如,从发送人员终端310发送原始多媒体数据的方式可通过即时通讯服务器330的下述(1)至(4)中的一种确定。
(1)原本发送
当发送多媒体消息时,发送人员终端310可直接向即时通讯服务器330上传多媒体消息所包含的原始多媒体数据。
(2)事件发送→原本发送
发送人员终端310可向即时通讯服务器330仅发送与多媒体消息的发送有关的事件。之后,发送人员终端310可根据来自即时通讯服务器330的请求向即时通讯服务器330上传原始多媒体数据。例如,图3中说明了发送人员终端310向即时通讯服务器330发送用于多媒体消息的发送请求的信号(事件)并根据来自即时通讯服务器330的请求发送原始多媒体数据。
(3)预览发送→原本发送
发送人员终端310生成与所要发送的原始多媒体数据有关的预览并向即时通讯服务器330发送,之后,可根据来自即时通讯服务器330的请求向即时通讯服务器330上传原始多媒体数据。
(4)事件发送→预览发送→原本发送
发送人员终端310可向即时通讯服务器330仅发送与多媒体消息的发送有关的事件。之后,发送人员终端310根据来自即时通讯服务器330的请求生成与原始多媒体数据有关的预览并向即时通讯服务器330发送,之后,可根据来自即时通讯服务器330的请求向即时通讯服务器330上传原始多媒体数据。
此时,发送人员终端310生成预览的情况和即时通讯服务器330生成预览的情况互不相同。例如,在发送人员终端310的网络情况为“佳”的情况下,发送人员终端310不必生成预览并向即时通讯服务器330提供。相反,在发送人员终端310的网络情况为“不佳”的情况下,最优选地情况为发送人员终端310推迟原始多媒体数据的上传直到网络情况变为“佳”为止。在此情况下,发送人员终端310生成与消息的发送有关的事件或预览并向即时通讯服务器330发送,而不是发送原始多媒体数据,使得推迟原始多媒体数据的上传。此时,接收人员至少通过预览确认原始多媒体数据的简要内容之后选择性地请求原始多媒体数据的发送,因此,在网络情况为“不佳”的情况下,发送人员终端310不发送原始多媒体数据的可能性增加。并且,即使发送人员终端310在网络情况为“不佳”的情况下发送原始多媒体数据,也已经向接收人员发送了预览,因此,与多媒体消息的发送有关的实时性得到一定程度的保障。
图6为例示本发明一实施例的用于防止发送数据的重复发送的过程的例的图。以下,“发送数据”可意味着多媒体消息、原始多媒体数据和/或预览。图6中说明第一发送人员终端610通过即时通讯服务器330向第一接收人员终端620发送作为发送数据的被标识符“abc”识别的动态影像a的情况。图6通过虚线箭头示出已发送的动态影像a的发送。此时,动态影像a还可在规定时间内存储于即时通讯服务器330的存储部630。
在此情况下,第一发送人员终端610要向第二接收人员终端640发送动态影像a。此时,第一发送人员终端610可通过与动态影像有关的发送历史来确认存在发送动态影像a的历史。在此情况下,第一发送人员终端610可向即时通讯服务器330发送动态影像a的标识符“abc”,而不是再次发送动态影像a。即时通讯服务器330可通过所接收的标识符“abc”搜索存储部630并识别动态影像a,并可向第二接收人员终端640发送所识别的动态影像a。图6中通过实线箭头示出利用标识符“abc”的动态影像a的发送。在此情况下,可防止第一发送人员终端610重复发送动态影像a,通过防止这种重复发送可减少数据发送费用。若超过与动态影像a有关的存储期限而从存储部630删除动态影像a,即时通讯服务器330可利用标识符“abc”向第一发送人员终端610请求再次发送动态影像a。
与此相似地,即时通讯服务器330也可减少第一接收人员终端620或第二接收人员终端640重复接收多媒体消息而引起的数据发送费用。
图7为示出本发明一实施例的用于防止发送数据的重复发送的过程的另一例的图。图7中说明用于防止即时通讯服务器330向第一接收人员终端620重复发送发送数据的实施例。为此,假设第一发送人员终端610的第一发送人员的账户与第一接收人员终端620的第一接收人员的账户之间具有与所设置的通讯会话相对应的第一对话窗。并且,假设第一发送人员终端610的第一发送人员的账户与第一接收人员终端620的第一接收人员的账户、第二接收人员终端630的第二接收人员的账户及第三接收人员终端710的第三接收人员的账户之间具有与所设置的通讯会话相对应的第二对话窗。
可考虑从第一发送人员终端610通过第一对话窗向第一对话窗的第一接收人员终端620发送被标识符“abc”识别的动态影像a的情况。在此情况下,动态影像a可通过即时通讯服务器330向第一接收人员终端620发送,图7通过虚线箭头示出这种过程。此时,动态影像a可存储于即时通讯服务器330所包括的存储部630。
之后,可考虑第一发送人员终端610通过第二对话窗发送被标识符“abc”识别的动态影像a的情况。在此情况下,与通过图6进行的说明相似地,第一发送人员终端610可通过与动态影像有关的发送历史来确认存在发送动态影像a的历史,并可向即时通讯服务器330发送动态影像a的标识符“abc”,而不是向即时通讯服务器330再次发送动态影像a。此时,即时通讯服务器330可通过标识符“abc”在存储部630识别动态影像a。另一方面,即时通讯服务器330可向参与第二对话窗的作为第一接收人员、第二接收人员及第三接收人员的终端的第一接收人员终端620、第二接收人员终端640及第三接收人员终端710分别发送所识别的动态影像a。为了防止重复发送,即时通讯服务器330可通过与动态影像有关的发送历史来确认之前向第一接收人员终端620发送了动态影像a。在此情况下,即时通讯服务器330向第二接收人员终端640和第三接收人员终端710发送动态影像a,相反,可向第一接收人员终端620发送动态影像a的标识符“abc”。接收标识符“abc”的第一接收人员终端620可确认与标识符“abc”相对应的动态影像a是否存储于第一接收人员终端620,在存储有动态影像a的情况下,通过第二对话窗显示动态影像a,使得可防止动态影像a的重复发送。相反,在未存储有动态影像a的情况下,第一接收人员终端620可向即时通讯服务器330请求下载与标识符“abc”相对应的动态影像a。
另一方面,图6及图7的实施例中说明了与使用人员情况无关地发送原始多媒体数据的实施例,如之前通过图3至图5进行的说明,在根据使用人员情况确定原始多媒体数据的发送方式的过程中,可追加利用如图6及图7的实施例的重复防止方法。并且,在图6及图7中利用了动态影像a的标识符“abc”,还可利用发送动态影像a时所利用的消息的标识符。例如,还可通过发送预览时所使用的消息的标识符识别已发送并存储的预览。
即时通讯服务器330考虑发送人员终端310和接收人员终端320各自的多种情况确定多媒体消息的发送方式(发送内容(消息事件、多种等级和/或形式的预览、原始多媒体数据)和/或发送时间),可根据所确定的发送内容和/或发送时间控制发送人员终端310与接收人员终端320之间的多媒体消息的发送或接收。此时,即时通讯服务器330可考虑如下的(a)至(d)的要素。
(a)发送或接收人员的当前网络情况和/或预测的未来网络情况
例如,可监测及记录如下信息来确定和/或预测特定终端的网络情况。
-特定终端在无线保真(Wifi)和移动网络中使用哪种无线网络的信息,例如,可通过如安卓或iOS等从特定终端的操作***中提供的事件获取上述信息。如更具体的例,在如安卓的操作***的情况下,可通过“ConnectivityManager”方法获取与无线网络有关的使用信息。
-特定终端所使用的无线网络的信号强度信息,例如,在如安卓的操作***的情况下,可通过“WifiManager.getConnectionInfo”方法获取与无线保真中的信号强度有关的信息。
-通过与服务器连接检测到的数据速度,例如,可通过在与即时通讯服务器330的周期性消息交换中检测发送、回信之间的发送速度、延迟时间(latency)等来获取数据速度。
(b)接收人员的当前接收人员终端320的使用与否和/或预测的未来使用情况
(c)接收人员的当前向接收人员终端320的访问可能性和/或预测的未来访问可能性
例如,可通过监测及记录接收人员终端320的使用情况来确定和/或预测对接收人员终端320的使用与否和访问可能性。例如,可通过与画面的开启(On)/关闭(Off)情况、锁屏的开启/关闭情况、应用程序执行情况等有关的信息确定对接收人员终端320的使用与否。如更具体的例,在如安卓的操作***的情况下,可通过“LCD_ON”、“LCD_OFF”、“USER_PRESENT”等的事件获取与画面、锁屏的开启/关闭情况有关的信息。并且,可基于所获取的信息确定对接收人员终端320的当前使用情况。例如,可通过画面为开启的第一使用情况、画面为开启且锁屏为开启的第二使用情况、画面为开启且锁屏为关闭的第三使用情况及画面为开启、锁屏为关闭且使用应用程序中的第四使用情况中的一种使用情况确定接收人员终端320的使用情况。
如再一例,接收人员终端320可检测到使用人员使用设备的手。例如,接收人员终端320可利用加速度传感器和陀螺传感器提供与使用人员使用移动设备的手有关的信息。例如,可提供与“左手”、“右手”、“双手”及“搁置”中的一种情况有关的信息。“左手”可意味着使用人员利用左手握住移动设备并使用的情况,“右手”可意味着使用人员利用右手握住移动设备并使用的情况,“双手”可意味着使用人员利用双手握住移动设备并使用的情况,“搁置”可意味着使用人员以不握住移动设备的方式使用的情况。例如,在利用单手操作设备来打字的情况下,可通过加速度传感器和/或陀螺传感器掌握以设备的中央轴为基准朝向哪侧方向的晃动或震动突出和/或设备的方向(orientation,即,是否为横向或竖向),将此与单手设备使用模式关联的已存储的数据组(data set)进行比较来确定利用哪只手使用设备或是否利用双手使用设备。
如另一例,接收人员终端320还可检测接收人员终端320的位置信息。上述位置信息可包括如使用人员所穿戴的衣服的口袋内、使用人员所背的包内或外部露出等的位置信息,而不是地理位置。例如,移动设备可利用加速度传感器、照度传感器、麦克风及近距离传感器等检测及提供移动设备的位置信息。
如还有一例,接收人员终端320可检测接收人员终端320的地理位置信息。例如,接收人员终端320可利用全球定位***(GPS)、无线保真定位、基站等多种信息获取及提供如移动设备的当前纬度/经度位置信息的地理位置信息。
如又一例,接收人员终端320可检测使用人员的移动情况。例如,与移动情况有关的例示可包括“静止”、“步行”、“奔跑”、“公共汽车”、“地铁”、“汽车”及“自行车”中的任一种。接收人员终端320可通过全球定位***及周围无线电话网的基站或通过无线保真接入点(AP,Access Point)的信息提供的移动设备的地理位置(如一例,纬度/经度的坐标)的变化或移动设备包括的加速度传感器的检测值等获取与移动设备的移动速度有关的信息。并且,移动设备基于利用所获取的移动速度和/或移动设备所包括的加速度传感器和/或陀螺传感器检测的移动设备的振动或振动的模式获取与使用人员的移动情况有关的信息。上述用于获取移动速度或移动情况有关的信息的技术通过如“谷歌活动识别应用程序接口(Google Activity Recognition API)”已周知的技术使普通技术人员容易理解。
以上所说明的多种信息可用于确定接收人员当前是否处于可访问接收人员终端320的情况。
并且,基于与接收人员终端320的使用情况有关的记录预测对于接收人员终端320的未来使用可能性。例如,通过与接收人员终端320的使用情况有关的记录学习深度学习(deep learning)模型,可通过当前时间和基于当前使用情况学习的深度学习模型预测在已设置的时间(如一例,1小时)之后接收人员使用接收人员终端320的可能性(概率,如一例15%、10%等)或通过接收人员终端320使用应用程序(如一例,即时通讯应用程序)的可能性。
(d)接收人员当前对接收人员终端320的使用投入强度和/或预测的未来使用投入强度
例如,接收人员终端320可根据即时通讯应用程序的控制利用之前说明的与接收人员终端320的使用情况有关的记录计算及记录当前时间(当前星期和/或时间段)并根据当前场所接收人员使用多长时间的接收人员终端320和/或即时通讯应用程序。此时,接收人员终端320基于此记录作为根据当前使用人员的情况(时间和场所)有多投入接收人员终端320和/或即时通讯应用程序的使用的倾向计算上述使用投入强度。上述使用投入强度可计算为按照使用期限和使用频率的多个等级。
如更具体的例,接收人员终端320可通过表格的列和行在每个格记录位置及时间段的平均使用时间和平均使用频率。之后,接收人员终端320可使用所要预测的情况(时间段、位置)的平均记录计算使用投入强度。例如,表格的行可与已设置的时间(如一例,15分钟)间隔的时间相对应,列可与场所(如一例,与家、公司、经常去的饭馆或咖啡店、家与公司之间的路径等位置有关的纬度/经度等的坐标等)相对应。
例如,接收人员终端320可生成根据上述(a)至(d)的情况信息并向即时通讯服务器330提供。为此,接收人员终端320可生成当前接收人员对接收人员终端320的使用与否、访问可能性及使用投入强度有关的值并向即时通讯服务器330提供。
并且,接收人员终端320可向即时通讯服务器330发送与接收人员的消息访问有关的事件。例如,接收人员终端320可向即时通讯服务器330发送如与接收人员使用接收人员终端320有关的事件、与接收人员在接收人员终端320使用即时通讯应用程序有关的事件、与随着向接收人员开启对话窗而使接收人员终端320发生相应多媒体消息有关的事件、与接收人员通过经接收人员终端320发生的多媒体消息请求下载原始多媒体消息有关的事件等根据接收人员的行为的步骤性事件。此时,即时通讯服务器330利用上述步骤性事件确定之前说明的(b)至(d)的要素,可利用于发送方式(发送内容和/或发送时间)的确定。
并且,接收人员终端320可根据即时通讯服务器330的确定,即使没有接收人员的请求也可预先下载原始多媒体数据。例如,即使接收人员对于接收人员终端320的使用投入强度低,在网络情况为佳的情况下,接收人员终端320可从即时通讯服务器330预先下载原始多媒体数据。
如上所述,在本发明的实施例中,基于网络情况、终端的使用与否、访问可能性、投入强度等的使用人员情况,随着在接收人员接收发送人员发送的多媒体消息的原始多媒体数据之前即时通讯服务器330或发送人员终端310生成并发送,帮助接收人员预先了解到相应多媒体消息的内容,使得更有效地显示多媒体消息。如上所述,预览可根据原始多媒体数据的种类和/或使用人员情况以多种等级和/或形式生成。例如,在动态影像的情况下,由部分帧结合的动画GIF文件可作为预览生成,在录音的情况下,从音源识别的文本可作为预览生成。并且,对于包括多个图像的照片组,拼贴(如一例,4×4大小)、缩略图、代表照片等可作为预览生成。例如,代表照片的选择可通过分析照片来选择图像独特的照片和/或反映使用人员的取向来进行。作为多媒体数据,在传递文档的情况下,可将文档的题目或文档内的代表文章或文档内的代表图像等作为预览抽取。
不仅如此,接收人员可通过之前说明的预览简要掌握相应多媒体消息的内容,因此,接收人员可直接选择下载多媒体消息所包含的原始多媒体数据的时间。例如,在接收人员终端320与速度快的无线保真连接且接收人员当前使用接收人员终端320的情况下,接收人员终端320无需接收人员另行输入也预先下载原始多媒体数据,使接收人员快速浏览相应多媒体消息的整体内容。相反,在接收人员终端320与速度慢的3G网连接且接收人员当前使用接收人员终端320的情况下,接收人员终端320仅下载预览并在接收人员浏览预览之后直接选择是否下载原始多媒体数据和/或下载时间。如再一例,在接收人员终端320与速度慢的3G网连接且接收人员当前未使用接收人员终端320的情况下,接收人员终端320仅接收消息事件来向接收人员告知已接收消息。此时,如接收人员使用接收人员终端320或接收人员终端320与速度快的无线保真连接等,随着使用人员情况的变更,接收人员终端320可下载预览和/或原始多媒体数据。如更具体的例,随着认知到接收人员开始使用接收人员终端320,接收人员终端320下载并提供预览,使接收人员直接选择是否下载原始多媒体数据和/或下载时间。或者,随着检测到接收人员终端320连接的网络从3G网变更为无线保真,接收人员终端320可下载原始多媒体数据。
并且,对于具有发送历史的发送数据,可随着发送人员终端310向即时通讯服务器330发送发送数据的标识符来防止相同发送数据的再次发送。例如,发送人员终端310可向即时通讯服务器330发送具有发送历史的发送数据的标识符,即时通讯服务器330可确认接收的标识符的发送数据是否向即时通讯服务器330发送。此时,在与接收的标识符相对应的发送数据存储于即时通讯服务器330的情况下,即时通讯服务器330可利用存储于即时通讯服务器330的发送数据向接收人员终端320提供多媒体消息,而不是从发送人员终端310接收发送数据。在不具有与相应标识符相对应的存储于即时通讯服务器330的发送数据的情况下,即时通讯服务器330可向发送人员终端310请求上传相应发送数据。与此相似地,即时通讯服务器330中,可基于与发送数据有关的发送历史,对于已向接收人员终端320发送的发送数据,随着向接收人员终端320提供发送数据的标识符来可防止接收人员终端320重复下载发送数据。在此情况下,即时通讯服务器330可向接收人员终端320发送所要向接收人员终端320发送的发送数据的标识符。此时,接收人员终端320可通过发送的标识符确认相应发送数据是否存储于接收人员终端320。若相应发送数据存储于接收人员终端320,则接收人员终端320可利用存储的发送数据显示多媒体消息。若相应发送数据未存储于接收人员终端320,则接收人员终端320可向即时通讯服务器330请求相应标识符的发送数据。
并且,如上所述,发送人员终端310可通过分析如发送人员终端310的网络情况和接收人员终端320的网络情况、接收人员对接收人员终端320的使用与否、访问可能性、使用投入强度等的多种使用人员情况并根据其分析结果以互不相同的发送方式发送多媒体消息。例如,在发送人员终端310的网络情况为“佳”、接收人员终端310的网络情况为“佳”且接收人员正在使用接收人员终端310的情况下,发送人员终端310可直接发送包括原始多媒体数据的多媒体消息。相反,在发送人员终端310的网络情况为“佳”、接收人员终端310的网络情况为“不佳”且接收人员正在使用接收人员终端310的情况下,可发送包括原始多媒体数据的预览的多媒体消息。此时,在接收预览的接收人员请求原始多媒体数据的情况下,可通过即时通讯服务器330向发送人员终端310发送这种请求,此时,发送人员终端310可通过即时通讯服务器330向接收人员终端320发送原始多媒体数据。如再一例,在发送人员终端310的网络情况为“不佳”、接收人员终端310的网络情况为“不佳”且预测接收人员“1小时之后”使用接收人员终端310的情况下,发送人员终端310可简单地通过即时通讯服务器330向接收人员终端310仅发送消息事件。之后,发送人员终端310可根据发送人员和/或接收人员的使用人员的情况的变化通过即时通讯服务器330向接收人员终端320发送预览或原始多媒体数据。如上所述,可通过即时通讯服务器330确定发送方式。例如,在仅发送消息事件的情况下,即时通讯服务器330可从发送人员终端310和接收人员终端320收集与使用人员情况有关的信息,可根据所收集的使用人员情况的变化向发送人员终端310请求预览或上传原始多媒体数据。
对即时通讯服务器330确定发送方式(发送内容和发送时期/时间)的推论方法的例进行说明。例如,即时通讯服务器330可基于发送紧急性和内容投入度确定发送方式。此时,发送紧急性可具有比内容投入度优先的重要度。例如,在接收人员直接请求原始多媒体数据的情况下,与原始多媒体数据的内容或容量等其他的无关地,可直接向接收人员终端320发送原始多媒体数据。相反,若向接收人员发生与多媒体消息有关的事件但未从接收人员接收与原始多媒体数据有关的请求,则可仅发送原始多媒体数据的预览。
另一方面,上述发送紧急性可与网络情况成比例。例如,在网络情况为“不佳”的情况下,发送紧急性低,因此,可尽可能推迟原始多媒体数据的发送。
内容投入度可与之前说明的接收人员对接收人员终端320的访问可能性、使用与否和/或使用投入强度成比例。例如,若接收人员握住接收人员终端320并使用即时通讯应用程序且具有在当前场所/时间长时间使用接收人员终端320的历史,则内容投入度可具有最高值。上述发送紧急性和内容投入度可从各自的情况计算。例如,作为利用机械学习的分类方法,可利用使用概率的分类模型或非概率分类模型。
在使用概率的分类模型中,可利用朴素贝叶斯分类(Naive BayesClassification)。朴素贝叶斯分类为适用假设特性之间的独立的贝叶斯定理的概率分类器的一种。
朴素贝叶斯中,由示出N个特性(从属变数)的向量x=(x1,...,xn)表达作为条件概率模型所要分类的实例,朴素贝叶斯分类器利用上述向量将k个可能的概率结果(等级)如下述数学式1分配。
数学式1
p(Ck|x1,...,xn)
在特性N的数较多或一个特性具有较多的数值的情况下,上述数学式1难以向概率表格直接适用贝叶斯模型。因此,上述式可利用贝叶斯定理和条件概率整理为下述数学式2。
数学式2
通过使用贝叶斯概率术语可将上述式表达为数学式3。
数学式3
其中,“posterior”可意味着事后概率,“prior”可意味着事前概率,“likelihood”可意味着可能性,“evidence”可意味着观察值。
实际上,在上述数学式3中,仅分子部分具有含义。这是因为,分母部分不依赖给定的C值,特性的值Fi使分母值成为常数。分子部分为如下述数学式4的结合概率模型。
数学式4
p(Ck,x1,...,xn)
此时,数学式4通过使用反复适用条件概率的连锁法则重新表达为如下述数学式5。
数学式5
p(Ck,x1,...,xn)
=p(Ck)p(x1,...,xn|Ck)
=p(Ck)p(x1|Ck)p(x2,...,xn|Ck,x1)
=p(Ck)p(x1|Ck)p(x2|Ck,x1)p(x3,...,xn|Ck,x1,x2)
=p(Ck)p(x1|Ck)p(x2|Ck,x1)...p(xn|Ck,x1,x2,x3,...,xn-1)
朴素贝叶斯中,条件独立性可表达为如下述数学式6。
数学式6
p(xi|Ck,xj)=p(xi|Ck),
p(xi|Ck,xj,xk)=p(xi|Ck),
p(xi|Ck,xj,xk,xl)=p(xi|Ck),
此时,在给定类别类型C的情况下,某种特性Fi对于所有Fj(j≠i)有条件独立。即,数学式6对于j≠i的k,1成立,基于此,结合模型可表达为如下述数学式7。
数学式7
数学式7中,在假设独立性的情况下,等级变数C的条件分布可表达为如下述数学式8。
数学式8
其中,Z=p(x)为在给定特性值的情况下成为常数的,即,仅依赖x1,……,xn的比例因子。
朴素贝叶斯分类为组合上述概率模型和确定规则而成,一个共同规则为选择可能性最高的假设。此为选择事后或MAP确定规则的最大值。即,朴素贝叶斯分类中,对等级k,即Ck通过下述数学式9查找具有最大概率的等级k。
数学式9
例如,即时通讯服务器330假设根据所收集的情况信息(如一例,发送人员终端310及接收人员终端320各自的网络情况、对接收人员终端320的使用与否、使用投入强度、访问可能性、使用设备的手、接收人员终端320的位置信息、地理位置信息等)的情况为独立事件,并可收集与各自的情况有关的事件产生次数。并且,即时通讯服务器330可计算基于上述事件产生次数的产生概率,对于所要的结果值计算个别情况具有哪种概率来生成事件模型。之后,输入用于测试的情况事件并通过所生成的事件模型推定结果值。
另一方面,作为非概率分类模型可利用支持向量机(Support Vector Machine,SVM)。支持向量机为机械学习的领域中的一种,为用于模式识别、资料分析的指导学习模型,主要用于分类和回归分析。当给定2种类别中属于一种的数据的集合时,支持向量机算法根据所给定的数据集合制作判断新数据属于哪种类别的非概率二元线性分类模型。所制作的分类模型在映射数据的空间以边界表达,支持向量机算法为在此寻找具有最大幅度的边界的算法。支持向量机不仅可用于线性分类,还可用于非线性分类。需要将为了非线性分类而给定的数据映射在高维空间的作业,为了有效地进行上述作业,还使用内核技巧。
即时通讯服务器330进行将之前说明的称为所收集的情况信息的数据的集合(数据的向量)属于哪种类别的连续分类,使得作为与数据的集合相对应的情况(类别)确定发送紧急性和内容投入度,可根据确定的情况确定发送方式(发送内容和发送时期/时间)。
作为相似的方法,即时通讯服务器330还可通过使用与所收集的情况信息有关的未来预测计算未来的发送紧急性和内容投入度。例如,即时通讯服务器330可预测1小时之后的网络情况、访问可能性、使用与否等的情况信息来计算1小时之后的发送紧急性和内容投入度。在此情况下,即时通讯服务器330可通过当前发送紧急性和内容投入度、与对于未来预测到的发送紧急性和内容投入度有关的变化预测推理(如一例,上升、下降、维持)确定与多媒体消息有关的发送方式(发送内容和发送时间)。例如,即时通讯服务器330根据确定的发送内容和发送时间当前向接收人员终端320仅发送与多媒体消息有关的事件,至情况产生变化为止等待1小时之后可发送原始多媒体消息。如再一例,即时通讯服务器330可选择如下的发送方式:生成与原始多媒体数据有关的预览并向发送人员终端310发送,向接收人员终端320仅发送与多媒体消息有关的事件。如另一例,即时通讯服务器330还可选择如下的方式:从发送人员终端310接收原始多媒体数据,从即时通讯服务器330生成预览并向接收人员终端320发送,之后,即时通讯服务器330根据来自接收人员终端320的原始多媒体数据的请求向接收人员终端320发送原始多媒体数据。
图8为示出本发明一实施例的即时通讯服务器的多媒体消息提供方法的例的流程图。如一例,可通过之前说明的实现即时通讯服务器330的计算机装置200执行本实施例的多媒体消息提供方法。例如,计算机装置200的处理器220可执行存储器210所包括的操作***的代码或根据至少一个程序代码的控制指令(instruction)。其中,处理器220可控制计算机装置200,来使计算机装置200根据存储于计算机装置200的代码所提供的控制指令执行图8的多媒体消息提供方法所包括的步骤(810至840)。图8中对即时通讯服务器330执行步骤(810至840)的过程进行说明。
在步骤810中,即时通讯服务器330可从发送人员终端接收用于向接收人员终端发送多媒体消息的请求。如一例,发送人员终端和接收人员终端可分别与之前说明的发送人员终端310及接收人员终端320相对应。在常规即时通讯服务中,发送人员终端简单地直接向即时通讯服务器330发送包括原始多媒体数据的多媒体消息。相反,在本实施例中,利用即时通讯服务器330确定从发送人员终端发送原始多媒体数据的方式,因此,在发送原始多媒体数据之前,即时通讯服务器330可接收与发送上述多媒体消息有关的请求。
在步骤820中,即时通讯服务器330可通过分析分别从发送人员终端及接收人员终端收集的情况信息来确定情况。如一例,所收集的情况信息可括发送人员终端的网络情况、接收人员终端的网络情况、接收人员对接收人员终端的使用与否、访问可能性、使用投入强度、根据接收人员的明确输入从接收人员终端接收的原本请求中的2种以上有关的信息。已对上述个别情况信息和根据情况信息确定的情况进行了详细说明,将省略反复说明。
在步骤830中,即时通讯服务器330根据所确定的情况对于多媒体消息所包含的原始多媒体数据确定需从发送人员终端接收的数据的第一种类及需向接收人员终端发送的数据的第二种类。例如,第一种类的数据可包括原始多媒体数据及与原始多媒体数据有关的预览中的任一种。并且,第二种类的数据可包括与多媒体消息的发送有关的事件、原始多媒体数据及与原始多媒体数据有关的预览中的任一种。此时,在即时通讯服务器330中确定的至少一种情况中,第一种类的数据和第二种类的数据确定为互不相同的数据。如一例,如通过图3进行的说明,即使即时通讯服务器330作为第一种类的数据从发送人员终端接收原始多媒体数据,为了网络情况为“不佳”的接收人员终端,作为第二种类的数据生成原始多媒体数据的预览并可向接收人员终端发送。换言之,即时通讯服务器330根据确定的情况从发送人员终端接收的数据和向接收人员终端发送的数据可互不相同。
在步骤840中,即时通讯服务器330对于原始多媒体数据,从发送人员终端接收确定的第一种类的数据,向接收人员终端发送确定的第二种类的数据,从而可处理多媒体消息的发送请求。如上所述,在即时通讯服务器330中,在发送人员终端与接收人员终端之间传递包括原始多媒体数据的多媒体消息的过程中,对于原始多媒体数据按照根据从发送人员终端和接收人员终端收集的情况信息确定的情况确定接收和/或发送的数据的种类并发送,使得更有效地发送、接收及显示多媒体消息。
并且,在确定的情况根据所收集的情况信息的变化而变更的情况下,即时通讯服务器330可根据变更的情况变更第一种类及第二种类中的至少一种。在此情况下,即时通讯服务器330可从发送人员终端再次接收变更的第一种类的数据或向接收人员终端还发送变更的第二种类的数据。
图9为示出本发明一实施例的处理多媒体消息的发送请求的第一例的流程图。图9的步骤(910至940)可包括于之前说明的步骤840来执行。如一例,如通过图3进行的说明,图9的实施例可为发送人员终端的网络情况为“佳”、接收人员终端的网络情况为“不佳”、接收人员终端是否使用接收人员终端为“是”且使用投入强度为“好”的情况的实施例。换言之,图9的实施例对对于发送人员终端的发送紧急性高、对于接收人员终端的发送紧急性低且内容投入度高的情况的即时通讯服务器330的动作例进行说明。
在步骤910中,即时通讯服务器330可从发送人员终端接收及存储作为第一种类的数据的原始多媒体数据。如一例,图3中说明了发送人员终端根据即时通讯服务器330确定的发送方式上传原始多媒体数据,由此,即时通讯服务器330接收及存储所上传的原始多媒体数据。
在步骤920中,即时通讯服务器330可生成与原始多媒体数据有关的预览。如一例,通过图4及图5说明了如动态影像或音源的多种原始多媒体数据可生成为根据多个等级和/或形式的预览。如更具体的例,在即时通讯服务器330确定的情况可根据情况包括子情况,每个子情况可生成互不相同的等级和/或形式的预览。
在步骤930中,即时通讯服务器330可将所生成的预览作为第二种类的数据向接收人员终端发送。例如,图3中说明了即使即时通讯服务器330从发送人员终端接收原始多媒体数据,为了网络情况为“不佳”的接收人员终端,发送原始多媒体数据的预览,而不是发送原始多媒体数据。
在步骤940中,即时通讯服务器330随着接收来自接收人员终端的以预览为基础的原本请求而情况变更,可将存储的原始多媒体数据作为变更的第二种类的数据向接收人员终端发送。换言之,即时通讯服务器330根据已有的情况向接收人员终端发送了预览,但是,随着接收人员请求原始多媒体数据而情况得到变更,因此能够以符合变更的情况的方式还发送原始多媒体数据。
图10为示出本发明一实施例的处理多媒体消息的发送请求的第二例的流程图。图10的步骤(1010至1040)可包括于之前说明的步骤840来执行。本实施例可以为发送人员终端的网络情况为“不佳”、接收人员终端的网络情况为“佳”的实施例。换言之,图10的实施例对对于发送人员终端的发送紧急性低且对于接收人员终端的发送紧急性高的情况的即时通讯服务器330的动作例进行说明。
在步骤1010中,即时通讯服务器330可从发送人员终端接收作为第一种类的数据的与原始多媒体数据有关的预览。如之前进行的说明,对于发送人员终端的发送紧急性低,因此,相比于一开始从发送人员终端接收原始多媒体数据,可先接收如预览的容量相对小的数据。
在步骤1020中,即时通讯服务器330可将预览作为第二种类的数据向接收人员终端发送。
在步骤1030中,即时通讯服务器330随着接收来自接收人员终端的以预览为基础的原本请求而情况变更,可从发送人员终端作为变更的第一种类的数据接收原始多媒体数据。
在步骤1040中,即时通讯服务器330可将接收的原始多媒体数据作为变更的第二种类的数据向接收人员终端发送。
此时,从接收人员终端接收原本请求可意味着情况对于接收人员终端发送紧急性上升至最高。因此,虽然发送人员终端的发送紧急性低,但即时通讯服务器330将接收人员终端的发送紧急性视为优先来从发送人员终端接收原始多媒体数据并可向接收人员终端发送。
图11为示出本发明一实施例的处理多媒体消息的发送请求的第三例的流程图。图11的步骤(1110至1140)可包括于之前说明的步骤840来执行。本实施例可为如发送人员终端的网络情况为“不佳”地对于发送人员终端的发送紧急性低、接收人员终端的网络情况为“不佳”、接收人员是否使用接收人员终端为“否”且如使用投入强度“不好”地对于接收人员终端的发送紧急性低、内容投入度也低的情况的实施例。
在步骤1110中,即时通讯服务器330可将事件作为第二种类的数据向接收人员终端发送。如图8的步骤810,发送人员终端已经向即时通讯服务器330发送了多媒体消息的发送请求,因此,无需从发送人员终端接收这种事件。另一方面,即时通讯服务器330可向接收人员终端仅发送与从发送人员请求发送多媒体消息有关的告知事件。
在步骤1120中,即时通讯服务器330可通过安装于接收人员终端的即时通讯应用程序识别事件发生。这种事件发生识别可意味着接收人员正在使用接收人员终端,如接收人员侧的内容投入度提高,可意味着情况改变。
在步骤1130中,即时通讯服务器330响应识别来从发送人员终端接收作为第一种类的数据的与原始多媒体数据有关的预览及原始多媒体数据中的一种数据。
在步骤1140中,随着识别事件发生而情况变更,即时通讯服务器330可将预览及原始多媒体数据中的一种数据作为变更的第二种类的数据向接收人员终端发送。此时,在即时通讯服务器330中,在从发送人员终端接收预览并向接收人员终端发送的情况下,随着接收来自接收人员终端的以预览为基础的原本请求而情况追加变更,可从发送人员终端接收作为变更的第一种类的数据的原始多媒体数据,并可将接收的原始多媒体数据作为追加变更的第二种类的数据向接收人员终端发送。
即,随着接收人员侧的内容投入度提高,即时通讯服务器330可从发送人员终端接收预览和原始多媒体数据中的任一种并向接收人员终端发送。此时,发送紧急性低,因此,即时通讯服务器330在可能的情况下首先向接收人员终端发送预览之后可根据来自接收人员的明确请求向接收人员终端提供原始多媒体数据。
如上所述,根据本发明的实施例,即时通讯服务器330可根据使用人员的多种情况更有效地发送多媒体消息。
图12为示出本发明一实施例的用于防止向接收人员终端发送的数据的重复发送的例的流程图。图12的步骤(1210至1230)可包括于之前说明的步骤840来执行,实质上,与图8的步骤(810至840)并行地,可每当即时通讯服务器330向接收人员终端发送数据的情况下执行。
在步骤1210中,即时通讯服务器330可对与已向接收人员终端发送的数据有关的发送历史进行管理。例如,即时通讯服务器330可管理向接收人员终端发送的数据的种类或标识符、时间等的历史。
在步骤1220中,即时通讯服务器330通过所管理的发送历史来确认是否存在向接收人员终端发送第二种类的数据的历史。
在步骤1230中,在存在向接收终端发送第二种类的数据的历史的情况下,即时通讯服务器330可向接收人员终端发送第二种类的数据的标识符或发送第二种类的数据时所利用的消息的标识符。此时,可在接收人员终端通过数据的标识符或消息的标识符识别已发送并存储于接收人员终端的数据。因此,即时通讯服务器330可防止第二种类的数据向接收人员终端重复发送。在第二种类的数据未存储于接收人员终端的情况下,即时通讯服务器330可根据来自接收人员终端的请求向接收人员终端发送第二种类的数据。之前,通过图6及图7详细说明了与这种防止数据的重复发送有关的例。
图13为示出本发明一实施例的发送人员终端的多媒体消息提供方法的例的流程图。如一例,本实施例的多媒体消息提供方法可通过之前说明的实现发送人员终端310的计算机装置200执行。例如,计算机装置200的处理器220可执行存储器210所包括的操作***的代码或根据至少一个程序代码的控制指令(instruction)。其中,处理器220可控制计算机装置200,来使计算机装置200根据存储于计算机装置200的代码提供的控制指令执行图13的多媒体消息提供方法包括的步骤(1310至1330)。图13中对发送人员终端310执行步骤(1310至1330)的过程进行说明。
在步骤1310中,发送人员终端310可向即时通讯服务器发送向接收人员终端发送多媒体消息的请求。其中,即时通讯服务器可与之前说明的即时通讯服务器330相对应。如已进行的说明,在常规即时通讯服务中,发送人员侧简单地直接向即时通讯服务器330发送包括原始多媒体数据的多媒体消息。相反,在本实施例中,由即时通讯服务器确定从发送人员终端310的原始多媒体数据的发送方式,因此,在发送原始多媒体数据之前,即时通讯服务器可接收与上述多媒体消息的发送有关的请求。
在步骤1320中,发送人员终端310可向即时通讯服务器发送情况信息。如一例,发送的情况信息可包括与发送人员终端310的网络情况有关的信息。
在步骤1330中,发送人员终端310通过分析发送的情况信息及从接收人员终端接收的情况信息并根据通过即时通讯服务器确定的情况向即时通讯服务器发送与即时通讯服务器所请求的多媒体消息包括的原始多媒体数据有关的第一种类的数据。其中,从接收人员终端接收的情况信息可包括与接收人员终端的网络情况、接收人员是否使用接收人员终端、访问可能性、使用投入强度、根据接收人员的明确输入从接收人员终端接收的原本请求中的至少一个有关的信息。另一方面,第一种类的数据可包括原始多媒体数据及与原始多媒体数据有关的预览中的任一种,可根据情况从即时通讯服务器向接收人员终端发送由与多媒体消息的发送有关的事件、原始多媒体数据及与原始多媒体数据有关的预览中的任一种确定的第二种类的数据。此时,从即时通讯服务器中确定的至少一个情况中,第一种类的数据和第二种类的数据确定为互不相同的数据。
另一方面,如已进行的说明,在发送的情况信息及从接收人员终端接收的情况信息中的任一种随着时间变化而从即时通讯服务器中确定的情况变更的情况下,上述第一种类可根据变更的情况变更。在此情况下,发送人员终端310可向即时通讯服务器还发送变更的第一种类的数据。
并且,为了防止数据的重复发送,发送人员终端310可对与向即时通讯服务器发送的数据有关的发送历史进行管理。此时,发送人员终端310可通过所管理的发送历史来确认是否存在向即时通讯服务器发送第一种类的数据的历史,在存在向即时通讯服务器发送第一种类的数据的历史的情况下,可向即时通讯服务器发送第一种类的数据的标识符或发送第一种类的数据时利用的消息的标识符。在此情况下,在即时通讯服务器中通过数据的标识符或消息的标识符识别已发送并存储于即时通讯服务器的数据来可防止与第一种类的数据有关的重复发送。
在图13中省略的内容可参照之前的说明。
如上所述,根据本发明的实施例,在即时通讯服务中,可基于消息的发送人员和接收人员各自的情况更有效地发送、接收和/或显示多媒体消息。
以上说明的***或装置可由硬件结构要素、软件结构要素或硬件结构要素及软件结构要素的组合实现。例如,如处理器、控制器、算术逻辑单元(ALU,arithmetic logicunit)、数字信号处理器(digital signal processor)、微型计算机、现场可编程门阵列(FPGA,field programmable gate array)、可编程逻辑单元(PLU,programmable logicunit)、微型处理器或执行并响应指令(instruction)的任何装置,在实施例中说明的装置及结构要素可利用一个以上的通用计算机或特殊目的计算机实现。处理装置可执行操作***(OS)及在上述操作***上执行的任一种以上的软件应用程序执行。并且,处理装置可响应软件的执行来访问、存储、操作、处理及生成数据。为了理解的便利,具有使用一个处理装置的情况为例进行的说明,本技术领域的普通技术人员可知处理装置包括多个处理要素(processing element)和/或多个类型的处理要素。例如,处理装置可包括多个处理器或一个处理器及一个控制器。并且,还可包括如并联处理器(parallel processor)的其他处理结构(processing configuration)。
软件可包括计算机程序(computer program)、代码(code)、指令(instruction)或它们中的一种以上的组合,能够以所要的方式进行工作的方式构成处理装置或独立或结合(collectively)地命令处理装置。为了通过处理装置解释或向处理装置提供指令或数据,软件和/或数据可在任何类型的机械、结构要素(component)、物理装置、虚拟装置(virtualequipment)、计算机存储介质或装置具体化(embody)。软件可分散于利用网络连接的计算机***上来以分散的方法存储或执行。软件及数据可存储于一个以上的计算机可读记录介质。
实施例的方法能够以通过各种计算机单元执行的程序指令形态实现来记录于计算机可读介质。上述计算机可读介质可单独或组合程序指令、数据文件、数据结构等来包括。记录于上述介质的程序指令可以为为了实施例而特别设计并构成或计算机软件的普通技术人员公知并使用的指令。计算机可读记录介质的例包括如硬盘、软盘及磁带的磁介质(magnetic media),如CD-ROM、DVD的光记录介质(optical media),如光盘(flopticaldisk)的磁光介质(magneto-optical media),及如只读存储器(ROM)、随机存储器(RAM)、闪存等的以存储并执行程序指令的方式特别构成的硬件装置。这种记录介质可为单一或多个硬件相结合的形态的多种记录单元或存储单元,并不局限于与一种计算机***直接连接的介质,还可分散存在于网络上。程序指令的例不仅包括如通过编译程序制造的机械代码,还包括可通过解释器等在计算机执行的高级语言代码。
如上所述,虽通过限定的实施例和附图对实施例进行了说明,只要是本技术领域的普通技术人员就可以对上述记载进行多种修改及变形。例如,即使所说明的技术以说明的方法不同的顺序执行和/或说明的***、结构、装置、电路等的结构要素以说明的方法不同的方式结合或组合或者被其他结构要素或等同技术方案代替或取代也可得到适当的结果。
因此,其他实例、其他实施例及与发明要求保护范围等同的技术方案均属于权利要求保护范围的范围。

Claims (20)

1.一种多媒体消息提供方法,其特征在于,包括:
从发送人员终端接收用于向接收人员终端发送多媒体消息的请求的步骤;
分析分别从上述发送人员终端及上述接收人员终端收集的情况信息来确定情况的步骤;
根据所确定的上述情况来对于上述多媒体消息所包含的原始多媒体数据确定需从上述发送人员终端接收的数据的第一种类及需向上述接收人员终端发送的数据的第二种类的步骤;以及
对于上述原始多媒体数据,从上述发送人员终端接收所确定的上述第一种类的数据,向上述接收人员终端发送所确定的上述第二种类的数据,从而处理上述多媒体消息的发送请求的步骤。
2.根据权利要求1所述的多媒体消息提供方法,其特征在于,所收集的上述情况信息包含上述发送人员终端的网络情况、上述接收人员终端的网络情况、接收人员是否使用上述接收人员终端、访问可能性、使用投入强度、根据上述接收人员的明确输入来从上述接收人员终端接收的原本请求中的2种以上的信息。
3.根据权利要求1所述的多媒体消息提供方法,其特征在于,
上述第一种类的数据包含上述原始多媒体数据及与上述原始多媒体数据有关的预览中的任一种,
上述第二种类的数据包含与上述多媒体消息的发送有关的事件、上述原始多媒体数据及与上述原始多媒体数据有关的预览中的任一种,
在所确定的上述情况中,上述第一种类的数据和上述第二种类的数据确定为互不相同的数据。
4.根据权利要求1所述的多媒体消息提供方法,其特征在于,还包括:
在所确定的上述情况根据所收集的上述情况信息的变化而变更的情况下,根据所变更的上述情况来变更上述第一种类及上述第二种类中的至少一种的步骤;以及
从上述发送人员终端还接收所变更的上述第一种类的数据或向上述接收人员终端还发送所变更的上述第二种类的数据的步骤。
5.根据权利要求1所述的多媒体消息提供方法,其特征在于,处理上述多媒体消息的发送请求的步骤包括:
从上述发送人员终端接收及存储作为上述第一种类的数据的上述原始多媒体数据的步骤;
生成与上述原始多媒体数据有关的预览的步骤;
将所生成的上述预览作为上述第二种类的数据来向上述接收人员终端发送的步骤;以及
随着接收来自上述接收人员终端的以上述预览为基础的原本请求而情况变更,将所存储的上述原始多媒体数据作为变更的第二种类的数据来向上述接收人员终端发送的步骤。
6.根据权利要求1所述的多媒体消息提供方法,其特征在于,处理上述多媒体消息的发送请求的步骤包括:
从上述发送人员终端接收作为上述第一种类的数据的与上述原始多媒体数据有关的预览的步骤;
将上述预览作为上述第二种类的数据来向上述接收人员终端发送的步骤;
随着接收来自上述接收人员终端的以上述预览为基础的原本请求而情况变更,从上述发送人员终端接收上述原始多媒体数据作为变更的第一种类的数据的步骤;以及
将所接收的上述原始多媒体数据作为变更的第二种类的数据来向上述接收人员终端发送的步骤。
7.根据权利要求1所述的多媒体消息提供方法,其特征在于,处理上述多媒体消息的发送请求的步骤包括:
将与上述多媒体消息的发送有关的事件作为上述第二种类的数据来向上述接收人员终端发送的步骤;
通过安装于上述接收人员终端的即时通讯应用程序来识别上述事件发生的步骤;
响应上述识别来从上述发送人员终端接收作为上述第一种类的数据的与上述原始多媒体数据有关的预览及上述原始多媒体数据中的任一种数据的步骤;以及
随着识别上述事件发生而情况变更,将上述预览及上述原始多媒体数据中的任一种数据作为变更的第二种类的数据来向上述接收人员终端发送的步骤。
8.根据权利要求7所述的多媒体消息提供方法,其特征在于,上述接收任一种数据并向上述接收人员终端发送的步骤包括:
在从上述发送人员终端接收上述预览并向上述接收人员终端发送的情况下,随着接收来自上述接收人员终端的以上述预览为基础的原本请求而情况追加变更,从上述发送人员终端接收作为变更的第一种类的数据的上述原始多媒体数据的步骤;以及
将所接收的上述原始多媒体数据作为追加变更的第二种类的数据来向上述接收人员终端发送的步骤。
9.根据权利要求1所述的多媒体消息提供方法,其特征在于,
还包括:
对与已向上述接收人员终端发送的数据有关的发送历史进行管理的步骤;
通过所管理的上述发送历史来确认是否存在向上述接收人员终端发送上述第二种类的数据的历史的步骤;以及
在存在向上述接收终端发送上述第二种类的数据的历史的情况下,向上述接收人员终端发送上述第二种类的数据的标识符或发送上述第二种类的数据时所利用的消息的标识符的步骤,
在上述接收人员终端通过上述数据的标识符或消息的标识符识别已发送并存储于上述接收人员终端的数据。
10.一种计算机程序,其特征在于,存储于计算机可读记录介质,与计算机相结合来使计算机执行权利要求1至9中的任一项所述的方法。
11.一种计算机可读记录介质,其特征在于,存储有用于使计算机执行权利要求1至9中的任一项所述的方法的程序。
12.一种计算机可读记录介质,存储有用于使计算机执行多媒体消息提供方法的计算机程序,其特征在于,上述多媒体消息提供方法包括:
发送人员终端向即时通讯服务器发送用于向接收人员终端发送多媒体消息的请求的步骤;
上述发送人员终端向上述即时通讯服务器发送情况信息的步骤;以及
分析所发送的上述情况信息及从上述接收人员终端接收的情况信息并根据通过上述即时通讯服务器确定的情况来由上述发送人员终端向上述即时通讯服务器发送与上述即时通讯服务器请求的上述多媒体消息所包含的原始多媒体数据有关的第一种类的数据的步骤。
13.根据权利要求12所述的计算机可读记录介质,其特征在于,
所发送的上述情况信息包含与上述发送人员终端的网络情况有关的信息,
从上述接收人员终端接收的情况信息包含上述接收人员终端的网络情况、接收人员是否使用上述接收人员终端、访问可能性、使用投入强度、根据上述接收人员的明确输入来从上述接收人员终端接收的原本请求中的至少一种信息。
14.根据权利要求12所述的计算机可读记录介质,其特征在于,
上述第一种类的数据包含上述原始多媒体数据及与上述原始多媒体数据有关的预览中的任一种,
从上述即时通讯服务器向上述接收人员终端发送根据情况由与上述多媒体消息的发送有关的事件、上述原始多媒体数据及与上述原始多媒体数据有关的预览中的任一种确定的第二种类的数据,
在所确定的上述情况中,上述第一种类的数据和上述第二种类的数据确定为互不相同的数据。
15.根据权利要求12所述的计算机可读记录介质,其特征在于,
在随着所发送的上述情况信息及从上述接收人员终端接收的情况信息中的任一种根据时间变更而在上述即时通讯服务器中确定的情况变更的情况下,上述第一种类根据所变更的上述情况来变更,
上述多媒体消息提供方法还包括向上述即时通讯服务器还发送所变更的上述第一种类的数据的步骤。
16.根据权利要求12所述的计算机可读记录介质,其特征在于,
还包括:
对与向上述即时通讯服务器发送的数据有关的发送历史进行管理的步骤;
通过所管理的上述发送历史来确认是否存在向上述即时通讯服务器发送上述第一种类的数据的历史的步骤;以及
在存在向上述即时通讯服务器发送上述第一种类的数据的历史的情况下,向上述即时通讯服务器发送上述第一种类的数据的标识符或发送上述第一种类的数据时所利用的消息的标识符的步骤,
在上述即时通讯服务器通过上述数据的标识符或消息的标识符识别已发送并存储于上述即时通讯服务器的数据。
17.一种计算机装置,其特征在于,
包括用于在计算机执行可读指令的至少一个处理器,
通过上述至少一个处理器,
从发送人员终端接收用于向接收人员终端发送多媒体消息的请求,
分析分别从上述发送人员终端及上述接收人员终端收集的情况信息来确定情况,
根据所确定的上述情况来对于上述多媒体消息所包含的原始多媒体数据确定需从上述发送人员终端接收的数据的第一种类及需向上述接收人员终端发送的数据的第二种类,
对于上述原始多媒体数据,从上述发送人员终端接收所确定的上述第一种类的数据,向上述接收人员终端发送所确定的上述第二种类的数据,从而处理上述多媒体消息的发送请求。
18.根据权利要求17所述的计算机装置,其特征在于,所收集的上述情况信息包含上述发送人员终端的网络情况、上述接收人员终端的网络情况、接收人员是否使用上述接收人员终端、访问可能性、使用投入强度、根据上述接收人员的明确输入来从上述接收人员终端接收的原本请求中的2种以上的信息。
19.根据权利要求17所述的计算机装置,其特征在于,
上述第一种类的数据包含上述原始多媒体数据及与上述原始多媒体数据有关的预览中的任一种,
上述第二种类的数据包含与上述多媒体消息的发送有关的事件、上述原始多媒体数据及与上述原始多媒体数据有关的预览中的任一种,
在所确定的上述情况中,上述第一种类的数据和上述第二种类的数据确定为互不相同的数据。
20.根据权利要求17所述的计算机装置,其特征在于,
通过上述至少一个处理器,
在所确定的上述情况根据所收集的上述情况信息的变化而变更的情况下,根据所变更的上述情况来变更上述第一种类及上述第二种类中的至少一种,
从上述发送人员终端还接收所变更的上述第一种类的数据或向上述接收人员终端还发送所变更的上述第二种类的数据。
CN201910246208.4A 2018-03-29 2019-03-29 基于即时通讯服务中的使用人员情况的有效的多媒体消息提供方法及*** Active CN110324232B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0036776 2018-03-29
KR1020180036776A KR102039995B1 (ko) 2018-03-29 2018-03-29 메신저 서비스에서의 사용자 상황에 따른 효율적인 멀티미디어 메시지 제공 방법 및 시스템

Publications (2)

Publication Number Publication Date
CN110324232A true CN110324232A (zh) 2019-10-11
CN110324232B CN110324232B (zh) 2022-11-18

Family

ID=68054018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910246208.4A Active CN110324232B (zh) 2018-03-29 2019-03-29 基于即时通讯服务中的使用人员情况的有效的多媒体消息提供方法及***

Country Status (4)

Country Link
US (1) US11489798B2 (zh)
JP (1) JP7446716B2 (zh)
KR (1) KR102039995B1 (zh)
CN (1) CN110324232B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201900000457A1 (it) * 2019-01-11 2020-07-11 Social Media Emotions S R L Sistema di messaggistica perfezionato
JP7157334B2 (ja) * 2019-02-18 2022-10-20 日本電信電話株式会社 メッセージ中継装置及び方法
US11429778B2 (en) * 2019-08-29 2022-08-30 Rovi Guides, Inc. Systems and methods for generating personalized content
US20220027020A1 (en) * 2020-07-27 2022-01-27 Digital Turbine, Inc. Dynamically replacing interactive content of a quick setting bar

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1833393A (zh) * 2003-07-30 2006-09-13 Sk泰力康姆株式会社 利用唯一消息标识符提供多媒体消息传送服务的方法
KR20070028993A (ko) * 2005-09-08 2007-03-13 주식회사 팬택 망 상태 정보에 따른 동영상 용량 조절 기능을 가지는무선통신 단말기 및 그 방법
US20070213077A1 (en) * 2006-03-07 2007-09-13 Mian Mubashir A Apparatus and method for handling messaging service message adaptation
US20080090553A1 (en) * 2006-10-13 2008-04-17 Ping Sum Wan Dynamic video messaging
KR100874024B1 (ko) * 2007-09-18 2008-12-17 주식회사 온게임네트워크 대화형 콘텐츠를 중계하는 중계기, 방법 및 그 기록매체
CN101442664A (zh) * 2008-12-24 2009-05-27 中兴通讯股份有限公司 一种移动多媒体广播***中预览节目的终端、***及方法
US20090325609A1 (en) * 2005-08-22 2009-12-31 Triplay Communicationd Ltd. Messaging system and method
US20120259926A1 (en) * 2011-04-05 2012-10-11 Lockhart Kendall G System and Method for Generating and Transmitting Interactive Multimedia Messages
CN103577138A (zh) * 2012-07-25 2014-02-12 三星电子株式会社 显示信息的方法及移动终端
CN105471758A (zh) * 2015-12-30 2016-04-06 广东威创视讯科技股份有限公司 一种基于网络堵塞的标注方法、装置及***
KR20170021174A (ko) * 2015-08-17 2017-02-27 네이버 주식회사 문자 메시지 송신 방법 및 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010044835A1 (en) 2000-05-17 2001-11-22 Schober Joseph Frank Selecting content to be communicated based on automatic detection of communication bandwidth
KR100733603B1 (ko) 2004-11-03 2007-06-28 주식회사 씬멀티미디어 모바일 멀티미디어 인스턴트 메신저 서비스 시스템 및 그를 이용한 모바일 멀티미디어 메신저 서비스 방법
US10649607B2 (en) 2012-12-28 2020-05-12 Facebook, Inc. Re-ranking story content
US10516636B2 (en) * 2014-01-01 2019-12-24 SlamAd.com, Inc. Real-time messaging platform with enhanced privacy

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1833393A (zh) * 2003-07-30 2006-09-13 Sk泰力康姆株式会社 利用唯一消息标识符提供多媒体消息传送服务的方法
US20090325609A1 (en) * 2005-08-22 2009-12-31 Triplay Communicationd Ltd. Messaging system and method
KR20070028993A (ko) * 2005-09-08 2007-03-13 주식회사 팬택 망 상태 정보에 따른 동영상 용량 조절 기능을 가지는무선통신 단말기 및 그 방법
US20070213077A1 (en) * 2006-03-07 2007-09-13 Mian Mubashir A Apparatus and method for handling messaging service message adaptation
US20080090553A1 (en) * 2006-10-13 2008-04-17 Ping Sum Wan Dynamic video messaging
KR100874024B1 (ko) * 2007-09-18 2008-12-17 주식회사 온게임네트워크 대화형 콘텐츠를 중계하는 중계기, 방법 및 그 기록매체
CN101442664A (zh) * 2008-12-24 2009-05-27 中兴通讯股份有限公司 一种移动多媒体广播***中预览节目的终端、***及方法
US20120259926A1 (en) * 2011-04-05 2012-10-11 Lockhart Kendall G System and Method for Generating and Transmitting Interactive Multimedia Messages
CN103577138A (zh) * 2012-07-25 2014-02-12 三星电子株式会社 显示信息的方法及移动终端
KR20170021174A (ko) * 2015-08-17 2017-02-27 네이버 주식회사 문자 메시지 송신 방법 및 시스템
CN105471758A (zh) * 2015-12-30 2016-04-06 广东威创视讯科技股份有限公司 一种基于网络堵塞的标注方法、装置及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PETER FRÖHLICH 等: "《Live traffic camera content in the connected car: Experiences from motorway experiments》", 《IEEE》 *
郑宏: "《移动多媒体消息业务(MMS)内容适配技术研究》", 《中国优秀硕士学位论文全文数据库》 *

Also Published As

Publication number Publication date
US11489798B2 (en) 2022-11-01
JP7446716B2 (ja) 2024-03-11
JP2019175450A (ja) 2019-10-10
KR20190114288A (ko) 2019-10-10
CN110324232B (zh) 2022-11-18
US20190306098A1 (en) 2019-10-03
KR102039995B1 (ko) 2019-11-04

Similar Documents

Publication Publication Date Title
CN110324232A (zh) 基于即时通讯服务中的使用人员情况的有效的多媒体消息提供方法及***
TWI454099B (zh) 擴充訊息傳送系統與方法
US9020960B2 (en) System and method for modeling relationships between entities
US20170364947A1 (en) System and method for event triggered search results
CN105593811B (zh) 经用户可选择图标的基于情境的消息创建
CN110046299B (zh) 用于自动地执行隐式消息搜索的计算机化***和方法
US11650710B2 (en) Method to automatically update a homescreen
US20100179756A1 (en) Optimization of map views based on real-time data
US20090240647A1 (en) Method and appratus for detecting patterns of behavior
US10430718B2 (en) Automatic social media content timeline summarization method and apparatus
KR20150103179A (ko) 소식 컨텐츠의 재-순위화
CN105103105A (zh) 社交封面信息流界面
CN107368508A (zh) 利用通讯工具服务的关键词检索方法及***
US9826366B2 (en) Low key point of interest notification
US11108710B2 (en) Computerized system and method for multi-factor message classification and delivery
CN108932147A (zh) 用于切换寄宿应用的方法和设备
US20160239533A1 (en) Identity workflow that utilizes multiple storage engines to support various lifecycles
CN108401005B (zh) 一种表情推荐方法和装置
US10891303B2 (en) System and method for editing dynamically aggregated data
US20230289560A1 (en) Machine learning techniques to predict content actions
US20150149292A1 (en) Leveraging sensors on smart mobile phones and tablets to create advertisements to replicate a real world experience
CN117795502A (zh) 消息传递***中主题的演进
CN108632456A (zh) 信息处理方法及信息处理***
KR20240066808A (ko) 미디어 파일로부터 추출한 텍스트를 이용하여 미디어 메시지를 검색하는 방법 및 시스템
KR20230166725A (ko) 인공지능을 이용하여 사용자의 소셜 네트워크 서비스의 상태 업데이트에 기반하여 선제 메시지를 출력하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant