CN112384910A - 无线设备、计算机服务器节点及其方法 - Google Patents
无线设备、计算机服务器节点及其方法 Download PDFInfo
- Publication number
- CN112384910A CN112384910A CN201880095298.5A CN201880095298A CN112384910A CN 112384910 A CN112384910 A CN 112384910A CN 201880095298 A CN201880095298 A CN 201880095298A CN 112384910 A CN112384910 A CN 112384910A
- Authority
- CN
- China
- Prior art keywords
- digital image
- wireless device
- preview
- preview digital
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/63—Routing a service request depending on the request content or context
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- Facsimiles In General (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
根据一个方面,无线设备从计算机服务器接收(302)预览数字图像,并将对象识别处理应用于(304)该预览数字图像,以确定(306)预览数字图像是否包含已知感兴趣对象的表示。响应于肯定确定,无线设备发送(308)对该肯定确定的指示。响应于所发送的指示,计算机服务器发送附加图像数据或与预览数字图像相对应的增强数字图像,该附加图像数据或增强数字图像由无线设备接收(310)。在附加图像数据的情况下,无线设备使用附加图像数据形成预览数字图像的增强版本。无线设备至少临时地存储(312)增强图像或图像版本,例如,用于在设备的显示屏上渲染。
Description
技术领域
本发明涉及由被配置用于在无线通信网络中进行操作的无线设备操作的方法、被配置用于在无线通信网络中进行操作的无线设备、由计算机服务器节点操作的方法、计算机服务器节点、对应的计算机程序产品以及对应的计算机可读介质。
背景技术
社交媒体订阅源(feed)和类似服务将照片、视频和其他媒体内容传递给用户设备,该用户设备通常是智能电话、平板电脑或其他无线计算设备。总体上,更多的无线通信网络用户正在更经常地消费更多的媒体内容,并且从用于传递内容的无线网络内的资源使用角度以及从具有计量连接的个体用户的角度来看,该消费可能是“昂贵的”。
即使当用户没有面临总数据上限限制或其他计量限制时,当通过用户设备浏览照片或其他在线媒体内容时,普遍的无线电条件也可能无法支持良好的性能。当无线连接较差或另外受限制时,通过无线连接将给定媒体内容传递给用户设备可能需要比使用良好无线连接进行操作所需的时间长得多的时间。
因此,存在多种场景,其中结合通过无线连接检索媒体内容,用户可能承担服务成本、耗尽数据分配或遭受不良的用户体验。本文认识到用户对一些假定用户感兴趣的媒体内容可能并不感兴趣的事实。例如,用户可以具有特定的事件,例如游戏或学校活动,但是该兴趣可以集中在参与该事件的孩子、朋友或其他特殊化个体上。
发明内容
通过减少网络负载的量或持续时间以及用于传递媒体内容的无线电资源消耗,本文以示例形式描述的方法和装置改进了用于通过无线连接浏览或检索媒体内容的无线通信设备(以下也称为用户设备或无线设备)的操作,改进了与传递这种内容相关联的服务器侧操作,以及改进了网络操作。在至少一些实施例中,这些改进来自对用户偏好(例如可以从正被用于浏览在线媒体内容的用户设备上本地可用的数据中得知或提取)的有利使用。根据本文描述的一种技术,从用户相关的信息中得知一个或多个“感兴趣对象”,用户相关的信息可以本地存储在用户设备上或与用户设备分开来存储,例如照片库信息、联系人列表、社交媒体帐户等。用户设备确定通过无线连接接收的预览数字图像是否包含感兴趣对象(其是从本地信息中得知的)的任何表示,并响应于肯定确定而获得其他图像数据。该其他图像数据可以是预览数字图像的增强版本,或者可以是附加图像数据,用户设备从该附加图像数据生成预览数字图像的增强版本。在任一情况下,与检索该其他图像数据(例如,预览数字图像的较高分辨率版本)相关联的额外开销取决于在预览数字图像中检测一个或多个感兴趣对象。
至少一个示例实现优先下载和渲染来自应用服务器或计算机服务器节点(例如,基于云的媒体库***,其提供对个人的和共享的照片、视频或其他媒体内容的用户访问)的媒体内容(例如,图像)。在照片库或照片共享示例中,优先化使用了图像中某些部分的特征或预定的特征,例如熟悉的面部、人、宠物等。有利地,该方法利用了用户的无线设备(例如,平板电脑、智能电话或其他用户设备)或应用服务器上的可用信息,该信息可告知将要下载的图像中用户将会最感兴趣的部分。这些信息可以包括用户的社交关系或指示图像的一些部分可能更令人感兴趣或更相关的其他信息。例如,熟悉的面部和人通常与用户更相关,并且最有可能在与用户相关联的照片库或联系人数据库中注册或以其他方式定义。
在一个示例中,用户使用在线社交服务(如FACEBOOK应用或INSTAGRAM帐户)请求图像,并且用户设备在请求下载图像时向服务器提供优先图像特征。计算机服务器匹配该标准,并以包含优先图像标准的图像部分或子区域的高分辨率图像数据来进行响应。传入图像内的优先图像区域可以对应于从用户相机相册中的面部图像和/或与无线设备的用户相关联的联系人列表中的信息识别的特定面部。服务器还可以对图像进行转码,以针对图像的非优先部分创建低分辨率备选。
注意,在该上下文中,优先化可以意味着至少两件事。第一,图像的优先部分可以是图像中将会首先下载的部分,而同一图像的其他部分以后下载或根本不下载。第二,这意味着图像的优先部分可以比同一图像的非优先部分获得更高的传输优先级。
根据一些实施例,由被配置用于在无线通信网络中进行操作的无线设备操作的方法包括:经由到无线通信网络的无线连接从计算机服务器节点接收预览数字图像;以及将对象识别处理应用于预览数字图像,以确定预览数字图像是否包含已知感兴趣对象的表示。感兴趣对象可以是用户已知或预期感兴趣的图像的部分或图像的预定特征。感兴趣对象可以是例如面部、人、宠物或从用户的照片库中得知的事物。作为对数字图像的用户请求或由应用进行的预览数字图像的自动推送订阅源的结果,预览数字图像可被接收。该方法还包括:响应于肯定确定,经由无线连接将对肯定确定的指示发送给计算机服务器节点;以及响应于所发送的指示,从计算机服务器节点接收与预览数字图像相对应的增强数字图像,或从计算机服务器节点接收附加图像数据,并使用该附加图像数据形成预览数字图像的增强版本;以及将增强数字图像或预览数字图像的增强版本至少临时地存储在无线设备中。例如,设备至少临时地存储增强图像或预览图像的增强版本,并且对其进行渲染或以其他方式显示。
根据一些实施例,被配置用于在无线通信网络中进行操作的无线设备包括通信电路和处理电路。通信电路被配置用于无线连接到无线通信网络。处理电路被配置为:经由通信电路从计算机服务器节点接收预览数字图像,该预览数字图像通过无线设备和无线通信网络之间的无线连接发送给无线设备;以及将对象识别处理应用于预览数字图像,以确定预览数字图像是否包含已知感兴趣对象的表示。处理电路还被配置为:响应于肯定确定,经由通信电路来通过无线通信网络向计算机服务器节点发送对肯定确定的指示。处理电路还被配置为:经由通信电路并且响应于所发送的指示,从计算机服务器节点接收与预览数字图像相对应的增强数字图像,或者从计算机服务器节点接收附加图像数据并使用附加图像数据形成预览数字图像的增强版本。处理电路使用无线设备的通信电路来执行接收和发送操作,并且处理电路还被配置为将增强数字图像或预览数字图像的增强版本至少临时地存储在无线设备中。
根据一些实施例,由计算机服务器节点操作的方法包括:向无线设备发送预览数字图像,该无线设备通过由无线通信网络提供的无线连接通信地耦合到计算机服务器节点。该方法包括:接收源自无线设备的指示,该指示响应于无线设备检测到预览数字图像中的已知感兴趣对象的表示;以及通过向无线设备发送与预览数字图像相对应的增强数字图像,或通过发送供无线设备在增强预览数字图像时使用的附加图像数据,来响应该指示。
根据一些实施例,计算机服务器节点包括:通信电路,被配置为与无线设备直接或间接通信,该无线设备经由到无线通信网络的无线连接通信地耦合到计算机服务器节点;以及处理电路,可操作地与处理电路相关联。处理电路被配置为:向无线设备发送预览数字图像;以及接收源自无线设备的指示,该指示响应于无线设备检测到预览数字图像中的已知感兴趣对象的表示。处理电路还被配置为:通过向无线设备发送与预览数字图像相对应的增强数字图像,或者通过发送供无线设备在增强预览数字图像时使用的附加图像数据,来响应该指示。
这些实施例和其他实施例通过实现图像数据的高效且优先的下载和渲染以减少以全分辨率显示图像的最相关部分的延迟,提高了最终用户满意度。
当然,本发明不限于上述特征和优点。事实上,本领域的技术人员可通过阅读下面的详细描述并查看附图来认识到其它特点和优点。
附图说明
图1示出了根据一些实施例的用于实现媒体图像的下载和渲染的无线通信网络。
图2示出了根据一些实施例的在无线通信网络中操作的无线设备和计算机服务器节点的框图。
图3是示出了根据一些实施例的由无线设备执行的方法的流程图。
图4是示出了根据一些实施例的由计算机服务器节点执行的方法的流程图。
图5是示出了根据一些实施例的图像数据的优先下载的流程图。
图6是示出了根据一些实施例的创建和使用识别数据的信令图,该识别数据用于图5的图像数据的优先下载。
图7是示出了另一个实施例的信令图。
图8是示出了另一个实施例的信令图。
图9是示出了另一个实施例的信令图。
具体实施方式
本发明的实施例改进了与媒体内容的传输和图像(包括视频或视频流中的图像)的渲染相关联的用户体验。与多媒体相关联的一个方面是用户可能对不太重要的图像部分的较低的分辨率或较慢的渲染感到满意。另一方面,在图像内面部可能具有更高的重要性,而熟悉的或爱人的面部则具有最高的重要性。图像的这些部分要求更高的质量和更快的全分辨率渲染。
图1示出了无线通信网络14的示例实施例,该无线通信网络14具有对已知感兴趣对象或者媒体图像的更相关或更感兴趣的部分执行优先下载和渲染的组件或相关联实体。网络14将无线设备10通信地耦合到将媒体提供给无线设备10的计算机服务器节点12。换言之,从计算机服务器节点12到无线设备10的媒体传输是通过网络14的无线电接入网(RAN)18部分中的设备与无线设备10之间的无线连接或链路16来执行的。示例网络14还包括将无线设备10通信地耦合到一个或多个附加网络22(例如互联网)核心网(CN)20。在当前上下文中,应当理解,可以在附加网络22中或在CN 20中实现计算机服务器节点12。因此,该图两次示出了计算机服务器节点12:一次使用实线指示示例位置和互连,而一次使用虚线指示备选位置和互连。
有利地,无线设备10被配置为通过以下方式操作:允许其处理来自服务器节点12的预览数字图像,以确定该预览图像是否包含已知感兴趣对象(例如,熟悉的面部)的表示。无线设备10经由无线连接16向服务器节点12发送对肯定确定的指示,服务器节点12然后返回与预览数字图像相对应的增强数字图像或附加图像数据。在没有暗示不存在其他优点或特征的情况下,应当将前述操作理解为实质上改进了无线设备10的操作,并且尤其改进了网络14与无线设备10之间的媒体传输。也就是说,无线设备10通过评估预览数字图像以确定是否应将其他图像数据(例如,对应的增强数字图像或附加图像数据,无线设备10从该附加图像数据生成预览数字图像的增强版本)传输给无线设备10,来节省无线带宽或以其他方式减少数据传输的总量。值得注意的是,获得该其他图像数据取决于检测到预览数字图像包含一个或多个已知感兴趣对象(例如可以直接或间接从用户的照片库的内容中得知)。
图2描绘了用于无线设备10和将媒体内容传递给无线设备10的服务器节点12的示例实现细节,其中该传递可以是在设备10的请求下进行的,或者是服务器节点12的推送操作。本领域技术人员将认识到所描绘的示例是非限制性的,因为可以使用其他物理和功能电路布置来实现感兴趣的功能。考虑到这些修饰语,示例无线设备10包括通信电路30,该通信电路30用于通过无线连接16无线地连接到网络14,以与计算机服务器节点12通信地耦合。计算机服务器节点12可以是网络14的一部分,或者可以在网络14的外部。
在示例实现中,使用一个或多个天线24,通信电路30包括用于接收信号的接收电路32和用于发送信号的发射电路34。因此,在一个或多个实施例中,无线设备10被配置为实现网络14使用的空中接口(无线电协议),并且在一个或多个实施例中,实现一个或多个其他协议,例如高层协议,如快速用户数据报协议(UDP)互联网连接(QUIC)。在另一个示例实施例中,通信电路30通过Wi-Fi或其他本地无线连接耦合到网络14,例如,耦合到提供到网络14的后端连接的Wi-Fi接入点。因此,在非限制性示例情况下,无线连接16可以是诸如蜂窝连接的广域网(WAN)连接,或者可以是无线局域网(WLAN)连接。
无线设备10还包括处理电路36(其可以包括一个或多个中央处理单元(CPU))以及用于支持的存储装置38。存储装置38包括一种或多种类型的计算机可读介质,诸如一种或多种类型的长期存储装置和一种或多种类型的动态或工作存储装置的组合。在示例实现中,存储装置38包括一种或多种类型的非易失性存储装置(例如,固态盘、硬盘、闪存等),以及一种或多种类型的易失性存储装置(例如,静态RAM、动态RAM等)。
广泛地说,处理电路36应被理解为包括固定电路或以编程方式配置的电路,或固定电路和以编程方式配置的电路的某种组合。在一个或多个实施例中,例如,处理电路36包括一个或多个微处理器、微控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他数字处理电路,该其他数字处理电路被特别地调整(配置)为基于其对计算机程序指令的执行来如本文所述地操作,该计算机程序指令包括存储在存储装置38中的一个或多个计算机程序。作为这种布置的示例,图2将存储装置38描绘为存储一个或多个计算机程序(在该图中表示为CP 40)以及配置数据42A,该配置数据42A可以包括预配置的信息、动态配置的信息或其混合。存储装置38还可以包括对象数据42B和照片库42C。对象数据42B包括例如一个或多个对象模板,该一个或多个对象模板例如基于特征参数化等以参数化形式表示一个或多个感兴趣对象。模板可以从例如照片库42C生成或导出,该照片库42C继而可以驻留在设备10本地。
在第一详细示例实施例中,计算机服务器节点12的通信电路30被配置为与经由网络14通信地耦合到无线设备10的计算机服务器节点12直接或间接通信,并且处理电路36可操作地与通信电路30相关联。处理电路36被配置为经由通信电路30接收由网络14通过与无线设备10的无线连接16发送的预览数字图像。处理电路36被配置为将对象识别处理应用于预览数字图像,以确定预览数字图像是否包含已知感兴趣对象的表示。处理电路36还被配置为:响应于肯定确定,经由通信电路30将对肯定确定的指示发送给网络14;以及经由通信电路30并且响应于所发送的指示来接收与预览数字图像相对应的增强数字图像,或者接收附加图像数据并使用附加图像数据形成预览数字图像的增强版本。处理电路36还可以响应于所发送的指示,在无线设备中至少临时地存储增强数字图像或预览数字图像的增强版本,例如,以在设备10的显示屏上进行渲染。
在一个或多个实施例中,无线设备10被配置为:在其执行对象识别处理时和/或在其获取增强数字图像或用于生成预览数字图像的增强版本的附加图像数据时,显示预览数字图像。例如,无线设备10是具有显示屏(例如,适合渲染照片、视频等的LCD或OLED显示屏)的智能电话、平板电脑、笔记本电脑或其他计算设备。在使用由第三代合作伙伴计划(3GPP)采用的术语的示例情况下,无线设备10是“用户设备”或“UE”。
图3示出了在一个或多个实施例中由无线设备(例如,由图1和2中介绍的无线设备10)基于其所包括的处理电路36的操作来执行的示例方法300。方法300包括:经由到网络14的无线连接16接收预览数字图像(框302);以及将对象识别处理应用于预览数字图像,以确定预览数字图像是否包含已知感兴趣对象的表示(框304)。方法300还包括:响应于肯定确定(方框306),经由无线连接16发送对肯定确定的指示(方框308);以及响应于所发送的指示,接收与预览数字图像相对应的增强数字图像,或接收附加图像数据并使用附加图像数据形成预览数字图像的增强版本(框310)。方法300还包括将增强数字图像或预览数字图像的增强版本至少临时地存储在无线设备中(框312)。
方法300可以包括基于从无线设备10提取的用户偏好来识别已知感兴趣对象。方法300还可以包括:通过将从预览图像中提取的特征信息与存储在无线设备10中的对象模板库进行比较来确定已知感兴趣对象,该对象模板库作为对象数据42B存储在无线设备10中。
已知感兴趣对象是基于以下方式而得知的:用户提供的对特定对象的指定,该特定对象被表示在照片库42C中的一个或多个数字图像中;和/或经由应用于与用户相关联的照片库42C的对象识别处理,检测到照片库42C中超过所定义阈值数量的数字图像包含该特定对象的表示。
在一个方法中,无线设备10接收预览数字图像,且例如通过根据所定义的一个或多个算法执行特征提取操作来将对象识别处理应用于该预览数字图像。无线设备10将类似的对象识别处理应用于照片库42C中的一个或多个数字图像,并将来自预览数字图像的特征提取结果与从该一个或多个照片库图像获得的特征提取结果进行比较,以确定相关或匹配的程度。另一个方法使用对象模板,例如,先前提取的特征或特征集,并且设备10将预览数字图像的特征提取结果与对象模板进行比较,以识别“匹配”的对象。这里,匹配可以是精确的数值匹配(例如匹配哈希值),或者可以基于从预览数字图像提取的特征与在作为对象数据42B存储的对象模板数据库中表示的特征之间至少存在阈值水平的相关。
因此,在一些实施例中,基于已知感兴趣对象与存储在无线设备10中的已知对象数据42B的匹配来识别该已知感兴趣对象,并且将对象识别处理应用于预览数字图像包括:将包括预览数字图像的图像数据或从包括预览数字图像的图像数据导出的度量与存储在无线设备10中的已知对象数据42B进行相关或比较。已知对象数据42B可包括针对一个或多个参考面部的面部表示数据,并且将包括预览数字图像的图像数据或从包括预览数字图像的图像数据导出的度量与已知对象数据42B进行相关或比较包括:对预览数字图像执行面部识别处理,以及将任何检测到的面部与该一个或多个参考面部进行比较,其中,该比较将共同的表示方案用于检测到的面部和参考面部。
该处理还可以包括使用特征图,从特征图可以确定预览图像中的感兴趣对象的程度,即,预览数字图像有“多少”构成了感兴趣对象。接着,该确定可以用于控制例如设备10是否请求和/或网络14是否传递增强数字图像来作为预览数字图像的更高质量的替代,或者传递其他图像数据以用于生成预览数字图像的增强版本。
预览数字图像可以具有第一分辨率,其中,对肯定确定的指示是对其他图像数据的请求,该其他图像数据用于以高于第一分辨率的第二分辨率来渲染预览数字图像的包含已知感兴趣对象的表示的区域。在一个或多个实施例中,“分辨率”是指空间分辨率,例如像素数或像素密度。备选地,或此外,“分辨率”是指颜色深度。更广泛地说,术语“分辨率”是指与图像相关联的细节水平,使得高分辨率图像在一个或多个方面比低分辨率图像更详细。
接收增强数字图像或附加图像数据可以包括:接收该其他图像数据来作为附加图像数据,并使用该其他图像数据来增强预览数字图像的包含已知感兴趣对象的表示的区域,以获得预览数字图像的增强版本。预览数字图像可以包括一组宏块,并且请求该其他图像数据可以包括识别一个或多个宏块,该一个或多个宏块构成预览数字图像的包含已知感兴趣对象的表示的区域。
在一些实施例中,预览数字图像具有第一分辨率,其中,该指示是对增强数字图像的请求,增强数字图像具有高于第一分辨率的第二分辨率。
关于图2所示的示例服务器节点12的细节,服务器节点12包括通信电路60,用于经由网络将媒体内容提供给无线设备10。示例服务器节点12还包括处理电路66(其可以包括一个或多个CPU)以及用于支持的存储装置68。存储装置68包括一种或多种类型的计算机可读介质,诸如一种或多种类型的长期存储装置和一种或多种类型的动态或工作存储装置的组合。在示例实现中,存储装置68包括一种或多种类型的非易失性存储装置(例如,固态盘、硬盘、闪存等),以及一种或多种类型的易失性存储装置(例如,静态RAM、动态RAM等)。
广泛地说,处理电路66应被理解为包括固定的专用电路或以编程方式配置的电路,或固定电路和以编程方式配置的电路的某种组合。在一个或多个实施例中,例如,处理电路66包括一个或多个微处理器、微控制器、DSP、ASIC、FPGA或其他数字处理电路,该其他数字处理电路被特别地调整(配置)为基于其对计算机程序指令的执行来如本文所述地操作,该计算机程序指令包括存储在存储装置68中的一个或多个计算机程序。作为这种布置的示例,图2将存储装置68描绘为存储一个或多个计算机程序(在该图中表示为CP 70)以及配置数据72,该配置数据72可以包括预配置的信息、动态配置的信息或其混合。
在第一详细示例实施例中,计算机服务器节点12的通信电路60被配置为与经由到网络14的无线连接16通信地耦合到服务器节点12的无线设备10直接或间接通信,并且处理电路66可操作地与通信电路60相关联。处理电路66被配置为经由无线连接16向无线设备10发送预览数字图像。处理电路66还被配置为:接收源自无线设备10的指示,该指示响应于无线设备10检测到预览数字图像中的已知感兴趣对象的表示。处理电路66被配置为:通过向无线设备10发送与预览数字图像相对应的增强数字图像,或者通过发送供无线设备10在增强预览数字图像时使用的附加图像数据,来响应该指示。
在一些实施例中,该指示可以包括对增强数字图像的请求,并且处理电路66可以被配置为通过发送增强数字图像来响应该请求。在其他实施例中,该指示可以包括对用于预览数字图像的区域的其他图像数据的请求,并且处理电路66可以被配置为通过将在请求中标识的该其他图像数据作为附加图像数据发送,来响应该请求。
对该其他图像数据的请求可以包括对预览数字图像的一个或多个宏块的标识,其中,预览数字图像包括一组宏块,并且其中处理电路66被配置为通过发送针对所标识的宏块的附加图像数据来响应该请求。
处理电路66还被配置为执行对应的方法,例如图4所示的方法400。方法400包括:向通过由无线通信网络14提供的无线连接16通信地耦合到服务器节点12的无线设备10发送预览数字图像(框402);以及接收源自无线设备10的指示,该指示响应于无线设备10检测到预览数字图像中的已知感兴趣对象的表示(框404)。方法400还包括:通过向无线设备10发送与预览数字图像相对应的增强数字图像,或者通过发送供无线设备10在增强预览数字图像时使用的附加图像数据,来响应该指示(框406)。
在一些实施例中,该指示包括对增强数字图像的请求,并且响应该指示包括发送增强数字图像。在其他实施例中,该指示包括对用于预览数字图像的区域的其他图像数据的请求,并且响应该指示包括:将在请求中标识的该其他图像数据作为附加图像数据发送。对该其他图像数据的请求可以包括对预览数字图像的一个或多个宏块的标识,其中,预览数字图像包括一组宏块,并且其中发送该其他图像数据包括:发送针对所标识的宏块的附加图像数据。
图2还示出了可以由无线设备10和服务器节点12执行的操作的功能实现。无线设备10包括:接收模块44,用于经由到无线通信网络的无线连接来接收预览数字图像;以及识别模块46,用于将对象识别处理应用于预览数字图像,以确定预览数字图像是否包含已知感兴趣对象的表示。该实现还包括:传输模块48,用于响应于肯定确定,经由无线连接来发送对肯定确定的指示。接收模块44还用于:响应于所发送的指示,接收与预览数字图像相对应的增强数字图像,或者接收附加图像数据并使用附加图像数据形成预览数字图像的增强版本。该实现还包括存储模块50,用于响应于肯定确定,将增强数字图像或预览数字图像的增强版本至少临时地存储在无线设备中。
关于服务器节点12中的功能实现,服务器节点12包括发送模块74,用于向通过由无线通信网络提供的无线连接通信地耦合到计算机服务器节点的无线设备发送预览数字图像。该实现包括:接收模块76,用于接收源自无线设备的指示,该指示响应于无线设备检测到预览数字图像中的已知感兴趣对象的表示;以及响应模块78,用于通过向无线设备发送与预览数字图像相对应的增强数字图像,或通过发送供无线设备在增强预览数字图像时使用的附加图像数据,来响应该指示。
另一个实施例涉及计算机程序产品,例如,非暂时性地存储在存储装置38中或存储在无线设备10的另一个计算机可读介质中的一个或多个计算机程序40。该计算机程序产品包括程序指令,该程序指令在由一个或多个CPU或其他处理器(其可操作地作为被配置用于在网络14中操作的无线设备10的处理电路36)执行时,配置无线设备10执行图3所示的方法300。
另一个实施例涉及计算机程序产品,例如,非暂时性地存储在存储装置68中或存储在服务器节点12的另一个计算机可读介质中的一个或多个计算机程序70。该计算机程序产品包括程序指令,该程序指令在由可操作地作为服务器节点12的处理电路66的一个或多个CPU或其他处理器执行时,配置服务器节点12执行图4所示的方法400。
根据一些实施例,计算机服务器节点12和无线设备10可以形成***,其中计算机服务器节点12和无线设备10被配置为通过网络14间接通信,该网络14将计算机服务器节点12通信地耦合到无线设备10。计算机服务器节点12被配置为向无线设备10提供预览数字图像。无线设备10被配置为存储信息42B、42C,该信息42B、42C根据数字图像数据或从数字图像数据的度量来定义导出一个或多个已知感兴趣对象,每个已知感兴趣对象对应于物理事物,并且该无线设备10还被配置为:响应于确定预览数字图像包含该一个或多个已知感兴趣对象中的任何一个或多个已知感兴趣对象的表示,向计算机服务器节点12发送指示。计算机服务器节点12还被配置为通过发送作为预览数字图像的高分辨率版本的增强数字图像或发送用于创建预览数字图像的增强版本的附加图像数据来响应该指示。无线设备10被配置为接收增强数字图像或附加图像数据,并至少临时地存储增强数字图像,或者在计算机服务器节点12发送附加图像数据的情况下,使用附加图像数据形成预览数字图像的增强版本,并至少临时地存储预览数字图像的增强版本。
附加实施例情况下的示例用例
针对以下场景描述该解决方案:父亲正在旅行,并且父亲当前位于数据信道吞吐量受限且其可以下载的数据量存在上限的位置处。他的一个孩子正在参加篮球比赛,对于该篮球比赛,他们有图像和视频应用,比赛管理团队使用该图像和视频应用来发布来自比赛的图像和视频。
显然,父亲最有兴趣观看自己的孩子,并且因此,即将下载的最感兴趣的媒体图像的区域将包含他孩子的面部(可将其描述为已知感兴趣对象)。现在,在下载能力受限和/或数据上限受限的情况下,如果父亲开始下载可能不包含他的孩子的图像,则他想尽快知道这一点,以便他可以终止该图像的下载,而不会产生更多等待时间和不利于他的数据计划的数据使用。本文所述的解决方案允许父亲最小化用于确定他的儿子或女儿是否在图片中的等待时间,节省归因于他的数据计划的数据使用,并改进了对用于显示图像的应用和无线服务的满意度。
在下面的示例实施例中,可以假设可以例如使用超文本传输协议(HTTP)POST,将参数和系数添加为列表或JAVASCRIPT对象表示法(JSON)对象来完成客户端、代理和服务器之间的通信。可以使用HTTP PUT发送图像,或可以使用HTTP GET检索图像,然后从接收端启动图像。
实施例1
在这种场景下的第一示例实施例是基于服务器的方案。在该第一实施例中,用户(例如,父亲)在他的无线设备上调用应用,该应用称为应用A。应用A包括在父亲的无线设备(例如,用户设备或UE)上运行的客户端A。服务器A支持客户端A并且可经由无线通信网络14访问。在服务器A内还存在代理A,该代理A将代表客户端A行动,以获取父亲可能感兴趣的媒体内容,例如,来自涉及其孩子的体育比赛的数字图像或视频数据,这由在服务器B上运行的图像和视频应用A2来提供。根据一些实施例,这些组件的交互由图5所示的流程图500示出。
图5中的步骤502示出了父亲使用客户端A经由代理A发送对来自服务器B的新图像的请求。在步骤504,服务器B从代理A接收请求。然后,在步骤506,代理A将处理或分析从服务器B接收到的图像和数据。在步骤508,其确定特征图像或视频选择的数据是否与被指示为优先的任何数据匹配。代理A基于该确定(框508)来优先进行特征图像数据的下载(框512),或者不优先进行特征图像数据的下载(框510)。
图6示出了根据一些实施例的信令图,该信令图包括在客户端A请求图像(如图5所示)之前可能发生的附加动作。图6所示的这些动作可以是或可以不是由图5示出的相同实施例的一部分。例如,在父亲请求由比赛应用A2610提供的当前图像之前,父亲经由其客户端A 640将媒体信息实体发送给代理A 630(图6步骤1),以帮助代理A 630识别和触发服务器B 620上的图像内的与他的儿子或女儿有关的优先化感兴趣对象。这些媒体信息实体可以是与他的儿子或女儿的面部、队服、运动服号码等相对应的他的儿子或女儿的图像和/或有关图像的部分的特征数据。该数据还可以从存储在父亲的设备中或由父亲的设备管理的相册或联系人列表导出,在父亲的设备中他的儿子或女儿有多个条目。该数据还可以包括元数据,该元数据给出对代理A 630中的各种图像处理功能有用的识别特征。该元数据可以是队名、衣服的颜色、运动服号码等。该元数据还可以包括图像分类神经网络的系数集或完整模型,该系数集或完整模型将帮助代理A在从服务器B提供的(例如使用神经网络交换格式(NNEF)传输的)图像中识别儿子或女儿的面部或任何其他已知感兴趣对象(即,“传输学习”)。代理A 630使用该数据或元数据来识别父亲感兴趣的对象,这些对象将被优先用于在所请求的图像中增强(图6步骤2)。
图6的步骤3示出了新图像由比赛应用A2610上载到服务器B620。在步骤4,代理A630向服务器B请求并接收图像。对于具有图像的优先部分的图像,代理A 630将创建到每个相关的媒体文件的一个(或多个)例如HTTP链接,在该媒体文件中,代理A 630已识别出父亲的儿子或女儿(图6步骤5)。链接是可见的,就像文件管理器或其他图像查看浏览应用中的任何其他对象原本的那样。对图像和视频进行编码,使得向看得到他的儿子或女儿的图像部分指示比图像的其他部分更高的分辨率。使父亲可获得这些到全分辨率图像的链接(图6步骤6)。父亲简单地点击该链接,且该链接就会像其他任何媒体文件原本就会做的那样在设备操作***中显示或播放。点击链接可以包括点击与链接相关联的图像或图像部分。
在相关方法中,到图像的链接可以包括分层的链接集,其中“第一链接”由高分辨率的儿子的面部的链接组成,而随后的链接对应于具有高分辨率(或选定级别的分辨率)的图像文件的其他部分。可以为第一链接分配与其他后续链接不同的服务质量(QoS)属性。
根据与图5中的步骤508-512相关的另一个实施例,计算机服务器节点12中的方法包括向无线设备10发送预览数字图像,该无线设备10通过由无线通信网络14提供的无线连接16通信地耦合到计算机服务器节点12。该发送可以响应于来自无线设备10的用户的对与预览数字图像相对应的数字图像的请求,或者作为向无线设备10的预览数字图像的流或推送订阅源的一部分。该方法包括将1)对与预览数字图像相对应的数字图像执行对象识别所产生的数据与2)与用户相关联的远程照片库(例如,ICLOUD照片库)提供的公共表示方案的对应数据进行比较。可以在对数字图像进行请求时或在请求之前的某个时间执行对象识别。在一些情况下,预览数字图像由无线设备10发送给远程照片库,该远程照片库基于用户的照片执行对象识别,并发回对该预览数字图像包含已知感兴趣对象的表示的指示。该方法还包括:基于该比较,将已知对象的附加图像数据、增强数字图像或预览数字图像的增强版本(例如,高分辨率)发送给无线设备10。
实施例2
在基于实施例1的另一个实施例中,使用已知算法直接在服务器B 620侧处理面部分析。结果可被存储为哈希。可以在用户侧(本地存储装置、联系人列表等)执行相同的分析,其中可以请求对这些哈希进行优先化。这些算法可以是例如APPLE PHOTOS应用的面部识别、GOOGLE的照片的DITTO应用或例如可从GITHUB服务器(例如在(https://cmusatyalab.github.io/openface/)找到的服务器)下载的公开可用的面部识别网络。这些功能识别面部并为该面部给出哈希数。当在本地使用时,名称将与该哈希数相联系,但是这里并不一定是该情况,因为唯一需要做的就是比较这些哈希数。当尝试检索具有想要的图像的图像和优先的哈希的列表以及在客户端侧使用的算法时,设备发送消息。
例如,可以通过附加图像、算法ID和作为列表的哈希来使用HTTP POST,就像下面所示出的:
curl-d′{″image″:nameimag.png,″algorithm″:really-good-CNN-1234,″face-list″:″[hash#0,hash#1,hash#2]″}′-H″Content-Type:application/json″-X POSThttp://server.adress.html:3000/
服务器B 620应用将解析该消息,然后将首先下载图像的正确区域。优先级较低的部分可以作为低分辨率变体发送(如果有的话),并且如果时间和资源允许或基于用户动作(例如,当用户点击图像时),则可以随后进行更新。
实施例3
图7示出了更多基于UE的另一个实施例中的信令图。在应用A2610上载包含某些对象的图像(步骤1)之后,应用服务器B 620将预览图像作为低分辨率图像发送给客户端A640(步骤2)。客户端A 640分析预览图像,并基于关于哪个感兴趣对象要优先化的知识来检测预览图像的包含优先图像标准的部分。该知识可以基于例如父亲的UE相机文件夹和/或UE联系人列表中的内容(步骤3)。可以在图像内的一个或多个宏块中找到感兴趣对象。客户端A 640响应服务器B 620,并请求针对于完整图像的包含优先图像特征的区域的高分辨率宏块(步骤4)。服务器B 620创建或提取与该请求相对应的宏块(步骤5),并将相应的高分辨率图像区域发送给客户端A 640(步骤6)。
该基于UE的方案的优点是,有关哪些项目要优先化的信息基于保留在UE中的内容。换言之,没有信息被上载到服务器B 620,并且从而增强了最终用户的机密性。另一方面,基于该配置,服务器B 620可以基于对例如哪些面部经常出现在所请求的图像区域中的统计来隐式地推导父亲最感兴趣的个体。然而,不需要在用户的控制之外上载将用于训练目的的图像数据。
实施例4
类似实施例1和2的先前实施例可以在用户的云服务或基础设施(例如,APPLE的ICLOUD服务等)上完成,并且然后可以发送给服务器B 620而不必询问UE。在网络或计算机服务器节点中可以执行的任何处理都将改进父亲的UE中的电池消耗。图8是示出了服务器/代理A 630如何使用其他数据的现有图像来向客户端A 640提供合适的图像的信令图。图8中的步骤1和2与图6中的步骤3和4相对应。图8中的步骤2包括服务器A基于服务器A处的用户存储的图像来识别图像对象。然后步骤4和5与图6中的步骤5和6相对应。
实施例5
在另一个示例实施例中,应用服务器/代理A 630被内置到比赛管理所使用的应用A2610中。例如,这可以是比赛管理所使用的设备处的FACEBOOK页面或INSTAGRAM帐户。组合的组件在图9中由客户端B 910表示,该图是另一示例信令图。在该示例中,服务器B 620表示FACEBOOK页面或INSTAGRAM帐户的网络部分。
在该实施例中,客户端B 910发布一些图像或视频(步骤1)。服务器B 620基于客户端A 640确定或获得的兴趣来识别图像对象(步骤2)。服务器B 620在客户端A的兴趣流或订阅源中发布称为特殊图像的预览数字图像。该特殊图像仅是原始图像的一部分,或者在所选择的区域(例如,熟悉的面部)具有较高的分辨率(步骤3)。当用户点击兴趣流或订阅源中的特殊图像时,客户端A 640请求完整图像(步骤4)。
在一些实施例中,关于在父亲的媒体流中优先化哪些内容的媒体特征自动地基于他的历史使用和媒体内容。在一些实施例中,关于在父亲的媒体流中优先化哪些内容的媒体特征基于他在他的UE的相机相册中标记为收藏的图像(或者在基于云的图像共享解决方案(例如ICLOUD相册)中,他在他访问的任何共享媒体相册中喜欢的图像)。在其他实施例中,关于在他的媒体流中优先化哪些内容的媒体特征基于孩子所拥有的特定风格/面部表情。例如,仅考虑孩子开心的图像,而不考虑孩子脾气暴躁的图像。
本文所述的实施例基于诸如设备上图像和用户联系人信息之类的用户特定信息来确定多媒体内容的优先部分。基于这种确定,图像的最相关部分被首先渲染或以比图像的其他部分更高的分辨率渲染。通过减少与这种媒体传输相关联的总数据利用率和用户时延,这有利地改进了用户体验。
值得注意的是,本领域技术人员在知晓前面描述和相关联附图中提出的教导的情况下将想到所公开发明的修改和其他实施例。因此,应当理解本发明不受限于所公开的具体实施例,并且修改和其他实施例旨在被包括在本公开的范围内。虽然本文可能使用了具体术语,但是其仅用于一般性和描述性意义,且不用于限制目的。
Claims (33)
1.一种由被配置用于在无线通信网络(14)中进行操作的无线设备(10)操作的方法(300),所述方法包括:
经由到所述无线通信网络(14)的无线连接(16)从计算机服务器节点(12)接收(302)预览数字图像;
将对象识别处理应用于(304)所述预览数字图像,以确定所述预览数字图像是否包含已知感兴趣对象的表示;以及
响应于肯定确定(306):
经由所述无线连接(16)向所述计算机服务器节点(12)发送(308)对所述肯定确定的指示;
响应于所发送的指示,从所述计算机服务器节点(12)接收(310)与所述预览数字图像相对应的增强数字图像,或者从所述计算机服务器节点(12)接收附加图像数据并且使用所述附加图像数据形成所述预览数字图像的增强版本;以及
将所述增强数字图像或所述预览数字图像的增强版本至少临时地存储(312)在所述无线设备(10)中。
2.根据权利要求1所述的方法(300),其中,所述已知感兴趣对象是从本地信息得知的,或是根据从所述本地信息中提取的数据得知的,所述本地信息驻留在所述无线设备中并与用户相关联。
3.根据权利要求1或2所述的方法(300),还包括:通过将从所述预览图像提取的特征信息与存储在所述无线设备(10)中的对象模板库进行比较,来确定所述已知感兴趣对象,所述对象模板库作为对象数据(42B)存储在所述无线设备(10)中。
4.根据权利要求1或2所述的方法(300),其中,所述已知感兴趣对象是基于以下至少一个而得知的:用户提供的对特定对象的指定,所述特定对象被表示在与用户相关联的照片库(42C)中的一个或多个数字图像中;以及经由应用于所述照片库(42C)的对象识别处理,检测到所述照片库(42C)中超过所定义阈值数量的所述数字图像包含所述特定对象的表示。
5.根据权利要求1至4中任一项所述的方法(300),其中,所述已知感兴趣对象是在存储在所述无线设备(10)中的已知对象数据(42B)中定义的,并且其中,将所述对象识别处理应用于(304)所述预览数字图像包括:将包括所述预览数字图像的图像数据或从包括所述预览数字图像的图像数据导出的度量与存储在所述无线设备(10)中的所述已知对象数据(42B)进行相关或比较。
6.根据权利要求5所述的方法(300),其中,所述已知对象数据(42B)包括针对一个或多个参考面部的面部表示数据,并且其中,将包括所述预览数字图像的图像数据或从包括所述预览数字图像的图像数据导出的度量与所述已知对象数据(42B)进行相关或比较包括:对所述预览数字图像执行面部识别处理,以及将任何检测到的面部与所述一个或多个参考面部进行比较,其中,所述比较将共同的表示方案用于所述检测到的面部和所述参考面部。
7.根据权利要求1至6中任一项所述的方法(300),其中,所述预览数字图像具有第一分辨率,其中,对所述肯定确定的指示是对其他图像数据的请求,所述其他图像数据用于以高于所述第一分辨率的第二分辨率来渲染所述预览数字图像的包含所述已知感兴趣对象的表示的区域,并且其中,接收(310)所述增强数字图像或所述附加图像数据包括:接收所述其他图像数据来作为所述附加图像数据,以及使用所述其他图像数据增强所述预览数字图像的包含所述已知感兴趣对象的表示的区域,以获得所述预览数字图像的增强版本。
8.根据权利要求7所述的方法(300),其中,所述预览数字图像包括一组宏块,并且其中,请求所述其他图像数据包括:识别一个或多个宏块,所述一个或多个宏块构成所述预览数字图像的包含所述已知感兴趣对象的表示的区域。
9.根据权利要求1至6中任一项所述的方法(300),其中,所述预览数字图像具有第一分辨率,其中,所述指示是对所述增强数字图像的请求,所述增强数字图像具有高于所述第一分辨率的第二分辨率。
10.一种无线设备(10),被配置用于在无线通信网络(14)中进行操作,所述无线设备(10)包括:
通信电路(30),被配置用于无线连接到所述无线通信网络(14);以及
处理电路(36),被配置为:
经由所述通信电路(30)从计算机服务器节点(12)接收预览数字图像,所述预览数字图像通过所述无线设备(10)与所述无线通信网络(14)之间的无线连接(16)被发送给所述无线设备(10);
将对象识别处理应用于所述预览数字图像,以确定所述预览数字图像是否包含已知感兴趣对象的表示;以及
响应于肯定确定:
经由所述通信电路(30),通过所述无线通信网络(14)向所述计算机服务器节点(12)发送对所述肯定确定的指示;
经由所述通信电路(30)并且响应于所发送的指示,从所述计算机服务器节点(12)接收与所述预览数字图像相对应的增强数字图像,或者从所述计算机服务器节点(12)接收附加图像数据并且使用所述附加图像数据形成所述预览数字图像的增强版本;以及
将所述增强数字图像或所述预览数字图像的增强版本至少临时地存储在所述无线设备(10)中。
11.根据权利要求10所述的无线设备(10),其中,所述已知感兴趣对象是从本地信息得知的,或是根据从所述本地信息中提取的数据得知的,所述本地信息驻留在所述无线设备中并与用户相关联。
12.根据权利要求10或11所述的无线设备(10),其中,所述处理电路(36)还被配置为通过以下方式来确定所述已知感兴趣对象:通过将从所述预览图像提取的特征信息与存储在所述无线设备(10)中的对象模板库进行比较,来确定所述已知感兴趣对象,所述对象模板库作为对象数据(42B)存储在所述无线设备(10)中。
13.根据权利要求10或11所述的无线设备(10),其中,所述已知感兴趣对象是基于以下至少一个而得知的:用户提供的对特定对象的指定,所述特定对象被表示在与用户相关联的照片库(42C)中的一个或多个数字图像中;以及经由应用于所述照片库(42C)的对象识别处理,检测到所述照片库(42C)中超过所定义阈值数量的所述数字图像包含所述特定对象的表示。
14.根据权利要求10至13中任一项所述的无线设备(10),其中,所述已知感兴趣对象是在存储在所述无线设备(10)中的已知对象数据(42B)中定义的,并且其中,当将所述对象识别处理应用于所述预览数字图像时,所述处理电路(36)被配置为:将包括所述预览数字图像的图像数据或从包括所述预览数字图像的图像数据导出的度量与存储在所述无线设备(10)中的所述已知对象数据(42B)进行相关或比较。
15.根据权利要求14所述的无线设备(10),其中,所述已知对象数据(42B)包括针对一个或多个参考面部的面部表示数据,并且其中,当将所述对象识别处理应用于所述预览数字图像时,所述处理电路(36)被配置为通过以下方式将包括所述预览数字图像的图像数据或从包括所述预览数字图像的图像数据导出的度量与所述已知对象数据(42B)进行相关或比较:对所述预览数字图像执行面部识别处理,以及将任何检测到的面部与所述一个或多个参考面部进行比较,其中,对于所述比较,所述处理电路(36)被配置为将共同的表示方案用于所述检测到的面部和所述参考面部。
16.根据权利要求10至15中任一项所述的无线设备(10),其中,所述预览数字图像具有第一分辨率,其中,作为对所述肯定确定的指示,所述处理电路(36)被配置为经由所述通信电路(30)发送对其他图像数据的请求,所述其他图像数据用于以高于所述第一分辨率的第二分辨率来渲染所述预览数字图像的包含所述已知感兴趣对象的表示的区域,并且其中,所述处理电路(36)被配置为经由所述通信电路(30)接收所述其他图像数据来作为所述附加图像数据,以及使用所述其他图像数据增强所述预览数字图像的包含所述已知感兴趣对象的表示的区域,以获得所述预览数字图像的增强版本。
17.根据权利要求16所述的无线设备(10),其中,所述预览数字图像包括一组宏块,并且其中,所述处理电路(36)被配置为通过以下方式来请求所述其他图像数据:识别一个或多个宏块,所述一个或多个宏块构成所述预览数字图像的包含所述已知感兴趣对象的表示的区域。
18.根据权利要求10至15中任一项所述的无线设备(10),其中,所述预览数字图像具有第一分辨率,并且其中,所述处理电路(36)被配置为发送对所述增强数字图像的请求,作为对所述肯定确定的指示,所述增强数字图像具有高于所述第一分辨率的第二分辨率。
19.一种由计算机服务器节点(12)进行操作的方法(400),所述方法包括:
向无线设备(10)发送(402)预览数字图像,所述无线设备(10)通过由无线通信网络(14)提供的无线连接(16)通信地耦合到所述计算机服务器节点(12);
接收(404)源自所述无线设备(10)的指示,所述指示响应于所述无线设备(10)检测到所述预览数字图像中的已知感兴趣对象的表示;以及
通过向所述无线设备(10)发送与所述预览数字图像相对应的增强数字图像,或者通过发送供所述无线设备(10)在增强所述预览数字图像时使用的附加图像数据,来响应(406)所述指示。
20.根据权利要求19所述的方法(400),其中,所述指示包括对所述增强数字图像的请求,并且其中,响应(406)所述指示包括:发送所述增强数字图像。
21.根据权利要求19所述的方法(400),其中,所述指示包括对用于所述预览数字图像的区域的其他图像数据的请求,并且其中,响应(406)所述指示包括:将在所述请求中标识的所述其他图像数据作为所述附加图像数据发送。
22.根据权利要求21所述的方法(400),其中,对所述其他图像数据的请求包括对所述预览数字图像的一个或多个宏块的标识,其中,所述预览数字图像包括一组宏块,并且其中,发送所述其他图像数据包括发送针对所标识的宏块的附加图像数据。
23.一种计算机服务器节点(12),包括:
通信电路(60),被配置为与无线设备(10)直接或间接通信,所述无线设备(10)经由到无线通信网络(14)的无线连接(16)通信地耦合到所述计算机服务器节点(12);以及
处理电路(66),可操作地与所述通信电路(60)相关联,并被配置为:
向所述无线设备(10)发送预览数字图像;
接收源自所述无线设备(10)的指示,所述指示响应于所述无线设备(10)检测到所述预览数字图像中的已知感兴趣对象的表示;以及
通过向所述无线设备(10)发送与所述预览数字图像相对应的增强数字图像,或者通过发送供所述无线设备(10)在增强所述预览数字图像时使用的附加图像数据,来响应所述指示。
24.根据权利要求23所述的计算机服务器节点(12),其中,所述指示包括对所述增强数字图像的请求,并且其中,所述处理电路(66)被配置为通过经由所述通信电路(60)发送所述增强数字图像来响应所述请求。
25.根据权利要求23所述的计算机服务器节点(12),其中,所述指示包括对用于所述预览数字图像的区域的其他图像数据的请求,并且其中,所述处理电路(66)被配置为通过以下方式来响应所述请求:将在所述请求中标识的所述其他图像数据经由所述通信电路(60)并且作为所述附加图像数据发送。
26.根据权利要求23所述的计算机服务器节点(12),其中,对所述其他图像数据的请求包括对所述预览数字图像的一个或多个宏块的标识,其中,所述预览数字图像包括一组宏块,并且其中,所述处理电路(66)被配置为通过以下方式来响应所述请求:经由所述通信电路(60)发送针对所标识的宏块的附加图像数据。
27.一种计算机程序产品,包括用于无线设备(10)中的处理器(36)的程序指令,其中,所述程序指令被配置为当所述程序指令由所述处理器(36)执行时使所述无线设备(10)执行根据权利要求1至9中任一项所述的方法(300)。
28.一种计算机程序产品,包括用于计算机服务器节点(12)中的处理器(66)的程序指令,其中,所述程序指令被配置为当所述程序指令由所述处理器(66)执行时使所述计算机服务器节点(12)执行根据权利要求19至22中任一项所述的方法(400)。
29.一种非暂时性计算机可读介质(38、68),包括存储在其上的根据权利要求27或28所述的计算机程序产品。
30.一种无线设备(10),适于执行根据权利要求1至9中任一项所述的方法(300)。
31.一种计算机服务器节点(12),适于执行根据权利要求19至22中任一项所述的方法(400)。
32.一种被配置用于在无线通信网络(14)中进行操作的无线设备(10),包括:
接收模块(44),用于经由到所述无线通信网络(14)的无线连接(16)接收预览数字图像;
识别模块(46),用于将对象识别处理应用于所述预览数字图像,以确定所述预览数字图像是否包含已知感兴趣对象的表示;以及
响应于肯定确定:
发送模块(48),用于经由所述无线连接(16)发送对所述肯定确定的指示;
所述接收模块(44)用于:响应于所发送的指示,接收与所述预览数字图像相对应的增强数字图像,或者接收附加图像数据并且使用所述附加图像数据形成所述预览数字图像的增强版本;以及
存储模块(50),用于将所述增强数字图像或所述预览数字图像的增强版本至少临时地存储在所述无线设备(10)中。
33.一种计算机服务器节点(12),包括:
发送模块(74),用于向无线设备(10)发送预览数字图像,所述无线设备(10)通过由无线通信网络(14)提供的无线连接(16)通信地耦合到所述计算机服务器节点(12);
接收模块(76),用于接收源自所述无线设备(10)的指示,所述指示响应于所述无线设备(10)检测到所述预览数字图像中的已知感兴趣对象的表示;以及
响应模块(78),用于通过向所述无线设备(10)发送与所述预览数字图像相对应的增强数字图像,或者通过发送供所述无线设备(10)在增强所述预览数字图像时使用的附加图像数据,来响应所述指示。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2018/068097 WO2020007460A1 (en) | 2018-07-04 | 2018-07-04 | Wireless device, computer server node, and methods thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112384910A true CN112384910A (zh) | 2021-02-19 |
Family
ID=62986053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880095298.5A Pending CN112384910A (zh) | 2018-07-04 | 2018-07-04 | 无线设备、计算机服务器节点及其方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20210234941A1 (zh) |
EP (1) | EP3818455A1 (zh) |
CN (1) | CN112384910A (zh) |
AU (1) | AU2018431320B2 (zh) |
CO (1) | CO2021000513A2 (zh) |
WO (1) | WO2020007460A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021015346A (ja) * | 2019-07-10 | 2021-02-12 | キヤノン株式会社 | 情報処理方法、画像処理装置、及びプログラム |
CN111710171B (zh) * | 2020-06-11 | 2022-08-30 | 北京筑梦园科技有限公司 | 一种车牌识别方法、服务器及停车管理*** |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040070786A1 (en) * | 2002-06-08 | 2004-04-15 | Molteno Timothy Christopher Anthony | Method for interactively transmitting image data over a communication link |
US20060176305A1 (en) * | 2003-03-05 | 2006-08-10 | Arcas Blaise A Y | System and method for managing communication and/or storage of image data |
US20130166391A1 (en) * | 2011-12-27 | 2013-06-27 | Anthony T. BLOW | Crowd-determined file uploading methods, devices, and systems |
US8595257B1 (en) * | 2011-11-11 | 2013-11-26 | Christopher Brian Ovide | System and method for identifying romantically compatible subjects |
US20140003648A1 (en) * | 2012-06-29 | 2014-01-02 | Elena A. Fedorovskaya | Determining an interest level for an image |
CN104025071A (zh) * | 2011-12-27 | 2014-09-03 | 高通股份有限公司 | 人群确定的文件尺寸上载方法、装置和*** |
US20140282219A1 (en) * | 2013-03-15 | 2014-09-18 | Robert Haddock | Intelligent internet system with adaptive user interface providing one-step access to knowledge |
US8958662B1 (en) * | 2014-08-20 | 2015-02-17 | Interactive Memories, Inc. | Methods and systems for automating insertion of content into media-based projects |
US20150078723A1 (en) * | 2013-06-21 | 2015-03-19 | Nokia Corporation | Method and apparatus for smart video rendering |
US20150341591A1 (en) * | 2014-05-22 | 2015-11-26 | Microsoft Corporation | Automatically Curating Video to Fit Display Time |
US9298741B1 (en) * | 2014-06-26 | 2016-03-29 | Amazon Technologies, Inc. | Context-specific electronic media processing |
US20170085666A1 (en) * | 2015-09-23 | 2017-03-23 | Facebook, Inc. | Systems and methods for adjusting progressive image transmission based on device properties |
US20170093780A1 (en) * | 2015-09-28 | 2017-03-30 | Google Inc. | Sharing images and image albums over a communication network |
CN107430768A (zh) * | 2015-04-08 | 2017-12-01 | 谷歌公司 | 图像编辑和修补 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7624123B2 (en) * | 2004-02-26 | 2009-11-24 | Ati Technologies, Inc. | Image processing system and method |
EP1810249A4 (en) * | 2004-10-15 | 2014-09-10 | Seadragon Software Inc | SYSTEM AND METHOD FOR COMMUNICATION MANAGEMENT AND / OR STORAGE OF IMAGE DATA |
-
2018
- 2018-07-04 WO PCT/EP2018/068097 patent/WO2020007460A1/en active Application Filing
- 2018-07-04 EP EP18743699.3A patent/EP3818455A1/en not_active Withdrawn
- 2018-07-04 CN CN201880095298.5A patent/CN112384910A/zh active Pending
- 2018-07-04 US US17/257,145 patent/US20210234941A1/en not_active Abandoned
- 2018-07-04 AU AU2018431320A patent/AU2018431320B2/en active Active
-
2021
- 2021-01-20 CO CONC2021/0000513A patent/CO2021000513A2/es unknown
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040070786A1 (en) * | 2002-06-08 | 2004-04-15 | Molteno Timothy Christopher Anthony | Method for interactively transmitting image data over a communication link |
US20060176305A1 (en) * | 2003-03-05 | 2006-08-10 | Arcas Blaise A Y | System and method for managing communication and/or storage of image data |
US8595257B1 (en) * | 2011-11-11 | 2013-11-26 | Christopher Brian Ovide | System and method for identifying romantically compatible subjects |
US20130166391A1 (en) * | 2011-12-27 | 2013-06-27 | Anthony T. BLOW | Crowd-determined file uploading methods, devices, and systems |
CN104025071A (zh) * | 2011-12-27 | 2014-09-03 | 高通股份有限公司 | 人群确定的文件尺寸上载方法、装置和*** |
US20140003648A1 (en) * | 2012-06-29 | 2014-01-02 | Elena A. Fedorovskaya | Determining an interest level for an image |
US20140282219A1 (en) * | 2013-03-15 | 2014-09-18 | Robert Haddock | Intelligent internet system with adaptive user interface providing one-step access to knowledge |
US20150078723A1 (en) * | 2013-06-21 | 2015-03-19 | Nokia Corporation | Method and apparatus for smart video rendering |
US20150341591A1 (en) * | 2014-05-22 | 2015-11-26 | Microsoft Corporation | Automatically Curating Video to Fit Display Time |
US9298741B1 (en) * | 2014-06-26 | 2016-03-29 | Amazon Technologies, Inc. | Context-specific electronic media processing |
US8958662B1 (en) * | 2014-08-20 | 2015-02-17 | Interactive Memories, Inc. | Methods and systems for automating insertion of content into media-based projects |
CN107430768A (zh) * | 2015-04-08 | 2017-12-01 | 谷歌公司 | 图像编辑和修补 |
US20170085666A1 (en) * | 2015-09-23 | 2017-03-23 | Facebook, Inc. | Systems and methods for adjusting progressive image transmission based on device properties |
US20170093780A1 (en) * | 2015-09-28 | 2017-03-30 | Google Inc. | Sharing images and image albums over a communication network |
Also Published As
Publication number | Publication date |
---|---|
EP3818455A1 (en) | 2021-05-12 |
AU2018431320A1 (en) | 2021-02-18 |
AU2018431320B2 (en) | 2022-09-08 |
CO2021000513A2 (es) | 2021-04-19 |
AU2018431320A8 (en) | 2021-02-25 |
US20210234941A1 (en) | 2021-07-29 |
WO2020007460A1 (en) | 2020-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105915953B (zh) | 直播视频鉴别的方法、装置、***、服务器和存储介质 | |
US10447645B2 (en) | Computerized system and method for automatically creating and communicating media streams of digital content | |
US20230254298A1 (en) | Methods for authenticating photographic image data | |
US9792876B2 (en) | Photo selection for mobile devices | |
CN106487781B (zh) | 基于直播的资源数据处理方法、装置和*** | |
US20150227496A1 (en) | Method and system for microblog resource sharing | |
US9860206B2 (en) | Method and apparatus for distributing content | |
CN108810052B (zh) | 直播服务器的选择方法及装置 | |
CN102682026B (zh) | 浏览图片的方法及客户端 | |
WO2019128568A1 (zh) | 内容推送方法、装置及设备 | |
CN111625743B (zh) | 资源加载方法、装置及电子设备 | |
US11805296B2 (en) | Per-viewer engagement-based video optimization | |
CN115349248B (zh) | 基于网络的媒体处理部署的方法,***和装置 | |
KR101735093B1 (ko) | 클라우드 스토리지 서비스에서 파일 공유 방법 및 그 장치 | |
CN103401854A (zh) | 基于社交网络的电视内容分享方法 | |
CN112384910A (zh) | 无线设备、计算机服务器节点及其方法 | |
US11010810B1 (en) | Computerized system and method for automatically establishing a network connection for a real-time video conference between users | |
US10911827B2 (en) | Automatic rating of crowd-stream caller video | |
CN106209584B (zh) | 基于互联网的用户信息处理方法、客户端及服务器 | |
CN111026912B (zh) | 基于iptv的协同推荐方法、装置、计算机设备以及存储介质 | |
WO2016172968A1 (zh) | 传输云端文件的方法、终端及云端服务器 | |
JP2020004410A (ja) | メディアベースのコンテンツシェアを容易にする方法、コンピュータプログラム及びコンピューティングデバイス | |
CN116760791B (zh) | 图像传输方法、装置、设备和存储介质 | |
KR20220132392A (ko) | 다중 채널 네트워크의 컨텐츠 관리 방법, 장치 및 시스템 | |
CN114697317A (zh) | 一种文件访问方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |