CN109427056A - 对供数据传输的图像数据进行优化的方法和*** - Google Patents
对供数据传输的图像数据进行优化的方法和*** Download PDFInfo
- Publication number
- CN109427056A CN109427056A CN201810208810.4A CN201810208810A CN109427056A CN 109427056 A CN109427056 A CN 109427056A CN 201810208810 A CN201810208810 A CN 201810208810A CN 109427056 A CN109427056 A CN 109427056A
- Authority
- CN
- China
- Prior art keywords
- rule
- image data
- server
- data
- described image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00095—Systems or arrangements for the transmission of the picture signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
- H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00912—Arrangements for controlling a still picture apparatus or components thereof not otherwise provided for
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
- H04N2201/0015—Control of image communication with the connected apparatus, e.g. signalling capability
- H04N2201/0031—Control of image communication with the connected apparatus, e.g. signalling capability where the still picture apparatus acts as the master
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
- H04N2201/0034—Details of the connection, e.g. connector, interface
- H04N2201/0037—Topological details of the connection
- H04N2201/0039—Connection via a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0084—Digital still camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
- H04N2201/3215—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a time or duration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
- H04N2201/3222—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of processing required or performed, e.g. forwarding, urgent or confidential handling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3278—Transmission
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及对供数据传输的图像数据进行优化的方法和***。在一种实施方式中,提供一种对供传输至服务器的图像数据进行优化的方法。该方法包括:从所述服务器接收针对所述图像数据的优化和传输的多条服务器规则;根据所述多条服务器规则及一件或多件本地事件生成多条本地决策规则;根据所述多条本地决策规则,分析所述图像数据的至少第一部分,以生成图像分析数据;以及生成供传输至所述服务器的优化后图像数据。该优化后图像数据包括所述图像数据的至少第二部分以及所述图像分析数据。
Description
技术领域
本发明内容总体涉及边缘计算,尤其涉及一种对供数据传输的图像数据进行优化的方法和***。
背景技术
各种各样的应用程序可能需要对图像进行捕获、处理和分析。许多应用程序(如物联网(IOT)应用程序、遥测应用程序、监视应用程序等)可能要求在一处捕获图像,而在另一处对图像进行处理。因此,可先在特定位置捕获图像,然后将其上传并发送至云端远程服务器,以供进一步分析和存储。然而,由于处理能力和服务器与边缘节点间网络带宽的限制,此类应用程序可能会带来挑战。例如,虽然许多设备可能具有一直处于开启状态的连接,但其连接速度可能较为有限。此外,很多情况下,虽然设备可能具有良好的连接速度,但服务器可能具有有限的处理能力。因此,可能难于对应用程序捕获的所有图像都进行存储和分析。
现有技术试图通过流量预测模型、实时最小负载调度、相对负载平衡调度等克服上述挑战。然而,现有技术无法实现连接速度与带宽、处理能力、可用资源负载等之间的平衡。也就是说,现有技术无法对所捕获的供传输和远程处理的图像进行优化。
发明内容
在一种实施方式中,公开一种对供传输至服务器的图像数据进行优化的方法。在一个实施例中,该方法可包括从所述服务器接收针对所述图像数据的优化和传输的多条服务器规则;根据所述多条服务器规则及一件或多件本地事件生成多条本地决策规则;根据所述多条本地决策规则,分析所述图像数据的至少第一部分,以生成图像分析数据;以及生成供传输至所述服务器的优化后图像数据,其中,所述优化后图像数据包括所述图像数据的至少第二部分以及所述图像分析数据。
在一种实施方式中,公开一种对供传输至服务器的图像数据进行优化的***。在一个实施例中,该***可包括:至少一个处理器;以及与该至少一个处理器以可通信方式连接的存储器。该存储器可存有处理器可执行指令,该指令在执行时可使得所述处理器从所述服务器接收针对所述图像数据的优化和传输的多条服务器规则;根据所述多条服务器规则及一件或多件本地事件生成多条本地决策规则;根据所述多条本地决策规则,分析所述图像数据的至少第一部分,以生成图像分析数据;以及生成供传输至所述服务器的优化后图像数据,其中,所述优化后图像数据包括所述图像数据的至少第二部分以及所述图像分析数据。
在一种实施方式中,公开一种存有用于对供传输至服务器的图像数据进行优化的计算机可执行指令的非暂时性计算机可读介质。在一个实施例中,所存指令在由处理器执行时可使得该处理器执行操作,该操作包括从所述服务器接收针对所述图像数据的优化和传输的多条服务器规则;根据所述多条服务器规则及一件或多件本地事件生成多条本地决策规则;根据所述多条本地决策规则,分析所述图像数据的至少第一部分,以生成图像分析数据;以及生成供传输至所述服务器的优化后图像数据,其中,所述优化后图像数据包括所述图像数据的至少第二部分以及所述图像分析数据。
需要理解的是,以上概略描述与以下详细描述均仅在于例示和说明,而不在于限制所要求保护的发明。
附图说明
所附各图并入本发明内容之内并构成本发明内容的一部分,用于对例示实施方式进行描述,并与说明书一道阐明所公开的原理。
图1为根据本发明内容一些实施方式对供传输至服务器的图像数据进行优化的例示***框图。
图2为根据本发明内容一些实施方式的图像控制引擎的功能框图。
图3为根据本发明内容一些实施方式对供传输至服务器的图像数据进行优化的例示过程的概要流程图。
图4为根据本发明内容一些实施方式对供传输至服务器的图像数据进行优化的例示服务器过程流程图。
图5为根据本发明内容一些实施方式对供传输至服务器的图像数据进行优化的例示图像控制器过程流程图。
图6为根据本发明内容一些实施方式对供传输至服务器的图像数据进行优化的例示过程流程图。
图7为用于实施各种实施方式的例示计算机***框图。
具体实施方式
以下,参考附图,对例示实施方式进行描述。在任何方便之处,各图中均采用相同附图标记指代相同或类似部件。虽然本文中描述了所公开原理的实施例和特征,但是在不脱离所公开实施方式的精神和范围的前提下,还可进行修改、调整以及做出其他实施方式。以下具体描述意在仅视作例示,而真正的范围及精神如所附权利要求书所示。
现在参考图1,该图为根据本发明内容一些实施方式对供传输至服务器的图像数据进行优化的例示***100的框图。具体而言,***100可包括图像控制器101、一个或多个成像设备102以及远程云端服务器103。图像控制器101可从成像设备102接收图像数据(如视频或图像),并对供后续向远程云端服务器103传输的该图像数据进行优化。本领域技术人员可理解的是,成像设备102可以为任何能够获得图像数据的设备,如摄像机、数码相机、监视摄像机、计算机、膝上型计算机、个人计算设备(如平板电脑、智能手机等)等。因此,成像设备102可至少包括镜头、成像器(即图像传感器)及记录器(如存储器)等。此外,可以理解的是,成像设备102可相对于图像控制器101本地或远程设置。例如,在一些实施方式中,成像设备102中的一部分可相对于图像控制器101本地设置,而成像设备102中的另一部分可相对于图像控制器101远程设置。此外,成像设备102可直接连接至图像控制器101,或者可通过网络部件104(如路由器、网桥、交换机、集线器、网关、无线接入点等)或中间设备(如数字录像机、存储设备等)连接至图像控制器101。
本领域技术人员可理解的是,远程云端服务器103可以为任何能够存储和处理从图像控制器接收的图像数据和其他信息的基于处理器的设备。因此,远程云端服务器103可至少包括处理器及存储设备等部件。图像控制器101和远程云端服务器103可经通信信道105彼此交互。因此,在一些实施方式中,图像控制器101可经通信信道105从远程云端服务器103接收服务器规则,而远程云端服务器103可经通信信道105从图像控制器101接收原始图像数据、优化后的图像数据、图像分析数据以及任何被视为必要的其他信息。通信信道108可以为基于不同通信技术的任何有线或无线通信信道(如互联网)。
图像控制器101可实现用于从成像设备102接收图像数据并用于对供传输至远程云端服务器103的所接收图像数据进行优化的图像控制引擎。如以下结合图2所进一步详细描述的一样,所述图像控制引擎可从远程云端服务器103接收多条针对图像数据优化和传输的服务器规则,可根据所述多条服务器规则及一件或多件本地事件生成多条本地决策规则,可根据所述多条本地决策规则对所述图像数据的至少第一部分进行分析以生成图像分析数据,并且可生成供传输至远程云端服务器103的优化后图像数据。该优化后图像数据包括所述图像数据的至少第二部分及所述图像分析数据。
图像控制器101可包括一个或多个处理器106及计算机可读介质(如存储器)107。计算机可读介质107可存有指令,该指令在由所述一个或多个处理器106执行时,可使得该一个或多个处理器106根据本发明内容的各个方面,接收并优化图像数据,并传输优化后的图像数据。计算机可读存储介质107还可存储图像控制器101所捕获的多个***和网络参数以及图像控制器101或***100所需或所处理的其他数据。所述一个或多个处理器106可通过执行数据处理功能接收图像数据,标记该图像数据,接收服务器规则,生成本地决策规则,分析图像数据,生成优化后的图像数据,监测本地事件,启动机器学习过程,更新服务器规则以及传输优化后的图像数据。
如上所述,在一些实施方式中,图像控制器101可相对于成像设备102本地设置。例如,在一些实施方式中,图像控制器101可以为可与成像设备102通信的独立分离设备。或者,在一些实施方式中,图像控制器101也可内置于每个或其中一个成像设备102之中。此外,如上所述,在一些实施方式中,图像控制器101可相对于成像设备102远程设置。例如,在一些实施方式中,图像控制器101可设于图像优化服务提供商的远程服务器内。或者,在一些实施方式中,图像控制器101可内置于远程云端服务器103内。
此外,可以理解的是,在一些实施方式中,图像控制器101的各种部件可在物理上共同位于同一设备之内。或者,在一些实施方式中,图像控制器101的各部件也可在物理上分布于多种设备之内。例如,图像控制器101的处理器106和计算机可读介质107既也在物理上共同位于同一设备(如图像控制器101)之内,也可在物理上分布于多种设备(如图像控制器101、成像设备102和/或远程云端服务器103)之内。
现在参考图2,该图为根据本发明内容一些实施方式由图1***100的图像控制器101实现的图像控制引擎200的功能框图。在一些实施方式中,图像控制引擎200可包括图像获取模块201、图像分析模块202、监测模块203、规则设置模块204、学习模块205及数据库206。本领域技术人员可理解的是,模块201~205及数据库206中的每一个均可整体或分块位于图像控制器101、成像设备102和/或远程云端服务器103中的任何一个之内。
图像获取模块201可获取含有所述一个或多个成像设备的图像的图像数据207。此外,图像获取模块201可以时间戳和处理状态中的至少一种标记该图像。所述处理状态可包括,但不限于,图像分析数据的“已捕获”、“已分析”、“已传输”,或元数据的“已传输”等。此外,在一些实施方式中,图像获取模块201可将图像数据207及标记后的图像数据存储于数据库206内。
图像分析模块202可从图像获取模块201或从数据库206接收所获取的图像数据207。图像分析模块202还可从数据库206接收用于实施分析的各种规则和关联参数(如服务器规则208,本地决策规则等)。随后,图像分析模块202可根据所接收的规则对图像数据207的至少一部分进行分析,以生成图像分析数据。例如,在一些实施方式中,图像分析模块202可应所述远程云端服务器的请求(如根据服务器规则208)以及应所述图像控制器的要求(如根据所述本地决策规则),根据各种图像属性,执行所述图像分析功能并计算分析向量。此外,图像分析模块202可利用所接收的规则,并至少根据所述图像分析数据,生成供传输至所述远程云端服务器的优化后图像数。在一些实施方式中,所述优化后的图像数据还可包括图像数据207的各部分(如所馈送的未经图像分析的原始图像)或优化后图像数据的各部分(如所馈送的未经图像分析的优化后图像)。应该注意的是,从数据库206中,图像分析模块202除了可接收所述用于执行优化的规则,还可接收所述关联参数。因此,图像分析模块202有助于所述图像数据的优化,这又进一步有助于平衡远程云端服务器的负载及优化所述图像控制器与远程云端服务器之间的连接链路带宽。在一些实施方式中,图像分析模块202可将所述图像分析数据和/或优化后的图像数据存储于数据库206内。此外,在一些实施方式中,图像分析模块202可根据所接收的规则将优化后的图像数据传输至所述远程云端服务器。
监测模块203可以为负责对一件或多件本地事件进行监测的在线代理器。在一些实施方式中,所述本地事件可包括,但不限于,与所述图像控制器相关的***参数、与所述图像控制器和服务器之间的通信信道相关的网络参数等。例如,所述***参数可包括所述图像控制器的处理负载等关键参数。此外,所述网络参数可包括与所述图像控制器和远程云端服务器之间的通信链路相关的关键参数,如可用带宽、所需带宽、空闲速度等。在一些实施方式中,所述本地事件(即所监测的参数)可存储于数据库206中,以供其他模块所用。应该注意的是,所述本地事件既可由规则设置模块204用于在各种模块中设置规则,也可由学习模块205用于生成所述本地决策规则。
规则设置模块204可负责设置各种规则,其他模块可根据此类规则运作。在一些实施方式中,可根据监测模块203所监测的本地事件,在各种模块中设置所述规则。应该注意的是,该规则既可远程推送(如由所述远程云端服务器),也可本地生成(如由学习模块205)。在一些实施方式中,规则设置模块204可从数据库206存取服务器规则208和/或本地生成规则,并且可在图像获取模块201、图像分析模块202等相应模块内对所接收的规则进行配置。
学习模块205可从所述远程云端服务器接收针对图像数据207的优化和传输的服务器规则208,并可将所接收的服务器规则208存储于数据库206内。或者,学习模块205也可从数据库206接收服务器规则208。在一些实施方式中,服务器规则208可包括,但不限于,图像分析规则、图像优化规则及数据传输规则。学习模块205还可从监测模块203或数据库206接收本地事件(即所监测的参数)。随后,学习模块205可根据服务器规则208和所述本地事件生成本地决策规则(即本地新建规则)。此外,在一些实施方式中,学习模块205可从图像获取模块201或数据库206接收图像数据207,从图像分析模块202或数据库206接收所述图像分析数据,并根据图像数据207和所述图像分析数据生成本地决策规则。在一些实施方式中,学习模块205可通过启动机器学习算法,生成所述本地决策规则。如此,学习模块205即可从服务器规则208,所述本地事件和/或图像数据207和所述图像分析数据中的至少一种自我学习。所生成的本地决策规则可存储于数据库206中。此外,学习模块205将所述本地决策规则传输至所述远程云端服务器,以供该远程云端服务器根据所述本地决策规则更新服务器规则208。或者,学习模块205也可先根据所述本地决策规则更新服务器规则208,然后将更新后的服务器规则传输至所述远程云端服务器。服务器规则208的此类更新既可以规则的时间间隔实施,也可在每一学习过程后实施。
此外,需要注意的是,图像控制引擎200可以可编程门阵列、可编程阵列逻辑、可编程逻辑器件等可编程硬件装置内实现。或者,图像控制引擎200也可以由各种类型处理器执行的软件实施。被认定的可执行代码引擎例如可包括计算机指令的一个或多个物理块或逻辑块,这些物理块或逻辑块例如组织为对象、程序、功能、模块或其他构建体。然而,在物理形式上,被认定引擎的可执行代码无需位于一处,而是可包括存于不同位置处的不同指令,当这些指令在逻辑上相互接合时,可构成所述引擎并实现该引擎的标称目的。实际上,可执行代码引擎可以为单个指令或多个指令,而且甚至可分布于不同应用程序的多个不同代码段上以及可分布于多个存储器装置之上。
现在参考图3,该图为根据本发明内容一些实施方式对供传输至服务器的图像数据进行优化的例示过程300的概要流程图。过程300可起始于步骤301中的远程图像捕获和优化。过程300还包括如下步骤:在步骤302中,将所述***(即成像设备、图像控制器、远程云端服务器等)初始化,并在图像控制器和远程云端服务器之间建立通信链路;在步骤303中,执行服务器过程;而且在步骤304中,并行执行图像控制器过程。之后,在步骤305中,过程300可通过停止所述图像控制器和其他子***,结束远程图像捕获和优化。以下,对每一上述步骤进行更加详细的描述。
在步骤302中,可将针对给定应用程序(如物联网(IOT)应用程序、遥测应用程序、监视应用程序等)部署的每一成像设备初始化,以捕获所述图像数据(如射频、图像等)。此外,可将针对多个成像设备部署的图像控制器(如针对一组成像设备部署的边缘图像控制器)初始化,以对从所述多个成像设备接收的图像数据进行优化,以及将优化后的图像数据发送于远程云端服务器。此外,可将该远程云端服务器初始化,以通过所述图像控制器,从所述多个成像设备接收优化后的图像数据(如射频、图像等)。此外,还可在图像控制器和所述远程云端服务器之间建立所述通信链路。在一些实施方式中,所述通信链路的建立可包括:对所述图像控制器进行认证;以及从针对一个或多个应用程序部署于一个或多个地理位置的多个图像控制器中识别上述图像控制器。应该注意的是,初始化后,每个所述成像设备均可开始捕获图像数据。
在步骤303中,初始化后,所述远程云端服务器可启动服务器过程。所述远程云端服务器将服务器规则及关联配置参数发送于所述图像控制器。该服务器规则可以为定义了图像数据优化技术及优化后图像数据传输技术的规则。在一些实施方式中,所述服务器规则可包括,但不限于,图像分析规则、图像优化规则及数据传输规则。所述图像分析规则可指定所需的图像分析类型,对所述图像数据当中可进行图像分析的部分的定义,图像分析配置参数等。类似地,所述图像优化规则可指定所需的图像优化类型,对所述图像数据当中可进行图像优化的部分的定义,图像优化配置参数等。此外,所述数据传输规则可指定待传输数据的类型,数据传输配置参数等。
现在参考图4,该图为根据本发明内容一些实施方式对供传输至服务器的图像数据进行优化的例示服务器过程400的流程图。该远程云端服务器过程可始于步骤401中对该远程云端服务器的初始化。在步骤402中,该远程云端服务器可将所述服务器规则,连同关联配置参数,一并发送给所述图像控制器。在步骤403中,所述远程云端服务器可接收所述图像控制器的当前本地规则(学习后)。在步骤404中,所述远程云端服务器可根据所述图像控制器的当前本地规则,更新所述服务器规则。在步骤405中,所述远程云端服务器可从所述图像控制器接收优化后的图像数据。可以理解的是,所述接收当前规则的步骤403及更新服务器规则的步骤404既可在每次学习后实施(即每次在步骤405中接收优化后的图像数据后),也可以规则的时间间隔实施。
再次参考图3,在步骤304中,所述图像控制器可在初始化后启动图像控制器过程。所述图像控制器可从所述多个成像设备获取图像数据,可根据本地决策规则(该本地决策规则可通过对所述远程云端服务器定义的规则及本地事件的学习而生成)实施所需的优化,而且可将优化后的图像数据及相关数据发送给所述远程云端服务器。也就是说,该图像控制器过程可基于所述远程云端服务器定义的规则,所述图像控制引擎根据本地事件做出的决策,以及/或者对所述服务器定义规则及本地事件的学习。
如上所述,在一些实施方式中,所述远程云端服务器可利用所述服务器规则将其要求告知所述图像控制器。例如,所述远程云端服务器可告知所述图像控制器是否需要图像或是否需要基于本地处理的图像分析。其中,如果需要图像分析,还可从多种统计分析(如边界检测、图像匹配、运动检测、运动向量等)当中指定所需的图像分析类型。此外,所述远程云端服务器还可指定用于图像分析统计参数的配置参数和规则。此外,在一些实施方式中,所述远程云端服务器还可指定所述图像数据的待实施图像分析的部分(如仅针对特定成像设备,仅该图像数据的前5分钟等)。在一些实施方式中,所述远程云端服务器还可指定是否需要对所述图像数据的未经历所述图像分析的其他部分实施任何其他优化。此外,在一些实施方式中,所述远程云端服务器可指定所述图像数据和/或优化后图像数据(如原始数据、图像分析数据、优化后数据、参数等)的传输条件。
所述图像控制器可通常按照所述远程云端服务器定义的方式对所述规则进行配置。然而,该图像控制器也可对所述图像控制器处的本地事件或等地状况进行检测,例如对***参数(如该图像控制器的可用处理能力),网络参数(如可用于传输的链路带宽、传输所需要的带宽等)等进行监测。随后,所述图像控制器可通过对所述服务器规则的机器学习及所监测的本地事件,修改该服务器规则。举例而言,所述图像控制器可通过估计可用处理能力和带宽以及通过所述机器学习,修改所述服务器规则。在此类情况下,该图像控制器可对修改后的规则(即本地决策规则)进行配置。在此之后,所述图像控制器可根据所配置的规则,优化所述图像数据,并将优化后的图像数据发送给所述远程云端服务器。此外,所述图像控制器还可通过对所捕获图像的分辨率、图像分析统计参数等配置参数进行修改或调整,降低本地图像数据优化处理的复杂度,以及/或者降低优化后图像数据传输的带宽要求。
现在参考图5,该图以流程图形式示出了根据本发明内容一些实施方式对供传输的图像数据进行优化的例示图像控制器过程500。该图像控制器过程可始于在步骤501中对所述图像控制器进行初始化。在步骤502中,该图像控制器可从所述远程云端服务器接收服务器规则,并从所述多个成像设备接收图像数据。在步骤503中,该图像控制器可将用于优化所述图像数据的服务器规则加以应用。例如,在一些实施方式中,该图像控制器可将所述图像数据中的一部分原封不动地发送给所述远程云端服务器(即发送某些相机馈送的原始图像数据)。此外,在一些实施方式中,所述图像控制器可根据所述服务器规则提供的图像优化规则,对所述图像数据的一部分进行优化,并可将优化后的图像数据发送给所述远程云端服务器。此外,在一些实施方式中,所述图像控制器可根据所述服务器规则提供的图像分析规则,对所述图像数据的一部分进行图像分析,并可将该图像分析数据发送给所述远程云端服务器。所述原始图像数据,优化后的图像数据或图像分析数据(通常称为优化图像数据)可本身根据所述服务器规则提供的图像分析规则被传输。
在步骤504中,所述图像控制器可通过处理原始图像数据及图像分析数据而实施机器学习。在步骤505中,该图像控制器还可根据所述机器学习生成或更新本地决策规则。在步骤506中,该图像控制器可对本地事件(即***参数、网络参数等)进行监测。在步骤507中,该图像控制器可将在所述图像数据的相应部分(如每一相机馈送数据)上混合应用服务器规则及本地决策规则(即自我学习规则),以实施该图像数据的优化。所述图像控制器还可将更新后的规则与所述远程云端服务器共享,以供该远程云端服务器随后相应更新其服务器规则。在步骤508中,所述图像控制器可根据更新后的数据传输规则,将优化后的图像数据(包括图像分析数据)发送至所述远程云端服务器。
本领域技术人员可以理解的是,多种方法可用于对供传输至服务器的图像数据进行优化。例如,例示***100可通过本文过程实现图像数据的优化及优化后图像数据的传输。具体而言,本领域技术人员可以理解的是,用于实施本文所述技术和步骤的控制逻辑和/或自动化程序可由***100通过硬件、软件或硬件及软件的组合而实现。例如,***100内的一个或多个处理器可对合适的代码进行访问和执行,以实现本文所述的部分或所有技术。类似地,***100内的所述一个或多个处理器内还可纳入用于实施本文所述的部分或所有方法的专用集成电路(ASIC)。
例如,现在参考图6,该图以流程图形式示出了根据本发明内容一些实施方式通过***100等***对供传输至服务器的图像数据进行优化的例示控制逻辑600。如该流程图所示,控制逻辑600可包括如下步骤:在步骤601中,从所述服务器接收与所述图像数据的优化和传输相关的多条服务器规则;在步骤602中,根据所述多条服务器规则及一件或多件本地事件,生成多条本地决策规则;在步骤603中,根据所述多条本地决策规则,对所述图像数据的至少第一部分进行分析,以生成图像分析数据;以及在步骤604中,生成供传输至所述服务器的优化后图像数据。该优化后图像数据可包括所述图像数据的至少第二部分及所述图像分析数据。
在一些实施方式中,控制逻辑600还可包括如下步骤:从一个或多个成像设备接收所述图像数据;以及以时间戳和处理状态中的至少一个,对该图像数据进行标记。此外,在一些实施方式中,控制逻辑600还可包括根据所述多条本地决策规则对优化后的图像数据进行传输的步骤。此外,在一些实施方式中,控制逻辑600还可包括如下步骤:将所述多条本地决策规则发送给所述服务器;以及根据该多条本地决策规则,更新所述多条服务器规则。此外,在一些实施方式中,控制逻辑600可包括对一件或多件本地事件进行监测的步骤。在一些实施方式中,所述一件或多件本地事件可包括与所述图像控制器相关的***参数以及与所述图像控制器和服务器之间的通信信道相关的网络参数中的至少一种。此外,在一些实施方式中,所述***参数可包括处理负载。此外,在一些实施方式中,所述网络参数可包括可用带宽和所需带宽中的至少一种。
在一些实施方式中,所述多条服务器规则可包括一组图像分析规则、一组图像优化规则以及一组数据传输规则中的至少一种。此外,在一些实施方式中,所述一组图像分析规则可指定所需的图像分析类型,对所述图像数据的至少第一部分的定义及多个图像分析配置参数中的至少一种。此外,在一些实施方式中,所述一组图像优化规则可指定所需的图像优化类型,对所述图像数据的至少第二部分的定义及多个图像优化配置参数中的至少一种。此外,在一些实施方式中,所述一组数据传输规则可指定待传输数据的类型及多个数据传输配置参数中的至少一种。
在一些实施方式中,在步骤602中生成所述多条本地决策规则可包括,根据所述多条服务器规则及所述一件或多件本地事件,启动机器学习过程。此外,在一些实施方式中,所述机器学习过程还可基于所述图像数据及图像分析数据。此外,在一些实施方式中,所述一件或多件本地事件可包括***参数及网络参数中的至少一种。此外,在一些实施方式中,在步骤604中生成所述优化后的图像数据可进一步包括,根据所述多条本地决策规则,优化所述图像数据的至少第二部分。
还应理解的是,上述技术可采用如下形式:计算机或控制器实现的过程;以及用于实施这些过程的装置。本发明内容还可以以含有指令的计算机程序代码的形式实施,所述指令包含于软盘、CD-ROM、硬盘驱动器或其他任何计算机可读存储介质等有形介质中,其中,当所述计算机程序代码载入计算机或控制器内并由该计算机或控制器执行时,该计算机即成为一种用于实施本发明的装置。本发明内容还可以以计算机程序代码或信号的形式实施,所述计算机程序代码或信号例如存储于存储介质中,或者载入计算机或控制器内并由该计算机或控制器执行,或者经电线或电缆、光纤或电磁辐射等传输介质传输,其中,当所述计算机程序代码载入计算机内并由该计算机执行时,该计算机即成为一种用于实施本发明的装置。当在通用微处理器中实施时,所述计算机程序代码的代码段对所述微处理器进行配置,以创建出特定的逻辑电路。
现在参考图7,该图为用于实施各种实施方式的例示计算机***701的框图。计算机***701的各种变形可用于实现对供传输的图像数据进行优化的***100。计算机***701可包括中央处理单元(“CPU”或“处理器”)702。处理器702可包括至少一个用于执行程序组件的数据处理器,所述程序组件用于执行用户或***生成的请求。用户可包括个人,使用设备(如本发明内容范围内的设备)的个人或此类设备本身。处理器702可包括集成***(总线)控制器、内存管理控制单元、浮点单元、图形处理单元、数字信号处理单元等专用处理单元。所述处理器可包括集成***(总线)控制器、内存管理控制单元、浮点单元、图形处理单元、数字信号处理单元等专用处理单元。所述处理器可包括微处理器,例如AMD速龙(Athlon)、毒龙(Duron)或皓龙(Opteron),ARM应用处理器,嵌入式或安全处理器,IBMPowerPC,IntelCore、安腾(Itanium)、至强(Xeon)、赛扬(Celeron)或其他处理器产品线等。处理器702可通过主机、分布式处理器、多核、并行、网格或其他架构实现。一些实施方式可使用专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)等嵌入式技术。
处理器702可配置为通过输入/输出(I/O)接口703与一个或多个I/O设备进行通信。I/O接口703可采用通信协议/方法,例如但不限于,音频、模拟、数字、单声道、RCA、立体声、IEEE-1394、串行总线、通用串行总线(USB)、红外、PS/2、BNC、同轴、组件、复合、数字视觉接口(DVI)、高清晰度多媒体接口(HDMI)、射频天线、S视频,VGA、IEEE802.n/b/g/n/x、蓝牙、蜂窝(例如码分多址(CDMA)、高速分组接入(HSPA+)、移动通信全球***(GSM)、长期演进(LTE)、WiMax等)等。
通过使用I/O接口703,计算机***701可与一个或多个I/O设备进行通信。举例而言,输入设备704可以为天线、键盘、鼠标、操纵杆、(红外)遥控、摄像头、读卡器、传真机、加密狗、生物计量阅读器、麦克风、触摸屏、触摸板、轨迹球、传感器(例如加速度计、光传感器、GPS、陀螺仪、接近传感器等)、触控笔、扫描仪、存储设备、收发器、视频设备/视频源、头戴式显示器等。输出设备705可以为打印机、传真机、视频显示器(例如阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、等离子等)、音频扬声器等。在一些实施方式中,收发器706可与处理器702连接。所述收发器可促进各类无线传输或接收。例如,该收发器可包括以可操作方式连接至收发器芯片(例如德州仪器(TexasInstruments)WiLinkWL1283、博通(Broadcom)BCM4750IUB8、英飞凌科技(InfineonTechnologies)X-Gold618-PMB9800等)以实现IEEE802.11a/b/g/n、蓝牙、FM、全球定位***(GPS)、2G/3GHSDPA/HSUPA通信等的天线。
在一些实施方式中,处理器702可配置为通过网络接口707与通信网络708通信。网络接口707可与通信网络708通信。所述网络接口可采用包括但不限于直接连接、以太网(例如双绞线10/100/1000BaseT)、传输控制协议/网际协议(TCP/IP)、令牌环、IEEE802.11a/b/g/n/x等的连接协议。通信网络708可包括,但不限于,直接互连、局域网(LAN)、广域网(WAN)、无线网络(例如使用无线应用协议)、因特网等。通过网络接口707和通信网络708,计算机***701可与设备709、710和711通信。这些设备可包括,但不限于,个人计算机,服务器,传真机,打印机,扫描仪,以及各种移动设备,例如蜂窝电话、智能电话(例如苹果(Apple)iPhone、黑莓(Blackberry)、基于安卓(Android)***的电话等)、平板电脑、电子书阅读器(亚马逊(Amazon)Kindle,Nook等)、膝上型计算机、笔记本电脑、游戏机(微软(Microsoft)Xbox、任天堂(Nintendo)DS,索尼(Sony)PlayStation等)等。在一些实施方式中,计算机***701可本身包含一个或多个上述设备。
在一些实施方式中,处理器702可配置为通过存储接口712与一个或多个存储设备(例如RAM713、ROM714等)进行通信。所述存储接口可采用串行高级技术连接(SATA)、集成驱动电子设备(IDE)、IEEE1394、通用串行总线(USB)、光纤通道、小型计算机***接口(SCSI)等连接协议连接至存储设备,该存储设备包括,但不限于,存储驱动器、可移除磁盘驱动器等。所述存储驱动器还可包括磁鼓、磁盘驱动器、磁光驱动器、光盘驱动器、独立磁盘冗余阵列(RAID)、固态存储设备、固态驱动器等。
所述存储设备可存储一系列程序或数据库组件,包括但不限于,操作***716、用户界面应用程序717、网页浏览器718、邮件服务器719、邮件客户端720、用户/应用程序数据721(例如本发明内容中所述的任何数据变量或数据记录)等。操作***716可促进计算机***701的资源管理和运行。操作***例如包括,但不限于,苹果MacintoshOSX、Unix、Unix类***套件(例如伯克利软件套件(BSD)、FreeBSD、NetBSD、OpenBSD等)、Linux套件(如RedHat、Ubuntu、Kubuntu等)、IBMOS/2、微软Windows(XP,Vista/7/8等)、苹果iOS、谷歌(Google)安卓、黑莓操作***等。用户界面717可利用文本或图形工具促进程序组件的显示、执行、互动、操控或操作。例如,用户界面可在以可操作方式连接至计算机***701的显示***上提供光标、图标、复选框、菜单、滚动条、窗口、窗口部件等计算机交互界面元件。此外,还可采用图形用户界面(GUI),包括但不限于,苹果Macintosh操作***的Aqua、IBMOS/2、微软Windows(例如Aero、Metro等)、UnixX-Windows、网页界面库(例如ActiveX、Java、Javascript、AJAX、HTML、AdobeFlash等)等。
在一些实施方式中,计算机***701可执行网页浏览器718存储的程序组件。所述网页浏览器可以为微软InternetExplorer、谷歌Chrome、谋智(Mozilla)火狐(Firefox)、苹果Safari等超文本浏览应用程序。其中,可通过HTTPS(安全超文本传输协议)、安全套接字层(SSL)、安全传输层(TLS)等实现安全网页浏览。网页浏览器可使用AJAX、DHTML、AdobeFlash、JavaScript、Java、应用程序编程接口(API)等工具。在一些实施方式中,计算机***701可执行邮件服务器719存储的程序组件。该邮件服务器可以为微软Exchange等因特网邮件服务器。所述邮件服务器可使用ASP、ActiveX、ANSIC++/C#、微软.NET、CGI脚本、Java、JavaScript、PERL、PHP、Python、WebObjects等工具。所述邮件服务器还可使用因特网信息访问协议(IMAP),邮件应用程序编程接口(MAPI),微软Exchange,邮局协议(POP),简单邮件传输协议(SMTP)等通信协议。在一些实施方式中,计算机***701可执行邮件客户端720存储的程序组件。所述邮件客户端可为苹果Mail、微软Entourage、微软Outlook、谋智Thunderbird等邮件查看程序。
在一些实施方式中,计算机***701可存储用户/应用程序数据721,例如本发明内容中所述数据、变量、记录等(如服务器规则,本地事件,机器学习模型,图像数据,优化后的图像数据,图像分析数据,本地决策规则,配置参数,标记后的图像数据,图像控制器认证信息,图像控制器标识等)。此类数据库可实施为甲骨文(Oracle)或赛贝斯(Sybase)等容错、关系、可扩展、安全数据库。或者,上述数据库可通过数组、散列、链表、结构、结构化文本文件(例如XML)、表格等标准化数据结构实现,或者实施为面向对象的数据库(例如通过ObjectStore、Poet、Zope等)。上述数据库可以为合并或分布数据库,有时分布于本发明内容所讨论的上述各种计算机***之间。应该理解的是,上述任何计算机或数据库组件的结构及操作可以以任何可行的组合形式进行组合、合并或分布。
本领域技术人员可理解的是,以上各种实施方式中描述的技术可根据图像控制器和/或服务器的处理能力,图像控制器和/或服务器的可用资源上的负载,图像控制器和/或服务器之间的连接速度和带宽等,实现优化后图像数据向所述远程云端服务器的传输。以上各种实施方式中描述的技术可实现分布式图像/视频处理***。所述成像设备或与该成像设备相关联的图像控制器可根据可用于将图像或视频数据传输至所述远程云端服务器(即中央服务器)的网络带宽度量的估计值对所获得的图像数据(即图像/视频)进行处理。所述技术还可根据可用网络带宽优化图像数据。由此可见,该技术可采用服务器处的中央图像处理与图像控制器处的边缘图像处理相结合的混合方法实现服务器处及图像控制器处的网络带宽使用和计算负载的优化。也就是说,以上实施方式中描述的技术可适应性地平衡连接速度和服务器负载的负载的及带宽要求。
此外,本领域技术人员可理解的是,以上各种实施方式中描述的技术可实现可配置的图像分析。例如,该技术不但允许对待在所述图像数据上实施的分析类型进行配置,而且还可允许对该图像分析的各种参数进行配置。所述边缘图像分析可支持用于配置的服务器定义规则和参数。此外,机器学习过程可允许通过本地事件对服务器定义规则和参数进行重新配置。
因此,本领域技术人员可理解的是,以上各种实施方式中描述的技术为一种扩展的灵活技术。所述图像控制器可充当多个成像设备的网关(即服务器和多个成像设备之间的单个联系点),并可对来自该多个成像设备的多个馈入数据进行控制。此外,即使所述图像控制器可由所述远程云端服务器配置和控制,但是其也可通过本地学习针对特定一组成像设备及特定应用程序进行定制或改进。可以理解的是,现有技术通常对网络带宽进行测量,并利用图像处理技术改变(增大/减小)图像/视频数据的大小。与此相对,以上实施方式中描述的技术可实现以图像分析代替图像数据,并可通过本地学习实现服务器定义规则的本地化。
本说明书已描述了对供传输至服务器的图像数据进行优化的***和方法。所示步骤用于说明所述例示实施方式,并且应当预想到的是,随着技术的不断发展,特定功能的执行方式也将发生改变。本文所呈现的上述实施例用于说明而非限制目的。此外,为了描述的方便性,本文对各功能构建模块边界的定义为任意性的,只要其上述功能及其关系能够获得适当执行,也可按其他方式定义边界。根据本申请的发明内容,替代方案(包括本申请所述方案的等同方案、扩展方案、变形方案、偏差方案等)对于相关领域技术人员是显而易见的。这些替代方案均落入所公开实施方式的范围和精神内。
此外,一个或多个计算机可读存储介质可用于实施本发明内容的实施方式。计算机可读存储介质是指可对处理器可读取的信息或数据进行存储的任何类型的物理存储器。因此,计算机可读存储介质可对由一个或多个处理器执行的指令进行存储,包括用于使处理器执行根据本申请实施方式的步骤或阶段的指令。“计算机可读介质”一词应理解为包括有形物件且不包括载波及瞬态信号,即为非暂时性介质,例如包括随机存取存储器(RAM)、只读存储器(ROM)、易失性存储器、非易失性存储器、硬盘驱动器、CD-ROM、DVD、闪存驱动器、磁盘以及其他任何已知物理存储介质。
以上发明内容及实施例旨在仅视为示例性内容及实施例,所公开实施方式的真正范围和精神由以下权利要求给出。
Claims (20)
1.一种对供传输至服务器的图像数据进行优化的方法,其特征在于,包括:
由一图像控制器从所述服务器接收针对所述图像数据的优化和传输的多条服务器规则;
由所述图像控制器根据所述多条服务器规则及一件或多件本地事件生成多条本地决策规则;
由所述图像控制器根据所述多条本地决策规则分析所述图像数据的至少第一部分,以生成图像分析数据;以及
由所述图像控制器生成供传输至所述服务器的优化后图像数据,其中,所述优化后图像数据包括所述图像数据的至少第二部分以及所述图像分析数据。
2.如权利要求1所述的方法,其特征在于,还包括:
从一个或多个成像设备接收所述图像数据;以及
以时间戳和处理状态中的至少一种标记所述图像数据。
3.如权利要求1所述的方法,其特征在于,所述多条服务器规则包括一组图像分析规则、一组图像优化规则及一组数据传输规则中的至少一个;所述一组图像分析规则指定了所需的图像分析类型、对所述图像数据的所述至少第一部分的定义以及多个图像分析配置参数中的至少一个;所述一组图像优化规则指定了所需的图像分析类型、对所述图像数据的所述至少第二部分的定义以及多个图像优化配置参数中的至少一个;所述一组数据传输规则指定了待传输数据的类型及多个数据传输配置参数中的至少一个。
4.如权利要求1所述的方法,其特征在于,生成所述优化后图像数据还包括,根据所述多条本地决策规则,优化所述图像数据的所述至少第二部分。
5.如权利要求1所述的方法,其特征在于,还包括根据所述多条本地决策规则传输所述优化后图像数据。
6.如权利要求1所述的方法,其特征在于,还包括对所述一件或多件本地事件进行监测,其中,所述一件或多件本地事件包括与所述图像控制器相关的***参数以及与所述图像控制器和所述服务器之间的通信信道相关的网络参数中的至少一种;所述***参数包括处理负载;所述网络参数包括可用带宽和所需带宽中的至少一种。
7.如权利要求1所述的方法,其特征在于,生成所述多条本地决策规则包括,根据所述多条服务器规则和所述一件或多件本地事件,并根据所述图像数据和所述图像分析数据,启动机器学习过程;所述一件或多件本地事件包括***参数和网络参数中的至少一种。
8.如权利要求1所述的方法,其特征在于,还包括:
将所述多条本地决策规则传输至所述服务器;以及
根据所述多条本地决策规则更新所述多条服务器规则。
9.一种对供传输至服务器的图像数据进行优化的***,其特征在于,包括:
一图像控制器,所述图像控制器包括至少一个处理器和存有指令的计算机可读介质,所述指令在由所述至少一个处理器执行时,使得所述至少一个处理器实施操作,所述操作包括:
从所述服务器接收针对所述图像数据的优化和传输的多条服务器规则;
根据所述多条服务器规则及一件或多件本地事件生成多条本地决策规则;
根据所述多条本地决策规则,分析所述图像数据的至少第一部分,以生成图像分析数据;以及
生成供传输至所述服务器的优化后图像数据,其中,所述优化后图像数据包括所述图像数据的至少第二部分以及所述图像分析数据。
10.如权利要求9所述的***,其特征在于,所述操作还包括:
从一个或多个成像设备接收所述图像数据;以及
以时间戳和处理状态中的至少一种标记所述图像数据。
11.如权利要求9所述的***,其特征在于,所述多条服务器规则包括一组图像分析规则、一组图像优化规则及一组数据传输规则中的至少一个;所述一组图像分析规则指定了所需的图像分析类型、对所述图像数据的所述至少第一部分的定义以及多个图像分析配置参数中的至少一个;所述一组图像优化规则指定了所需的图像分析类型、对所述图像数据的所述至少第二部分的定义以及多个图像优化配置参数中的至少一个;所述一组数据传输规则指定了待传输数据的类型及多个数据传输配置参数中的至少一个。
12.如权利要求9所述的***,其特征在于,生成所述优化后图像数据还包括,根据所述多条本地决策规则,优化所述图像数据的所述至少第二部分。
13.如权利要求9所述的***,其特征在于,所述操作还包括,根据所述多条本地决策规则传输所述优化后图像数据。
14.如权利要求9所述的***,其特征在于,所述操作还包括对所述一件或多件本地事件进行监测,其中,所述一件或多件本地事件包括与所述图像控制器相关的***参数以及与所述图像控制器和所述服务器之间的通信信道相关的网络参数中的至少一个;所述***参数包括处理负载;所述网络参数包括可用带宽和所需带宽中的至少一个。
15.如权利要求9所述的***,其特征在于,生成所述多条本地决策规则包括,根据所述多条服务器规则和所述一件或多件本地事件,并根据所述图像数据和所述图像分析数据,启动机器学习过程;所述一件或多件本地事件包括***参数和网络参数中的至少一种。
16.如权利要求9所述的***,其特征在于,所述操作还包括:
将所述多条本地决策规则传输至所述服务器;以及
根据所述多条本地决策规则更新所述多条服务器规则。
17.一种非暂时性计算机可读介质,存有计算机可执行指令,其特征在于,所述指令用于:
从所述服务器接收针对所述图像数据的优化和传输的多条服务器规则;
根据所述多条服务器规则及一件或多件本地事件生成多条本地决策规则;
根据所述多条本地决策规则,分析所述图像数据的至少第一部分,以生成图像分析数据;以及
生成供传输至所述服务器的优化后图像数据,其中,所述优化后图像数据包括所述图像数据的至少第二部分以及所述图像分析数据。
18.如权利要求17所述的非暂时性计算机可读介质,其特征在于,所述指令还用于对所述一件或多件本地事件进行监测,其中,所述一件或多件本地事件包括与所述图像控制器相关的***参数以及与所述图像控制器和所述服务器之间的通信信道相关的网络参数中的至少一种;所述***参数包括处理负载;所述网络参数包括可用带宽和所需带宽中的至少一种。
19.如权利要求17所述的非暂时性计算机可读介质,其特征在于,生成所述多条本地决策规则包括,根据所述多条服务器规则和所述一件或多件本地事件,并根据所述图像数据和所述图像分析数据,启动机器学习过程;所述一件或多件本地事件包括***参数和网络参数中的至少一种。
20.如权利要求17所述的非暂时性计算机可读介质,其特征在于,所述还指令用于:
将所述多条本地决策规则传输至所述服务器,以及
根据所述多条本地决策规则更新所述多条服务器规则。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IN201741028953 | 2017-08-16 | ||
IN201741028953 | 2017-08-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109427056A true CN109427056A (zh) | 2019-03-05 |
CN109427056B CN109427056B (zh) | 2021-11-05 |
Family
ID=65361273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810208810.4A Active CN109427056B (zh) | 2017-08-16 | 2018-03-14 | 对供数据传输的图像数据进行优化的方法和*** |
Country Status (2)
Country | Link |
---|---|
US (1) | US10491758B2 (zh) |
CN (1) | CN109427056B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111814220A (zh) * | 2020-07-03 | 2020-10-23 | 重庆丰鼎科技有限责任公司 | 一种cae的云仿真实现方法 |
WO2023024802A1 (zh) * | 2021-08-23 | 2023-03-02 | 北京字节跳动网络技术有限公司 | 数据传输方法、装置、设备、存储介质及程序 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190108404A1 (en) * | 2017-10-10 | 2019-04-11 | Weixin Xu | Consumer Camera System Design for Globally Optimized Recognition |
US11321800B2 (en) | 2020-02-03 | 2022-05-03 | Sony Interactive Entertainment Inc. | System and method for efficient multi-GPU rendering of geometry by region testing while rendering |
US11508110B2 (en) | 2020-02-03 | 2022-11-22 | Sony Interactive Entertainment Inc. | System and method for efficient multi-GPU rendering of geometry by performing geometry analysis before rendering |
US11120522B2 (en) | 2020-02-03 | 2021-09-14 | Sony Interactive Entertainment Inc. | System and method for efficient multi-GPU rendering of geometry by subdividing geometry |
US11170461B2 (en) | 2020-02-03 | 2021-11-09 | Sony Interactive Entertainment Inc. | System and method for efficient multi-GPU rendering of geometry by performing geometry analysis while rendering |
US11514549B2 (en) | 2020-02-03 | 2022-11-29 | Sony Interactive Entertainment Inc. | System and method for efficient multi-GPU rendering of geometry by generating information in one rendering phase for use in another rendering phase |
US11263718B2 (en) | 2020-02-03 | 2022-03-01 | Sony Interactive Entertainment Inc. | System and method for efficient multi-GPU rendering of geometry by pretesting against in interleaved screen regions before rendering |
US11080814B1 (en) * | 2020-02-03 | 2021-08-03 | Sony Interactive Entertainment Inc. | System and method for efficient multi-GPU rendering of geometry by pretesting against screen regions using prior frame information |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103139609A (zh) * | 2013-02-01 | 2013-06-05 | 深圳市深信服电子科技有限公司 | 对远程应用视频播放进行优化的方法和装置 |
US20130198829A1 (en) * | 2011-08-08 | 2013-08-01 | Advanced Video Communications, Inc. | System to retrieve and distribute images in real time |
US20140010289A1 (en) * | 2012-07-09 | 2014-01-09 | Derek Lukasik | Video stream |
CN104822047A (zh) * | 2015-04-16 | 2015-08-05 | 中国科学院上海技术物理研究所 | 一种基于网络自适应医学图像传输显示方法 |
CN104885089A (zh) * | 2012-12-31 | 2015-09-02 | 德克斯康公司 | 分析物测量的远程监测 |
CN106164869A (zh) * | 2014-04-01 | 2016-11-23 | 微软技术许可有限责任公司 | 用于并行处理的混合客户端/服务器架构 |
US20160381367A1 (en) * | 2013-06-20 | 2016-12-29 | Wowza Media Systems, LLC | Distributed encoding of a video stream |
CN106296758A (zh) * | 2015-06-25 | 2017-01-04 | 维布络有限公司 | 用于实施实时图像矢量化的***和方法 |
US20170094297A1 (en) * | 2015-09-28 | 2017-03-30 | Cybrook Inc. | Method and system of video processing with back channel message management |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101873224A (zh) | 2010-06-07 | 2010-10-27 | 北京高森明晨信息科技有限公司 | 一种云计算负载均衡方法和设备 |
US8948253B2 (en) * | 2011-12-15 | 2015-02-03 | Flextronics Ap, Llc | Networked image/video processing system |
JP2013239861A (ja) * | 2012-05-14 | 2013-11-28 | Freebit Co Ltd | 画像撮影システム |
US10217003B2 (en) * | 2014-04-10 | 2019-02-26 | Sensormatic Electronics, LLC | Systems and methods for automated analytics for security surveillance in operation areas |
US10347102B2 (en) * | 2016-03-22 | 2019-07-09 | Sensormatic Electronics, LLC | Method and system for surveillance camera arbitration of uplink consumption |
JP6822248B2 (ja) * | 2017-03-21 | 2021-01-27 | 富士通株式会社 | 情報処理システム、情報処理方法および携帯端末 |
US10410133B2 (en) * | 2017-03-22 | 2019-09-10 | At&T Intellectual Property I, L.P. | Methods, devices and systems for managing network video traffic |
US11151472B2 (en) * | 2017-03-31 | 2021-10-19 | At&T Intellectual Property I, L.P. | Dynamic updating of machine learning models |
-
2017
- 2017-09-28 US US15/719,173 patent/US10491758B2/en active Active
-
2018
- 2018-03-14 CN CN201810208810.4A patent/CN109427056B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130198829A1 (en) * | 2011-08-08 | 2013-08-01 | Advanced Video Communications, Inc. | System to retrieve and distribute images in real time |
US20140010289A1 (en) * | 2012-07-09 | 2014-01-09 | Derek Lukasik | Video stream |
CN104885089A (zh) * | 2012-12-31 | 2015-09-02 | 德克斯康公司 | 分析物测量的远程监测 |
CN103139609A (zh) * | 2013-02-01 | 2013-06-05 | 深圳市深信服电子科技有限公司 | 对远程应用视频播放进行优化的方法和装置 |
US20160381367A1 (en) * | 2013-06-20 | 2016-12-29 | Wowza Media Systems, LLC | Distributed encoding of a video stream |
CN106164869A (zh) * | 2014-04-01 | 2016-11-23 | 微软技术许可有限责任公司 | 用于并行处理的混合客户端/服务器架构 |
CN104822047A (zh) * | 2015-04-16 | 2015-08-05 | 中国科学院上海技术物理研究所 | 一种基于网络自适应医学图像传输显示方法 |
CN106296758A (zh) * | 2015-06-25 | 2017-01-04 | 维布络有限公司 | 用于实施实时图像矢量化的***和方法 |
US20170094297A1 (en) * | 2015-09-28 | 2017-03-30 | Cybrook Inc. | Method and system of video processing with back channel message management |
Non-Patent Citations (1)
Title |
---|
潘翔: "面向移动互联的网络传输性能优化研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111814220A (zh) * | 2020-07-03 | 2020-10-23 | 重庆丰鼎科技有限责任公司 | 一种cae的云仿真实现方法 |
WO2023024802A1 (zh) * | 2021-08-23 | 2023-03-02 | 北京字节跳动网络技术有限公司 | 数据传输方法、装置、设备、存储介质及程序 |
Also Published As
Publication number | Publication date |
---|---|
US20190058799A1 (en) | 2019-02-21 |
US10491758B2 (en) | 2019-11-26 |
CN109427056B (zh) | 2021-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109427056A (zh) | 对供数据传输的图像数据进行优化的方法和*** | |
EP3425873B1 (en) | Method and system for processing data in an internet of things (iot) environment | |
US11176691B2 (en) | Real-time spatial and group monitoring and optimization | |
US11388207B2 (en) | Device presentation with real-time feedback | |
US11507105B2 (en) | Method and system for using learning to generate metrics from computer vision-derived video data | |
CN107872823A (zh) | 识别移动边缘计算环境中通信操作模式的方法和*** | |
US11321624B2 (en) | Method and system for analyzing internet of things (IoT) data in real-time and providing predictions | |
US20230206420A1 (en) | Method for detecting defect and method for training model | |
US10440326B2 (en) | Video conference system and video conference method | |
AU2022275481B2 (en) | Monitoring human location, trajectory and behavior using thermal data | |
CN109586991A (zh) | 通信网络中的自适应情境感知功能链业务方法和*** | |
US20220057270A1 (en) | User interface for determining location, trajectory and behavior | |
CN114970899A (zh) | 一种智慧园区运维***、方法、介质和电子设备 | |
Edson | Creating the internet of your things | |
EP3182330B1 (en) | Method and system for remotely annotating an object in real-time | |
CN106296758B (zh) | 用于实施实时图像矢量化的***和方法 | |
Devare | Analysis and design of IoT based physical location monitoring system | |
Bansal | Designing Internet of Things Solutions with Microsoft Azure | |
Jayashree et al. | Edge data analytics technologies and tools | |
CN108631797A (zh) | 控制无线发射器传输范围的方法和*** | |
CN115695671A (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |