CN113986057A - 图像处理方法、装置、可读存储介质及无人设备 - Google Patents
图像处理方法、装置、可读存储介质及无人设备 Download PDFInfo
- Publication number
- CN113986057A CN113986057A CN202111234198.6A CN202111234198A CN113986057A CN 113986057 A CN113986057 A CN 113986057A CN 202111234198 A CN202111234198 A CN 202111234198A CN 113986057 A CN113986057 A CN 113986057A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- remote control
- operator
- window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000007906 compression Methods 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 9
- 230000001815 facial effect Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本公开涉及一种图像处理方法、装置、可读存储介质及无人设备。所述方法包括：确定无人设备的操作员的注意力信息，所述注意力信息用于表征所述操作员在所述无人设备的远程控制端所关注的目标图像窗口，所述远程控制端设置有多个图像窗口，且每一图像窗口用于展示所述无人设备周边指定范围的环境信息；确定对应于所述目标图像窗口的初始拼接图像；按照目标码率对所述初始拼接图像进行压缩，得到目标拼接图像，以使所述目标拼接图像的清晰度大于预设清晰度；将所述目标拼接图像发送至所述远程控制端，以使所述远程控制端通过所述目标图像窗口展示所述目标拼接图像。由此，能够提升操作员远程控制的灵活性，同时，缓解多路图像信息占用过大网络带宽。
Description
技术领域
本公开涉及无人设备领域，具体地，涉及一种图像处理方法、装置、可读存储介质及无人设备。
背景技术
无人设备(例如，无人车)业务可以通过远程遥控技术进行补充，在诸如超出无人车高精地图定位所支持的范围、运行环境异常等情况下可通过远程遥控技术为无人设备提供支持。通常情况下，可以基于远程遥控技术，由操作员(或，安全员)通过网络介入的方式为无人设备解决问题。目前，以无人车为例，无人车的远程遥控技术由车端计算平台的图像和底盘数据汇合、车端网关的数据压缩、移动蜂窝网络的基础设施、遥控控制台(即，无人车的远程控制端)以及操作员组成。在远程遥控过程中，操作员通过遥控控制台提供的无人车周边的环境信息，对无人车进行远程遥控，其中，无人车向遥控控制台传输车身周边各方向的图像，以供操作员参考。相关技术中，无人车一般通过默认的图像压缩方式将压缩后的图像传输给遥控控制台，这样通常存在延迟大、图像质量差的问题，为操作员的远程遥控带来不便。
发明内容
本公开的目的是提供一种图像处理方法、装置、可读存储介质及无人设备，能够根据操作员在远程控制端所关注的图像窗口，为该图像窗口提供更加清晰的图像内容，以适应操作员的远程控制需求，提升操作员远程控制的灵活性。
为了实现上述目的，根据本公开的第一方面，提供一种图像处理方法，所述方法包括：
确定无人设备的操作员的注意力信息，所述注意力信息用于表征所述操作员在所述无人设备的远程控制端所关注的目标图像窗口，所述远程控制端设置有多个图像窗口，且每一图像窗口用于展示所述无人设备周边指定范围的环境信息；
确定对应于所述目标图像窗口的初始拼接图像；
按照目标码率对所述初始拼接图像进行压缩，得到目标拼接图像，以使所述目标拼接图像的清晰度大于预设清晰度；
将所述目标拼接图像发送至所述远程控制端，以使所述远程控制端通过所述目标图像窗口展示所述目标拼接图像。
可选地，所述确定无人设备的操作员的注意力信息，包括：
获取所述远程控制端的操作员的面部图像信息；
根据所述面部图像信息，确定所述操作员的注意力信息。
可选地，所述根据所述面部图像信息，确定所述操作员的注意力信息，包括：
根据所述面部图像信息，确定所述操作员所关注区域的区域位置信息；
获取所述远程控制端的图像窗口各自对应的位置信息；
将位置信息与所述区域位置信息相匹配的图像窗口确定为所述目标图像窗口。
可选地，所述确定无人设备的操作员的注意力信息，包括：
从所述远程控制端获取所述注意力信息。
可选地，所述确定对应于所述目标图像窗口的初始拼接图像，包括：
获取设置于所述无人设备的图像采集设备采集到的多路图像数据；
从所述多路图像数据中，确定出对应于所述目标图像窗口的目标图像数据；
根据所述目标图像数据，合成对应于所述目标图像窗口的初始拼接图像。
可选地，所述目标码率根据所述无人设备与所述远程控制端之间的数据传输速度确定。
可选地，所述方法还包括：
确定非目标图像窗口对应的拼接后的第一图像，其中，所述非目标图像窗口为所述远程控制段的多个图像窗口中除所述目标图像窗口之外的图像窗口；
按照预设码率对所述第一图像进行压缩，得到第二图像，以使所述第二图像的清晰度小于所述预设清晰度。
根据本公开的第二方面，提供一种图像处理装置，所述装置包括：
第一确定模块，用于确定无人设备的操作员的注意力信息，所述注意力信息用于表征所述操作员在所述无人设备的远程控制端所关注的目标图像窗口，所述远程控制端设置有多个图像窗口，且每一图像窗口用于展示所述无人设备周边指定范围的环境信息；
第二确定模块，用于确定对应于所述目标图像窗口的初始拼接图像；
第一压缩模块，用于按照目标码率对所述初始拼接图像进行压缩，得到目标拼接图像，以使所述目标拼接图像的清晰度大于预设清晰度；
发送模块，用于将所述目标拼接图像发送至所述远程控制端，以使所述远程控制端通过所述目标图像窗口展示所述目标拼接图像。
可选地，所述第一确定模块，包括：
第一获取子模块，用于获取所述远程控制端的操作员的面部图像信息；
第一确定子模块，用于根据所述面部图像信息，确定所述操作员的注意力信息。
可选地，所述第一确定子模块用于：根据所述面部图像信息，确定所述操作员所关注区域的区域位置信息；获取所述远程控制端的图像窗口各自对应的位置信息；
将位置信息与所述区域位置信息相匹配的图像窗口确定为所述目标图像窗口。
可选地，所述第一确定模块，包括：
第二获取子模块，用于从所述远程控制端获取所述注意力信息。
可选地，所述第二确定模块，包括：
第三获取子模块，用于获取设置于所述无人设备的图像采集设备采集到的多路图像数据；
第二确定子模块，用于从所述多路图像数据中，确定出对应于所述目标图像窗口的目标图像数据；
合成子模块，用于根据所述目标图像数据，合成对应于所述目标图像窗口的初始拼接图像。
可选地，所述目标码率根据所述无人设备与所述远程控制端之间的数据传输速度确定。
可选地，所述装置还包括：
第三确定模块，用于确定非目标图像窗口对应的拼接后的第一图像，其中，所述非目标图像窗口为所述远程控制段的多个图像窗口中除所述目标图像窗口之外的图像窗口；
第二压缩模块，用于按照预设码率对所述第一图像进行压缩，得到第二图像，以使所述第二图像的清晰度小于所述预设清晰度。
根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面所述的图像处理方法的步骤。
根据本公开的第四方面，提供一种无人设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所述的图像处理方法的步骤。
通过上述技术方案，确定无人设备的操作员的注意力信息，其中，注意力信息用于表征操作员在无人设备的远程控制端所关注的目标图像窗口，远程控制端设置有多个图像窗口，且每一图像窗口用于展示无人设备周边指定范围的环境信息，以及，确定对应于目标图像窗口的初始拼接图像，并按照目标码率对初始拼接图像进行压缩，得到目标拼接图像，以使目标拼接图像的清晰度大于预设清晰度，再将目标拼接图像发送至远程控制端，以使远程控制端通过目标图像窗口展示目标拼接图像。由此，能够根据操作员在远程控制端所关注的图像窗口，为该图像窗口提供更加清晰的图像内容，以适应操作员的远程控制需求，提升操作员远程控制的灵活性。同时，对于操作员不关注的窗口，无需保证其清晰度，缓解多路图像信息占用过大网络带宽，降低信息延迟和成本。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据本公开的一种实施方式提供的图像处理方法的流程图；
图2是根据本公开提供的图像处理中，远程控制端各图像窗口的一种示例性的分布示意图；
图3是根据本公开的一种实施方式提供的图像处理装置的框图；
图4是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
如背景技术所述，基于远程遥控技术，操作员可以通过网络介入的方式为无人设备解决异常问题。以无人车为例，无人车的远程遥控技术由车端计算平台的图像和底盘数据汇合、车端网关的数据压缩、移动蜂窝网络的基础设施、遥控控制台(即，无人车的远程控制端)以及操作员组成。遥控控制台通常设置有多个窗口，用于展示无人车周边不同方向的环境信息，例如，前向、后向、左侧、右侧、环视等。在远程遥控过程中，操作员可以通过遥控控制台的多个窗口，观察无人车周边的环境，进而对无人车进行远程遥控。其中，无人车通过自身的图像采集设备进行图像采集后，对多路图像数据进行拼接处理，得到各个窗口对应的拼接图像，之后，无人车车端按照统一的图像压缩方式对各拼接图像进行压缩并传输给遥控控制台的相应窗口。这种统一的图像压缩方式往往出现延迟过大和图像质量差的现象，给遥控控制台的操作员判断特定危险(例如，远方来车)或执行特定操作(例如，靠边停车)等带来困难。并且，若无人车上增加新的图像采集设备，还需要重新为各路图像进行网络带宽的分配，存在许多不便。
为了解决上述问题，本公开提供一种图像处理方法、装置、可读存储介质及无人设备，能够根据操作员在远程控制端所关注的图像窗口，为该图像窗口提供更加清晰的图像内容，以适应操作员的远程控制需求，提升操作员远程控制的灵活性，同时，对于操作员不关注的窗口，无需保证其清晰度，缓解多路图像信息占用过大网络带宽，降低信息延迟和成本。
图1是根据本公开的一种实施方式提供的图像处理方法的流程图。本公开提供的方法可以应用于无人设备(例如，无人车、自动驾驶车辆)。如图1所示，本公开提供的图像处理方法可以包括步骤11～步骤14。
在步骤11中，确定无人设备的操作员的注意力信息。
其中，注意力信息可以用于表征操作员在无人设备的远程控制端所关注的目标图像窗口。
远程控制端可以设置有多个图像窗口(例如，前向、后向、左侧、右侧、环视等)，且每一图像窗口用于展示无人设备周边指定范围的环境信息。例如，后向图像窗口用于显示无人设备后方的环境，环视图像窗口用于显示无人设备在环视视角下的环境。
在一种可能的实施方式中，步骤11可以包括以下步骤：
获取远程控制端的操作员的面部图像信息；
根据面部图像信息，确定操作员的注意力信息。
示例地，远程控制端可以设置有图像采集设备，例如，摄像头，用于采集操作员的面部图像信息。无人设备可以从远程控制端获取操作员的面部图像信息。
在获取到操作员的面部图像信息后，可以根据操作员的面部图像信息，进一步确定操作员的注意力信息。示例地，可以通过如下步骤确定操作员的注意力信息：
根据面部图像信息，确定操作员所关注区域的区域位置信息；
获取远程控制端的图像窗口各自对应的位置信息；
将位置信息与区域位置信息相匹配的图像窗口确定为目标图像窗口。
示例地，可以通过眼球追踪技术，确定操作员的眼球动向，进而确定操作员目光落在哪一位置，即，确定操作员所关注区域的区域位置信息。
远程控制端的各个图像窗口本身具备各自对应的位置信息。示例地，远程控制端各图像窗口的分布可以如图2所示，其中，包含前向视频、后向视频、左侧视频、右侧视频和上帝视角环视这五个图像窗口。
从而，基于操作员所关注区域的区域位置信息，以及远程控制端的图像窗口各自对应的位置信息，可以确定出操作员目前所关注的图像窗口，即目标图像窗口。
在另一种可能的实施方式中，可以直接从远程控制端获取注意力信息。在这一实施方式中，远程控制端确定注意力信息的方式可以与上文提供的无人设备确定注意力信息的方式一致。
回到图1，在步骤12中，确定对应于目标图像窗口的初始拼接图像。
在一种可能的实施方式中，步骤12可以包括以下步骤：
获取设置于无人设备的图像采集设备采集到的多路图像数据；
从多路图像数据中，确定出对应于目标图像窗口的目标图像数据；
根据目标图像数据，合成对应于目标图像窗口的初始拼接图像。
无人设备可以布置有多个方向、不同特性的图像采集设备，其中，图像采集设备可以为摄像头。示例地，多个方向可以包括但不限于前、后、左、右。再例如，不同特性的图像采集设备可以包括但不限于鱼眼摄像头、广角摄像头等。
通常情况下，无人设备汇总多路图像数据，并且以给定的码率进行压缩，压缩后的数据通过移动蜂窝网络传输到远程控制端，在远程控制端，压缩后的数据经过解压缩分别展现在各自对应的图像窗口。其中，每个图像窗口应当汇总哪几路图像数据是设置好的，因此，在获取到多路图像数据后，能够从多路图像数据中，确定出对应于目标图像窗口的目标图像数据，进而，根据目标图像数据，合成对应于目标图像窗口的初始拼接图像。
在步骤13中，按照目标码率对初始拼接图像进行压缩，得到目标拼接图像，以使目标拼接图像的清晰度大于预设清晰度。
其中，目标码率是能够保证得到的拼接图像足够清晰、且不影响图像传输的码率。
在一种可能的实施例中，目标码率可以根据无人设备与远程控制端之间的数据传输速度确定。示例地，目标码率可以根据当前的网速确定，即，目标码率为使压缩后的图像能够在当前网速下正常传输、且使压缩后的图像清晰度大于预设清晰度的压缩码率。
在步骤14中，将目标拼接图像发送至远程控制端，以使远程控制端通过目标图像窗口展示目标拼接图像。
此外，本公开提供的方法还可以包括以下步骤：
确定非目标图像窗口对应的拼接后的第一图像；
按照预设码率对第一图像进行压缩，得到第二图像，以使第二图像的清晰度小于预设清晰度。
其中，非目标图像窗口为远程控制段的多个图像窗口中除目标图像窗口之外的图像窗口。
也就是说，对于操作员未关注的非目标图像窗口，由于目前操作员并无对此类窗口的观察需求，因此，当前无需保证非目标图像窗口所展现的图像内容的清晰度，从而可以利用预设码率进行压缩，获得低清晰度的第二图像并发送至远程控制端，以节省网络带宽需求。
通过上述技术方案，确定无人设备的操作员的注意力信息，其中，注意力信息用于表征操作员在无人设备的远程控制端所关注的目标图像窗口，远程控制端设置有多个图像窗口，且每一图像窗口用于展示无人设备周边指定范围的环境信息，以及，确定对应于目标图像窗口的初始拼接图像，并按照目标码率对初始拼接图像进行压缩，得到目标拼接图像，以使目标拼接图像的清晰度大于预设清晰度，再将目标拼接图像发送至远程控制端，以使远程控制端通过目标图像窗口展示目标拼接图像。由此，能够根据操作员在远程控制端所关注的图像窗口，为该图像窗口提供更加清晰的图像内容，以适应操作员的远程控制需求，提升操作员远程控制的灵活性。同时，对于操作员不关注的窗口，无需保证其清晰度，缓解多路图像信息占用过大网络带宽，降低信息延迟和成本。
图3是根据本公开的一种实施方式提供的图像处理装置的框图。如图3所示，该装置30包括：
第一确定模块31，用于确定无人设备的操作员的注意力信息，所述注意力信息用于表征所述操作员在所述无人设备的远程控制端所关注的目标图像窗口，所述远程控制端设置有多个图像窗口，且每一图像窗口用于展示所述无人设备周边指定范围的环境信息；
第二确定模块32，用于确定对应于所述目标图像窗口的初始拼接图像；
第一压缩模块33，用于按照目标码率对所述初始拼接图像进行压缩，得到目标拼接图像，以使所述目标拼接图像的清晰度大于预设清晰度；
发送模块34，用于将所述目标拼接图像发送至所述远程控制端，以使所述远程控制端通过所述目标图像窗口展示所述目标拼接图像。
可选地，所述第一确定模块31，包括：
第一获取子模块，用于获取所述远程控制端的操作员的面部图像信息；
第一确定子模块，用于根据所述面部图像信息，确定所述操作员的注意力信息。
可选地，所述第一确定子模块用于：根据所述面部图像信息，确定所述操作员所关注区域的区域位置信息；获取所述远程控制端的图像窗口各自对应的位置信息；
将位置信息与所述区域位置信息相匹配的图像窗口确定为所述目标图像窗口。
可选地，所述第一确定模块31，包括：
第二获取子模块，用于从所述远程控制端获取所述注意力信息。
可选地，所述第二确定模块32，包括：
第三获取子模块，用于获取设置于所述无人设备的图像采集设备采集到的多路图像数据；
第二确定子模块，用于从所述多路图像数据中，确定出对应于所述目标图像窗口的目标图像数据；
合成子模块，用于根据所述目标图像数据，合成对应于所述目标图像窗口的初始拼接图像。
可选地，所述目标码率根据所述无人设备与所述远程控制端之间的数据传输速度确定。
可选地，所述装置30还包括：
第三确定模块，用于确定非目标图像窗口对应的拼接后的第一图像，其中，所述非目标图像窗口为所述远程控制段的多个图像窗口中除所述目标图像窗口之外的图像窗口；
第二压缩模块，用于按照预设码率对所述第一图像进行压缩，得到第二图像，以使所述第二图像的清晰度小于所述预设清晰度。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图4是根据一示例性实施例示出的一种电子设备700的框图。如图4所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的图像处理方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的图像处理方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的图像处理方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的图像处理方法。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (10)
1.一种图像处理方法，其特征在于，所述方法包括：
确定无人设备的操作员的注意力信息，所述注意力信息用于表征所述操作员在所述无人设备的远程控制端所关注的目标图像窗口，所述远程控制端设置有多个图像窗口，且每一图像窗口用于展示所述无人设备周边指定范围的环境信息；
确定对应于所述目标图像窗口的初始拼接图像；
按照目标码率对所述初始拼接图像进行压缩，得到目标拼接图像，以使所述目标拼接图像的清晰度大于预设清晰度；
将所述目标拼接图像发送至所述远程控制端，以使所述远程控制端通过所述目标图像窗口展示所述目标拼接图像。
2.根据权利要求1所述的方法，其特征在于，所述确定无人设备的操作员的注意力信息，包括：
获取所述远程控制端的操作员的面部图像信息；
根据所述面部图像信息，确定所述操作员的注意力信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述面部图像信息，确定所述操作员的注意力信息，包括：
根据所述面部图像信息，确定所述操作员所关注区域的区域位置信息；
获取所述远程控制端的图像窗口各自对应的位置信息；
将位置信息与所述区域位置信息相匹配的图像窗口确定为所述目标图像窗口。
4.根据权利要求1所述的方法，其特征在于，所述确定无人设备的操作员的注意力信息，包括：
从所述远程控制端获取所述注意力信息。
5.根据权利要求1所述的方法，其特征在于，所述确定对应于所述目标图像窗口的初始拼接图像，包括：
获取设置于所述无人设备的图像采集设备采集到的多路图像数据；
从所述多路图像数据中，确定出对应于所述目标图像窗口的目标图像数据；
根据所述目标图像数据，合成对应于所述目标图像窗口的初始拼接图像。
6.根据权利要求1所述的方法，其特征在于，所述目标码率根据所述无人设备与所述远程控制端之间的数据传输速度确定。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定非目标图像窗口对应的拼接后的第一图像，其中，所述非目标图像窗口为所述远程控制段的多个图像窗口中除所述目标图像窗口之外的图像窗口；
按照预设码率对所述第一图像进行压缩，得到第二图像，以使所述第二图像的清晰度小于所述预设清晰度。
8.一种图像处理装置，其特征在于，所述装置包括：
第一确定模块，用于确定无人设备的操作员的注意力信息，所述注意力信息用于表征所述操作员在所述无人设备的远程控制端所关注的目标图像窗口，所述远程控制端设置有多个图像窗口，且每一图像窗口用于展示所述无人设备周边指定范围的环境信息；
第二确定模块，用于确定对应于所述目标图像窗口的初始拼接图像；
第一压缩模块，用于按照目标码率对所述初始拼接图像进行压缩，得到目标拼接图像，以使所述目标拼接图像的清晰度大于预设清晰度；
发送模块，用于将所述目标拼接图像发送至所述远程控制端，以使所述远程控制端通过所述目标图像窗口展示所述目标拼接图像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种无人设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111234198.6A CN113986057A (zh) | 2021-10-22 | 2021-10-22 | 图像处理方法、装置、可读存储介质及无人设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111234198.6A CN113986057A (zh) | 2021-10-22 | 2021-10-22 | 图像处理方法、装置、可读存储介质及无人设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113986057A true CN113986057A (zh) | 2022-01-28 |
Family
ID=79740424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111234198.6A Withdrawn CN113986057A (zh) | 2021-10-22 | 2021-10-22 | 图像处理方法、装置、可读存储介质及无人设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113986057A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107491174A (zh) * | 2016-08-31 | 2017-12-19 | 中科云创（北京）科技有限公司 | 用于远程协助的方法、装置、***及电子设备 |
| CN111669567A (zh) * | 2019-03-07 | 2020-09-15 | 阿里巴巴集团控股有限公司 | 多角度自由视角视频数据生成方法及装置、介质、服务器 |
| CN111741259A (zh) * | 2020-06-11 | 2020-10-02 | 北京三快在线科技有限公司 | 无人驾驶设备的控制方法及装置 |
| CN112136311A (zh) * | 2019-10-22 | 2020-12-25 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、设备、成像***及存储介质 |
| CN112261417A (zh) * | 2020-10-26 | 2021-01-22 | 京东方科技集团股份有限公司 | 视频推送方法及***、设备及可读存储介质 |
| CN112714282A (zh) * | 2020-12-22 | 2021-04-27 | 北京百度网讯科技有限公司 | 远程控制中的图像处理方法、装置、设备和程序产品 |
| WO2021136978A1 (en) * | 2019-12-30 | 2021-07-08 | Sensetime International Pte. Ltd. | Image processing method and apparatus, electronic device, and storage medium |
-
2021
- 2021-10-22 CN CN202111234198.6A patent/CN113986057A/zh not_active Withdrawn
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107491174A (zh) * | 2016-08-31 | 2017-12-19 | 中科云创（北京）科技有限公司 | 用于远程协助的方法、装置、***及电子设备 |
| CN111669567A (zh) * | 2019-03-07 | 2020-09-15 | 阿里巴巴集团控股有限公司 | 多角度自由视角视频数据生成方法及装置、介质、服务器 |
| CN112136311A (zh) * | 2019-10-22 | 2020-12-25 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、设备、成像***及存储介质 |
| WO2021136978A1 (en) * | 2019-12-30 | 2021-07-08 | Sensetime International Pte. Ltd. | Image processing method and apparatus, electronic device, and storage medium |
| CN111741259A (zh) * | 2020-06-11 | 2020-10-02 | 北京三快在线科技有限公司 | 无人驾驶设备的控制方法及装置 |
| CN112261417A (zh) * | 2020-10-26 | 2021-01-22 | 京东方科技集团股份有限公司 | 视频推送方法及***、设备及可读存储介质 |
| CN112714282A (zh) * | 2020-12-22 | 2021-04-27 | 北京百度网讯科技有限公司 | 远程控制中的图像处理方法、装置、设备和程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3633998A1 (en) | Method and device for outputting and examining video frame | |
| US20180332213A1 (en) | Methods and apparatus for continuing a zoom of a stationary camera utilizing a drone | |
| US11842581B2 (en) | Remote automobile diagnostic method, apparatus, and system | |
| CN112001321A (zh) | 网络训练、行人重识别方法及装置、电子设备和存储介质 | |
| CN111445414B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| JP2022528012A (ja) | 被写界深度とカメラ運動を予測する方法及び装置、機器、媒体並びにプログラム | |
| CN110233998A (zh) | 一种视频数据传输方法、装置、设备及存储介质 | |
| CN111340731A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN111325786B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN114817072A (zh) | 基于虚拟场景的车辆测试方法、装置、设备及存储介质 | |
| CN111711784A (zh) | 会议控制方法、装置、可读介质及电子设备 | |
| CN111726516A (zh) | 图像处理方法及装置 | |
| CN113961156A (zh) | 多屏显示方法、装置、***、电子设备及计算机介质 | |
| CN113986057A (zh) | 图像处理方法、装置、可读存储介质及无人设备 | |
| CN108924529B (zh) | 图像显示的控制方法及装置 | |
| CN115457024A (zh) | 冷冻电镜图像处理方法、装置、电子设备及存储介质 | |
| CN106791925B (zh) | 视频生成方法及装置 | |
| US20230358555A1 (en) | Navigation device, navigation service providing method, and navigation service providing server | |
| CN110949290A (zh) | 设置车辆信息娱乐***的显示的方法及应用该方法的车辆信息娱乐*** | |
| CN110796630B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| KR101470163B1 (ko) | 영상 제공을 위한 블랙박스 시스템의 블랙박스 장치 및 블랙박스 시스템의 운영방법 | |
| CN112261430A (zh) | 一种带有一个以上移动摄像装置的直播***及其直播方法 | |
| CN115460352B (zh) | 车载视频的处理方法、装置、设备、存储介质和程序产品 | |
| CN112200745A (zh) | 遥感影像的处理方法及装置、电子设备和存储介质 | |
| CN105554396A (zh) | 一种调整焦距的方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220128 |
|
| WW01 | Invention patent application withdrawn after publication |