CN112836821A - 一种用于自动驾驶的卷积神经网络计算量压缩方法 - Google Patents

一种用于自动驾驶的卷积神经网络计算量压缩方法 Download PDF

Info

Publication number
CN112836821A
CN112836821A CN202110156157.3A CN202110156157A CN112836821A CN 112836821 A CN112836821 A CN 112836821A CN 202110156157 A CN202110156157 A CN 202110156157A CN 112836821 A CN112836821 A CN 112836821A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
image
compression method
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110156157.3A
Other languages
English (en)
Other versions
CN112836821B (zh
Inventor
王雅儒
许端
王述良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jimu Intelligent Technology Co ltd
Original Assignee
Wuhan Jimu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jimu Intelligent Technology Co ltd filed Critical Wuhan Jimu Intelligent Technology Co ltd
Priority to CN202110156157.3A priority Critical patent/CN112836821B/zh
Publication of CN112836821A publication Critical patent/CN112836821A/zh
Application granted granted Critical
Publication of CN112836821B publication Critical patent/CN112836821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种用于自动驾驶的卷积神经网络计算量压缩方法，利用位置区域上的差异，对中央区域与周围区域采用不同的缩放系数，通过对图像进行非线性变换，达到在神经网络性能下降较小的情况下压缩计算量的目的。本发明的方法在降低计算量的同时，对重要目标的检测识别等能取得较好的准确性；本发明带来的额外计算量极小，能够与任何基于卷积神经网络的图像处理方法无缝对接，广泛应用于目标检测、语义分割、实力分割、光流、单目深度预测问题的处理。当使用与现有技术相同的计算量时，本发明具有更远的检测距离、更好的测距精度和更快的计算速度。

Description

一种用于自动驾驶的卷积神经网络计算量压缩方法
技术领域
本发明属于自动驾驶技术领域，具体涉及一种用于自动驾驶的卷积神经网络计算量压缩方法。
背景技术
现有自动驾驶感知算法一般采用通用图像处理的方法来处理图像，即为通过双线性插值或近邻插值来将图像缩放到固定的分辨率，然后送入卷积神经网络进行推理，包括：
1.通用图像单阶段目标检测。对图像进行双线性插值采样，然后再固定的分辨率下进行预测。这样为了得到较远的检测距离需要将较高分辨率图像输入到神经网络进行预测，因此计算量较大。且随着检测距离的增加，计算量将成平方级的增加。
2.多尺度目标检测。对图像进行多尺度缩放，然后在不同尺度上做预测。这样做在网络计算量相当的情况下总计算量反而更多。
3.通用二阶段目标检测。进行二阶段目标检测，即首先在较低的固定分辨率图像上进行目标或候选框检测，然后再提取出目标所在区域的图像或特征图，送入子网络进行进一步的预测。二阶段目标检测一般计算量大于单阶段目标检测方法，且其计算量会随着目标或候选框的增多而增大。此外二阶段目标检测网络的性能会对第一阶段检测的性能严重依赖，压缩第一阶段的计算量检测的精度也将显著下降。
现有卷积神经网络计算量压缩一般采用量化、剪枝，然而对于已经采用轻量化网络设计的网络，剪枝将造成性能的严重下降。而自动驾驶通常会采用量化网络来推理，已量化的网络缺少进一步压缩计算量的方法。
压缩卷积神经网络的计算量一般采用轻量级网络设计、进行网络剪枝。然而adas算法为了保证实时性及控制成本一般会采用轻量级网络设计，轻量级网络剪枝效果一般较差。因此自动驾驶领域缺少一种较通用的有效的卷积神经网络计算量压缩方法。
现有技术没有考虑自动驾驶图像的特殊性，对中央区域和其他区域同样处理，这样会造成算力的浪费，固定算力的情况下检测距离和测距精度将难以有效提升。
发明内容
本发明要解决的技术问题是：提供一种用于自动驾驶的卷积神经网络计算量压缩方法，用于在保证神经网络性能的前提下压缩计算量。
本发明为解决上述技术问题所采取的技术方案为：一种用于自动驾驶的卷积神经网络计算量压缩方法，包括以下步骤：
S1：输入原始的高分辨图像；
S2：对高分辨图像进行非线性网格降采样；
S3：将降采样后的图像输入卷积神经网络进行推理，得到在非线性网格坐标下的结果；
S4：对非线性网格坐标下的结果进行非线性解码或非线性升采样，分别得到在原图的线性网格坐标下的结果。
按上述方案，所述的步骤S1中，原始高分辨图像通过ADAS相机采集输入。
按上述方案，所述的步骤S2中，具体步骤为：
S21：设aobo为图像的一行或一列，宽度为wo或高度为ho，像素的笛卡尔坐标为(xo，yo)；
S22：将aobo投影到弧形a’b’，将a’b’等分为w份或h份；采用角度来度量投影后的坐标，设投影后的像素的角坐标为(x，y)；
S23：设θ为控制缩放程度的参数，θ越大则图像中心区域放大倍数越大、图像边缘区域缩小倍数越大；
S24：将像素的笛卡尔坐标转换为由参数θ控制的角坐标，投影变换公式为：
Figure BDA0002933554300000021
Figure BDA0002933554300000022
进一步的，所述的步骤S23中，当θ＝66.8°时，相对于普通缩放，非线性网格采样缩放后的图像中心区域放大2倍，边缘区域缩小3倍，用四分之一计算量在图像中央区域达到相同的检测识别效果。
进一步的，所述的步骤S4中，反投影变换公式为：
Figure BDA0002933554300000031
Figure BDA0002933554300000032
按上述方案，所述的步骤S3中，推理包括目标检测、语义分割、光流预测、深度预测；结果包括直接检测结果、直接分割结果、直接光流结果、直接深度结果。
进一步的，所述的步骤S4中，在原图的线性网格坐标下的结果包括原图检测结果或原图分割结果、原图光流结果、原图深度结果。
按上述方案，所述的步骤S3中，将非线性网格信息输入卷积神经网络以提高卷积神经网络的性能。
一种计算机存储介质，其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行一种用于自动驾驶的卷积神经网络计算量压缩方法。
本发明的有益效果为：
1.本发明的一种用于自动驾驶的卷积神经网络计算量压缩方法，利用位置区域上的差异，通过对图像进行非线性变换，达到在重要区域网络性能下降较小的情况下压缩计算量的目的。
2.本发明与通用单阶段目标检测方法相比，通过对中央区域与周围区域采用不同的缩放系数，即对中央区域进行放大，而对四周区域进行缩小，实现了仅用四分之一的计算量时获得了相近的检测效果，即检测距离相近，测距精度相近，检测的视野范围相同，算法覆盖了视野内所有目标。
由于自动驾驶图像近大远小且重要的小目标集中在图像中心区域附近，因此本发明的方法在降低计算量的同时，对重要目标的检测识别等能取得较好的准确性；对于本车道或相邻车道的中远距离目标具有相近的检测识别效果，对距离本车较近的目标性能略有下降，但因目标较大也能获得可接受的检测精度。
采用分两次检测可达到类似的效果，对原图进行缩放至某一分辨率进行预测，然后将图像的中心区域截取出，并缩放至同样分辨率进行预测，然而覆盖相同视野范围所需计算量也比本发明的方案大一倍。
本发明带来的额外计算量极小，能够与任何基于卷积神经网络的图像处理方法无缝对接，广泛应用于目标检测、语义分割、实力分割、光流、单目深度预测问题的处理。
3.当使用与现有技术相同的计算量时，本发明具有更远的检测距离以及更好的测距精度。
4.本发明与多尺度的目标检测以及通用二阶段目标检测方法相比，因为有效利用了自动驾驶图像在不同区域重要性不同的特点，用更小的输入图像分辨率获得了相当的精度，因此计算速度更快。
附图说明
图1是本发明实施例的流程图。
图2是本发明实施例的非线性网格采样的坐标转换图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
为了提供足够的视野，自动驾驶采用的相机视场角越来越大，同样距离同样大小的目标在画面中所占的比例越来越小，为了有足够的检测识别能力，卷积神经网络输入图像的分辨率被迫提高，这将带来计算量平方级的增长。显而易见，对自动驾驶较重要的小目标集中在消失点附近，一般处于图像的中部，图像四周的目标由于距离较近，目标会更大，本发明利用这种位置区域上的差异，通过对图像进行非线性变换来达到在神经网络性能下降较小的情况下压缩计算量的目的。
本发明对相机获得的高分辨图像进行非线性网格降采样，即中心区域较密集的采样，边缘区域较稀疏的采样；对降采样后的图像用卷积神经网络进行检测、分割、光流、深度等推理；再对推理获得的结果进行相应的非线性解码或非线性升采样来得到原图的线性网格下的结果。
参见图1，本发明的一种用于自动驾驶的卷积神经网络计算量压缩方法，包括以下步骤：
S1：输入高分辨图像：
输入adas相机获得的原始高分辨图像。
S2：非线性网格降采样：
与普通图像处理采用的双线性降采样方法不同，本方法直接使用非线性网格对原始高分辨图像进行非线性网格降采样。
非线性网格采样的坐标转换的方法如图2所示，将笛卡尔坐标转换为由参数θ控制的角坐标。
aobo为图像的一行或一列，其宽度为wo，或高度为ho，将aobo投影到弧形a’b’，投影后的坐标采用角度来度量，即a’b’可等分为w份或h份。投影前的像素坐标为(xo，yo)，投影后的坐标为(x，y)。θ为控制缩放程度的参数，当θ＝66.8°时，相对于普通缩放，非线性网格采样缩放后图像中心区域约放大2倍，边缘区域约缩小3倍，相当于仅用四分之一计算量在中央区域达到相同的检测识别效果，增加θ将进一步提升中心放大和边缘缩小的倍数。
投影变换公式为：
Figure BDA0002933554300000051
Figure BDA0002933554300000052
S3：卷积神经网络推理：
将降采样后的图像以及非线性网格相关信息送入卷积神经网络，进行目标检测、语义分割、光流预测、深度预测等推理，得到在非线性网格坐标下的检测、分割、光流、深度结果。也可以不输入非线性网格信息，但是在输入非线性网格信息后，网络的性能将得到提高。
S4：非线性解码及非线性升采样：
神经网络得到的直接结果是非线性网格坐标下的结果，有形变存在，因此需要进行非线性解码或非线性升采样，从而得到在原图的线性网格坐标下的结果。
反投影变换公式为：
Figure BDA0002933554300000061
Figure BDA0002933554300000062
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (9)

1.一种用于自动驾驶的卷积神经网络计算量压缩方法，其特征在于：包括以下步骤：
S1：输入原始的高分辨图像；
S2：对高分辨图像进行非线性网格降采样；
S3：将降采样后的图像输入卷积神经网络进行推理，得到在非线性网格坐标下的结果；
S4：对非线性网格坐标下的结果进行非线性解码或非线性升采样，分别得到在原图的线性网格坐标下的结果。
2.根据权利要求1所述的一种用于自动驾驶的卷积神经网络计算量压缩方法，其特征在于：所述的步骤S1中，原始高分辨图像通过ADAS相机采集输入。
3.根据权利要求1所述的一种用于自动驾驶的卷积神经网络计算量压缩方法，其特征在于：所述的步骤S2中，具体步骤为：
S21：设aobo为图像的一行或一列，宽度为wo或高度为ho，像素的笛卡尔坐标为(xo，yo)；
S22：将aobo投影到弧形a’b’，将a’b’等分为w份或h份；采用角度来度量投影后的坐标，设投影后的像素的角坐标为(x，y)；
S23：设θ为控制缩放程度的参数，θ越大则图像中心区域放大倍数越大、图像边缘区域缩小倍数越大；
S24：将像素的笛卡尔坐标转换为由参数θ控制的角坐标，投影变换公式为：
Figure FDA0002933554290000011
Figure FDA0002933554290000012
4.根据权利要求3所述的一种用于自动驾驶的卷积神经网络计算量压缩方法，其特征在于：所述的步骤S23中，当θ＝66.8°时，相对于普通缩放，非线性网格采样缩放后的图像中心区域放大2倍，边缘区域缩小3倍，用四分之一计算量在图像中央区域达到相同的检测识别效果。
5.根据权利要求3所述的一种用于自动驾驶的卷积神经网络计算量压缩方法，其特征在于：所述的步骤S4中，反投影变换公式为：
Figure FDA0002933554290000021
Figure FDA0002933554290000022
6.根据权利要求1所述的一种用于自动驾驶的卷积神经网络计算量压缩方法，其特征在于：所述的步骤S3中，推理包括目标检测、语义分割、光流预测、深度预测；结果包括直接检测结果、直接分割结果、直接光流结果、直接深度结果。
7.根据权利要求6所述的一种用于自动驾驶的卷积神经网络计算量压缩方法，其特征在于：所述的步骤S4中，在原图的线性网格坐标下的结果包括原图检测结果或原图分割结果、原图光流结果、原图深度结果。
8.根据权利要求1所述的一种用于自动驾驶的卷积神经网络计算量压缩方法，其特征在于：所述的步骤S3中，将非线性网格信息输入卷积神经网络以提高卷积神经网络的性能。
9.一种计算机存储介质，其特征在于：其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行如权利要求1至权利要求8中任意一项所述的一种用于自动驾驶的卷积神经网络计算量压缩方法。
CN202110156157.3A 2021-02-04 2021-02-04 一种用于自动驾驶的卷积神经网络计算量压缩方法 Active CN112836821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110156157.3A CN112836821B (zh) 2021-02-04 2021-02-04 一种用于自动驾驶的卷积神经网络计算量压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110156157.3A CN112836821B (zh) 2021-02-04 2021-02-04 一种用于自动驾驶的卷积神经网络计算量压缩方法

Publications (2)

Publication Number Publication Date
CN112836821A true CN112836821A (zh) 2021-05-25
CN112836821B CN112836821B (zh) 2023-03-14

Family

ID=75932161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110156157.3A Active CN112836821B (zh) 2021-02-04 2021-02-04 一种用于自动驾驶的卷积神经网络计算量压缩方法

Country Status (1)

Country Link
CN (1) CN112836821B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195295A1 (en) * 2004-03-03 2005-09-08 Takashi Kawai Image-taking apparatus and image processing method
CN103985084A (zh) * 2014-05-06 2014-08-13 青岛海信电器股份有限公司 一种图像处理的方法和装置
CN104165626A (zh) * 2014-06-18 2014-11-26 长春理工大学 仿生复眼成像目标定位***
CN106814450A (zh) * 2017-03-16 2017-06-09 北京理工大学 一种基于液体透镜的自适应调焦方法及***
CN108648147A (zh) * 2018-05-08 2018-10-12 北京理工大学 一种人眼视网膜机理的超分辨率图像获取方法及***
CN110827197A (zh) * 2019-10-08 2020-02-21 武汉极目智能技术有限公司 一种基于深度学习检测和识别车辆环视目标的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195295A1 (en) * 2004-03-03 2005-09-08 Takashi Kawai Image-taking apparatus and image processing method
CN103985084A (zh) * 2014-05-06 2014-08-13 青岛海信电器股份有限公司 一种图像处理的方法和装置
CN104165626A (zh) * 2014-06-18 2014-11-26 长春理工大学 仿生复眼成像目标定位***
CN106814450A (zh) * 2017-03-16 2017-06-09 北京理工大学 一种基于液体透镜的自适应调焦方法及***
CN108648147A (zh) * 2018-05-08 2018-10-12 北京理工大学 一种人眼视网膜机理的超分辨率图像获取方法及***
CN110827197A (zh) * 2019-10-08 2020-02-21 武汉极目智能技术有限公司 一种基于深度学习检测和识别车辆环视目标的方法和装置

Also Published As

Publication number Publication date
CN112836821B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
CN112329658B (zh) 一种对于yolov3网络的检测算法改进方法
CN109543641B (zh) 一种实时视频的多目标去重方法、终端设备及存储介质
CN112257569B (zh) 一种基于实时视频流的目标检测和识别方法
CN109712071B (zh) 基于航迹约束的无人机图像拼接与定位方法
WO2022262474A1 (zh) 变焦控制方法、装置、电子设备和计算机可读存储介质
US20220343687A1 (en) Gesture recognition method and apparatus, and storage medium
CN109902631B (zh) 一种基于图像金字塔的快速人脸检测方法
Wu et al. FSANet: Feature-and-spatial-aligned network for tiny object detection in remote sensing images
CN113610087A (zh) 一种基于先验超分辨率的图像小目标检测方法及存储介质
CN111598088B (zh) 目标检测方法、装置、计算机设备及可读存储介质
Mahaur et al. An improved lightweight small object detection framework applied to real-time autonomous driving
CN112836821B (zh) 一种用于自动驾驶的卷积神经网络计算量压缩方法
CN114519717A (zh) 一种图像处理方法及装置、计算机设备、存储介质
CN107437071B (zh) 一种基于双黄线检测的机器人自主巡检方法
CN111488839B (zh) 一种目标检测方法和目标检测***
CN114998701B (zh) 基于像素特征匹配的目标检测损失优化方法
CN111127355A (zh) 一种对缺损光流图进行精细补全的方法及其应用
CN116645625A (zh) 基于卷积Transformer联合的目标跟踪方法
CN115641564A (zh) 一种轻量化停车位检测方法
CN115082811A (zh) 一种依据图像数据的海上航行船舶识别与距离测量的方法
CN112070075B (zh) 一种基于协同回归的人体检测方法
Zhang et al. Real-time Lane Detection Method Based On Region Of Interest
CN114240979A (zh) 用于高分辨率图像的基于深度学习的亚像素边缘提取算法
CN113657225A (zh) 一种目标检测方法
WO2021000471A1 (zh) 一种高分辨率图像匹配方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant