具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
参考图1,图1示出了可以应用于本公开的车路协同中相机作用距离确定方法的实施例的流程示意图100。该车路协同中相机作用距离确定方法包括以下步骤:
步骤110,获取相机的采集图像和像素焦距。
在本实施例中,相机作用距离确定方法的执行主体(例如终端设备或者服务器)可以接收用户输入的相机参数,并在获取到相机参数后,根据相机参数进一步计算,获取到该相机的像素焦距,像素焦距是以像素为单位的焦距。作为示例,上述执行主体可以获取到相机的物理焦距和像素的物理尺寸,并根据像素焦距的计算公式:像素焦距=物理焦距/像素的物理尺寸,获取到相机的像素焦距。
上述执行主体还可以利用相机获取到该相机的采集图像,该采集图像可以包括进行距离测量的目标对象。
步骤120,从采集图像中截取包括目标对象的截取图像。
在本实施例中,上述执行主体可以利用图像处理方法对获取到的采集图像进行图像处理,图像处理方法可以包括图像校正、图像滤波、图像灰度化、图像增强等。上述执行主体可以对处理后的采集图像进行图像分割,图像分割就是把图像分成若干个特定的、具有独特性质的区域,图像分割方法主要包括基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等,在深度学习领域,可以使用多层神经网络模型,例如深度神经网络、卷积神经网络来进行图像分割,上述执行主体可以通过图像分割方法对采集图像进行分割,从采集图像中截取包括目标对象的截取图像。
上述执行主体还可以对获取到的采集图像进行目标对象识别,确定出目标对象在采集图像中的位置信息。然后上述执行主体根据确定出的位置信息对采集图像进行截取,获取到包括目标对象的截取图像。
步骤130,基于像素焦距和截取图像的单位距离像素数,确定相机的最大作用距离。
在本实施例中,上述执行主体获取到相机的像素焦距后,可以通过根据采集图像和截取图像进行计算或者根据截取图像和检测模型进行计算获取截取图像对应的单位距离像素数,截取图像对应的单位距离像素数可以为截取图像中能够被检测模型识别的最小单位内包括的像素数,检测模型是用于对目标对象进行检测的模型。检测模型对应有能够检测的最小目标对象,根据最小目标对象的实际尺寸,可以确定最小目标对象对应的像素数在单位距离内包括的像素数,上述执行主体可以根据截取图像和检测模型确定出截取图像的单位距离像素数。
或者,上述执行主体可以确定出采集图像对应的单位距离像素数,并根据采集图像的分辨率和截取图像的分辨率确定两者之间的比例值,可以根据该比例值和采集图像对应的单位距离像素数确定出截取图像对应的单位距离像素数。
上述执行主体获取到相机的像素焦距和截取图像对应的单位距离像素数后,可以根据像素焦距和单位距离像素数之间的比值关系,计算出相机的最大作用距离,最大作用距离可以是相机对目标对象进行检测的最远距离,上述执行主体可以根据公式计算相机的最大作用距离,该公式可以是:
max_distance=focal/min_pixels_per_meter
其中,max_distance表示相机的最大作用距离,focal表示相机的像素焦距,min_pixels_per_meter表示截取图像对应的单位距离像素数。
作为示例,采集图像的分辨率为(w1,h1),采集图像对应的单位距离像素数为min1,截取图像从采集图像中截取得来,截取图像的分辨率为(w2,h2),则上述执行主体可以确定采集图像的分辨率与截取图像的分辨率之间的比例值为w1/w2,确定出截取图像对应的单位距离像素数为min1/(w1/w2)。上述执行主体可以确定在采集图像下,相机的最大作用距离为max_distance1=focal/min1;在截取图像下,相机的最大作用距离为max_distance=focal/min1/(w1/w2)。
继续参考图2,图2是根据本实施例的车路协同中相机作用距离确定方法的一个应用场景的示意图。在图2的应用场景中,终端201可以通过显示屏向用户展示相机的物理参数输入界面,用户可以在物理参数输入界面中输入相机的物理参数,终端201可以根据该物理参数获取相机的像素焦距和包括目标对象的采集图像。终端201可以对采集图像进行图像处理,从获取到的采集图像中截取包括目标对象的截取图像,然后终端201根据相机的像素焦距和截取图像的单位距离像素数,计算出相机的最大作用距离。
本公开的实施例提供的车路协同中相机作用距离确定方法,通过获取相机的采集图像和像素焦距,然后从采集图像中截取包括目标对象的截取图像,最后基于像素焦距和截取图像的单位距离像素数,确定相机的最大作用距离,截取图像的单位距离像素数为截取图像中能够被检测模型识别的最小单位内包括的像素数,能够通过对采集图像进行截取实现相机作用距离的自动调整,由于截取图像是从采集图像中进行截取得到,截取图像的分辨率与采集图像的分辨率存在一定的比例关系,则截取图像对应的单位距离像素数与采集图像对应的单位距离像素数也存在相同的比例关系,能够利用图像截取实现单位距离像素数的变化,从而实现相机作用距离的变化,能够在不改变相机焦距的前提下提升相机的作用距离,降低了变焦相机的成本,提高了调整相机作用距离的灵活性。
作为一个可选实现方式,上述步骤110,获取相机的像素焦距,可以包括以下步骤:获取相机的物理焦距和成像传感器参数;基于物理焦距、成像传感器参数和采集图像的分辨率,确定相机的像素焦距。
具体地,上述执行主体可以通过网络读取或者接收用户输入的相机参数,获取到该相机的物理参数,相机的物理参数可以是相机进行拍摄的基本参数,可以包括成像传感器参数、物理焦距、快门速度等用来恒量相机性能的一些参数。
上述执行主体可以通过显示屏等显示设备为用户提供相机物理参数的输入界面,用户可以在输入界面中输入相机的物理参数,从而上述执行主体可以通过用户输入获取到相机的物理焦距和成像传感器参数;或者,上述执行主体可以根据在网络中存储的相机参数,对该相机的物理参数进行网络读取,获取到相机的物理焦距和成像传感器参数。
上述执行主体获取到相机的物理参数中包括相机的物理焦距和成像传感器参数,可以进一步确定相机的采集图像的分辨率。上述执行主体可以根据相机的物理焦距、成像传感器参数和采集图像的分辨率,利用像素焦距计算公式确定相机的像素焦距,该像素焦距计算公式可以是:
其中,focal表示相机的像素焦距,lens表示相机的物理焦距,img_width和img_height表示采集图像的分辨率,sensor_size表示相机的成像传感器参数。
在本实现方式中,通过物理焦距、成像传感器参数和采集图像的分辨率,确定相机的像素焦距,能够根据物理焦距、成像传感器参数和采集图像的分辨率三者之间的计算关系确定像素焦距,提高了确定像素焦距的效率和准确性。
作为一个可选实现方式,上述步骤110,获取相机的像素焦距,还可以包括以下步骤:基于采集图像和相机标定算法,确定相机的第一内参矩阵;从第一内参矩阵中获取相机的像素焦距。
具体地,上述执行主体可以获取到采集图像,利用相机标定算法对采集图像进行标定处理,计算出相机的第一内参矩阵,该第一内参矩阵可以包括相机的像素焦距和相机感光板中心在像素坐标系下的坐标,例如,上述执行主体可以利用张正友棋盘格标定算法对采集图像进行标定,获取到相机的第一内参矩阵和外参矩阵。上述执行主体可以从计算得到的第一内参矩阵中确定相机的像素焦距。
在本实现方式中,通过相机标定算法确定相机的像素焦距,能够根据采集图像快速且准确地确定出像素焦距,提高了确定像素焦距的效率和准确性。
参考图3,图3示出了获取截取图像的单位距离像素数的方法步骤,其可以包括以下步骤:
步骤310,获取检测模型中样本图像的单位距离像素数。
在本实施例中,上述执行主体可以对检测模型进行读取,获取到检测模型中样本图像的单位距离像素数。其中,检测模型是基于样本图像进行训练,用于对采集图像中的目标对象进行检测的模型,该检测模型对应有能够检测的最小目标对象,根据最小目标对象的实际尺寸,可以确定最小目标对象对应的像素数在单位距离内包括的像素数,从而能够获取到检测模型中样本图像的单位距离像素数,即样本图像的单位距离像素数为样本图像中能够被检测模型识别的最小单位内包括的像素数。
步骤320,获取样本图像的分辨率,并确定样本图像的分辨率和截取图像的分辨率之间的比例值。
在本实施例中,检测模型能够检测预设分辨率的图像,可以通过同一分辨率的样本图像进行训练得到的模型。上述执行主体可以获取到检测模型中样本图像的分辨率,再确定截取图像的分辨率。上述执行主体可以根据样本图像的分辨率和截取图像的分辨率,计算出样本图像的分辨率和截取图像的分辨率之间的比例值。
步骤330,基于样本图像的单位距离像素数和比例值,获取截取图像的单位距离像素数。
在本实施例中,上述执行主体确定出样本图像的分辨率和截取图像的分辨率之间的比例值后,可以根据样本图像的单位距离像素数和比例值,计算出截取图像对应的单位距离像素数,从而可以获取到截取图像中能够被检测模型识别的最小单位内包括的像素数。
在本实现方式中,通过检测模型的样本图像和截取图像之间的比例关系,计算出截取图像的单位距离像素数,从而确定出截取图像中能够被检测模型识别的最小单位内包括的像素数,能够获取到截取图像中能够被检测模型识别最小单位距离像素数。
参考图4,图4示出了确定目标对象的地理位置的方法步骤,其可以包括以下步骤:
步骤410,基于截取图像的分辨率和第一内参矩阵,确定截取图像的第二内参矩阵。
在本实施例中,上述执行主体可以利用相机标定算法确定相机的第一内参矩阵和外参矩阵,第一内参矩阵包括相机的像素焦距和相机感光板中心在像素坐标系下的坐标值。
上述执行主体可以确定截取图像的分辨率,并在获取到第一内参矩阵后,在截取图像的分辨率下确定相机感光板中心在像素坐标系下的坐标值,即该坐标值可以是截取图像的分辨率的一半。上述执行主体可以根据确定出的像素焦距和截取图像对应的坐标值确定出截取图像的第二内参矩阵。
作为示例,上述执行主体对采集图像进行张正友棋盘格标定算法确定出第一内参矩阵,第一内参矩阵为:
其中,fx和fy为相机的像素焦距,cx和cy为在采集图像的分辨率下相机感光板中心在像素坐标系下的坐标值。上述执行主体获取到截取图像的分辨率(W,H)后,可以将分辨率的一半作为在截取图像的分辨率下相机感光板中心在像素坐标系下的坐标值,即在截取图像的分辨率下相机感光板中心在像素坐标系下的坐标值为(W/2,H/2),并且维持像素焦距不变。则可以确定截取图像对应的第二内参矩阵为:
步骤420,基于截取图像的第二内参矩阵和外参矩阵,确定目标对象的地理位置。
在本实施例中,上述执行主体获取到外参矩阵保持不变,并在获取到截取图像的第二内参矩阵后,可以利用截取图像的第二内参矩阵和外参矩阵对截取图像中的目标对象进行感知定位,确定出目标对象的地理位置,该地理位置可以是目标对象的实际位置,可以用坐标进行表示。
在本实现方式中,通过相机的像素焦距和截取图像的分辨率确定截取图像对应的第二内参矩阵,并根据第二内参矩阵和外参矩阵,确定目标对象的地理位置,能够更准确的确定出目标对象的地理位置,提高了位置检测的准确性。
进一步参考图5,作为对上述各图所示方法的实现,本公开提供了一种车路协同中相机作用距离确定装置的一个实施例,该装置实施例与图1所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的车路协同中相机作用距离确定装置500包括:获取模块510,截取模块520和确定模块530。
其中,获取模块510,被配置成获取相机的采集图像和像素焦距;
截取模块520,被配置成从采集图像中截取包括目标对象的截取图像;
确定模块530,被配置成基于像素焦距和截取图像的单位距离像素数,确定相机的最大作用距离,其中,截取图像的单位距离像素数为截取图像中能够被检测模型识别的最小单位内包括的像素数。
在本实施例的一些可选的方式中,获取模块510,进一步被配置成:获取相机的物理焦距和成像传感器参数;基于物理焦距、成像传感器参数和采集图像的分辨率,确定相机的像素焦距。
在本实施例的一些可选的方式中,获取模块510,进一步被配置成:基于采集图像和相机标定算法,确定相机的第一内参矩阵;从第一内参矩阵中获取相机的像素焦距。
在本实施例的一些可选的方式中,截取图像的单位距离像素数基于以下步骤获取:获取检测模型中样本图像的单位距离像素数,其中,检测模型用于检测目标对象,样本图像的单位距离像素数为样本图像中能够被检测模型识别的最小单位内包括的像素数;获取样本图像的分辨率,并确定样本图像的分辨率和截取图像的分辨率之间的比例值;基于样本图像的单位距离像素数和比例值,获取截取图像的单位距离像素数。
在本实施例的一些可选的方式中,确定模块530,进一步被配置成:基于截取图像的分辨率和第一内参矩阵,确定截取图像的第二内参矩阵;基于截取图像的第二内参矩阵和外参矩阵,确定目标对象的地理位置。
本公开的实施例提供的车路协同中相机作用距离确定装置,通过获取相机的采集图像和像素焦距,然后从采集图像中截取包括目标对象的截取图像,最后基于像素焦距和截取图像的单位距离像素数,确定相机的最大作用距离,截取图像的单位距离像素数为截取图像中能够被检测模型识别的最小单位内包括的像素数,能够通过对采集图像进行截取实现相机作用距离的自动调整,由于截取图像是从采集图像中进行截取得到,截取图像的分辨率与采集图像的分辨率存在一定的比例关系,则截取图像对应的单位距离像素数与采集图像对应的单位距离像素数也存在相同的比例关系,能够利用图像截取实现单位距离像素数的变化,从而实现相机作用距离的变化,能够在不改变相机焦距的前提下提升相机的作用距离,降低了变焦相机的成本,提高了调整相机作用距离的灵活性。
本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质、一种计算机程序产品、一种路侧设备和一种云控平台。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,电子设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
电子设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如车路协同中相机作用距离确定方法。例如,在一些实施例中,车路协同中相机作用距离确定方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的车路协同中相机作用距离确定方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行车路协同中相机作用距离确定方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式***的服务器,或者是结合了区块链的服务器。
可选的,路侧设备除了包括电子设备,还可以包括通信部件等,电子设备可以和通信部件一体集成,也可以分体设置。电子设备可以获取感知设备(如路侧相机)的数据,例如图片和视频等,从而进行图像视频处理和数据计算。可选的,电子设备自身也可以具备感知数据获取功能和通信功能,例如是AI相机,电子设备可以直接基于获取的感知数据进行图像视频处理和数据计算。
可选的,云控平台在云端执行处理,云控平台包括的电子设备可以获取感知设备(如路侧相机)的数据,例如图片和视频等,从而进行图像视频处理和数据计算;云控平台也可以称为车路协同管理平台、边缘计算平台、云计算平台、中心***、云端服务器等。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。