CN106709956B - 全景影像***的远程标定方法和*** - Google Patents

全景影像***的远程标定方法和*** Download PDF

Info

Publication number
CN106709956B
CN106709956B CN201611254337.0A CN201611254337A CN106709956B CN 106709956 B CN106709956 B CN 106709956B CN 201611254337 A CN201611254337 A CN 201611254337A CN 106709956 B CN106709956 B CN 106709956B
Authority
CN
China
Prior art keywords
image
camera device
determining
camera
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611254337.0A
Other languages
English (en)
Other versions
CN106709956A (zh
Inventor
韩钊明
齐新迎
王善巍
郭卫君
温小锋
刘智军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN201611254337.0A priority Critical patent/CN106709956B/zh
Publication of CN106709956A publication Critical patent/CN106709956A/zh
Application granted granted Critical
Publication of CN106709956B publication Critical patent/CN106709956B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种全景影像***的远程标定方法和装置,该方法包括:获取全景影像***远程传输的图像数据;图像数据包括所述全景影像***中各摄像装置采集的背景图案的图像信息;背景图案包括多个圆形图案,圆形图案的圆心分别设置在各个摄像装置的图像拼接位置处,且圆心呈矩形分布;对图像数据进行处理,分析各个摄像装置采集的图像信息中圆形图案的变形状态,确定各个摄像装置的安装位置变化信息,并根据安装位置变化信息生成各个摄像装置的图像调整参数;将图像调整参数远程传输至所述全景影像***。本发明的方案不需要将车辆开至指定的标定机构便能对全景影像***进行远程标定,因此大大提高了售后响应速度,灵活方便,也降低了标定成本。

Description

全景影像***的远程标定方法和***
技术领域
本发明涉及全景影像***领域,特别是涉及一种全景影像***的远程标定方法和***。
背景技术
全景影像***标定是为了检验摄像头的安装情况,并采用软件的方式修复成像效果。传统的全景影像***的标定方法要求整车四周、摄像头视野范围内铺设专用的标定板,标定过程中对整车定位精度很高,往往需借助高精度的定位设备,因此需要将车辆开至指定的标定地点进行准确定位后才能进行标定。
对于市场车辆,出厂前的产线标定已经解决图像畸变处理、画面调整参数生成等多种标定问题,大多数情况下,只需考虑摄像头安装位置变化的这一因素。但摄像头的安装位置稍微发生变动,受限于传统的标定方式,车辆只能送到指定的标定机构(如汽车销售服务4S店),通过标定板进行准确定位后才能进行标定。若车辆不在指定的标定机构附近,则短期之内无法实现全景影像***的标定,这会对车辆全景影像***的使用带来不利影响。
发明内容
基于此,为解决传统技术中存在的问题,本发明提供一种全景影像***的远程标定方法和装置。
本发明实施例采用以下技术方案:
一种全景影像***的远程标定方法,包括如下步骤:
获取全景影像***远程传输的图像数据;所述图像数据包括所述全景影像***中各摄像装置采集的背景图案的图像信息;所述背景图案包括多个圆形图案,所述多个圆形图案的圆心分别设置在各个摄像装置的图像拼接位置处,且所述多个圆形图案的圆心呈矩形分布;
对所述图像数据进行处理,分析各个所述摄像装置采集的图像信息中圆形图案的变形状态,确定各个摄像装置的安装位置变化信息,并根据所述安装位置变化信息生成各个所述摄像装置的图像调整参数;
将所述图像调整参数远程传输至所述全景影像***,以使所述全景影像***依据所述图像调整参数对相应的所述摄像装置进行调整。
一种全景影像***的远程标定装置,包括:
图像获取模块,用于获取全景影像***远程传输的图像数据;所述图像数据包括所述全景影像***中各摄像装置采集的背景图案的图像信息;所述背景图案包括多个圆形图案,所述多个圆形图案的圆心分别设置在各个摄像装置的图像拼接位置处,且所述多个圆形图案的圆心呈矩形分布;
图像处理模块,用于对所述图像数据进行处理,分析各个所述摄像装置采集的图像信息中圆形图案的变形状态,确定各个摄像装置的安装位置变化信息;
调整参数生成模块,用于根据所述安装位置变化信息生成各个所述摄像装置的图像调整参数;
调整参数发送模块,用于将所述图像调整参数远程传输至所述全景影像***,以使所述全景影像***依据所述图像调整参数对相应的所述摄像装置进行调整。
本发明实施例提供的全景影像***的远程标定方法和装置,应用车联网技术远程传输全景影像***的图像数据,通过分析图像数据中圆形图案的变形状态来获得图像调整参数,并将图像调整参数远程反馈给全景影像***,以此实现了全景影像***的远程标定。本发明实施例通过容易实现的标定图样制作、图像数据的远程传输及远程分析处理等方式,降低了售后车辆的全景影像***标定的实现难度,不需要将车辆开至指定的标定机构,因此大大提高了售后响应速度,灵活方便,高效快捷,也降低了标定成本。
附图说明
图1为实现本发明实施例全景影像***的远程标定方法的硬件环境示意图;
图2是本发明的全景影像***的远程标定方法在一个实施例中的流程示意图;
图3为本发明实施例中绘制背景图案的示意图;
图4为本发明实施例中圆形图案发生变形的示意图;
图5为本发民实施例中确定摄像装置安装位置变化信息的方法的流程示意图;
图6是本发明实施例中前摄像装置901a所采集的图像信息的示意图;
图7是本发明实施例中全景画面的图像对称轴的示意图;
图8是本发明实施例中计算摄像装置轴向位移的方法的流程示意图;
图9是本发明实施例中计算前摄像装置轴向位移的示意图;
图10是本发明的全景影像***的远程标定方法在另一个实施例中的流程示意图;
图11是本发明的全景影像***的远程标定装置在一个实施例中的结构示意图;
图12是本发明实施例中图像处理模块的结构示意图;
图13是本发明的全景影像***的远程标定装置在另一个实施例中的结构示意图。
具体实施方式
下面将结合较佳实施例及附图对本发明的内容作进一步详细描述。显然,下文所描述的实施例仅用于解释本发明,而非对本发明的限定。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解的是,尽管在下文中采用术语“第一”、“第二”等来描述各种信息,但这些信息不应限于这些术语,这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,“第一”信息也可以被称为“第二”信息,类似的,“第二”信息也可以被称为“第一”信息。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。
图1为实现本发明实施例全景影像***的远程标定方法的硬件环境示意图。图1中的车辆900配置有全景影像***91,该全景影像***91在车辆900出厂前已进行标定。全景影像***91中包含多个摄像装置,以采集车辆900所处环境的图像信息,全景影像***91拼接各个摄像装置采集的图像信息可以形成全景画面。车辆900还配置有远程通讯模块92,全景影像***91通过该远程通讯模块92可以与后台标定设备800进行远程通信。后台标定设备800可以获取全景影像***91通过远程通讯模块92远程传输的图像数据,并对图像数据进行处理。后台标定设备800可以是各种具有数据处理功能的电子设备,例如手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)等等。
图2是本发明的全景影像***的远程标定方法在一个实施例中的流程示意图,本实施例的全景影像***的远程标定方法可以由后台标定设备800来执行。如图2所示,本实施例中的全景影像***的远程标定方法包括以下步骤:
步骤S110,获取全景影像***远程传输的图像数据;所述图像数据包括所述全景影像***中各摄像装置采集的背景图案的图像信息;所述背景图案包括多个圆形图案,所述多个圆形图案的圆心分别设置在各个摄像装置的图像拼接位置处,且所述多个圆形图案的圆心呈矩形分布;
在本实施例中,在车辆900出厂前已经完成了全景影像***91的标定,但在车辆使用过程中,若出现摄像装置安装位置发生变化的情况(例如摄像装置安装位置平移、安装角度改变等),则各个摄像装置采集的图像信息将不能被正确拼接,严重影响使用效果。因此,为了保障全景影像***91的正常使用,仍需对全景影像***91作进一步标定。此时,不用将车辆900开至指定的标定机构,只需将车辆900停放在平地上,保证车辆900四周一定范围内无明显的障碍物,然后在摄像装置的视野范围内绘制背景图案或者铺设绘制有该背景图案的标定板,该背景图案中包含多个圆形图案,要求这些圆形图案的圆心分别设置在各个摄像装置的图像拼接位置处,且要求这些圆形图案的圆心呈矩形分布。圆形图案的大小适中,直径无具体要求。
其中,各个摄像装置的图像拼接位置是指全景影像***91对各个摄像装置所采集的图像信息进行拼接的位置,该位置可依据车辆900中摄像装置的数量、各个摄像装置的安装位置进行设置。圆形图案的圆心呈矩形分布是指连接各个圆心后能形成一个矩形,即存在一个矩形,使得各个圆心均在该矩形的边上。
具体以图3为例,全景影像***91中包括四个摄像装置,分别为安装在车辆头部的前摄像装置901a、车辆尾部的后摄像装置901b、车辆左侧的左摄像装置901c以及车辆右侧的右摄像装置901d,设置各摄像装置的图像拼接位置为车辆900的对角线,即全景影像***将四个摄像装置采集的图像信息在车辆的对角线处进行拼接。参照图3所示,此时圆形图案的个数为四,四个圆形图案分别为第一圆形图案Y1、第二圆形图案Y2、第三圆形图案Y3以及第四圆形图案Y4,第一圆形图案Y1的圆心与第三圆形图案Y3的圆心在车辆的一条对角线D1上,第二圆形图案Y2的圆心与第四圆形图案Y4的圆心在车辆的另一条对角线D2上。各个圆形图案的圆心至车辆中轴L0的距离相等,使得四个圆心连接后形成一个矩形。其中,中轴L0是指沿车辆前进(或倒退)方向且使车辆左右对称的轴。
需要说明的是,若全景影像***91中摄像装置的个数不为四(例如有六个或八个分布在车辆四周的摄像装置),安装位置也相应发生变化,则各摄像装置的图像拼接位置也发生变化,此时仍可依据各摄像装置的图像拼接位置相应调整圆形图案的个数及圆心的位置,以保证圆形图案的圆心分别设置在各摄像装置的图像拼接位置,且保证这些圆形图案的圆心呈矩形分布。
在绘制完背景图案之后,或者按要求铺设完绘制有该背景图案的标定板之后,向全景影像***91发出图像采集指令,全景影像***91将截取每个摄像装置采集的背景图案的图像信息,生成图像数据,并通过远程通讯模块92将图像数据远程输出给后台标定设备800。后台标定设备800获取全景影像***91远程传输的图像数据,该图像数据包括全景影像***91中各摄像装置采集的背景图案的图像信息。
步骤S120,对所述图像数据进行处理,分析各个所述摄像装置采集的图像信息中圆形图案的变形状态,确定各个摄像装置的安装位置变化信息,并根据所述安装位置变化信息生成各个所述摄像装置的图像调整参数;
如果摄像装置的安装位置正常,那么各个摄像装置所采集的图像信息将能被正确拼接,形成的全景画面中,各圆形图案应当处于正常状态,不会发生变形。但如果圆形图案发生变形,参照图4所示,则表明摄像装置的安装位置发生了变化,如安装位置发生轴向平移、安装角度改变等等,因此,本实施例中后台标定设备800对全景影像***91远程传输的图像数据进行处理,通过分析各个摄像装置采集的图像信息中圆形图案的变形状态,就可以确定各个摄像装置的安装位置变化信息,然后依据摄像装置的安装位置变化信息来生成相应摄像装置的图像调整参数,该图像调整参数用于调整摄像装置输出的图像信息,使得各个摄像装置所采集的图像信息仍能被正确拼接。该图像调整参数可包括画面位移量、画面缩放比例、局部画面变形曲率等等。
步骤S130,将所述图像调整参数远程传输至所述全景影像***,以使所述全景影像***依据所述图像调整参数对相应的所述摄像装置进行调整。
后台标定设备800在获得各个摄像装置的图像调整参数之后,将图像调整参数远程传输至全景影像***91,例如先将图像调整参数传输给车辆900中的远程通讯模块92,远程通讯模块92再将图像调整参数发送至全景影像***91。全景影像***91在获得图像调整参数之后,将依据该图像调整参数对相应的摄像装置进行调整,如调整其采集图像信息的参数,使得各个摄像装置采集的图像信息能被正确拼接。如拼接效果不佳,导致全景画面不满足要求,则可以重复上述步骤S110至S130,重新绘制背景图案,后台标定设备800重新分析圆形图案的变形状态,得到新的图像调整参数,并反馈给全景影像***91,直至全景画面满足要求。
本实施例中提供的全景影像***的远程标定方法,降低了售后车辆的全景影像***标定的实现难度,本实施例中通过容易实现的标定图样制作、应用车联网技术远程传输图像数据以及使用后台标定设备对图像数据进行分析处理等方式,很好地实现车辆全景影像***的远程标定,大大提高了售后响应速度,灵活方便,高效快捷,也降低了标定成本,可以普遍适用于市场远程标定,对于车辆不方便移动至指定标定机构的情况,本实施例中的远程标定方法具有明显优势。
在一种可选的实施方式中,摄像装置的安装位置变化信息包括摄像装置的轴向位移、横摆角偏差、俯仰角偏差以及侧倾角偏差。参照图5所示,分析摄像装置采集的图像信息中圆形图案的变形状态,确定摄像装置的安装位置变化信息的过程包括如下步骤S121~S126:
步骤S121,分别识别出各个摄像装置采集的图像信息中的椭圆弧,并依据椭圆弧上点的坐标计算得到各个图像信息中与各个圆形图案相对应的椭圆的中心点坐标、长轴以及短轴;
具体的,参照图4所示,由于摄像装置的安装位置发生变化,摄像装置采集的图像信息中圆形图案将会变形为椭圆图案,将各个摄像装置采集的图像信息进行拼接后也无法获得圆形图案,而是在拼接位置处(图4中为车辆的对角线处)呈现两段椭圆弧。后台标定设备800通过边沿识别法可以识别出各个摄像装置采集的图像信息中的椭圆弧,然后采集椭圆弧上点的坐标,代入椭圆方程,求解出椭圆的相关参数。例如通过椭圆的一般方程进行求解:
Ax2+Bxy+Cy2+Dx+Ey+F=0
其中,A、B、C、D、E、F均为系数。
求解出椭圆一般方程后,就可以通过数学计算获得椭圆参数,包括椭圆的中心点坐标、长轴及短轴,其中椭圆的中心点即椭圆焦点的中心点。图6示出的是前摄像装置901a所采集的图像信息,图6中X轴即车辆的横轴,该横轴与车辆的前进(或倒退)方向垂直,即与车辆的中轴垂直,而Y轴则为车辆的中轴。基于前摄像装置901a采集的图像信息,通过边沿识别法识别出其中的椭圆弧,求解椭圆的一般方程,从而分别确定两个椭圆的中心点O1、O2的坐标,两个椭圆的长轴la1、la2,以及两个椭圆的短轴lb1、lb2。采样同样的方法,可以确定各个摄像装置采集的图像信息中的椭圆参数。
步骤S122,确定由各个摄像装置采集的图像信息拼接形成的全景画面的图像对称轴;
后台标定设备800将各个摄像装置采集的图像信息进行拼接处理,形成车辆的全景画面后,可以确定该全景画面的图像对称轴,参照图7中示出的虚线轴,不难理解,全景画面的图像对称轴至少有两条,其中一条为纵向对称轴,其与车辆的中轴一致,另一条为与纵向对称轴垂直的横向对称轴。
步骤S123,根据所述中心点坐标和所述图像对称轴确定各个摄像装置的轴向位移;
每个摄像装置所采集的图像信息中均包含两段椭圆弧,对应于两个椭圆,由此可以得到两个中心点坐标,将这两个中心点坐标连接后,即确定了与摄像装置对应的中心点连线。将四个摄像装置对应的中心点连接线连接后,在各个摄像装置安装位置均正确的情况下,这4条中心点连接线可确定一个矩形,且该矩形的对称轴应当与全景画面的图像对称轴一致,若有偏差,则说明摄像装置发生了轴向位移。因此基于各个摄像装置所对应的中心点连接线,通过数学运算可以确定各个摄像装置沿其对应的图像对称轴所发生的轴向位移。
在一种可选的实施方式中,参照图8所示,可通过以下步骤S601~S603来计算各个摄像装置的轴向位移:
步骤S601,根据当前摄像装置采集的图像信息中的椭圆的中心点坐标确定第一中心点连线,并确定所述第一中心点连线与当前摄像装置所对应的图像对称轴的第一交点;
通过计算可以得到当前摄像装置所对应的两个椭圆的中心点坐标,通过坐标运算可以确定这两个中心点的连线,即确定了与当前摄像装置所对应的第一中心点连线,然后确定该第一中心点连线与当前摄像装置所对应的图像对称轴的第一交点。其中,当前摄像装置所对应图像对称轴可以依据当前摄像装置的安装位置来确定,以前摄像装置901a为例,其安装在车辆的头部,可以确定其所对应的图像对称轴即全景画面的纵向对称轴,亦即车辆的中轴。若当前摄像装置为左摄像装置901c,则其所对应的图像对称轴即全景画面的横向对称轴。
步骤S602,根据与当前摄像装置相邻的两个摄像装置所采集的图像信息中相应的椭圆的中心点坐标确定第二中心点连线,并确定所述第二中心点连线与当前摄像装置所对应的图像对称轴的第二交点;
由于多个摄像装置是分布设置在车辆900的四周的,由此可以确定与当前摄像装置相邻的另外两个摄像装置,例如参照图3、图4所示,若当前摄像装置为前摄像装置901a,则与其相邻的两个摄像装置为左摄像装置901c及右摄像装置901d;若当前摄像装置为左摄像装置901c,则与其相邻的两个摄像装置为前摄像装置901a及后摄像装置901b。本实施例中在对当前摄像装置沿其对应的图像对称轴的方向所产生的轴向位移进行计算时,默认相邻摄像装置未在该图像对称轴的方向上发生位移。因此,根据与当前摄像装置相邻的两个摄像装置所采集的图像信息中相应的椭圆的中心点坐标确定第二中心点连线,确定第二中心点连线与当前摄像装置所对应的图像对称轴的第二交点,以第二中心点连线为基准。检测第一中心点连线相对于第二中心点连线发生的轴向位移。
步骤S603,计算所述第一交点和所述第二交点的距离,获得当前摄像装置的轴向位移。
举例而言,参照图9所示,当前摄像装置为前摄像装置901a,其所对应的图像对称轴为全景画面的纵向对称轴,即车辆的中轴L0。与前摄像装置901a相邻的两个摄像装置为左摄像装置901c和右摄像装置901d。通过计算可以得到前摄像装置901a所对应的两个椭圆的中心点为O1、O2,通过坐标运算确定与前摄像装置901a所对应的第一中心点连线O1O2,然后确定该第一中心点连线O1O2与车辆中轴L0的第一交点P1。左摄像装置901c、右摄像装置901d所采集的图像信息中相应的椭圆的中心点为O3、O4,同理,通过坐标运算确定第二中心点连线O3O4,然后确定该第二中心点连线O3O4与车辆中轴L0的第二交点P2,并计算第一交点P1和第二交点P2的距离,结合两个交点在中轴上的移动方向,可以获得前摄像装置的轴向位移。
步骤S124,根据所述中心点坐标确定各个摄像装置的横摆角偏差;
由车辆的横轴、中轴可以确定一个平面直角坐标系,如果再加上车辆中垂直于横轴和中轴的竖轴,则可以确定一个空间直角坐标系,其中X轴为车辆的横轴,Y轴为车辆的中轴,Z轴为车辆的竖轴。本实施例中的横摆角偏差即摄像装置绕Z轴旋转的偏差。该横摆角偏差可以通过上述的中心点坐标来计算。具体的,以前摄像装置901a为例,参照图6所示,通过其所采集的图像信息可以确定两个椭圆的中心点坐标,则对于前摄像装置901a的横摆角偏差β,其等于中心点连线O1O2与X轴的夹角,故有如下条件式:
Figure BDA0001198482780000091
其中,
Figure BDA0001198482780000092
是中心点连线O1O2的斜率。
故,通过中心点坐标确定各个图像信息中相应椭圆的中心点连线的斜率,然后计算与斜率相对应的反正切函数值,即可获得相应摄像装置的横摆角偏差。需要理解的是,为了消除误差,在实际计算时,可能会引入修正参数对反正切函数值进行修正,故此时应当以修正后的计算结果作为摄像装置的横摆角偏差。
步骤S125,根据所述长轴和所述短轴确定各个摄像装置的俯仰角偏差;
本实施例中的俯仰角偏差即摄像装置绕Y轴旋转的偏差。该俯仰角偏差可以通过摄像装置所采集的图像信息中对应的椭圆的长轴和短轴来进行计算。在一种可选的实施方式中,摄像装置的俯仰角偏差Δα和椭圆的长轴la、短轴lb的长度存在着以下关系:
Figure BDA0001198482780000101
其中,
Figure BDA0001198482780000102
为长轴在Y轴(即车辆的中轴)方向上的投影长度,
Figure BDA0001198482780000103
为短轴在Y轴方向上的投影长度。因此,通过计算摄像装置所对应的椭圆的长轴在车辆中轴方向上的投影长度,与椭圆的短轴在车辆中轴方向上的投影长度的比值,并根据与该比值相对应的反余弦函数值,即可获得相应摄像装置的俯仰角偏差。同样的,在实际计算时,可能会引入修正参数对反余弦函数值进行修正以消除误差,此时应当以修正后的计算结果作为摄像装置的俯仰角偏差。
步骤S126,根据所述长轴和所述短轴确定各个摄像装置的侧倾角偏差。
本实施例中的侧倾角偏差即摄像装置绕X轴旋转的偏差。该侧倾角偏差也可以通过摄像装置所采集的图像信息中对应的椭圆的长轴和短轴来进行计算。在一种可选的实施方式中,摄像装置的侧倾角偏差Δγ和摄像装置所对应的椭圆的长轴la、短轴lb的长度存在着以下关系:
Figure BDA0001198482780000104
其中,
Figure BDA0001198482780000111
是长轴la在X轴(即车辆的横轴)上的投影长度,
Figure BDA0001198482780000112
短轴lb在X轴上的投影长度。因此,通过计算摄像装置所对应的椭圆的长轴在车辆横轴方向上的投影长度,与椭圆的短轴在车辆横轴方向上的投影长度的比值,然后根据与该比值相对应的反余弦函数值,即获得相应摄像装置的侧倾角偏差。同样需要说明的是,在实际计算时,为了消除误差,可能会引入修正参数对反余弦函数值进行修正,此时应当以修正后的计算结果作为摄像装置的侧倾角偏差。
通过以上过程,后台标定设备800可以计算出各个摄像装置的安装位置变化信息,并据此生成相应的图像调整参数。然后,将各个摄像装置的图像调整参数远程传输至全景影像***91,全景影像***91依据图像调整参数对相应的摄像装置进行调整,以使各个摄像装置采集的图像信息能被准确拼接且能达到较佳地效果。
图10是本发明的全景影像***的远程标定方法在另一个实施例中的流程示意图,本实施例的全景影像***的远程标定方法可以由后台标定设备800来执行。参照图10所示,在该实施例中,在将图像调整参数传输至全景影像***之前,还包括以下步骤:
步骤S124,依据图像调整参数对各个摄像装置采集的图像信息进行调整,并显示依据调整后的图像信息拼接形成的全景画面;
步骤S128,接收操作者依据显示的全景画面输入的操作指令,并根据所述操作指令更新所述图像调整参数。
后台标定设备800对全景影像***远程传输的图像数据进行处理,分析各个摄像装置采集的图像信息中圆形图案的变形状态,以确定各个摄像装置的安装位置变化信息,并根据安装位置变化信息生成各个摄像装置的图像调整参数。后台标定设备800还依据图像调整参数对摄像装置采集的图像信息进行调整,并拼接调整后的图像信息形成全景画面,将该全景画面显示在屏幕上。本实施例中的操作者即后台工作人员,后台工作人员确认屏幕上显示的全景画面是否达到较佳效果,若效果不佳,后台工作人员可向后台标定设备800输入操作指令,以实现对各个摄像装置所采集的图像信息进行操作的目的,例如实现平移、缩放、旋转等操作。后台标定设备800响应后台工作人员的操作指令,对图像信息进行调整,使得呈现的全景画面满足后台工作人员的要求,同时,后台标定设备800将依据操作指令相应地更新各个摄像装置的图像调整参数,并将更新后的图像调整参数远程传输至全景影像***91。
较佳的,在后台工作人员输入操作指令,使得后台标定设备800呈现的全景画面满足要求后,后台工作人员可以向后台标定设备800输入确认指令,后台标定设备800在接收到确认指令后,再将更新后的图像调整参数远程传输至全景影像***81,使其依据更新后的图像调整参数来对相应摄像装置进行调整,使得各个摄像装置采集的图像信息能被正确拼接,且达到较佳地拼接效果。
本实施例中的全景影像***的远程标定方法,可以对摄像设置采集的图像信息进行自动校准,将校准后的图像信息进行拼接形成全景画面,并显示在后台标定设备上,让后台工作人员可以看到调整前后的全景画面,也可以在自动校准的辅助下,更好地让后台工作人员手动调整全景画面的呈现效果,同时还具备人工确认机制,在经后台工作人员确认后,后台标定设备才发送更新后的图像调整参数至全景影像***,方便了后台工作人员的使用,也保证了全景影像***的远程标定效果。
需要说明的是,对于前述的各方法实施例,为了简便描述,将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。
根据上述本发明的全景影像***的远程标定方法,本发明还提供一种全景影像***的远程标定装置,下面结合附图及较佳实施例对本发明的全景影像***的远程标定装置进行详细说明。
图11为本发明的全景影像***的远程标定装置在一个实施例中的结构示意图。如图11所示,该实施例中的全景影像***的远程标定装置,包括:
图像获取模块10,用于获取全景影像***远程传输的图像数据;图像数据包括全景影像***中各摄像装置采集的背景图案的图像信息;背景图案包括多个圆形图案,所述多个圆形图案的圆心分别设置在各个摄像装置的图像拼接位置处,且所述多个圆形图案的圆心呈矩形分布;
图像处理模块20,用于对图像数据进行处理,分析各个所述摄像装置采集的图像信息中圆形图案的变形状态,确定各个摄像装置的安装位置变化信息;
调整参数生成模块30,用于根据所述安装位置变化信息生成各个摄像装置的图像调整参数;
调整参数发送模块40,用于将图像调整参数远程传输至所述全景影像***,以使全景影像***依据图像调整参数对相应的摄像装置进行调整。
在本实施例中,在车辆出厂前已经完成了全景影像***的标定,但在车辆使用过程中,若发生摄像装置安装位置发生变化的情况,则各个摄像装置采集的图像信息将不能被正确拼接,严重影响使用效果。因此,为了保障全景影像***的正常使用,仍需对全景影像***作进一步标定。此时,不用将车辆开至指定的标定机构,只需将车辆停放在平地上,保证车辆四周一定范围内无明显的障碍物,然后在摄像装置的视野范围内绘制背景图案或者铺设绘制有该背景图案的标定板,该背景图案中包含多个圆形图案,要求这些圆形图案的圆心分别设置在各个摄像装置的图像拼接位置处,且要求这些圆形图案的圆心呈矩形分布,圆形图案的大小适中,直径无具体要求。其中,各个摄像装置的图像拼接位置是指全景影像***对各个摄像装置所采集的图像信息进行拼接的位置,该位置可依据车辆中摄像装置的数量、各个摄像装置的安装位置进行设置。圆形图案的圆心呈矩形分布是指连接各个圆心后能形成一个矩形,即存在一个矩形,使得各个圆心均在该矩形的边上。
在绘制完背景图案之后,或者按要求铺设完绘制有该背景图案的标定板之后,向全景影像***发出图像采集指令,全景影像***将截取每个摄像装置采集的背景图案的图像信息,生成图像数据,并通过远程通讯模块接入车联网,将图像数据远程输出给图像获取模块10。图像获取模块10获取全景影像***远程传输的图像数据,该图像数据包括全景影像***中各摄像装置采集的背景图案的图像信息。
如果全景影像***中各摄像装置的安装位置正常,那么各摄像装置所采集的图像信息将能被正确拼接,形成的全景画面中,各圆形图案应当处于正常状态,不会发生变形。但如果圆形图案发生变形,则表明摄像装置的安装位置发生了变化,如安装位置发生轴向平移、安装角度改变等等,因此,本实施例中图像处理模块20对图像获取模块10获取的图像数据进行处理,通过分析各个摄像装置采集的图像信息中圆形图案的变形状态,就可以确定各个摄像装置的安装位置变化信息,然后调整参数生成模块30依据摄像装置的安装位置变化信息来生成相应摄像装置的图像调整参数,该图像调整参数用于调整摄像装置输出的图像信息,使得各个摄像装置所采集的图像信息仍能被正确拼接。该图像调整参数可包括画面位移量、画面缩放比例、局部画面变形曲率等等。
调整参数发送模块40将图像调整参数远程传输至全景影像***,例如通过车联网将图像调整参数传输给车辆中的远程通讯模块,远程通讯模块再将图像调整参数发送至全景影像***。全景影像***在获得图像调整参数之后,将依据该图像调整参数对相应的摄像装置进行调整,使得各个摄像装置采集的图像信息能被正确拼接,使全景影像***呈现的全景画面满足使用要求。
在一种可选的实施方式中,摄像装置的安装位置变化信息包括摄像装置的轴向位移、横摆角偏差、俯仰角偏差以及侧倾角偏差;参照图12所示,图像处理模块20包括:
椭圆识别模块21,用于分别识别出各个摄像装置采集的图像信息中的椭圆弧,并依据所述椭圆弧上点的坐标计算得到各个图像信息中与各个圆形图案相对应的椭圆的中心点坐标、长轴以及短轴;
图像对称轴确定模块22,用于确定由各个摄像装置采集的图像信息拼接形成的全景画面的图像对称轴;
轴向位移确定模块23,用于根据所述中心点坐标和所述图像对称轴确定各个摄像装置的轴向位移;
横摆角偏差确定模块24,用于根据所述中心点坐标确定各个摄像装置的横摆角偏差;
俯仰角偏差确定模块25,用于根据所述长轴和所述短轴确定各个摄像装置的俯仰角偏差;
侧倾角偏差确定模块26,用于根据所述长轴和所述短轴确定各个摄像装置的侧倾角。
在一种可选的实施方式中,仍参照图12所示,轴向位移确定模块23包括:
第一交点确定模块231,用于根据当前摄像装置采集的图像信息中的椭圆的中心点坐标确定第一中心点连线,并确定所述第一中心点连线与当前摄像装置所对应的图像对称轴的第一交点;
第二交点确定模块232,用于根据与当前摄像装置相邻的两个摄像装置所采集的图像信息中相应的椭圆的中心点坐标确定第二中心点连线,并确定所述第二中心点连线与当前摄像装置所对应的图像对称轴的第二交点;
距离计算模块233,用于计算所述第一交点和所述第二交点的距离,获得当前摄像装置的轴向位移。
在一种可选的实施方式中,仍参照图12所示,横摆角偏差确定模块24包括:
斜率计算模块241,用于根据所述中心点坐标确定各个图像信息中相应椭圆的中心点连线的斜率;
反正切函数计算模块242,用于根据与所述斜率相对应的反正切函数值,获得相应摄像装置的横摆角。
在一种可选的实施方式中,仍参照图12所示,俯仰角偏差确定模块25包括:
第一比值计算模块251,用于计算所述长轴在车辆中轴方向上的投影长度与所述短轴在车辆中轴方向上的投影长度的比值;
第一反余弦函数计算模块252,用于根据与所述比值相对应的反余弦函数值,获得相应摄像装置的俯仰角偏差。
在一种可选的实施方式中,仍参照图12所示,侧倾角偏差确定模块26包括:
第二比值计算模块261,用于计算所述长轴在车辆横轴方向上的投影长度与所述短轴在车辆横轴方向上的投影长度的比值;
第二反余弦函数计算模块262,用于根据与所述比值相对应的反余弦函数值,获得相应摄像装置的侧倾角偏差。
图13为本发明的全景影像***的远程标定装置在另一个实施例中的结构示意图。如图13所示,该实施例中的全景影像***的远程标定装置还包括:
调整显示模块34,用于依据所述图像调整参数对各个摄像装置采集的图像信息进行调整,并显示依据调整后的图像信息拼接形成的全景画面;
更新模块38,用于接收操作者依据显示的全景画面输入的操作指令,并根据所述操作指令更新所述图像调整参数。
上述全景影像***的远程标定装置可执行本发明实施例所提供的全景影像***的远程标定装置方法,具备执行方法相应的功能模块和有益效果。此处不再对各个全景影像***的远程标定装置中各个功能模块实现其功能的方法进行赘述。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种全景影像***的远程标定方法,其特征在于,包括如下步骤:
获取全景影像***远程传输的图像数据;所述图像数据包括所述全景影像***中各摄像装置采集的背景图案的图像信息;所述背景图案包括多个圆形图案,所述多个圆形图案的圆心分别设置在各个摄像装置的图像拼接位置处,且所述多个圆形图案的圆心呈矩形分布;
分别识别出各个所述摄像装置采集的图像信息中的椭圆弧,并依据所述椭圆弧上点的坐标计算得到各个图像信息中与各个圆形图案相对应的椭圆的中心点坐标、长轴以及短轴;
确定由各个所述摄像装置采集的图像信息拼接形成的全景画面的图像对称轴;
根据所述中心点坐标和所述图像对称轴确定各个所述摄像装置的轴向位移;
根据所述中心点坐标确定各个所述摄像装置的横摆角偏差;
根据所述长轴和所述短轴确定各个所述摄像装置的俯仰角偏差和侧倾角偏差;
根据各个所述摄像装置的安装位置变化信息生成各个所述摄像装置的图像调整参数;所述安装位置变化信息包括所述轴向位移、所述横摆角偏差、所述俯仰角偏差以及所述侧倾角偏差;
将所述图像调整参数远程传输至所述全景影像***,以使所述全景影像***依据所述图像调整参数对相应的所述摄像装置进行调整。
2.根据权利要求1所述的全景影像***的远程标定方法,其特征在于,各个摄像装置的图像拼接位置为车辆的对角线,所述圆形图案的个数为四,其中两个圆形图案的圆心在车辆的一条对角线上,另外两个圆形图案的圆心在车辆的另一条对角线上,且各个圆形图案的圆心至车辆中轴的距离相等。
3.根据权利要求1所述的全景影像***的远程标定方法,其特征在于,根据所述中心点坐标和所述图像对称轴确定各个摄像装置的轴向位移的过程包括如下步骤:
根据当前摄像装置采集的图像信息中的椭圆的中心点坐标确定第一中心点连线,并确定所述第一中心点连线与当前摄像装置所对应的图像对称轴的第一交点;
根据与当前摄像装置相邻的两个摄像装置所采集的图像信息中相应的椭圆的中心点坐标确定第二中心点连线,并确定所述第二中心点连线与当前摄像装置所对应的图像对称轴的第二交点;
计算所述第一交点和所述第二交点的距离,获得当前摄像装置的轴向位移。
4.根据权利要求1所述的全景影像***的远程标定方法,其特征在于,根据所述中心点坐标确定各个摄像装置的横摆角偏差的过程包括:
根据所述中心点坐标确定各个图像信息中相应椭圆的中心点连线的斜率;
根据与所述斜率相对应的反正切函数值,获得相应摄像装置的横摆角偏差。
5.根据权利要求1所述的全景影像***的远程标定方法,其特征在于,根据所述长轴和所述短轴确定各个摄像装置的俯仰角偏差的过程包括:
计算所述长轴在车辆中轴方向上的投影长度与所述短轴在车辆中轴方向上的投影长度的比值;
根据与所述比值相对应的反余弦函数值,获得相应摄像装置的俯仰角偏差。
6.根据权利要求1所述的全景影像***的远程标定方法,其特征在于,根据所述长轴和所述短轴确定各个摄像装置的侧倾角偏差的过程包括:
计算所述长轴在车辆横轴方向上的投影长度与所述短轴在车辆横轴方向上的投影长度的比值;
根据与所述比值相对应的反余弦函数值,获得相应摄像装置的侧倾角偏差。
7.根据权利要求1所述的全景影像***的远程标定方法,其特征在于,在将所述图像调整参数传输至所述全景影像***之前,还包括:
依据所述图像调整参数对各个摄像装置采集的图像信息进行调整,并显示依据调整后的图像信息拼接形成的全景画面;
接收操作者依据显示的全景画面输入的操作指令,并根据所述操作指令更新所述图像调整参数。
8.一种全景影像***的远程标定装置,其特征在于,包括:
图像获取模块,用于获取全景影像***远程传输的图像数据;所述图像数据包括所述全景影像***中各摄像装置采集的背景图案的图像信息;所述背景图案包括多个圆形图案,所述多个圆形图案的圆心分别设置在各个摄像装置的图像拼接位置处,且所述多个圆形图案的圆心呈矩形分布;
椭圆识别模块,用于分别识别出各个所述摄像装置采集的图像信息中的椭圆弧,并依据所述椭圆弧上点的坐标计算得到各个图像信息中与各个圆形图案相对应的椭圆的中心点坐标、长轴以及短轴;
图像对称轴确定模块,用于确定由各个所述摄像装置采集的图像信息拼接形成的全景画面的图像对称轴;
轴向位移确定模块,用于根据所述中心点坐标和所述图像对称轴确定各个所述摄像装置的轴向位移;
横摆角偏差确定模块,用于根据所述中心点坐标确定各个所述摄像装置的横摆角偏差;
俯仰角偏差确定模块,用于根据所述长轴和所述短轴确定各个所述摄像装置的俯仰角偏差;
侧倾角偏差确定模块,用于根据所述长轴和所述短轴确定各个所述摄像装置的侧倾角;
调整参数生成模块,用于根据各个所述摄像装置的安装位置变化信息生成各个所述摄像装置的图像调整参数;所述安装位置变化信息包括所述轴向位移、所述横摆角偏差、所述俯仰角偏差以及所述侧倾角偏差;
调整参数发送模块,用于将所述图像调整参数远程传输至所述全景影像***,以使所述全景影像***依据所述图像调整参数对相应的所述摄像装置进行调整。
9.根据权利要求8所述的全景影像***的远程标定装置,其特征在于,所述轴向位移确定模块包括:
第一交点确定模块,用于根据当前摄像装置采集的图像信息中的椭圆的中心点坐标确定第一中心点连线,并确定所述第一中心点连线与当前摄像装置所对应的图像对称轴的第一交点;
第二交点确定模块,用于根据与当前摄像装置相邻的两个摄像装置所采集的图像信息中相应的椭圆的中心点坐标确定第二中心点连线,并确定所述第二中心点连线与当前摄像装置所对应的图像对称轴的第二交点;
距离计算模块,用于计算所述第一交点和所述第二交点的距离,获得当前摄像装置的轴向位移。
10.根据权利要求8所述的全景影像***的远程标定装置,其特征在于,所述横摆角偏差确定模块包括:
斜率计算模块,用于根据所述中心点坐标确定各个图像信息中相应椭圆的中心点连线的斜率;
反正切函数计算模块,用于根据与所述斜率相对应的反正切函数值,获得相应摄像装置的横摆角。
11.根据权利要求8所述的全景影像***的远程标定装置,其特征在于,所述俯仰角偏差确定模块包括:
第一比值计算模块,用于计算所述长轴在车辆中轴方向上的投影长度与所述短轴在车辆中轴方向上的投影长度的比值;
第一反余弦函数计算模块,用于根据与所述比值相对应的反余弦函数值,获得相应摄像装置的俯仰角偏差。
12.根据权利要求8所述的全景影像***的远程标定装置,其特征在于,所述侧倾角偏差确定模块包括:
第二比值计算模块,用于计算所述长轴在车辆横轴方向上的投影长度与所述短轴在车辆横轴方向上的投影长度的比值;
第二反余弦函数计算模块,用于根据与所述比值相对应的反余弦函数值,获得相应摄像装置的侧倾角偏差。
13.根据权利要求8所述的全景影像***的远程标定装置,其特征在于,在将所述图像调整参数传输至所述全景影像***之前,还包括:
调整显示模块,用于依据所述图像调整参数对各个摄像装置采集的图像信息进行调整,并显示依据调整后的图像信息拼接形成的全景画面;
更新模块,用于接收操作者依据显示的全景画面输入的操作指令,并根据所述操作指令更新所述图像调整参数。
CN201611254337.0A 2016-12-30 2016-12-30 全景影像***的远程标定方法和*** Active CN106709956B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611254337.0A CN106709956B (zh) 2016-12-30 2016-12-30 全景影像***的远程标定方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611254337.0A CN106709956B (zh) 2016-12-30 2016-12-30 全景影像***的远程标定方法和***

Publications (2)

Publication Number Publication Date
CN106709956A CN106709956A (zh) 2017-05-24
CN106709956B true CN106709956B (zh) 2020-05-15

Family

ID=58904106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611254337.0A Active CN106709956B (zh) 2016-12-30 2016-12-30 全景影像***的远程标定方法和***

Country Status (1)

Country Link
CN (1) CN106709956B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491851B (zh) * 2018-01-29 2020-07-31 江苏大学 一种基于机器视觉的集装箱锁孔快速识别与吊具纠偏方法
CN109050390A (zh) * 2018-07-23 2018-12-21 华南师范大学 一种智能矩阵车灯控制***及其控制方法
CN109859278B (zh) * 2019-01-24 2023-09-01 惠州市德赛西威汽车电子股份有限公司 车载相机***相机外参的标定方法及标定***
CN110084859A (zh) * 2019-05-05 2019-08-02 北京茵沃汽车科技有限公司 一种全景影像售后标定装置及采用该装置进行标定的方法
CN113034604A (zh) * 2019-12-25 2021-06-25 南京极智嘉机器人有限公司 标定***、方法及自导引机器人
CN112801874B (zh) * 2021-02-03 2024-04-05 广州六环信息科技有限公司 一种车辆图像拼接方法、装置和车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103035005A (zh) * 2012-12-13 2013-04-10 广州致远电子股份有限公司 一种全景泊车的标定方法,及装置,一种自动标定方法
CN103226827A (zh) * 2013-03-21 2013-07-31 深圳市汉华安道科技有限责任公司 摄像头外部参数校正方法、装置及辅助泊车***
CN103253193A (zh) * 2013-04-23 2013-08-21 上海纵目科技有限公司 基于触摸屏操作的全景泊车标定方法及***
CN104240258A (zh) * 2014-09-30 2014-12-24 苏州智华汽车电子有限公司 一种基于车联网的全景环视***标定方法、装置及***
KR20160109927A (ko) * 2015-03-13 2016-09-21 한국전자통신연구원 은닉포인트를 이용한 기하학 보정 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103035005A (zh) * 2012-12-13 2013-04-10 广州致远电子股份有限公司 一种全景泊车的标定方法,及装置,一种自动标定方法
CN103226827A (zh) * 2013-03-21 2013-07-31 深圳市汉华安道科技有限责任公司 摄像头外部参数校正方法、装置及辅助泊车***
CN103253193A (zh) * 2013-04-23 2013-08-21 上海纵目科技有限公司 基于触摸屏操作的全景泊车标定方法及***
CN104240258A (zh) * 2014-09-30 2014-12-24 苏州智华汽车电子有限公司 一种基于车联网的全景环视***标定方法、装置及***
KR20160109927A (ko) * 2015-03-13 2016-09-21 한국전자통신연구원 은닉포인트를 이용한 기하학 보정 방법 및 장치

Also Published As

Publication number Publication date
CN106709956A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
CN106709956B (zh) 全景影像***的远程标定方法和***
CN104581136B (zh) 图像校准***和立体摄像机的校准方法
CN107784672B (zh) 用于获取车载相机的外部参数的方法和装置
CN111815719B (zh) 图像采集设备的外参数标定方法、装置、设备及存储介质
US8452568B2 (en) Method for calibrating cameras installed on vehicle
US9659548B2 (en) Automatic installation method for video wall and related system
EP3998580B1 (en) Camera calibration method and apparatus, electronic device, storage medium, program product, and road side device
US20130147909A1 (en) Method for detecting pressure on touch sensing element and electronic device using the same
KR101989087B1 (ko) 개인용 디지털 영상 기기를 이용한 투사형 디스플레이의 이미지 왜곡 보정 방법 및 그 시스템
US20160073092A1 (en) Image calibration system and calibration method of a stereo camera
WO2015045329A1 (ja) 車両周辺画像表示装置及びカメラの調整方法
CN106570907B (zh) 一种相机标定方法及装置
CN112489136B (zh) 标定方法、位置确定方法、装置、电子设备及存储介质
CN110505468B (zh) 一种增强现实显示设备的测试标定及偏差修正方法
CN107742310B (zh) 一种双摄像头的夹角的测试方法、测试装置及存储装置
US10104286B1 (en) Motion de-blurring for panoramic frames
CN109544643A (zh) 一种摄像机图像校正方法及装置
US11880993B2 (en) Image processing device, driving assistance system, image processing method, and program
CN109982038A (zh) 显示声源位置的方法、装置及计算机设备
CN112288825A (zh) 相机标定方法、装置、电子设备、存储介质和路侧设备
US20160231975A1 (en) Content composing device and method of composing content
CN116193108B (zh) 一种摄像头在线自校准方法、装置、设备及介质
US20100149319A1 (en) System for projecting three-dimensional images onto a two-dimensional screen and corresponding method
CN113706624A (zh) 相机外参修正方法、装置及车载环视***
KR20100104166A (ko) 카메라 캘리브레이션 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant