CN110133663B - 一种分布式声像联合校准定位方法 - Google Patents

一种分布式声像联合校准定位方法 Download PDF

Info

Publication number
CN110133663B
CN110133663B CN201910378075.6A CN201910378075A CN110133663B CN 110133663 B CN110133663 B CN 110133663B CN 201910378075 A CN201910378075 A CN 201910378075A CN 110133663 B CN110133663 B CN 110133663B
Authority
CN
China
Prior art keywords
camera
target
coordinate system
center
air sonar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910378075.6A
Other languages
English (en)
Other versions
CN110133663A (zh
Inventor
项彬
马石磊
陈建峰
蔺贝
李晓强
温洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lianfeng Acoustic Technologies Co ltd
Original Assignee
Lianfeng Acoustic Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lianfeng Acoustic Technologies Co ltd filed Critical Lianfeng Acoustic Technologies Co ltd
Priority to CN201910378075.6A priority Critical patent/CN110133663B/zh
Publication of CN110133663A publication Critical patent/CN110133663A/zh
Application granted granted Critical
Publication of CN110133663B publication Critical patent/CN110133663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明提供了一种分布式声像联合校准定位方法，将摄像机与空气声呐等高度安装在马路上方，确定空气声呐与摄像机中心的距离，构建以空气声呐阵列中心以及摄像机视频中心为原点的三维直角坐标系；通过空气声呐确定目标在空气声呐坐标系中的位置坐标，通过两原点横向水平距离和反三角函数公式计算在摄像机坐标系下目标与水平面和铅锤面的夹角；根据摄像机参数计算目标在摄像机画面中对应的像素坐标；通过像素坐标将声源目标位置反映在摄像机画面中，实现声像联合校准定位。本发明能够实现对城市视觉和听觉的结合，为智能交通及智能城市的发展提供足够的技术支撑。

Description

一种分布式声像联合校准定位方法
技术领域
本发明属于信号处理领域，涉及声呐波束形成、声信号检测、声像联合、目标定位等理论。
背景技术
随着社会科技的进步，摄像机和空气声呐逐渐在交通、安防、环保等社会领域发挥越来越重要的作用。通过摄像机和空气声呐联合工作，对视频图像和实时音频的结合及联合校准，实现对发声目标在视频图像中的准确定位。
空气声呐一般是由多个高精度麦克风模块组成的麦克风阵列，具有声学定位、声音识别、声音增强等功能。自上世纪80年代以来，阵列信号处理技术被广泛的应用于声源被动定位的研究，但声音定位效果由于较为抽象，无法直观的表现在现有的城市感官设备中，因此需要与摄像机***联合使用才能更直观的反映声源的具***置。
目前声呐定位和视频尚无较好的联合校准方法，实际应用中空气声呐与摄像机分布式安装，由于空气声呐与摄像机中心原点不重合，导致空气声呐定位效果难以准确映射到摄像机画面，需要人为在视频图像中进行换算标记，且精度不够准确，无法实现自动精确联合定位。
发明内容
为了克服现有技术的不足，本发明提供一种分布式声像联合校准方法，实现对城市视觉和听觉的结合，为智能交通及智能城市的发展提供足够的技术支撑，对于城市中车辆目标准确定位的发展与实际工程应用有重大意义。
本发明解决其技术问题所采用的技术方案包括以下步骤：将摄像机与空气声呐等高度安装在马路上方，确定空气声呐与摄像机中心的距离，构建以空气声呐阵列中心以及摄像机视频中心为原点的三维直角坐标系；通过空气声呐确定目标在空气声呐坐标系中的位置坐标，通过两原点横向水平距离和反三角函数公式计算在摄像机坐标系下目标与水平面和铅锤面的夹角；根据摄像机参数计算目标在摄像机画面中对应的像素坐标；通过像素坐标将声源目标位置反映在摄像机画面中，实现声像联合校准定位。
将本发明的步骤展开，具体包括以下内容：
第一步，将摄像机安装于马路上方横向中心位置，空气声呐与摄像机等高度安装，分别以空气声呐阵列中心与摄像机视频中心为原点建立三维直角坐标系o1和o2，两个原点的横向水平距离为d；
第二步，通过空气声呐被动定位确定目标s在空气声呐坐标系o1中与水平面的夹角α、与安装杆垂直面的夹角β，并通过三角函数计算目标在空气声呐坐标系中的位置坐标(a，b，h)，其中，
Figure GDA0002114889350000021
h为安装杆的高度；
第三步，求出目标在摄像机坐标系中与水平面的夹角
Figure GDA0002114889350000022
以及与安装杆垂直面的夹角
Figure GDA0002114889350000023
第四步，确定摄像机的画面像素大小为m×n，调整摄像机的视场角为θ，测量摄像机视场内的底边距离监控杆件的距离为d1；
第五步，计算目标在摄像机画面中Y轴像素坐标
Figure GDA0002114889350000024
和在X轴像素坐标
Figure GDA0002114889350000025
式中xl为X轴上中心距离左侧马路边界的像素距离，xr为中心距离右侧马路边界的像素距离，马路边界在画面中的像素位置可表示为一条直线，kl为左边边界在该坐标系下的斜率，kr为右侧边界在该坐标系下的斜率；
第六步，通过像素坐标确定将声源目标位置反映在图像上，实现声像联合校准定位。
本发明的有益效果是：能够精准定位声源目标在摄像机所成图像中的位置，方法简单实用，该方法可以将马路上的各类声信号目标实时反映在摄像机的图像中，可用于违法鸣笛车辆定位、可疑目标定位、环境噪声监测等领域，对于建立智能交通、完善城市安防、建设智慧城市等具有深远意义，推动了被动定位技术在交通、安防、监控等领域的应用与发展。
附图说明
图1是本发明的方法流程示意框图；
图2是空气声呐与摄像机安装位置示意图；
图3是摄像机安装示意图；
图4是监控画面显示示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
针对实际应用中当空气声呐与摄像机分布式安装时，空气声呐与摄像机中心原点不重合，导致空气声呐定位效果难以准确映射到摄像机画面的问题，本发明提出一种分布式声像定位联合校准方法，该方法在已知空气声呐中心原点位置与摄像机安装位置的条件下，通过对摄像机画面的与声目标实际位置的标定校准，可以快速将空气声呐定位角度映射到摄像机画面所对应的像素点上，该点位可以真实反映摄像机监控区域内声源的具***置，实现对马路上车辆等声源目标自动精确联合定位。
如图1所示，本发明提出的一种分布式声像联合校准方法，主要步骤如下：
第一步：确定空气声呐与摄像机中心的距离
如图2所示，摄像机与空气声呐采用分布式安装，摄像机安装于马路横向中心位置，空气声呐位于摄像机旁边，分别以空气声呐阵列中心与摄像机视频中心为原点建立三维直角坐标系分别为o1和o2，两个原点的横向水平距离为d。
第二步：空气声呐定位
通过空气声呐被动定位确定目标s在空气声呐坐标系o1中与水平面的夹角α、与安装杆垂直面的夹角β，并通过三角函数计算目标在空气声呐坐标系中的位置坐标(a，b，h)
Figure GDA0002114889350000031
Figure GDA0002114889350000032
其中h为安装杆的高度，也就是目标的z轴坐标。
第三步：计算在摄像机坐标系下目标的夹角
摄像机与空气声呐安装在同一高度h，通过两原点横向水平距离和反三角函数公式，求出目标在摄像机坐标系中与水平面的夹角α1和与安装杆垂直面的夹角β1：
Figure GDA0002114889350000033
Figure GDA0002114889350000041
式中d为两个坐标系原点的横向水平距离。
第四步：确定摄像机的参数
摄像机画面像素大小为m×n，调整摄像机的视场角为θ，测量摄像机视场内的底边距离监控杆件的距离为d1，具体如图3所示。
第五步：计算目标在摄像机画面中对应的像素位置
如图4所示，目标在画面中Y轴上的对应的像素位置：
Figure GDA0002114889350000042
目标在X轴方向的像素坐标可表示为：
Figure GDA0002114889350000043
式中xl为X轴上中心距离左侧马路边界的像素距离，xr为中心距离右侧马路边界的像素距离，马路边界在画面中的像素位置可表示为一条直线，kl为左边边界在该坐标系下的斜率，kr为右侧边界在该坐标系下的斜率。
第六步：声像联合定位
通过像素坐标确定将声源目标位置反映在图像上，实现声像联合校准定位。
本发明的实施例包括以下步骤：
第一步：确定空气声呐与摄像机中心的距离
摄像机与空气声呐采用分布式安装，摄像机安装于马路横向中心位置，空气声呐位于摄像机旁边，分别以空气声呐阵列中心与摄像机视频中心为原点建立三维直角坐标系分别为o1和o2，两个原点的横向水平距离为d。
在该坐标系下对于马路上任何一点s，都与空气声呐与摄像机坐标系有唯一对应点。在三维坐标系下，马路平面上任意一点s与原点o连线的向量为
Figure GDA0002114889350000044
则向量
Figure GDA0002114889350000045
在平面Y0OOZO的投影为
Figure GDA0002114889350000046
则向量
Figure GDA0002114889350000047
在平面X0OOZO的投影为
Figure GDA0002114889350000048
定义，
Figure GDA0002114889350000049
与y轴的夹角为α，
Figure GDA00021148893500000410
与x轴的夹角为β，则通过α、β就可以唯一确认一点s。
第二步：空气声呐定位
通过空气声呐被动定位确定目标s在空气声呐坐标系o1中与水平面的夹角α、和与安装杆垂直面的夹角β。并通过三角函数计算目标在空气声呐坐标系中的位置坐标(a，b，h)
Figure GDA0002114889350000051
Figure GDA0002114889350000052
其中h为安装杆的高度，也就是目标的z轴坐标。
第三步：计算在摄像机坐标系下目标的夹角
摄像机与空气声呐安装在同一高度h，通过两原点横向水平距离和反三角函数公式，求出目标在摄像机坐标系中与水平面的夹角α1和与安装杆垂直面的夹角β1：
Figure GDA0002114889350000053
Figure GDA0002114889350000054
式中d为两个坐标系原点的横向水平距离。
第四步：确定摄像机的参数
摄像机画面像素大小为m×n，调整摄像机的视场角为θ，测量摄像机视场内的底边距离监控杆件的距离为d1，具体如图3所示：
第五步：计算目标在摄像机画面中对应的像素位置：
由于摄像机画面的像素与视场角之间是一一对应的，对于摄像机坐标系下给定的任意目标位置，可确定该目标在画面中Y轴上的对应的像素位置：
Figure GDA0002114889350000055
在X轴方向，角度与像素不是一一对应的，但距离与角度是一一对应的，假设sl表示马路左侧边界距离Y轴的实际距离，sr表示马路右侧边界距离Y轴的实际距离，则在摄像机画面中马路左侧边界在摄像机坐标系下可表示为一条垂直X轴的直线：
x＝sl
马路右侧边界也可以表示为一条垂直X轴的直线
x＝-sr
在摄像机马路监控画面中重新建立起如图4所示的坐标系，此时目标在画面中Y轴对应的像素位置转化为：
n11＝n-n1
假设摄像机画面的中心为O，画面中X轴上中心距离左侧马路边界的像素距离为xl，中心距离右侧马路边界的像素距离为xr，可以看出马路边界在画面中的像素位置可表示为一条直线，左边边界在该坐标系下的斜率为kl，右侧边界在该坐标系下的斜率为kr。
左侧X轴上像素边界可表示为：
y＝kl×x+b b＝-kl×xl
右侧X轴上像素边界可表示为：
y＝kr×x+b b＝-kr×xr
X轴画面中心距离左侧马路边界的像素距离xl，距离右侧马路边界的像素距离xr，左边边界斜率kl，右边边界斜率kr，都可以在摄像机画面上标定获取。
在已知Y轴像素位置n1的条件下，则可以求得此时马路边界的实际像素距离。
左侧边界距离Xleft表示为：
Figure GDA0002114889350000061
右侧边界距离Xright表示为：
Figure GDA0002114889350000062
当目标s在摄像机坐标系下的坐标为(a-d，b，h)，在X轴方向的像素坐标可表示为：
Figure GDA0002114889350000063
即：
Figure GDA0002114889350000064
第六步：声像联合定位
通过像素坐标确定将声源目标位置反映在图像上，实现声像联合校准定位。

Claims (2)

1.一种分布式声像联合校准定位方法，其特征在于包括以下步骤：将摄像机与空气声呐等高度安装在马路上方，确定空气声呐与摄像机中心的距离，构建以空气声呐阵列中心以及摄像机视频中心为原点的三维直角坐标系；通过空气声呐确定目标在空气声呐坐标系中的位置坐标，通过两原点横向水平距离和反三角函数公式计算在摄像机坐标系下目标与水平面和铅锤面的夹角；根据摄像机参数计算目标在摄像机画面中对应的像素坐标；通过像素坐标将声源目标位置反映在摄像机画面中，实现声像联合校准定位。
2.根据权利要求1所述的分布式声像联合校准定位方法，其特征在于包括下述步骤：
第一步，将摄像机安装于马路上方横向中心位置，空气声呐与摄像机等高度安装，分别以空气声呐阵列中心与摄像机视频中心为原点建立三维直角坐标系o1和o2，两个原点的横向水平距离为d；
第二步，通过空气声呐被动定位确定目标s在空气声呐坐标系o1中与水平面的夹角α、与安装杆垂直面的夹角β，并通过三角函数计算目标在空气声呐坐标系中的位置坐标(a，b，h)，其中，
Figure FDA0003948718890000011
h为安装杆的高度；
第三步，求出目标在摄像机坐标系中与水平面的夹角
Figure FDA0003948718890000012
以及与安装杆垂直面的夹角
Figure FDA0003948718890000013
第四步，确定摄像机的画面像素大小为m×m，调整摄像机的视场角为θ，测量摄像机视场内的底边距离监控杆件的距离为d1；
第五步，计算目标在摄像机画面中Y轴像素坐标
Figure FDA0003948718890000014
和在X轴像素坐标
Figure FDA0003948718890000015
式中xl为X轴上中心距离左侧马路边界的像素距离，xr为中心距离右侧马路边界的像素距离，马路边界在画面中的像素位置可表示为一条直线，kl为左边边界在该坐标系下的斜率，kr为右侧边界在该坐标系下的斜率，n11为目标在画面中Y轴上的对应的像素位置，sl表示马路左侧边界距离Y轴的实际距离，sr表示马路右侧边界距离Y轴的实际距离；
第六步，通过像素坐标确定将声源目标位置反映在图像上，实现声像联合校准定位。
CN201910378075.6A 2019-05-08 2019-05-08 一种分布式声像联合校准定位方法 Active CN110133663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910378075.6A CN110133663B (zh) 2019-05-08 2019-05-08 一种分布式声像联合校准定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910378075.6A CN110133663B (zh) 2019-05-08 2019-05-08 一种分布式声像联合校准定位方法

Publications (2)

Publication Number Publication Date
CN110133663A CN110133663A (zh) 2019-08-16
CN110133663B true CN110133663B (zh) 2023-03-10

Family

ID=67576474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910378075.6A Active CN110133663B (zh) 2019-05-08 2019-05-08 一种分布式声像联合校准定位方法

Country Status (1)

Country Link
CN (1) CN110133663B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110441737B (zh) * 2019-08-26 2023-02-24 上海声茵科技有限公司 一种采用鱼眼镜头的声源定位方法及其设备
CN110672313B (zh) * 2019-10-22 2021-06-01 上海声茵科技有限公司 一种基于声音信号的故障诊断方法及其设备
CN110807901B (zh) * 2019-11-08 2021-08-03 西安联丰迅声信息科技有限责任公司 一种非接触式工业异常声音检测方法
CN111915918A (zh) * 2020-06-19 2020-11-10 中国计量大学 一种基于动态特性的汽车鸣笛抓拍装置现场校准***及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101333A (zh) * 2006-07-06 2008-01-09 三星电子株式会社 用于产生行进车辆的驾驶员辅助信息的设备和方法
CN101359043A (zh) * 2008-09-05 2009-02-04 清华大学 一种声学摄像机***中声场重建平面的确定方法
CN106886017A (zh) * 2017-01-11 2017-06-23 浙江大学 基于双频识别声呐的水下目标空间位置计算方法
CN108051007A (zh) * 2017-10-30 2018-05-18 上海神添实业有限公司 基于超声波组网和立体视觉的agv导航定位方法
JP2018189463A (ja) * 2017-05-01 2018-11-29 株式会社Ｓｏｋｅｎ 車両位置推定装置及びプログラム
CN109479088A (zh) * 2017-06-02 2019-03-15 深圳市大疆创新科技有限公司 基于深度机器学习和激光雷达进行多目标跟踪和自动聚焦的***和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101333A (zh) * 2006-07-06 2008-01-09 三星电子株式会社 用于产生行进车辆的驾驶员辅助信息的设备和方法
CN101359043A (zh) * 2008-09-05 2009-02-04 清华大学 一种声学摄像机***中声场重建平面的确定方法
CN106886017A (zh) * 2017-01-11 2017-06-23 浙江大学 基于双频识别声呐的水下目标空间位置计算方法
JP2018189463A (ja) * 2017-05-01 2018-11-29 株式会社Ｓｏｋｅｎ 車両位置推定装置及びプログラム
CN109479088A (zh) * 2017-06-02 2019-03-15 深圳市大疆创新科技有限公司 基于深度机器学习和激光雷达进行多目标跟踪和自动聚焦的***和方法
CN108051007A (zh) * 2017-10-30 2018-05-18 上海神添实业有限公司 基于超声波组网和立体视觉的agv导航定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于计算机视觉的目标二维坐标定位实现;贺静;《现代计算机(专业版)》;20120525(第15期);第18-20页 *

Also Published As

Publication number Publication date
CN110133663A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN110133663B (zh) 一种分布式声像联合校准定位方法
US12033388B2 (en) Positioning method, apparatus, device, and computer-readable storage medium
WO2018196391A1 (zh) 一种车载摄像机的外部参数标定方法及装置
JP3906194B2 (ja) キャリブレーション方法、キャリブレーション支援装置、キャリブレーション装置およびカメラシステムの製造方法
US20180003498A1 (en) Visual positioning system and method based on high reflective infrared identification
CN104809718B (zh) 一种车载摄像头自动匹配标定方法
CN111508027B (zh) 摄像机外参标定的方法和装置
CN104064055B (zh) 一种内河通航船舶超高检测预警***及其工作方法
JP6260891B2 (ja) 画像処理装置および画像処理方法
JP2014098683A (ja) 遠距離クラック測量方法
CN108221603A (zh) 一种道路的路面三维信息检测装置、方法及***
CN106651990A (zh) 一种室内地图构建方法及基于室内地图的室内定位方法
JP4619962B2 (ja) 路面標示計測システム、白線モデル計測システムおよび白線モデル計測装置
JP2012075060A (ja) 画像処理装置及びそれを用いた撮像装置
CN112967344B (zh) 相机外参标定的方法、设备、存储介质及程序产品
CN113223075A (zh) 一种基于双目摄像头式的船舶高度测量***及方法
CN109375195A (zh) 一种基于正交法向量的多线激光雷达外参数快速标定方法
KR20200083301A (ko) 이동하는 오브젝트 센서의 정렬을 교정하기 위한 방법
CN110645973A (zh) 车辆定位方法
TW201329426A (zh) 鏡頭檢測裝置及檢測方法
CN103278104B (zh) 一种用于dic测量的双相机***的标定板及其标定方法
CN108682161B (zh) 确认车辆鸣笛的方法和***
CN111538008B (zh) 变换矩阵确定方法、***及装置
CN112598756B (zh) 路边传感器标定方法、装置和电子设备
CN103884332B (zh) 一种障碍物判定方法、装置及移动电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Distributed Audio Image Joint Calibration and Localization Method

Granted publication date: 20230310

Pledgee: Xi'an Caijin Financing Guarantee Co.,Ltd.

Pledgor: LIANFENG ACOUSTIC TECHNOLOGIES Co.,Ltd.

Registration number: Y2024980011038