CN106163907A - 基于输入声音信号的影像存储装置及方法 - Google Patents

基于输入声音信号的影像存储装置及方法 Download PDF

Info

Publication number
CN106163907A
CN106163907A CN201580013569.4A CN201580013569A CN106163907A CN 106163907 A CN106163907 A CN 106163907A CN 201580013569 A CN201580013569 A CN 201580013569A CN 106163907 A CN106163907 A CN 106163907A
Authority
CN
China
Prior art keywords
sound
impact
audio signal
image
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580013569.4A
Other languages
English (en)
Other versions
CN106163907B (zh
Inventor
梁真荣
朴志勋
林镇延
庆宗旻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Center for Integrated Smart Sensors Foundation
Original Assignee
Center for Integrated Smart Sensors Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Center for Integrated Smart Sensors Foundation filed Critical Center for Integrated Smart Sensors Foundation
Publication of CN106163907A publication Critical patent/CN106163907A/zh
Application granted granted Critical
Publication of CN106163907B publication Critical patent/CN106163907B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/302—Detection related to theft or to other events relevant to anti-theft systems using recording means, e.g. black box
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D41/00—Fittings for identifying vehicles in case of collision; Fittings for marking or recording collision areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0136—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to actual contact with an obstacle, e.g. to vehicle deformation, bumper displacement or bumper velocity relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/32—Detection related to theft or to other events relevant to anti-theft systems of vehicle dynamic parameters, e.g. speed or acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D9/00—Recording measured values
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/0875—Registering performance data using magnetic data carriers
    • G07C5/0891—Video recorder in combination with video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Emergency Alarm Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明在汽车黑匣子除加速度传感器值之外附加输入有效的冲击事件声音时存储影像，包括：加速度传感器部，输出由冲击事件发生的加速度传感器值；话筒部，接收输入的由所述冲击事件发生的冲击声音；摄像头部，拍摄外部影像；及处理部，感知通过所述加速度传感器部的冲击事件，通过所述话筒部输入的冲击声音与预先设定存储的有效声音相应时，将以发生所述冲击事件的时点为基准在之前一定时间和之后一定时间期间通过摄像头部拍摄的影像存储于所述存储部。

Description

基于输入声音信号的影像存储装置及方法
技术领域
本发明涉及基于输入声音信号的影像存储装置及方法，更详细地，涉及一种在汽车黑匣子除加速度传感器值之外附加输入有效的冲击事件声音时存储影像的基于输入声音信号的影像存储装置及方法。
背景技术
一般而言，汽车黑匣子根据车辆发动状态分为行使模式、停车模式运转。
在行使模式下，以普通平时录像、平时冲击录像、手动录像等3种录像方式存储画面。
平时录像是以一定时间单位拍摄行使中的所有影像，并存储于平时录像文件夹的方式，平时冲击录像是在发生使用者设定的感度以上的冲击时，冲击时点(以下称为冲击事件)为基准，拍摄之前一定时间和之后一定时间的影像，并存储于平时冲击文件夹的方式，手动录像是按下特定按钮时，以按下按钮的时点为基准，拍摄之前一定时间和之后一定时间的影像，并存储于手动录像文件夹的方式。
在平时冲击录像中为了感知冲击事件，作为输入装置主要使用加速度传感器，冲击事件感知运算法是加速度传感器的X，Y，Z方向的加速度值的瞬间大小和最近一定时间期间平均大小的差异输出为使用者预先设定的感度以上的值时，称其为冲击事件。
使用加速度传感器的冲击事件感知运算法是判断瞬间加速度值是否成为设定值以上，因此，不仅在原先汽车黑匣子要感知的车辆的冲突等的有效的冲击事件(TruePositive)，而根据车辆行驶的道路环境对于因道路破损、限速带等发生的无需的事件和停车时开闭车门及关闭车厢时也发生无效的冲击事件(False Positive)。
在发生此类无效的事件时，将一定时间的录像影像存储于平时冲击文件夹，从而，使得有限大小的存储空间被无效的冲击事件影像文件占满，导致使用者难以找到实际有效的冲击事件，并且，继续存储实际上无需存储的较大影像文件，因此，缩短SD卡型的闪存(Flash Memory)的寿命。
并且，当无效的冲击事件增多而占满有限的大小的文件夹时，首先覆盖时间最长的影像文件，此时，可能覆盖有效的冲击事件。
[先行技术文献]
(专利文献1)韩国登录专利公报注册号第10-1015408号
发明内容
(一)要解决的技术问题
本发明为了解决上述的问题，提供一种基于输入声音信号的影像存储装置及方法，预先设定有效的冲击事件的有效声音和无效的冲击事件的无效声音后，在汽车黑匣子除加速度传感器值之外附加输入由冲击事件引起的冲击声音时，将所述冲击声音与有效声音及无效声音进行比较，如果与有效声音匹配时，以发生冲击事件的时点为基准，存储之前一定时间的影像和之后一定时间的影像，如果与无效声音匹配时，不存储影像，从而，在具有有限的存储空间的存储器能够存储更多量的影像。
(二)技术方案
为了实现上述目的，本发明的基于输入声音信号的影像存储装置，包括：加速度传感器部，输出由冲击事件发生的加速度传感器值；话筒部，接收输入的由所述冲击事件发生的冲击声音；摄像头部，拍摄外部影像；及处理部，感知通过所述加速度传感器部的冲击事件，通过所述话筒部输入的冲击声音与预先设定存储的有效声音相应时，将以发生所述冲击事件的时点为基准在之前一定时间和之后一定时间期间通过摄像头部拍摄的影像存储于所述存储部。
并且，包括：存储部，存储有包括预先设定的有效声音及无效声音的验证声音。
所述有效声音为与车辆事故有关的声音，所述无效声音为与车辆事故无关的声音。
所述处理部感知通过所述加速度传感器部的冲击事件，通过所述话筒部输入的冲击声音与预先设定存储的无效声音相应时，通过所述摄像头部拍摄的影像不存储于所述存储部。
所述处理部如果目前加速度传感器值与将之前加速度传感器值平均的平均值的差异大于预先设定的检测设定值，判定为冲击事件。
并且，为了达到上述目的，本发明的基于输入声音信号的影像存储方法，包括：(a)传感器比较步骤，处理部将通过加速度传感器部输入的目前的加速度传感器值与将之前加速度传感器值平均的平均值的差异，与预先设定的检测设定值进行比较；(b)声音比较步骤，所述传感器比较步骤中，如果目前的加速度传感器值与所述平均值的差异大于检测设定值，将通过话筒部输入的冲击事件的冲击声音与预先设定存储的验证声音进行比较；及(c)影像存储步骤，所述声音比较步骤中，如果所述冲击声音与所述验证声音中的有效声音匹配时，将以发生所述冲击事件的时点为基准之前一定时间和之后一定时间期间通过摄像头部拍摄的影像存储于存储部。
所述声音比较步骤之前，包括：声音检测步骤，从输入声音区分背景噪音；特征点提取步骤，除通过所述声音检测步骤区分的背景噪音之外的输入声音中提取特征点；及分类步骤，将通过所述特征点提取步骤提取特征点的输入声音分类为有效声音和无效声音，作为验证声音存储。
所述声音比较步骤，包括：声音检测步骤，从所述冲击声音区分背景噪音；特征点提取步骤，从除通过所述声音检测步骤区分的背景噪音之外的冲击声音中提取特征点；比较步骤，将通过所述特征点提取步骤提取的冲击声音的特征点与验证声音进行比较；及验证步骤，通过所述比较步骤验证冲击声音是否为验证声音中的有效声音或无效声音。
声音检测步骤中演算以30ms长度的帧单位形成的输入声音及冲击声音的对数能源，而区分背景噪音。
在特征点提取步骤，为了提取除背景噪音之外的输入声音及冲击声音的特征点，使用mel频率倒谱系数。
所述分类步骤中利用高斯混合模型而将提取特征点的输入声音分类为有效声音和无效声音。
所述比较步骤中演算提取特征点的冲击声音的最大对数似然值，与验证声音进行比较。
(三)有益效果
如以上说明的本发明的基于输入声音信号的影像存储装置及方法，预先设定根据有效的冲击事件的有效声音和根据无效的冲击事件的无效声音后，在汽车黑匣子除加速度传感器值之外被附加输入由冲击事件引起的冲击声音时，将所述冲击声音与有效声音及无效声音进行比较，如果与有效声音匹配时，以发生冲击事件的时点为基准，存储之前一定时间的影像和之后一定时间的影像，如果与无效声音匹配时，不存储影像，从而，在具有有限的存储空间的存储器能够存储更多量的影像。
附图说明
图1为图示根据本发明的一实施例的影像存储装置的框图；
图2为用于说明根据本发明的一实施例的有效声音及无效声音设定方法的流程图；
图3至图5为用于说明在根据本发明的一实施例的有效声音及无效声音设定方法中声音检测的示例图；
图6为用于说明根据本发明的一实施例的有效声音及无效声音设定方法中特征点提取的示例图；
图7至图9为用于说明根据本发明的一实施例的有效声音及无效声音设定方法中的分类过程的示例图；
图10为用于说明根据本发明的一实施例的加速度传感器值的示例图；
图11为用于说明根据本发明的一实施例的影像存储方法的流程图；
图12为用于说明根据本发明的一实施例的影像存储方法中是否为有效声音的流程图。
附图标记说明
100:处理部 200:话筒部
300:加速度传感器部 400:前方摄像头部
500:后方摄像头部
具体实施方式
以下，为了使得本发明的技术领域的普通技术人员容易地实施本发明，参照附图详细说明本发明的优选实施例。
图1为图示根据本发明的一实施例的影像存储装置的框图；图2为用于说明根据本发明的一实施例的有效声音及无效声音设定方法的流程图；图3至图5为用于说明在根据本发明的一实施例的有效声音及无效声音设定方法中声音检测的示例图；图6为用于说明根据本发明的一实施例的有效声音及无效声音设定方法中特征点提取的示例图；图7至图9为用于说明根据本发明的一实施例的有效声音及无效声音设定方法中的分类过程的示例图；图10为用于说明根据本发明的一实施例的加速度传感器值的示例图；图11为用于说明根据本发明的一实施例的影像存储方法的流程图；图12为用于说明根据本发明的一实施例的影像存储方法中是否为有效声音的流程图。
根据本发明的一实施例的基于输入声音信号的影像存储装置，包括：处理部100、话筒部200，加速度传感器部300、前方摄像头部400、后方摄像头部500、第2存储部700及扬声器部800。
向所述话筒部200输入因冲击事件发生的冲击声音。
所述加速度传感器部300输出因冲击事件发生的加速度传感器值。
所述前方摄像头400拍摄车辆的前方的外部影像，所述后方摄像头500拍摄车辆的后方的外部影像。
本发明的前方摄像头400支持Full HD级分辨率、后方摄像头500支持HD级分辨率。
车辆上除了所述前方摄像头400及后方摄像头500之外，还可形成有拍摄向左侧及右侧的外部影像的摄像头。
所述摄像头包括镜头模组、图像传感器模组、紫外线过滤器模组及图像信号处理模组(ISP)而形成。
所述第2存储部700可为SD卡形态的闪存。
所述第2存储部700中存储包括预先设定的有效声音及无效声音的验证声音。
所述处理部100包括CPU(llO)、视频编解码器(Video Codec；130)、SDRAM、LPDDR2、LPDDR3等临时存储器形态的第1存储部150而构成。
所述处理部100感知通过所述加速度传感器部300的冲击事件，并且，通过所述话筒部200输入的冲击声音与预先设定而存储的有效声音相应时，以发生所述冲击事件的时点为基准，将之前一定时间和之后一定时间期间通过前方摄像头400或后方摄像头500拍摄的影像存储于所述第2存储部700。
相反，所述处理部100通过所述加速度传感器部300感知冲击事件，并且，通过所述话筒部200输入的冲击声音与预先设定而存储的无效声音相应时，通过所述前方摄像头400或后方摄像头500拍摄的影像不存储于所述存储部。
所述扬声器部800的作用是在发生冲击事件时通过音响信号向使用者告知。
所述验证声音是预先设定而存储的，首先，通过话筒等接收输入的作为验证声音使用的声音S110。
可预先设定将要作为验证声音使用的有效声音及无效声音，分别输入。
例如，有效声音为冲撞声音、急刹车声音、尖叫等与车辆事故有关的声音，无效声音为车门开闭声音、车备箱关闭声音、限速带通过声音、通过声音、坑洞通过声音、大桥通过声音、车辆内噪音等与车辆事故无关的声音。
作为所述验证声音使用的有效声音及无效声音并非限定于上述的示例，可设定为不同种类。
如图3所示，作为验证声音使用的输入的声音以30ms长度的帧单位形成，如果10ms长度的一个帧被消除，则附加10ms长度的一个帧的形态形成。
然后，对于所述帧利用数学式1演算对数能源。
数学式1
在此，E为帧的对数能源，i为帧index，χ为输入信号，L为帧长度。
然后，如图4及图5所示，利用数学式2，区分背景噪音Β和有效声音及无效声音的对数能源L。
数学式2
BE(i)＝r·BE(i)+(l-r)E (i)
在此，BE为背景噪音能源、r为增益更新。
然后，如图6所示，为了提取除背景噪音之外的有效声音及无效声音的特征点P，使用mel频率倒谱系数(Mel-Frequency Cepstrum Coefficient)S120。
此时，可使用预加重(Pre emphasis)、开窗口(Windowing)、快速傅立叶变换(FFT)，Mel滤波器组(Mel Filter Bank)，对数压缩(Logarithmic Compression)、离散余弦变换(DCT)等通常的图案认知方法。
然后，将提取特征点的有效声音及无效声音利用高斯混合模型(Gaussianmixture model)分别分类为有效声音和无效声音S130。
作为参考，图7为表示混合物6个、1次反复的分类的示例，图8为表示混合物6个、300次反复的分类的示例，图9为表示混合物10个、300次反复的分类的示例。
然后，分别存储以有效声音和无效声音分类的输入声音，作为验证声音使用S140。
如上述地，预先设定验证声音而存储后，所述处理部100接收通过车辆的加速度传感器部300输入的目前的加速度传感器值S210。
如图10所示，可将坐标设定为向车辆的前方的方向为X，向车辆的侧面的方向为Y，向车辆的下部的方向为Z，并且，将向前方的加速度传感器值设为αχ，向侧面的加速度传感器值设为αy，向下部的加速度传感器值设为αζ。
并且，对于任意多个αχ的平均，对于任意多个αy的平均，对于任意多个αZ的平均分别存储为α'x，α'y及α'Z。
然后，如果目前未发生冲击事件S220，将目前的加速度传感器值与将以前加速度传感器值平均的平均值的差异，与预先设定的任意检测设定值Vth进行比较S230。
例如，如果αχ和α'χ的差异值的绝对值大于检测设定值Vth，表示向X方向发生了冲击事件，如果ay和α'y的差异值的绝对值大于检测设定值Vth，表示向Y方向发生了冲击事件，如果αZ和α'Z的差异值的绝对值大于检测设定值Vth，表示向Z方向发生了冲击事件。
相反，αχ和α'χ的差异值的绝对值小于或等于检测设定值Vth，ay和a'y的差异值的绝对值小于或等于检测设定值Vth，或αZ和α'Z的差异值的绝对值大于或等于检测设定值Vth，为未发生冲击事件的状态，各个αx，αy及αZ被用于更新平均值S270。
然后，如果判定为发生了冲击事件S240，将通过话筒部200输入的冲击事件的冲击声音与所述验证声音进行比较S250。
首先，被输入由冲击事件的冲击声音时S251，从冲击声音区分背景噪音S252，并从区分背景噪音的冲击声音提取特征点S253。
所述S251步骤至S253步骤与上述的S110步骤和S120步骤相同，因此，省略详细的说明。
然后，将提取特征点的冲击声音与验证声音进行比较S254。
可演算提取特征点的冲击声音的最大对数似然(MaximumLog-likelihood)值，与验证声音进行比较，然后，验证所述冲击声音是否为验证声音中的有效声音或无效声音S255。
然后，所述冲击声音与所述验证声音中的有效声音匹配时，将以发生所述冲击事件的时点为基准，之前一定时间和之后一定时间期间通过摄像头部拍摄的影像存储于第2存储部700(S260)。
表1为判定根据加速度值和有效声音及无效声音的影像存储与否的示例。
[表1]
如表1所示，在只使用加速度传感器的冲击事件判定附加冲击声音比较，从而，只有在输入有效声音的情况下，存储影像。
只使用以往加速度传感器时，将从车辆的侧面发生的加速度变化始终判定为侧面冲突，而发生了冲击事件，但，通过将冲击声音与验证声音进行比较，能够分为冲撞音和车门开闭声音，从而，能够判定影像的存储与否。
并且，对于轴的情况也相同地，将冲击声音与验证声音进行比较，区分为有效声音和无效声音，而能够判定影像的存储与否。
作为参考，如果χ轴，γ轴的加速度差异为大于Vth值，并αx为负数时，可判定为车辆要急刹车，此时，存储前方摄像头影像更具有意义，如果αx为正数，则为从后方发生了冲突，因此，存储后方摄像头影像更具有意义。
基于上述的输入声音信号而感知冲击事件的情况相同地，可附加基于输入影像信号而感知冲击事件的影像分类部(未图示)而判定冲击事件。
例如，如果在影像分类部作为有效影像存储有物体接近的状态的影像，将车辆发生的加速度变化与输入影像信号进行比较，被输入接近状态的影像时，将其判断为冲击事件并存储影像。
相反，在未输入接近状态的输入影像的状态下，车辆发生加速度变化时，判断为非冲击事件，不存储影像。
并且，将根据本发明的步骤S110至步骤S140，步骤S210至270及步骤S251至S255的基于输入声音信号的影像存储方法编成程序，并存储于CD-ROM，存储器，ROM，EEPROM等存储媒介，以便通过电脑读取。
以上的说明中提示了本发明的优选实施例，但，本发明并非限定于此，本发明的技术领域的普通技术人员在不脱离本发明的技术思想的范围内可进行各种更换、变形及变更。
工业上的利用性
本发明利用基于输入声音信号的影像存储装置，在汽车黑匣子除加速度传感器值之外附加输入因冲击事件的预先设定的冲击声音时，以发生冲击事件的时点为基准，存储之前一定时间的影像和之后一定时间的影像，从而，在具有有限的存储空间的存储器存储更多量的的影像。

Claims (13)

1.一种基于输入声音信号的影像存储装置，其特征在于，包括：
加速度传感器部(300)，输出由冲击事件发生的加速度传感器值；
话筒部(200)，接收输入的由所述冲击事件发生的冲击声音；
摄像头部，拍摄外部影像；及
处理部(100)，感知通过所述加速度传感器部(300)的冲击事件，通过所述话筒部(200)输入的冲击声音与预先设定存储的有效声音相应时，将以发生所述冲击事件的时点为基准在之前一定时间和之后一定时间期间通过摄像头部拍摄的影像存储于所述存储部。
2.根据权利要求1所述的基于输入声音信号的影像存储装置，其特征在于，包括：
存储部，存储有包括预先设定的有效声音及无效声音的验证声音。
3.根据权利要求2所述的基于输入声音信号的影像存储装置，其特征在于，
所述有效声音为与车辆事故有关的声音，所述无效声音为与车辆事故无关的声音。
4.根据权利要求2所述的基于输入声音信号的影像存储装置，其特征在于，
所述处理部(100)感知通过所述加速度传感器部(300)的冲击事件，通过所述话筒部(200)输入的冲击声音与预先设定存储的无效声音相应时，通过所述摄像头部拍摄的影像不存储于所述存储部。
5.根据权利要求1所述的基于输入声音信号的影像存储装置，其特征在于，
所述处理部(100)如果目前加速度传感器值与将之前加速度传感器值平均的平均值的差异大于预先设定的检测设定值，判定为冲击事件。
6.一种基于输入声音信号的影像存储方法，其特征在于，包括：
(a)传感器比较步骤，处理部(100)将通过加速度传感器部(300)输入的目前的加速度传感器值与将之前加速度传感器值平均的平均值的差异，与预先设定的检测设定值进行比较；
(b)声音比较步骤，所述传感器比较步骤中，如果目前的加速度传感器值与所述平均值的差异大于检测设定值，将通过话筒部(200)输入的冲击事件的冲击声音与预先设定存储的验证声音进行比较；及
(c)影像存储步骤，所述声音比较步骤中，如果所述冲击声音与所述验证声音中的有效声音匹配时，将以发生所述冲击事件的时点为基准之前一定时间和之后一定时间期间通过摄像头部拍摄的影像存储于存储部。
7.根据权利要求6所述的基于输入声音信号的影像存储方法，其特征在于，
所述声音比较步骤之前，包括：
声音检测步骤，从输入声音区分背景噪音；
特征点提取步骤，除通过所述声音检测步骤区分的背景噪音之外的输入声音中提取特征点；及
分类步骤，将通过所述特征点提取步骤提取特征点的输入声音分类为有效声音和无效声音，作为验证声音存储。
8.根据权利要求6所述的基于输入声音信号的影像存储方法，其特征在于，
所述声音比较步骤，包括：
声音检测步骤，从所述冲击声音区分背景噪音；
特征点提取步骤，从除通过所述声音检测步骤区分的背景噪音之外的冲击声音中提取特征点；
比较步骤，将通过所述特征点提取步骤提取的冲击声音的特征点与验证声音进行比较；及
验证步骤，通过所述比较步骤验证冲击声音是否为验证声音中的有效声音或无效声音。
9.根据权利要求7或8所述的基于输入声音信号的影像存储方法，其特征在于，
声音检测步骤中演算以30ms长度的帧单位形成的输入声音及冲击声音的对数能源，而区分背景噪音。
10.根据权利要求7或8所述的基于输入声音信号的影像存储方法，其特征在于，
在特征点提取步骤，为了提取除背景噪音之外的输入声音及冲击声音的特征点，使用mel频率倒谱系数。
11.根据权利要求7所述的基于输入声音信号的影像存储方法，其特征在于，
所述分类步骤中利用高斯混合模型而将提取特征点的输入声音分类为有效声音和无效声音。
12.根据权利要求8所述的基于输入声音信号的影像存储方法，其特征在于，
所述比较步骤中演算提取特征点的冲击声音的最大对数似然值，与验证声音进行比较。
13.一种记录有执行基于权利要求6至12中的某一项的输入声音信号的影像存储方法的程序，而能够通过电脑读取的记录媒体。
CN201580013569.4A 2014-03-13 2015-03-04 基于输入声音信号的影像存储装置及方法 Expired - Fee Related CN106163907B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020140029600A KR101573744B1 (ko) 2014-03-13 2014-03-13 입력 사운드 신호에 기반한 영상 저장장치 및 방법
KR10-2014-0029600 2014-03-13
PCT/KR2015/002084 WO2015137658A1 (ko) 2014-03-13 2015-03-04 입력 사운드 신호에 기반한 영상 저장장치 및 방법

Publications (2)

Publication Number Publication Date
CN106163907A true CN106163907A (zh) 2016-11-23
CN106163907B CN106163907B (zh) 2019-07-12

Family

ID=54072043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580013569.4A Expired - Fee Related CN106163907B (zh) 2014-03-13 2015-03-04 基于输入声音信号的影像存储装置及方法

Country Status (4)

Country Link
US (1) US10150447B2 (zh)
KR (1) KR101573744B1 (zh)
CN (1) CN106163907B (zh)
WO (1) WO2015137658A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112238819A (zh) * 2019-07-17 2021-01-19 现代自动车株式会社 用于记录车辆的行驶影像的装置及方法
CN113246894A (zh) * 2020-02-13 2021-08-13 宁波吉利汽车研究开发有限公司 一种车辆碰撞检测方法及装置
CN113246893A (zh) * 2020-02-13 2021-08-13 宁波吉利汽车研究开发有限公司 一种车辆碰撞处理方法及***

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016195128A1 (ko) * 2015-06-02 2016-12-08 재단법인 다차원 스마트 아이티 융합시스템 연구단 영상 저장 방법 및 이를 이용한 영상 저장 장치
KR102613071B1 (ko) * 2016-09-30 2023-12-15 팅크웨어(주) 음향센서 및 가속도센서에 기초하여 차량의 충격을 감지하는 방법 및 장치
US10462567B2 (en) 2016-10-11 2019-10-29 Ford Global Technologies, Llc Responding to HVAC-induced vehicle microphone buffeting
US10525921B2 (en) 2017-08-10 2020-01-07 Ford Global Technologies, Llc Monitoring windshield vibrations for vehicle collision detection
US10049654B1 (en) 2017-08-11 2018-08-14 Ford Global Technologies, Llc Accelerometer-based external sound monitoring
US10308225B2 (en) 2017-08-22 2019-06-04 Ford Global Technologies, Llc Accelerometer-based vehicle wiper blade monitoring
US10562449B2 (en) 2017-09-25 2020-02-18 Ford Global Technologies, Llc Accelerometer-based external sound monitoring during low speed maneuvers
US10479300B2 (en) 2017-10-06 2019-11-19 Ford Global Technologies, Llc Monitoring of vehicle window vibrations for voice-command recognition
IT201800010534A1 (it) * 2018-11-23 2020-05-23 Andrea Mungo Metodo ed apparato per la acquisizione e validazione di immagini
KR102610968B1 (ko) * 2021-12-28 2023-12-08 주식회사 뉴로센스 도로 내 포트홀의 유무 및 위험도와 종단 평탄성을 추정하고 기록하는 방법 및 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000079839A (ja) * 1998-06-24 2000-03-21 West Japan Railway Co 衝撃計測装置
US6186539B1 (en) * 1998-07-01 2001-02-13 Trw Inc. Method and apparatus for controlling an actuatable restraint device using crash severity indexing and crush zone sensor
JP2004099002A (ja) * 2002-09-11 2004-04-02 Takeshi Rokuroda 事故／事件直前状況記録システム
CN1811825A (zh) * 2005-01-21 2006-08-02 三洋电机株式会社 驾驶记录器及驾驶记录器的控制方法
US20100138040A1 (en) * 2007-01-18 2010-06-03 Korea Institute Of Science And Technology Apparatus for detecting user and method for detecting user by the same
KR20110121885A (ko) * 2010-05-03 2011-11-09 연세대학교 산학협력단 교통사고 인식장치 및 그 방법
KR20120103286A (ko) * 2011-03-10 2012-09-19 최길준 오디오 신호를 이용하여 차량에 대한 관심 대상 이벤트를 감지하기 위한 방법 및 장치
CN103569008A (zh) * 2012-07-19 2014-02-12 福兴达科技实业（深圳）有限公司 一种汽车紧急自动报警***及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4394780B2 (ja) * 1999-10-08 2010-01-06 クラリオン株式会社 移動体情報記録装置
KR101015408B1 (ko) 2009-06-12 2011-02-22 엠텍비젼 주식회사 운송 수단 관련 정보 저장 장치 및 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000079839A (ja) * 1998-06-24 2000-03-21 West Japan Railway Co 衝撃計測装置
US6186539B1 (en) * 1998-07-01 2001-02-13 Trw Inc. Method and apparatus for controlling an actuatable restraint device using crash severity indexing and crush zone sensor
JP2004099002A (ja) * 2002-09-11 2004-04-02 Takeshi Rokuroda 事故／事件直前状況記録システム
CN1811825A (zh) * 2005-01-21 2006-08-02 三洋电机株式会社 驾驶记录器及驾驶记录器的控制方法
US20100138040A1 (en) * 2007-01-18 2010-06-03 Korea Institute Of Science And Technology Apparatus for detecting user and method for detecting user by the same
KR20110121885A (ko) * 2010-05-03 2011-11-09 연세대학교 산학협력단 교통사고 인식장치 및 그 방법
KR20120103286A (ko) * 2011-03-10 2012-09-19 최길준 오디오 신호를 이용하여 차량에 대한 관심 대상 이벤트를 감지하기 위한 방법 및 장치
CN103569008A (zh) * 2012-07-19 2014-02-12 福兴达科技实业（深圳）有限公司 一种汽车紧急自动报警***及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112238819A (zh) * 2019-07-17 2021-01-19 现代自动车株式会社 用于记录车辆的行驶影像的装置及方法
CN113246894A (zh) * 2020-02-13 2021-08-13 宁波吉利汽车研究开发有限公司 一种车辆碰撞检测方法及装置
CN113246893A (zh) * 2020-02-13 2021-08-13 宁波吉利汽车研究开发有限公司 一种车辆碰撞处理方法及***

Also Published As

Publication number Publication date
KR101573744B1 (ko) 2015-12-14
KR20150107930A (ko) 2015-09-24
WO2015137658A1 (ko) 2015-09-17
US10150447B2 (en) 2018-12-11
CN106163907B (zh) 2019-07-12
US20170018127A1 (en) 2017-01-19

Similar Documents

Publication Publication Date Title
CN106163907A (zh) 基于输入声音信号的影像存储装置及方法
CN110832580B (zh) 重放攻击的检测
KR101917791B1 (ko) 핫 워드 인식
CN108280332B (zh) 移动终端的生物特征认证识别检测方法、装置和设备
US20150169943A1 (en) System, method and apparatus for biometric liveness detection
US10726863B2 (en) System and method for locating mobile noise source
US20140331313A1 (en) Authentication of signature using acoustic wave analysis
CN110767214A (zh) 语音识别方法及其装置和语音识别***
US9704495B2 (en) Modified mel filter bank structure using spectral characteristics for sound analysis
JP2009059257A5 (zh)
US20150215716A1 (en) Audio based system and method for in-vehicle context classification
CN106096519A (zh) 活体鉴别方法及装置
US20190206418A1 (en) Device and a method for classifying an acoustic environment
WO2021213490A1 (zh) 一种身份验证方法、装置和电子设备
CN111816185A (zh) 一种对混合语音中说话人的识别方法及装置
CN107274912A (zh) 一种手机录音的设备来源辨识方法
Korshunov et al. Joint operation of voice biometrics and presentation attack detection
CN113270112A (zh) 一种电子伪装语音自动判别与还原方法及***
Khan et al. Frame-to-Utterance Convergence: A Spectra-Temporal Approach for Unified Spoofing Detection
CN111370000A (zh) 声纹识别算法评估方法、***、移动终端及存储介质
TWM622203U (zh) 用於金融交易系統之聲紋辨識裝置
Ali et al. Low-key shallow learning voice spoofing detection system
Abdulrahman et al. A supervised learning classifier for replayed voice attack detection
CN105989838B (zh) 语音识别方法及装置
CN110321689A (zh) 一种基于响指的身份识别方法和***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190712

Termination date: 20200304