KR102094405B1

KR102094405B1 - Method and apparatus for determining an accident using an image

Info

Publication number: KR102094405B1
Application number: KR1020180076104A
Authority: KR
Inventors: 이재민; 전도영
Original assignee: 주식회사 대성엘텍
Priority date: 2018-06-29
Filing date: 2018-06-29
Publication date: 2020-04-13
Also published as: KR20200002515A

Abstract

일 실시 예에 따른 영상을 이용한 사고 유무를 판단하는 방법에 있어서, 차량 내의 복수의 카메라들에 의해 촬영 가능한 영역을 설정하고, 설정된 촬영 가능한 영역 내에 소정의 객체가 존재하는지 판단하고, 차량이 주행 또는 주차 상태인지 여부와, 존재한 객체의 유형을 기초로 사고 유무를 판단하고, 상기 판단결과에 따라 소정의 장면을 촬영한 영상을 기록함으로써, 충격 감지 센서 없이도, 사고 영상 유무를 정확하게 판단할 수 있다.In a method for determining the presence or absence of an accident using an image according to an embodiment, a region that can be photographed by a plurality of cameras in a vehicle is set, and it is determined whether a predetermined object exists in the set region that can be photographed and the vehicle is running It is possible to accurately determine the presence or absence of an accident image without an impact detection sensor by determining whether an accident is based on whether the vehicle is in a parking state and the type of an object that exists, and recording an image photographing a predetermined scene according to the determination result. .

Description

영상을 이용한 사고 유무 판단 방법 및 장치{Method and apparatus for determining an accident using an image}{Method and apparatus for determining an accident using an image}

실시 예들은 영상을 이용한 사고 유무 판단 방법 및 장치에 관한 것이다.Embodiments relate to a method and apparatus for determining the presence or absence of an accident using an image.

자동차 산업 인프라의 발달로 자동차 사용 인구는 지속적으로 증가하고 있으며, 이에 따른 자동차 사고도 매년 증가하고 있다. 자동차 사고는 개인 및 사회의 비용손실과 즉결되므로 많은 운전자가 자동차용 블랙박스(또는 사고영상기록장치)를 구입하여 장착하고 있다. 이런 자동차용 블랙박스는 교통사고 시점의 영상을 저장 및 재생하므로 정확한 사고원인을 규명하는데 활용되고 교통사고를 예방하는 효과가 있다. 그러나 그 이면에 자동차용 블랙박스는 자동차가 운행될 때마다 영상을 촬영하고 저장되기 때문에 의도되지 않은 개인의 사생활이 노출될 수 있으며 또한 저장된 사고 영상 데이터를 의도적으로 조작하여 교통사고의 원인규명을 방해하는 문제가 발생하기도 한다.Due to the development of the automobile industry infrastructure, the automobile use population is steadily increasing, and the number of automobile accidents is increasing every year. Since automobile accidents are directly related to the cost loss of individuals and society, many drivers purchase and install a black box (or accident video recorder) for automobiles. Such a car black box stores and reproduces images at the time of a traffic accident, so it is used to identify the exact cause of the accident and has the effect of preventing a traffic accident. However, since the black box for automobiles is used to record and store images whenever the vehicle is operated, unintentional personal privacy may be exposed, and it is also intentional to manipulate the stored accident image data to obstruct the cause of traffic accidents. Some problems occur.

일반적으로, 블랙박스가 사고 영상을 기록하는 방식은, 주행 중 또는 주차 중 모든 영상을 저장하는 것이 아니라, 충격감지센서에서 일정한 충격 이상을 감지한 타이밍에 상응하는 영상을 저장하는 것이다. 이 경우, 충격감지센서의 오류, 또는 사고 상황이 아닌, 예를 들면 방지 턱을 넘는 경우에도 사고로 판단하여 영상을 기록하여 많은 양의 영상들이 촬영되어 보존되었다는 문제점이 있었다. 또한, 사고 영상 또는 사고 순간을 찾아보기 위해 많은 영상을 검색해야만 한다는 문제점이 있었다. In general, the method in which the black box records the accident image is not storing all the images while driving or parking, but storing the images corresponding to the timing at which the shock detection sensor detects a certain shock abnormality. In this case, there was a problem in that a large amount of images were captured and preserved by recording an image by judging as an accident even when the impact detection sensor is not in error or an accident situation, for example, when the prevention jaw is exceeded. In addition, there is a problem that many images must be searched to find an accident image or an accident moment.

[선행기술문헌번호][Previous technical literature number]

선행 1: 한국공개특허 제2015-0146071호Antecedent 1: Korean Patent Publication No. 2015-0146071

선행 2: 한국공개특허 제2015-0002994호Predecessor 2: Korean Patent Publication No. 2015-0002994

선행 3: 한국등록특허 제10-0820459호Advance 3: Korean Registered Patent No. 10-0820459

실시 예들은 영상을 이용한 사고 유무 판단 방법 및 장치를 제공하는 것이다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.Embodiments provide a method and apparatus for determining the presence or absence of an accident using an image. In addition, it is to provide a recording medium readable by a computer recording a program for executing the method on a computer. The technical problem to be solved is not limited to the technical problems as described above, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시 예에 따른 영상을 이용한 사고 유무를 판단하는 방법에 있어서, 영상을 이용한 사고 유무를 판단하는 방법에 있어서, 차량 내의 복수의 카메라들에 의해 촬영 가능한 영역을 설정하는 단계; 상기 설정된 촬영 가능한 영역 내에 소정의 객체가 존재하는지 판단하는 단계; 상기 차량이 주행 또는 주차 상태인지 여부와, 상기 존재한 객체의 유형을 기초로 사고 유무를 판단하는 단계; 및 상기 차량이 주행 또는 주차 상태인지 여부와 상기 존재한 객체의 유형을 판단한 결과에 따라 소정의 장면을 촬영한 영상을 기록하는 단계를 포함하고,
상기 기록 단계는, 상기 차량이 주행 중인 경우, 상기 존재한 객체가 사람인지 인식하고, 상기 존재한 객체가 사람인 경우, 상기 촬영한 영상을 기록하고, 상기 차량이 주행 중이고, 상기 존재한 객체가 다른 차량인 경우, 상기 촬영한 영상을 기록하지 않고, 상기 차량 또는 다른 차량이 각각의 주행차선을 이탈하는 경우, 상기 촬영한 영상을 기록하는 것을 특징으로 한다.As a technical means for achieving the above-described technical problem, in a method for determining the presence or absence of an accident using an image according to an embodiment, in the method for determining the presence or absence of an accident using an image, photographed by a plurality of cameras in a vehicle Setting a possible area; Determining whether a predetermined object exists in the set photographable area; Determining whether the vehicle is in a driving or parking state and whether there is an accident based on the type of the existing object; And recording an image of a predetermined scene according to whether the vehicle is in a driving or parking state and a result of determining the type of the object.
In the recording step, when the vehicle is driving, it recognizes that the existing object is a person, and when the existing object is a person, records the captured image, the vehicle is driving, and the existing object is different In the case of a vehicle, it is characterized in that the photographed image is recorded when the photographed image is not recorded and the vehicle or another vehicle leaves each lane.

삭제delete

상기 기록 단계는, 상기 차량이 주차된 상태이고, 상기 존재하는 객체가 다른 차량이고, 상기 다른 차량이 이동하는 경우, 상기 촬영한 영상을 기록하는 것을 특징으로 한다.The recording step is characterized in that when the vehicle is parked, the existing object is another vehicle, and the other vehicle moves, the captured image is recorded.

상기 기록 단계는, 상기 차량이 주차된 상태이고, 상기 존재하는 객체가 사람인 경우, 상기 촬영한 영상을 기록하는 것을 특징으로 한다.In the recording step, when the vehicle is parked and the existing object is a person, the captured image is recorded.

상기 영상을 이용한 사고 유무 판단 방법은 상기 기록된 영상을 표시하는 단계를 더 포함하고, 상기 표시 단계는, 상기 기록된 영상이 적어도 2개인 경우, 상기 차량에 근접한 영상의 순서로 표시하는 것을 특징으로 한다.The method for determining the presence or absence of an accident using the image may further include displaying the recorded image, and in the case of at least two recorded images, displaying the recorded image in the order of images close to the vehicle. do.

상기 영상을 이용한 사고 유무 판단 방법은 상기 기록된 영상을 기초로 입체 영상을 생성하는 단계를 더 포함하는 것을 특징으로 한다.The method for determining the presence or absence of an accident using the image may further include generating a stereoscopic image based on the recorded image.

상기 영상을 이용한 사고 유무 판단 방법은 상기 기록된 영상을 삭제하는 경우, 사용자 정보를 확인하는 단계를 더 포함하는 것을 특징으로 한다.The method for determining the presence or absence of an accident using the image may further include checking user information when the recorded image is deleted.

상기 영상을 이용한 사고 유무 판단 방법은 상기 차량의 차속 정보를 기초로, 상기 설정된 촬영 가능한 영역 내의 다른 차량의 차속 정보를 계산하는 단계를 더 포함하고, 상기 기록 단계는, 상기 촬영한 영상에 부가정보로서, 상기 계산된 차속 정보를 함께 기록하는 것을 특징으로 한다.The method for determining the presence or absence of an accident using the image further includes calculating vehicle speed information of another vehicle in the set recordable area based on the vehicle speed information of the vehicle, and the recording step includes additional information on the captured image. It is characterized by recording the calculated vehicle speed information together.

다른 실시 예에 따른 영상을 이용한 사고 유무를 판단하는 장치에 있어서, 복수의 카메라; 메모리; 및 프로세서를 포함하고,
상기 프로세서는, 차량 내의 복수의 카메라에 의해 촬영 가능한 영역을 설정하고, 상기 설정된 촬영 가능한 영역 내에 소정의 객체가 존재하는지 판단하고, 상기 차량이 주행 또는 주차 상태인지 여부와, 상기 존재한 객체의 유형을 기초로 사고 유무를 판단하고, 상기 판단결과에 따라 소정의 장면을 촬영한 영상을 상기 메모리에 기록하고, 상기 차량이 주행 중인 경우, 상기 존재한 객체가 사람인지 인식하고, 상기 존재한 객체가 사람인 경우, 상기 촬영한 영상을 기록하고, 상기 차량이 주행 중이고, 상기 존재한 객체가 다른 차량인 경우, 상기 촬영한 영상을 기록하지 않고, 상기 차량 또는 다른 차량이 각각의 주행차선을 이탈하는 경우, 상기 촬영한 영상을 기록하는 것을 특징으로 한다.
또 다른 실시 예에 따른 상기 영상을 이용한 사고 유무 판단 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다. An apparatus for determining the presence or absence of an accident using an image according to another embodiment, comprising: a plurality of cameras; Memory; And a processor,
The processor sets a region that can be photographed by a plurality of cameras in a vehicle, determines whether a predetermined object exists in the set photographable region, whether the vehicle is in a driving or parking state, and the type of the object that exists Based on the determination of the presence or absence of an accident, and recording an image of a predetermined scene according to the determination result in the memory, when the vehicle is driving, recognizes whether the existing object is a person, and the existing object In the case of a person, if the recorded image is recorded, and the vehicle is driving, and the existing object is another vehicle, the recorded image is not recorded, and the vehicle or another vehicle leaves each driving lane , Recording the captured image.
It includes a recording medium recording a program for executing a method for determining the presence or absence of an accident using the video according to another embodiment.

삭제delete

도 1은 차량의 내부 블록 도이다.
도 2는 도 1에 도시된 차량 운전 보조 시스템(ADAS)의 블록 도이다.
도 3은 일 실시 예에 따른 영상을 이용한 사고 유무 판단 장치의 개략 도이다.
도 4는 도시된 제어부(300)의 구체적인 블록 도이다.
도 5 내지 11은 다른 실시 예에 따른 영상을 이용한 사고 유무 판단 방법을 설명하기 위한 예시 도들이다. 1 is an internal block diagram of a vehicle.
FIG. 2 is a block diagram of the vehicle driving assistance system (ADAS) shown in FIG. 1.
3 is a schematic diagram of an apparatus for determining whether an accident has occurred using an image according to an embodiment.
4 is a detailed block diagram of the illustrated control unit 300.
5 to 11 are exemplary views for explaining a method for determining the presence or absence of an accident using an image according to another embodiment.

본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.The phrases “in some embodiments” or “in an embodiment” appearing in various places in the specification are not necessarily all referring to the same embodiment.

본 개시의 일부 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “메커니즘”, “요소”, “수단” 및 “구성” 등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.Some embodiments of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented with various numbers of hardware and / or software configurations that perform particular functions. For example, the functional blocks of the present disclosure can be implemented by one or more microprocessors, or by circuit configurations for a given function. Also, for example, functional blocks of the present disclosure may be implemented in various programming or scripting languages. The functional blocks can be implemented with algorithms running on one or more processors. In addition, the present disclosure may employ conventional techniques for electronic environment setting, signal processing, and / or data processing. Terms such as “mechanism”, “element”, “means” and “composition” can be used broadly and are not limited to mechanical and physical configurations.

또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다. In addition, the connecting lines or connecting members between the components shown in the drawings are merely illustrative of functional connections and / or physical or circuit connections. In an actual device, connections between components may be represented by various functional connections, physical connections, or circuit connections that are replaceable or added.

이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.Hereinafter, the present disclosure will be described in detail with reference to the accompanying drawings.

도 1은 일 실시 예에 따른 차량의 내부 블록도이다. 1 is an internal block diagram of a vehicle according to an embodiment.

도 1을 참조하면, 차량(100)은, 통신부(110), 입력부(120), 센싱부(125) 메모리(130), 출력부(140), 차량 구동부(150), 차량 운전 보조 시스템(ADAS, 160), 제어부(170), 인터페이스부(180) 및 전원 공급부(190)를 포함할 수 있다.Referring to FIG. 1, the vehicle 100 includes a communication unit 110, an input unit 120, a sensing unit 125 memory 130, an output unit 140, a vehicle driving unit 150, and a vehicle driving assistance system (ADAS) , 160), a control unit 170, an interface unit 180, and a power supply unit 190.

통신부(110)는, 근거리 통신 모듈, 위치 정보 모듈, 광통신 모듈 및 V2X 통신 모듈을 포함할 수 있다.The communication unit 110 may include a short-range communication module, a location information module, an optical communication module, and a V2X communication module.

입력부(120)는, 운전 조작 수단, 카메라, 마이크로폰 및 사용자 입력부를 포함할 수 있다.The input unit 120 may include a driving operation means, a camera, a microphone, and a user input unit.

운전 조작 수단은, 차량(100) 운전을 위한 사용자 입력을 수신한다. 운전 조작 수단은 조향 입력 수단, 쉬프트 입력 수단, 가속 입력 수단, 브레이크 입력 수단을 포함할 수 있다.The driving operation means receives a user input for driving the vehicle 100. The driving operation means may include a steering input means, a shift input means, an acceleration input means, and a brake input means.

가속 입력 수단은, 사용자로부터 차량(100)의 가속을 위한 입력을 수신한다. 브레이크 입력 수단은, 사용자로부터 차량(100)의 감속을 위한 입력을 수신한다.The acceleration input means receives an input for acceleration of the vehicle 100 from a user. The brake input means receives an input for deceleration of the vehicle 100 from the user.

카메라는, 이미지 센서와 영상 처리 모듈을 포함할 수 있다. 카메라는 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 제어부(170)에 전달할 수 있다.The camera may include an image sensor and an image processing module. The camera can process still images or moving pictures obtained by an image sensor (for example, CMOS or CCD). The image processing module may process the still image or video acquired through the image sensor, extract necessary information, and transmit the extracted information to the controller 170.

한편, 차량(100)은 차량 전방 영상을 촬영하는 전방 카메라, 차량 주변 영상을 촬영하는 어라운드 뷰 카메라 및 차량 후방 영상을 촬영하는 후방카메라를 포함할 수 있다. 각각의 카메라는 렌즈, 이미지 센서 및 프로세서를 포함할 수 있다. 프로세서는, 촬영되는 영상을 컴퓨터 처리하여, 데이터 또는 정보를 생성하고, 생성된 데이터 또는 정보를 제어부(170)에 전달할 수 있다. 카메라에 포함되는 프로세서는, 제어부(170)의 제어를 받을 수 있다.Meanwhile, the vehicle 100 may include a front camera that photographs a vehicle front image, an around view camera that photographs a vehicle surrounding image, and a rear camera that photographs a vehicle rear image. Each camera can include a lens, an image sensor and a processor. The processor may process the image to be photographed by computer, generate data or information, and transmit the generated data or information to the controller 170. The processor included in the camera may be controlled by the controller 170.

카메라는 스테레오 카메라를 포함할 수 있다. 이 경우, 카메라의 프로세서는, 스테레오 영상에서 검출된 디스페리티(disparity) 차이를 이용하여, 오브젝트와의 거리, 영상에서 검출된 오브젝트와의 상대 속도, 복수의 오브젝트 간의 거리를 검출할 수 있다.The camera may include a stereo camera. In this case, the processor of the camera may detect a distance from the object, a relative speed to the object detected from the image, and a distance between a plurality of objects using a disparity difference detected in the stereo image.

카메라는 TOF(Time of Flight) 카메라를 포함할 수 있다. 이 경우, 카메라는, 광원(예를 들면, 적외선 또는 레이저) 및 수신부를 포함할 수 있다. 이 경우, 카메라의 프로세서는, 광원에서 발신되는 적외선 또는 레이저가 오브젝트에 반사되어 수신될 때까지의 시간(TOF)에 기초하여 오브젝트와의 거리, 오브젝트와의 상대 속도, 복수의 오브젝트 간의 거리를 검출할 수 있다.The camera may include a Time of Flight (TOF) camera. In this case, the camera may include a light source (eg, infrared or laser) and a receiver. In this case, the processor of the camera detects the distance to the object, the relative speed with the object, and the distance between the plurality of objects based on the time until the infrared ray or laser emitted from the light source is reflected and received by the object. can do.

한편, 후방 카메라는, 후방 번호판 또는 트렁크 또는 테일 게이트 스위치 부근에 배치될 수 있으나, 후방 카메라가 배치되는 위치는 이에 제한되지 않는다.Meanwhile, the rear camera may be disposed in the vicinity of the rear license plate or the trunk or tail gate switch, but the position in which the rear camera is disposed is not limited thereto.

복수의 카메라에서 촬영된 각각의 이미지는, 카메라의 프로세서에 전달되고, 프로세서는 상기 각각의 이미지를 합성하여, 차량 주변 영상을 생성할 수 있다. 이때, 차량 주변 영상은 탑뷰 이미지 또는 버드 아이 이미지로 디스플레이부를 통해 표시될 수 있다.Each image photographed by a plurality of cameras is transmitted to a processor of the camera, and the processor may synthesize the respective images to generate an image around the vehicle. At this time, the image around the vehicle may be displayed as a top view image or a bird's eye image through the display unit.

센싱부(125)는, 차량(100)의 각종 상황을 센싱한다. 이를 위해, 센싱부(125)는, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 레이더, 라이더 등을 포함할 수 있다.The sensing unit 125 senses various situations of the vehicle 100. To this end, the sensing unit 125 includes a collision sensor, a wheel sensor, a speed sensor, a tilt sensor, a weight sensor, a heading sensor, a yaw sensor, and a gyro sensor. , Position module, vehicle forward / reverse sensor, battery sensor, fuel sensor, tire sensor, steering sensor by steering wheel rotation, vehicle interior temperature sensor, vehicle interior humidity sensor, ultrasonic sensor, illuminance sensor, radar, rider, etc. It may include.

이에 의해, 센싱부(125)는, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도 등에 대한 센싱 신호를 획득할 수 있다.Accordingly, the sensing unit 125 includes vehicle collision information, vehicle direction information, vehicle location information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward / reverse information, battery information , It is possible to obtain a sensing signal for fuel information, tire information, vehicle lamp information, vehicle interior temperature information, vehicle interior humidity information, steering wheel rotation angle, and vehicle exterior illumination.

메모리(130)는, 제어부(170)와 전기적으로 연결된다. 메모리(130)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(130)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(130)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.The memory 130 is electrically connected to the control unit 170. The memory 130 may store basic data for the unit, control data for controlling the operation of the unit, and input / output data. The memory 130 may be various storage devices such as ROM, RAM, EPROM, flash drive, hard drive, and the like in hardware. The memory 130 may store various data for the overall operation of the vehicle 100, such as a program for processing or controlling the control unit 170.

출력부(140)는, 제어부(170)에서 처리된 정보를 출력하기 위한 것으로, 디스플레이부, 음향 출력부 및 햅틱 출력부를 포함할 수 있다.The output unit 140 is for outputting information processed by the control unit 170, and may include a display unit, an audio output unit, and a haptic output unit.

디스플레이부는 제어부(170)에서 처리되는 정보를 표시할 수 있다. 예를 들면, 디스플레이부는 차량 관련 정보를 표시할 수 있다. 여기서, 차량 관련 정보는, 현재 차량의 상태를 알려주는 차량 상태 정보 또는 차량의 운행과 관련되는 차량 운행 정보를 포함할 수 있다. 예를 들어, 디스플레이부는 현재 차량의 속도(또는 속력), 주변차량의 속도(또는 속력) 및 현재 차량과 주변차량 간의 거리 정보를 표시할 수 있다.The display unit may display information processed by the controller 170. For example, the display unit may display vehicle-related information. Here, the vehicle-related information may include vehicle status information that informs the current state of the vehicle or vehicle operation information related to the operation of the vehicle. For example, the display unit may display the speed (or speed) of the current vehicle, the speed (or speed) of the surrounding vehicle, and distance information between the current vehicle and the surrounding vehicle.

한편, 디스플레이부는 운전자가 운전을 함과 동시에 차량 상태 정보 또는 차량 운행 정보를 확인할 수 있도록 클러스터(cluster)를 포함할 수 있다. 클러스터는 대시보드 위에 위치할 수 있다. 이 경우, 운전자는, 시선을 차량 전방에 유지한 채로 클러스터에 표시되는 정보를 확인할 수 있다.Meanwhile, the display unit may include a cluster to allow the driver to check the vehicle status information or the vehicle driving information while driving. Clusters can be located on the dashboard. In this case, the driver can check the information displayed on the cluster while keeping the gaze in front of the vehicle.

음향 출력부는 제어부(170)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부는 스피커 등을 구비할 수 있다.The sound output unit converts and outputs an electrical signal from the control unit 170 into an audio signal. To this end, the sound output unit may include a speaker or the like.

차량 구동부(150)는, 차량 각종 장치의 동작을 제어할 수 있다. 차량 구동부(150)는 동력원 구동부, 조향 구동부, 브레이크 구동부, 램프 구동부, 공조 구동부, 윈도우 구동부, 에어백 구동부, 썬루프 구동부 및 서스펜션 구동부를 포함할 수 있다.The vehicle driving unit 150 may control operations of various types of vehicles. The vehicle driving unit 150 may include a power source driving unit, a steering driving unit, a brake driving unit, a lamp driving unit, an air conditioning driving unit, a window driving unit, an airbag driving unit, a sunroof driving unit, and a suspension driving unit.

동력원 구동부는, 차량(100) 내의 동력원에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 화석 연료 기반의 엔진(미도시)이 동력원인 경우, 동력원 구동부는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부가 엔진인 경우, 제어부(170)의 제어에 따라, 엔진 출력 토크를 제한하여 차량의 속도를 제한할 수 있다.The power source driving unit may perform electronic control of the power source in the vehicle 100. For example, when the fossil fuel-based engine (not shown) is a power source, the power source driving unit may perform electronic control of the engine. Thus, the output torque of the engine and the like can be controlled. When the power source driving unit is an engine, under the control of the control unit 170, the engine output torque may be limited to limit the speed of the vehicle.

브레이크 구동부는, 차량(100) 내의 브레이크 장치(brake apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다. 다른 예로, 좌측 바퀴와 우측 바퀴에 각각 배치되는 브레이크의 동작을 달리하여, 차량(100)의 진행 방향을 좌측, 또는 우측으로 조정할 수 있다.The brake driving unit may perform electronic control of a brake apparatus (not shown) in the vehicle 100. For example, by controlling the operation of the brake disposed on the wheel, the speed of the vehicle 100 can be reduced. As another example, by varying the operation of the brakes disposed on the left and right wheels, the driving direction of the vehicle 100 may be adjusted to the left or right.

램프 구동부는, 차량 내, 외부에 배치되는 램프의 턴 온/턴 오프를 제어할 수 있다. 또한, 램프의 빛의 세기, 방향 등을 제어할 수 있다. 예를 들면, 방향 지시 램프, 브레이크 램프 등의 대한 제어를 수행할 수 있다.The lamp driver may control turn-on / turn-off of lamps disposed inside and outside the vehicle. In addition, it is possible to control the light intensity, direction, and the like of the lamp. For example, it is possible to perform control for a direction indicator lamp, a brake lamp, and the like.

제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다. 상술한 사고 유무 판단 장치는 제어부(170)에 의해 구동될 수 있다.The control unit 170 may control the overall operation of each unit in the vehicle 100. The control unit 170 may be referred to as an electronic controller unit (ECU). The apparatus for determining whether an accident is described above may be driven by the controller 170.

제어부(170)는, 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.The control unit 170 includes hardware, application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), processors ( It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing other functions.

일 실시 예에서 제어부(170)는 차량 내의 복수의 카메라에 의해 촬영 가능한 영역을 설정하고, 설정된 촬영 가능한 영역 내에 소정의 객체가 존재하는지 판단하고, 차량이 주행 또는 주차 상태인지 여부와, 존재한 객체의 유형을 기초로 사고 유무를 판단하고, 판단결과에 따라 소정의 장면을 촬영한 영상을 메모리에 기록할 수 있다. 실시 예에 따른 사고 판단 내지 사고 영상 저장은 충격 감지 센서에 의해 기록할 영상을 선택하는 것이 아니라, 영상만을 이용하고, 영상 분석 내지 객체 인식과 사고 판단 알고리즘을 적용함으로써, 센서 오작동에 의해 오인식, 잘못된 사고 영상의 저장의 단점을 극복할 수 있다.In one embodiment, the control unit 170 sets a region that can be photographed by a plurality of cameras in a vehicle, determines whether a predetermined object exists in the set photographable region, whether the vehicle is in a driving or parking state, and an existing object The presence or absence of an accident may be determined based on the type of, and an image of a predetermined scene may be recorded in the memory according to the determination result. Accident determination or accident image storage according to an embodiment does not select an image to be recorded by the impact detection sensor, but uses only an image, and applies image analysis or object recognition and an accident determination algorithm, resulting in false recognition and incorrect operation due to sensor malfunction. It can overcome the shortcomings of storing accident images.

인터페이스부(180)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(180)는 이동 단말기(미도시)와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기(미도시)와 연결할 수 있다. 이 경우, 인터페이스부(180)는 이동 단말기와 데이터를 교환할 수 있다.The interface unit 180 may serve as a passage with various types of external devices connected to the vehicle 100. For example, the interface unit 180 may be provided with a port connectable to a mobile terminal (not shown), and may be connected to a mobile terminal (not shown) through the port. In this case, the interface unit 180 may exchange data with the mobile terminal.

전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리(미도시) 등으로부터 전원을 공급받을 수 있다.The power supply unit 190 may supply power required for the operation of each component under the control of the control unit 170. In particular, the power supply unit 190 may receive power from a battery (not shown) or the like inside the vehicle.

도 2는 도 1에 도시된 차량 운전 보조 시스템(ADAS)의 블록 도이다.FIG. 2 is a block diagram of the vehicle driving assistance system (ADAS) shown in FIG. 1.

ADAS(200)는, 편의, 안전 제공을 위해 운전자를 보조 하는 차량 운전 보조 시스템이다.ADAS 200 is a vehicle driving assistance system that assists a driver to provide convenience and safety.

ADAS(200)는, 자동 비상 제동 모듈(이하, AEB: Autonomous Emergency Braking)(210), 전방 충돌 회피 모듈 (이하, FCW: Foward Collision Warning)(211), 차선 이탈 경고 모듈 (이하, LDW: Lane Departure Warning)(212), 차선 유지 보조 모듈 (이하, LKA: Lane Keeping Assist)(213), 속도 지원 시스템 모듈 (이하, SAS: Speed Assist System)(214), 교통 신호 검출 모듈 (TSR: Traffic Sign Recognition)(215), 적응형 상향등 제어 모듈 (이하, HBA: High Beam Assist)(216), 사각 지대 감시 모듈 (이하, BSD: Blind Spot Detection)(217), 자동 비상 조향 모듈 (이하, AES: Autonomous Emergency Steering)(218), 커브 속도 경고 시스템 모듈 (이하, CSWS: Curve Speed Warning System)(219), 적응 순향 제어 모듈 (이하, ACC: Adaptive Cruise Control)(220), 스마트 주차 시스템 모듈 (이하, SPAS: Smart Parking Assist System)(221), 교통 정체 지원 모듈 (이하, TJA: Traffic Jam Assist)(222) 및 어라운드 뷰 모니터 모듈 (이하, AVM: Around View Monitor)(223)을 포함할 수 있다.ADAS 200 includes an automatic emergency braking module (hereinafter, AEB: Autonomous Emergency Braking) 210, a forward collision avoidance module (hereinafter, FCW: Foward Collision Warning) 211, and a lane departure warning module (hereinafter, LDW: Lane) Departure Warning (212), Lane Keeping Assist Module (hereinafter referred to as LKA: Lane Keeping Assist) (213), Speed Assist System Module (hereinafter referred to as SAS: Speed Assist System) (214), Traffic Signal Detection Module (TSR: Traffic Sign) Recognition (215), adaptive high beam control module (hereinafter, HBA: High Beam Assist) (216), blind spot monitoring module (hereinafter, BSD: Blind Spot Detection) (217), automatic emergency steering module (hereinafter, AES: Autonomous Emergency Steering (218), Curve Speed Warning System Module (hereinafter, CSWS: Curve Speed Warning System) (219), Adaptive Forward Control Module (hereinafter, ACC: Adaptive Cruise Control) (220), Smart Parking System Module (hereafter) , SPAS: Smart Parking Assist System (221), Traffic Congestion Support Module (hereinafter, TJA: Traffic Jam Assist) (222) and Around View Mode A monitor module (hereinafter, AVM: Around View Monitor) 223 may be included.

상기 각각의 ADAS 모듈(210, 211, 212, 213, 214, 215, 216, 217, 218, 219, 220, 221, 222, 223)들은 차량 운전 보조 기능 제어를 위한 프로세서를 포함할 수 있다.Each of the ADAS modules 210, 211, 212, 213, 214, 215, 216, 217, 218, 219, 220, 221, 222, 223 may include a processor for vehicle driving assistance function control.

상기 각각의 ADAS 모듈(210, 211, 212, 213, 214, 215, 216, 217, 218, 219, 220, 221, 222, 223)에 포함되는 프로세서는, 제어부(270)의 제어를 받을 수 있다.The processors included in each of the ADAS modules 210, 211, 212, 213, 214, 215, 216, 217, 218, 219, 220, 221, 222, 223 may be controlled by the control unit 270 .

상기 각각의 ADAS 모듈(210, 211, 212, 213, 214, 215, 216, 217, 218, 219, 220, 221, 222, 223) 프로세서는, 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.Each of the ADAS module (210, 211, 212, 213, 214, 215, 216, 217, 218, 219, 220, 221, 222, 223) processor, hardware, application specific integrated circuits (ASICs), DSPs (digital signal processors), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), processors, controllers, micro-controllers, microprocessors ( microprocessors) and other electrical units for performing other functions.

AEB(210)는, 검출된 오브젝트와의 충돌을 방지하기 위해, 자동 제동을 제어하는 모듈이다. FCW(211)는, 차량 전방 오브젝트와의 충돌을 방지하기 위해, 경고가 출력되도록 제어하는 모듈이다. LDW(212)는, 주행 중 차선 이탈 방지를 위해, 경고가 출력되도록 제어하는 모듈이다. LKA(213)는, 주행 중 주행 차선 유지하도록 제어하는 모듈이다. SAS(214)는, 설정된 속도 이하로 주행하도록 제어하는 모듈이다. TSR(215)은, 주행 중 교통 신호를 감지하여 감지된 교통 신호를 기초로 정보를 제공하는 모듈이다. HBA(216)는, 주행 상황에 따라 상향등의 조사 범위 또는 조사량을 제어하는 모듈이다. BSD(217)는, 주행 중, 운전자 시야 밖의 오브젝트를 검출하고, 검출 정보를 제공하는 모듈이다. AES(218)는, 비상시 조향을 자동으로 수행하는 모듈이다. CSWS(219)는, 커브 주행시 기 설정 속도 이상으로 주행하는 경우 경로를 출력하도록 제어하는 모듈이다. ACC(220)는, 선행 차량을 추종하여 주행하도록 제어하는 모듈이다. SPAS(221)는, 주차 공간을 검출하고, 주차 공간에 주차하도록 제어하는 모듈이다. TJA(222)는, 교통 정체시 자동 운행하도록 제어하는 모듈이다. AVM(223)은, 차량 주변 영상을 제공하고, 차량 주변을 모니터링하도록 제어하는 모듈이다. The AEB 210 is a module that controls automatic braking to prevent collision with the detected object. The FCW 211 is a module that controls a warning to be output in order to prevent collision with an object in front of the vehicle. LDW 212 is a module that controls a warning to be output to prevent lane departure during driving. The LKA 213 is a module that controls to maintain the driving lane while driving. The SAS 214 is a module that controls to travel at a set speed or less. The TSR 215 is a module that detects a traffic signal while driving and provides information based on the detected traffic signal. The HBA 216 is a module that controls the irradiation range or irradiation amount of the high beam according to the driving situation. The BSD 217 is a module that detects an object outside the driver's field of view while driving and provides detection information. The AES 218 is a module that automatically performs steering in an emergency. The CSWS 219 is a module that controls to output a route when traveling at a predetermined speed or more during curve driving. The ACC 220 is a module that controls to follow and drive the preceding vehicle. The SPAS 221 is a module that detects a parking space and controls it to park in the parking space. The TJA 222 is a module that controls to automatically operate during traffic congestion. The AVM 223 is a module that provides a vehicle surrounding image and controls to monitor the vehicle surroundings.

ADAS(200)는, 입력부(230) 또는 센싱부(235)에서 획득한 데이터를 기초로, 각각의 차량 운전 보조 기능을 수행하기 위한 제어 신호를 출력부(250) 또는 차량 구동부(260)에 제공할 수 있다. ADAS(200)는, 상기 제어 신호를, 출력부(250) 또는 차량 구동부(260)에 차량 내부 네트워크 통신(예를 들면, CAN)을 통해, 직접 출력할 수 있다. 또는, ADAS(200)는, 상기 제어 신호를, 제어부(270)를 거쳐, 출력부(250) 또는 차량 구동부(260)에 출력할 수 있다.The ADAS 200 provides a control signal for performing each vehicle driving assistance function to the output unit 250 or the vehicle driving unit 260 based on the data obtained from the input unit 230 or the sensing unit 235 can do. The ADAS 200 may directly output the control signal to the output unit 250 or the vehicle driving unit 260 through in-vehicle network communication (for example, CAN). Alternatively, the ADAS 200 may output the control signal to the output unit 250 or the vehicle driving unit 260 through the control unit 270.

도 3은 일 실시 예에 따른 영상을 이용한 사고 유무 판단 장치의 개략 도이다.3 is a schematic diagram of an apparatus for determining whether an accident has occurred using an image according to an embodiment.

도 3을 참조하면, 사고 유무 판단 장치는 제어부(300), 카메라(310), 메모리(320), 사용자 입력부(330) 및 표시부(340)를 포함할 수 있다. 실시 예에서, 사용자 입력부(330) 및 표시부(340)를 포함하는 것으로 설명하지만, 이러한 구성은 제외하여 구성할 수 있음은 물론이다.Referring to FIG. 3, the apparatus for determining the presence or absence of an accident may include a control unit 300, a camera 310, a memory 320, a user input unit 330, and a display unit 340. In an embodiment, although it is described as including the user input unit 330 and the display unit 340, it is of course possible to configure such a configuration except.

제어부(300)는 차량 내의 복수의 카메라(310)에 의해 촬영 가능한 영역을 설정하고, 설정된 촬영 가능한 영역 내에 소정의 객체가 존재하는지 판단하고, 차량이 주행 또는 주차 상태인지 여부와, 존재한 객체의 유형을 기초로 사고 유무를 판단하고, 판단결과에 따라 소정의 장면을 촬영한 영상을 메모리(320)에 기록할 수 있다. 여기서, 촬영 가능한 영역은 카메라(310)의 화각 범위 내에서 설정될 수 있다. 예를 들면 전후방으로 2 내지 3미터, 좌우 측으로 1미터 일 수 있으나, 그 수치에 한정되지 않고, 카메라 성능 내지 화질에 따라 다르게 설정될 수 있음은 물론이다. 차량이 주행 또는 주차 상태인지 여부, 인식된 객체 유형 등을 기초로 사고 영상 유무를 판단하는 것은 도 5 내지 11을 참조하여 후술한다.The control unit 300 sets a region that can be photographed by a plurality of cameras 310 in the vehicle, determines whether a predetermined object exists in the set photographable region, whether the vehicle is in a driving or parking state, and of the existing object. The presence or absence of an accident may be determined based on the type, and an image of a predetermined scene may be recorded in the memory 320 according to the determination result. Here, the photographable area may be set within the field of view of the camera 310. For example, it may be 2 to 3 meters in the front-rear direction and 1 meter in the left-right direction, but is not limited to the number, and may be set differently according to camera performance or image quality. Determining the presence or absence of an accident image based on whether the vehicle is in a driving or parking state, a recognized object type, etc. will be described later with reference to FIGS. 5 to 11.

카메라(310)는 복수 개일 수 있으며, 차량의 주위를 모두 촬영할 수 있도록, 전방, 후방, 측면 카메라들을 포함할 수 있다.A plurality of cameras 310 may be included, and may include front, rear, and side cameras to photograph all around the vehicle.

메모리(320)는 카메라(310)에서 촬영된 영상을 저장하고, 제어부(300)가 사고 영상이라고 판단한 촬영 영상이 메모리(320)에 기록된다. 촬영 영상 또는 프리뷰 영상을 저장하는 것과는 별도로, 사고 영상을 선별하여, 선별된 사고 영상이 메모리(320)에 기록될 수 있다.The memory 320 stores the image captured by the camera 310, and the captured image determined by the controller 300 as an accident image is recorded in the memory 320. Apart from storing the captured image or the preview image, the accident image is selected and the selected accident image may be recorded in the memory 320.

사용자 입력부(330)는 사용자의 선택에 따라 촬영 영상 확인, 사고 영상 확인 등을 하기 위한 사용자 인터페이스일 수 있으며, 터치 또는 버튼 등으로 이루어질 수 있다. 또한, 사용자는 사용자 입력부(330)를 통해 사고 영상의 확인 또는 삭제할 수 있으며, 사고 영상 삭제시에는, 사용자 정보를 확인하는 인증 과정이 추가로 수행될 수 있다.The user input unit 330 may be a user interface for checking a captured image or checking an accident image according to a user's selection, and may be made of a touch or a button. In addition, the user may check or delete the accident image through the user input unit 330, and when the accident image is deleted, an authentication process for checking user information may be additionally performed.

표시부(340)는 촬영된 영상을 프리뷰 영상으로 표시할 수 있다. The display unit 340 may display the captured image as a preview image.

도 4는 도시된 제어부(300)의 구체적인 블록 도이다.4 is a detailed block diagram of the illustrated control unit 300.

도 4를 참조하면, 제어부(300)는 영역 설정부(400), 주행 판단부(410), 객체 인식부(420), 사고 판단부(430), 영상 정렬부(440), 속도 계산부(450) 및 영상 합성부(460)를 포함한다. 여기서, 모든 구성요소를 포함하는 것으로 설명하지만, 이에 한정되지 않고, 다른 기능들을 제외하는 경우, 일부 구성요소는 제외하고 구현할 수 있음은 물론이다.Referring to FIG. 4, the control unit 300 includes an area setting unit 400, a driving determination unit 410, an object recognition unit 420, an accident determination unit 430, an image alignment unit 440, and a speed calculation unit ( 450) and an image synthesizing unit 460. Here, it is described as including all components, but is not limited thereto, and when other functions are excluded, some components may be excluded and implemented.

영역 설정부(400)는 차량 내의 복수의 카메라들에 의해 촬영 가능한 영역을 설정한다. 촬영 가능 영역은 차량의 전후방으로 2 내지 3미터, 좌우측으로 1미터일 수 있다. 또한, 영역 설정부(400)는 사용자 선택에 따라 변경 가능할 수 있으며, 카메라의 성능에 따라 자동으로 설정될 수 있다.The area setting unit 400 sets an area that can be photographed by a plurality of cameras in a vehicle. The photographable area may be 2 to 3 meters in the front and rear of the vehicle and 1 meter to the left and right. In addition, the area setting unit 400 may be changeable according to user selection, and may be automatically set according to the performance of the camera.

주행 판단부(410)는 차량이 주행중인지, 주차 상태인지를 판단한다. 주행 판단부(410)는 도 1에 도시된 차량 구동부(150)와 연동하여, 차량이 주행중인지, 주차 상태인지 판단할 수 있다.The driving determination unit 410 determines whether the vehicle is driving or not. The driving determination unit 410 may determine whether the vehicle is running or in a parking state in conjunction with the vehicle driving unit 150 illustrated in FIG. 1.

객체 인식부(420)는 영역 설정부(400)에서 설정된 촬영 가능 영역 내에 존재하는 물체, 예를 들면 다른 차량, 사람 등을 인식한다. 촬영된 영상으로부터 객체를 인식하는 다양한 객체 인식 알고리즘을 이용할 수 있다.The object recognition unit 420 recognizes an object, for example, another vehicle, a person, or the like, existing in the imageable area set by the area setting unit 400. Various object recognition algorithms for recognizing an object from a captured image may be used.

사고 판단부(430)는 차량이 주행 도는 주차 상태인지, 영역 내에 존재하는 객체가 다른 차량인지, 사람인지에 따라 사고 영상인지 아닌지를 판단하고, 사고 영상이라고 판단한 경우, 촬영된 영상을 메모리에 기록한다. 사고 판단부(430)는 차량이 주행 중인 경우, 영역에 존재하는 객체가 사람인 경우에만 촬영된 영상을 기록한다. 예를 들면 차량이 주행 중인 경우, 주위에는 다른 차량이 존재하는 경우이므로, 차량에 대해서는 촬영된 영상을 기록하지 않는다. 하지만, 차량이 주행중인 경우, 근처에 사람이 존재한다는 것은 사고 가능성이 높다고 판단할 수 있으므로 촬영된 영상을 기록한다. 또한, 차량이 주행 중인 경우에, 주위에 다른 차량이 존재하는 경우라도, 차량 또는 다른 차량이 주행중인 차선을 이탈하는 경우에는 사고 가능성이 높다고 판단할 수 있으므로, 촬영된 영상을 기록한다. 여기서, 차선 이탈 여부는 다양한 차선 이탈 검출 알고리즘을 이용할 수 있다.The accident determination unit 430 determines whether the vehicle is in a driving or parking state, whether an object in the area is another vehicle, or whether it is an accident image, and if it is determined that the accident image, the recorded image is recorded in a memory. do. When the vehicle is driving, the accident determination unit 430 records the captured image only when the object existing in the area is a person. For example, when a vehicle is driving, since there are other vehicles around, a photographed image is not recorded for the vehicle. However, when a vehicle is driving, it is possible to determine that there is a high possibility of an accident in the presence of a person nearby, so the recorded image is recorded. In addition, since the possibility of an accident is high when a vehicle or a vehicle or another vehicle deviates from a driving lane even when a vehicle is running, even if there are other vehicles around, it is possible to record the captured image. Here, various lane departure detection algorithms may be used to determine whether to leave the lane.

주행 판단부(410)의 판단 결과, 차량이 주차 상태인 경우에는 촬영 가능 영역내에 차량이 존재하더라도 주변 차량도 주차된 차량일 가능성이 높으므로, 촬영 영상을 기록하지 않지만, 주변 차량이 이동하는 경우, 즉 주변 차량이 주차를 위해 또는 출차를 위해 이동하는 경우에는 접촉 사고의 가능성이 높으므로 촬영된 영상을 기록한다. 또한, 촬영 가능 영역 내에 사람이 존재하는 경우, 예를 들면 차량 파손 등의 사고 가능성이 높으므로 촬영된 영상을 기록한다.As a result of the determination by the driving determination unit 410, when the vehicle is in the parking state, even if the vehicle is in the photographable area, it is highly likely that the surrounding vehicle is also a parked vehicle. That is, when the surrounding vehicle moves for parking or for exiting, the possibility of a contact accident is high, so the recorded image is recorded. In addition, when a person exists in the photographable area, the possibility of an accident, such as a vehicle damage, is high, and thus the photographed image is recorded.

영상 정렬부(440)는 사고 판단부(430)의 판단 결과, 촬영된 영상을 기록한 사고 영상들이 다수 존재하는 경우, 차량에 근접한 영상의 순서로 정렬하여 표시부(340)에 표시할 수 있다. 따라서, 사용자는 사고 가능성이 높은 영상의 순서대로 확인할 수 있다.As a result of the determination by the accident determination unit 430, when there are a plurality of accident images in which the captured image is recorded, the image alignment unit 440 may arrange the images in the order of images close to the vehicle and display them on the display unit 340. Therefore, the user can check in the order of images having a high probability of accident.

속도 계산부(450)는 차량의 주행속도를 기초로 촬영 가능 영역 내의 다른 차량의 차속 정보를 계산할 수 있다. 이러한 다른 차량의 차속 정보는, 사고 영상의 부가 정보로서 함께 기록되어, 과속 여부를 판단하는 증거로서 사용할 수 있다.The speed calculator 450 may calculate vehicle speed information of another vehicle in the photographable area based on the driving speed of the vehicle. The vehicle speed information of the other vehicle is recorded together as additional information of the accident image, and can be used as evidence for determining whether to speed.

영상 합성부(460)는 사고 또는 근접한 객체 영상을 기록된 영상을 합성한 입체 영상으로 생성한다. 따라서, 사고 영상에 대해 시점을 변화시켜가면서 시각을 달리하여 상세히 표시해 줄 수 있다.The image synthesizing unit 460 generates an accident or a nearby object image as a stereoscopic image obtained by combining the recorded image. Therefore, it is possible to display the accident image in detail by changing the viewpoint while changing the viewpoint.

도 5 내지 11은 다른 실시 예에 따른 영상을 이용한 사고 유무 판단 방법을 설명하기 위한 예시 도들이다.5 to 11 are exemplary views for explaining a method for determining the presence or absence of an accident using an image according to another embodiment.

도 5를 참조하면, 차량(510)이 주행 중인 경우에, 인식 가능한 영역(500) 또는 촬영 가능한 영역 내에 검출된 객체가 사람(530)인 경우에는 주행중 녹화를 하지만, 도 6에 도시된 것처럼, 다른 차량(620)만이 존재하는 경우에는 녹화를 하지 않는다.Referring to FIG. 5, when the vehicle 510 is driving, when the object detected in the recognizable area 500 or the imageable area is the person 530, recording is performed while driving, as illustrated in FIG. 6, When only the other vehicle 620 is present, recording is not performed.

도 7을 참조하면, 차량(710)이 주행중이고, 다른 차량(720)만이 인식 가능한 영역(700)내에 존재하지만, 차량(710)이 차선을 이탈하는 경우에는 녹화를 하고, 도 8에 도시된 것처럼, 다른 차량(820)이 차선을 이탈하는 경우에도 녹화를 한다. Referring to FIG. 7, when the vehicle 710 is driving, and only the other vehicle 720 is present in the recognizable area 700, when the vehicle 710 leaves the lane, recording is performed and illustrated in FIG. 8 Likewise, recording is performed even when another vehicle 820 leaves the lane.

도 9를 참조하면, 차량(910)이 주차상태인 경우에는 다른 차량들(920 및 930)이 인식 가능 영역(900)내에 정지한 상태인 경우에는 녹화를 하지 않지만, 도 10에 도시된 것처럼, 다른 차량(1030)이 인식 가능한 영역(1000)내에서 이동 중인 경우에는 녹화를 하고, 도 11에 도시된 것처럼, 사람(1140)이 인식 가능한 영역(1100)내에 존재하는 경우에는 녹화를 한다. Referring to FIG. 9, when the vehicle 910 is in a parking state, recording is not performed when other vehicles 920 and 930 are stopped in the recognizable area 900, but as illustrated in FIG. 10, When another vehicle 1030 is moving within the recognizable area 1000, recording is performed, and as shown in FIG. 11, when the person 1140 exists in the recognizable area 1100, recording is performed.

실시 예에 따른 사고 유무 판단 알고리즘을 통해, 충격 감지 센서없이도, 사고 영상 유무를 판단할 수 있으며, 사고 영상의 확인도 편리하게 수행할 수 있다. Through the presence / absence determination algorithm according to the embodiment, the presence or absence of an accident image can be determined without an impact detection sensor, and confirmation of the accident image can be conveniently performed.

본 실시 예들은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비 분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비 분리형 매체를 모두 포함한다. The present embodiments can also be implemented in the form of a recording medium including instructions executable by a computer, such as program modules executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, the computer-readable medium may include any computer storage medium. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.Further, in the present specification, the “unit” may be a hardware component such as a processor or circuit, and / or a software component executed by a hardware component such as a processor.

전술한 본 명세서의 설명은 예시를 위한 것이며, 본 명세서의 내용이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present specification is for illustration only, and those skilled in the art to which the contents of this specification belong can understand that it can be easily modified to other specific forms without changing the technical spirit or essential features of the present invention. There will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.

본 실시 예의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 포함되는 것으로 해석되어야 한다.The scope of the present embodiment is indicated by the claims, which will be described later, rather than by the detailed description, and should be interpreted to include all modified or modified forms derived from the meaning and scope of the claims and their equivalent concepts.

Claims

영상을 이용한 사고 유무를 판단하는 방법에 있어서,
차량 내의 복수의 카메라들에 의해 촬영 가능한 영역을 설정하는 단계;
상기 설정된 촬영 가능한 영역 내에 소정의 객체가 존재하는지 판단하는 단계;
상기 차량이 주행 또는 주차 상태인지 여부와, 상기 존재한 객체의 유형을 기초로 사고 유무를 판단하는 단계; 및
상기 차량이 주행 또는 주차 상태인지 여부와 상기 존재한 객체의 유형을 판단한 결과에 따라 소정의 장면을 촬영한 영상을 기록하는 단계를 포함하고,
상기 기록 단계는,
상기 차량이 주행 중인 경우, 상기 존재한 객체가 사람인지 인식하고, 상기 존재한 객체가 사람인 경우, 상기 촬영한 영상을 기록하고,
상기 차량이 주행 중이고, 상기 존재한 객체가 다른 차량인 경우, 상기 촬영한 영상을 기록하지 않고,
상기 차량 또는 다른 차량이 각각의 주행차선을 이탈하는 경우, 상기 촬영한 영상을 기록하는 것을 특징으로 하는 영상을 이용한 사고 유무 판단 방법.In the method of determining the presence or absence of an accident using video,
Setting an area that can be photographed by a plurality of cameras in the vehicle;
Determining whether a predetermined object exists in the set photographable area;
Determining whether the vehicle is in a driving or parking state and whether there is an accident based on the type of the existing object; And
And recording an image of a predetermined scene according to whether the vehicle is in a driving or parking state and a result of determining the type of the object.
The recording step,
When the vehicle is driving, recognizes whether the existing object is a person, and when the existing object is a person, records the captured image,
When the vehicle is driving and the existing object is another vehicle, the captured image is not recorded,
When the vehicle or another vehicle deviates from each driving lane, a method for determining the presence or absence of an accident using an image, characterized in that the captured image is recorded.

삭제delete

제 1 항에 있어서,
상기 기록 단계는,
상기 차량이 주차된 상태이고, 상기 존재하는 객체가 다른 차량이고, 상기 다른 차량이 이동하는 경우, 상기 촬영한 영상을 기록하는 것을 특징으로 하는 영상을 이용한 사고 유무 판단 방법.According to claim 1,
The recording step,
When the vehicle is parked, and the existing object is another vehicle, and the other vehicle moves, a method for determining the presence or absence of an accident using an image, wherein the captured image is recorded.

제 4 항에 있어서,
상기 기록 단계는,
상기 차량이 주차된 상태이고, 상기 존재하는 객체가 사람인 경우, 상기 촬영한 영상을 기록하는 것을 특징으로 하는 영상을 이용한 사고 유무 판단 방법.The method of claim 4,
The recording step,
When the vehicle is parked, and the existing object is a person, a method for determining the presence or absence of an accident using an image, characterized by recording the captured image.

제 1 항에 있어서,
상기 기록된 영상을 표시하는 단계를 더 포함하고,
상기 표시 단계는,
상기 기록된 영상이 적어도 2개인 경우, 상기 차량에 근접한 영상의 순서로 표시하는 것을 특징으로 하는 영상을 이용한 사고 유무 판단 방법. According to claim 1,
Further comprising the step of displaying the recorded image,
The display step,
When there are at least two recorded images, a method of determining whether there is an accident using the image is characterized in that the images are displayed in the order of the images close to the vehicle.

제 1 항에 있어서,
상기 기록된 영상을 기초로 입체 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 사고 유무 판단 방법.According to claim 1,
And generating a stereoscopic image based on the recorded image.

제 1 항에 있어서,
상기 기록된 영상을 삭제하는 경우, 사용자 정보를 확인하는 단계를 더 포함하는 것을 특징으로 하는 영상을 이용한 사고 유무 판단 방법.According to claim 1,
When deleting the recorded image, the method of determining whether an accident using the image, characterized in that it further comprises the step of checking the user information.

제 1 항에 있어서,
상기 차량의 차속 정보를 기초로, 상기 설정된 촬영 가능한 영역 내의 다른 차량의 차속 정보를 계산하는 단계를 더 포함하고,
상기 기록 단계는,
상기 촬영한 영상에 부가정보로서, 상기 계산된 차속 정보를 함께 기록하는 것을 특징으로 하는 영상을 이용한 사고 유무 판단 방법. According to claim 1,
Based on the vehicle speed information of the vehicle, further comprising the step of calculating the vehicle speed information of the other vehicle in the set imageable area,
The recording step,
A method for determining the presence or absence of an accident using an image, wherein the calculated vehicle speed information is recorded together as additional information on the captured image.

영상을 이용한 사고 유무를 판단하는 장치에 있어서,
복수의 카메라;
메모리; 및
프로세서를 포함하고,
상기 프로세서는,
차량 내의 복수의 카메라에 의해 촬영 가능한 영역을 설정하고, 상기 설정된 촬영 가능한 영역 내에 소정의 객체가 존재하는지 판단하고, 상기 차량이 주행 또는 주차 상태인지 여부와, 상기 존재한 객체의 유형을 기초로 사고 유무를 판단하고, 상기 판단결과에 따라 소정의 장면을 촬영한 영상을 상기 메모리에 기록하고,
상기 차량이 주행 중인 경우, 상기 존재한 객체가 사람인지 인식하고, 상기 존재한 객체가 사람인 경우, 상기 촬영한 영상을 기록하고,
상기 차량이 주행 중이고, 상기 존재한 객체가 다른 차량인 경우, 상기 촬영한 영상을 기록하지 않고,
상기 차량 또는 다른 차량이 각각의 주행차선을 이탈하는 경우, 상기 촬영한 영상을 기록하는 것을 특징으로 하는 영상을 이용한 사고 유무 판단 장치. In the apparatus for determining the presence or absence of an accident using a video,
A plurality of cameras;
Memory; And
Including a processor,
The processor,
An area that can be photographed by a plurality of cameras in a vehicle is set, it is determined whether a predetermined object exists in the set area, and an accident is based on whether the vehicle is in a driving or parking state and the type of the object. The presence or absence is determined, and an image of a predetermined scene is recorded in the memory according to the determination result.
When the vehicle is driving, recognizes whether the existing object is a person, and when the existing object is a person, records the captured image,
When the vehicle is driving and the existing object is another vehicle, the captured image is not recorded,
When the vehicle or another vehicle deviates from each lane, an apparatus for determining the presence or absence of an accident using an image, characterized in that the captured image is recorded.

제 1 항, 제 4 항 내지 제 9 항 중 어느 한 항에 따른 사고 유무 판단 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.A recording medium in which a program for executing a method for determining whether an accident according to any one of claims 1, 4 to 9 is executed on a computer.