KR102073929B1 - Vehicle Emergency Log system using blockchain network - Google Patents
Vehicle Emergency Log system using blockchain network Download PDFInfo
- Publication number
- KR102073929B1 KR102073929B1 KR1020180090436A KR20180090436A KR102073929B1 KR 102073929 B1 KR102073929 B1 KR 102073929B1 KR 1020180090436 A KR1020180090436 A KR 1020180090436A KR 20180090436 A KR20180090436 A KR 20180090436A KR 102073929 B1 KR102073929 B1 KR 102073929B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- emergency
- block
- emergency situation
- computing device
- Prior art date
Links
- 238000004422 calculation algorithm Methods 0.000 claims description 42
- 238000001514 detection method Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 description 16
- 239000010410 layer Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000011176 pooling Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 238000010921 in-depth analysis Methods 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010705 motor oil Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004092 self-diagnosis Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
- B60Q1/52—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating emergencies
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/002—Generating a prealarm to the central station
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Emergency Management (AREA)
- Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Operations Research (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 블록체인망을 이용한 차량의 비상 상황 로그 시스템에 관한 것으로서, 보다 상세하게는, 엣지 컴퓨팅 시스템에 연결된 차량의 상태를 판단하여 차량의 비상 상황 발생 여부를 판단하고, 판단된 비상 상황과 관련된 정보를 블록체인망을 이용하여 전달하여 로그로 저장할 수 있는 블록체인망을 이용한 차량의 비상 상황 로그 시스템에 관한 것이다.The present invention relates to an emergency log system of a vehicle using a blockchain network. More particularly, the present invention relates to determining an emergency situation of a vehicle by determining a state of a vehicle connected to an edge computing system, and information related to the determined emergency situation. The present invention relates to an emergency log system of a vehicle using a block chain network, which can be stored by using a block chain network.
최근에 출시되는 차량은 운전자에게 속도와 엔진 회전수부터 엔진오일의 수명 등 차량과 관련된 다양한 정보를 알려주는 기능을 제공한다. 일 예로, 운전자는 OBD(On-Board Diagnostics)로부터의 정보를 스마트폰으로 확인하는 것이 가능하다. OBD는 차량의 자가 진단을 위해 제조사에서 만들어 놓은 진단 시스템이다.Recently released vehicles provide the driver with a variety of information about the vehicle, including speed and engine speed, and engine oil life. For example, the driver may check information from On-Board Diagnostics (OBD) with a smartphone. OBD is a diagnostic system made by the manufacturer for self-diagnosis of the vehicle.
또한, 최근의 차량은 안전운전을 위한 충돌 감지 기능을 제공하여 운전자가 충돌에 의한 교통사고를 사전에 예방하도록 한다.In addition, recent vehicles provide a collision detection function for safe driving so that a driver can prevent a traffic accident due to a collision in advance.
그러나, 기존의 차량에서 발생하는 각종 데이터는 운전자에게만 제공되며, OBD로부터의 데이터는 주로 차량에 결함이 발생할 경우 진단할 수 있도록 이력데이터를 제공하므로 실시간으로 제공되는 데는 한정적이다. However, various data generated in the existing vehicle is provided only to the driver, and the data from the OBD is limited to being provided in real time because the historical data is mainly provided to diagnose when a vehicle has a defect.
따라서, 운전자가 차량의 상태를 보다 객관적 및 직관적으로 파악 및 판단하는 데 한계가 있으며, 사고 발생 시 경찰이나 119와 같은 기관에 신고하는데 다소 오랜 시간이 소요된다.Therefore, there is a limit for the driver to determine and judge the state of the vehicle more objectively and intuitively, and it takes a long time to report to the police or an organization such as 119 when an accident occurs.
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 차량으로부터 센싱되는 다양한 데이터를 실시간으로 공유하여 차량의 비상 상황이 발생하였는지를 신속 정확히 판단하고, 차량의 비상 상황과 관련된 로그 정보를 블록체인망에 기록할 수 있는 블록체인망을 이용한 차량의 비상 상황 로그 시스템을 제시하는 데 있다.The technical problem to be solved by the present invention in order to solve the above problems, by sharing a variety of data sensed from the vehicle in real time to quickly determine whether the emergency situation of the vehicle, the log information related to the emergency situation of the vehicle block chain network It is to provide an emergency log system of a vehicle using a blockchain network that can be recorded in the network.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 블록체인망을 이용한 차량의 비상 상황 로그 시스템은 차량에 구비된 센서들로부터 차량 상태를 센싱한 센싱데이터를 수신하여 상기 차량의 비상 상황 발생 여부를 판별하고, 비상 상황이 발생한 것으로 판별되면, 상기 수신된 센싱데이터의 로그 파일을 포함하는 차량에 대한 비상 상황 정보를 블록에 기재한 후, 상기 블록을 차량 비상 블록체인망으로 브로드캐스팅하는 엣지 컴퓨팅 장치; 상기 엣지 컴퓨팅 장치로부터 수신되는 블록을 블록체인망 구성원들에게 전달하는 차량 비상 블록체인망; 및 상기 차량 비상 블록체인망을 통해 전달받은 블록에 기초하여 상기 차량에 대한 비상 상황 정보를 저장하는 비상 상황 로그 서버;를 포함한다.As a means for solving the above technical problem, according to an embodiment of the present invention, the emergency log system of a vehicle using a block chain network receives the sensing data sensing the vehicle status from the sensors provided in the vehicle to If it is determined that an emergency situation has occurred, and if it is determined that an emergency situation has occurred, the emergency information of the vehicle including the log file of the received sensing data is recorded in the block, and the block is broadcasted to the vehicle emergency block chain network. An edge computing device; A vehicle emergency blockchain network for delivering blocks received from the edge computing device to blockchain network members; And an emergency log server configured to store emergency information of the vehicle based on a block received through the vehicle emergency blockchain network.
상기 엣지 컴퓨팅 장치는, 상기 차량의 센서들로부터 수신한 센싱데이터를 센서 기능 별로 분석하여 차량의 상태를 기능 별로 파악하고, 상기 기능 별로 파악된 차량의 상태를 종합 분석하여 상기 차량의 비상 상황 발생 여부를 판별한다.The edge computing device analyzes the sensing data received from the sensors of the vehicle for each sensor function to determine the state of the vehicle for each function, and comprehensively analyzes the state of the vehicle identified for each function to determine whether an emergency situation of the vehicle occurs. Determine.
상기 엣지 컴퓨팅 장치는, 상기 차량에 비상 상황이 발생한 것으로 판별되면, 상기 차량에서 촬영된 영상데이터와 영상인식기반의 차량 검출 알고리즘을 이용하여 상기 차량의 전방 및 후방 중 적어도 하나에 위치하는 객체를 검출하고, 상기 차량에서 촬영된 영상데이터와 중앙선 식별 알고리즘을 이용하여 상기 차량의 주행 방향을 검출하고, 상기 검출된 객체와 차량의 주행 방향을 분석하여 상기 비상 상황을 심층 분석한다.When it is determined that an emergency situation has occurred in the vehicle, the edge computing device detects an object located in at least one of the front and the rear of the vehicle by using image data photographed from the vehicle and an image recognition-based vehicle detection algorithm. In addition, the driving direction of the vehicle is detected by using the image data photographed by the vehicle and a center line identification algorithm, and the detected object and the driving direction of the vehicle are analyzed to further analyze the emergency situation.
상기 엣지 컴퓨팅 장치는, 상기 비상 상황을 심층 분석한 결과, 상기 차량의 현재 위치 정보, 상기 차량의 차종, 비상 상황의 발생 여부 판단에 사용된 차량데이터의 로그 파일을 포함하는 비상 상황 정보를 생성하여 상기 블록에 기재한다.The edge computing device, based on the in-depth analysis of the emergency situation, generates emergency information including a log file of the current location information of the vehicle, the vehicle model, the vehicle data used to determine whether an emergency situation occurs; It describes in the said block.
상기 엣지 컴퓨팅 장치는, 블록 생성에 필요한 블록 해쉬를 채굴하여 저장하고, 상기 저장된 블록 해쉬를 이용하여 상기 차량에 대한 비상 상황 정보를 기재한 블록을 생성하여 브로드캐스팅한다.The edge computing device extracts and stores a block hash necessary for block generation, and generates and broadcasts a block describing emergency information about the vehicle using the stored block hash.
상기 비상 상황 로그 서버는, 상기 전달받은 비상 상황 정보의 레벨에 따라 상기 로그 파일을 선택적으로 경찰 서버 및 상기 운전자에 매핑된 보험사 서버 중 적어도 하나로 전송한다.The emergency situation log server selectively transmits the log file to at least one of a police server and an insurance company server mapped to the driver according to the received emergency situation information level.
본 발명에 따르면, 차량으로부터 센싱되는 다양한 데이터를 실시간으로 공유하여 인공지능을 이용한 상황인지 알고리즘을 통해 차량의 비상 상황 발생 여부를 판단하고, 차량의 비상 상황과 관련된 로그 정보를 블록체인망에 기록함으로써 보다 정확하면서 신속히 차량 상태를 판단하여 조치를 취할 수 있다.According to the present invention, by sharing a variety of data sensed from the vehicle in real time to determine whether the emergency situation of the vehicle occurs through a situation recognition algorithm using artificial intelligence, by recording log information related to the emergency situation of the vehicle on the block chain network Accurately and quickly determine the condition of the vehicle and take action.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 실시 예에 의한 블록체인망을 이용한 차량의 비상 상황 로그 시스템을 도시한 도면,
도 2는 도 1에 도시된 엣지 컴퓨팅 장치를 자세히 도시한 블록도,
도 3은 영상인식기반 전방 차량 검출 알고리즘의 개요도,
도 4는 일반적인 Tenser Flow 구조를 도시한 도면,
도 5는 일반적인 CNN 구조를 도시한 도면,
도 6은 ROI pooling의 예시도,
도 7은 MultiNet의 물체 검출 알고리즘 구조를 도시한 도면,
도 8은 HSV 색상 모델을 이용한 중앙선 식별 결과의 예시도와 중앙성 식별 알고리즘을 적용한 차량 주행방향 판단 결과를 보여주는 도면,
도 9는 본 발명의 실시 예에 따른 블록체인망을 이용한 차량의 비상 상황 로그 시스템의 비상 상황 공유 방법을 설명하기 위한 흐름도, 그리고,
도 10은 S925단계를 자세히 도시한 흐름도이다.1 is a view showing an emergency log system of a vehicle using a block chain network according to an embodiment of the present invention;
2 is a block diagram illustrating in detail the edge computing device shown in FIG. 1;
3 is a schematic diagram of an image recognition-based front vehicle detection algorithm;
4 is a diagram illustrating a general Tenser Flow structure;
5 shows a general CNN structure;
6 illustrates an example of ROI pooling;
7 is a diagram illustrating an object detection algorithm structure of MultiNet;
8 is a view showing an example of a centerline identification result using the HSV color model and a vehicle driving direction determination result to which the centrality identification algorithm is applied;
9 is a flowchart illustrating an emergency situation sharing method of an emergency log system of a vehicle using a blockchain network according to an embodiment of the present invention;
10 is a detailed flowchart illustrating step S925.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.Objects, other objects, features and advantages of the present invention will be readily understood through the following preferred embodiments associated with the accompanying drawings. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided to ensure that the disclosed contents are thorough and complete, and that the spirit of the present invention can be sufficiently delivered to those skilled in the art.
본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다.In the present specification, when a component is mentioned as being on another component, it means that it may be formed directly on the other component or a third component may be interposed therebetween.
또한, 제1 엘리먼트 (또는 구성요소)가 제2 엘리먼트(또는 구성요소) 상(ON)에서 동작 또는 실행된다고 언급될 때, 제1 엘리먼트(또는 구성요소)는 제2 엘리먼트(또는 구성요소)가 동작 또는 실행되는 환경에서 동작 또는 실행되거나 또는 제2 엘리먼트(또는 구성요소)와 직접 또는 간접적으로 상호 작용을 통해서 동작 또는 실행되는 것으로 이해되어야 할 것이다.In addition, when it is mentioned that a first element (or component) is operated or executed on a second element (or component), the first element (or component) means that the second element (or component) It is to be understood that the operation or execution in the environment in which the operation or execution is performed or the operation or execution is performed directly or indirectly through interaction with the second element (or component).
어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.When an element, component, device, or system is referred to as including a component made up of a program or software, the element, component, device, or system may be executed or operated by the element, component, device, or system even if no explicit mention is made. It should be understood to include hardware necessary to run (eg, memory, CPU, etc.) or other programs or software (eg, an operating system or drivers needed to run the hardware, etc.).
또한, 어떤 엘리먼트(또는 구성요소)가 구현됨에 있어서 특별한 언급이 없다면, 그 엘리먼트(또는 구성요소)는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.In addition, it is to be understood that an element (or component) may be implemented in software, hardware, or any form of software and hardware, unless otherwise specified in the implementation of any element (or component).
또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.Also, the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, the words 'comprises' and / or 'comprising' do not exclude the presence or addition of one or more other components.
이하, 본 발명에서 실시하고자 하는 구체적인 기술 내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.Hereinafter, specific technical contents to be implemented in the present invention will be described in detail with reference to the accompanying drawings.
아래의 특정 실시 예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. In describing the following specific embodiments, various specific details are set forth in order to explain and understand the invention in more detail. However, one of ordinary skill in the art can understand that the present invention can be used without these various specific details.
어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다. In some cases, it is mentioned in advance that parts of the invention which are commonly known in the description of the invention and which are not highly related to the invention are not described in order to prevent confusion in explaining the invention without cause.
도 1에 도시된 블록체인망을 이용한 차량의 비상 상황 로그 시스템의 각각의 구성은 기능 및 논리적으로 분리될 수도 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다. Each configuration of the emergency log system of the vehicle using the blockchain network shown in FIG. 1 represents a functional and logical separation, and each configuration must be classified as a separate physical device or written in a separate code. It does not mean that the average person skilled in the art can easily deduce.
상기 블록체인망을 이용한 차량의 비상 상황 로그 시스템의 구현을 위한 하나 이상의 프로그램은 소정의 데이터 프로세싱 장치에 설치되어 본 발명의 기술적 사상을 구현할 수 있다.One or more programs for implementing an emergency log system of a vehicle using the blockchain network may be installed in a predetermined data processing apparatus to implement the technical idea of the present invention.
또한, 본 발명의 실시 예에 따른 블록체인망을 이용한 차량의 비상 상황 로그 시스템의 엣지 컴퓨팅 장치(100)와 비상 상황 로그 서버(300)는 데스크탑 PC(Personal Computer), 서버, 랩탑 PC(Laptop PC), 넷북 컴퓨터(Netbook Computer), 휴대형 단말기 등 프로그램의 설치 및 실행이 가능한 모든 전자기기들 중 하나일 수 있다.In addition, the
도 1은 본 발명의 실시 예에 의한 블록체인망을 이용한 차량의 비상 상황 로그 시스템을 도시한 도면이다.1 is a diagram illustrating an emergency log system of a vehicle using a block chain network according to an exemplary embodiment of the present invention.
도 1에 도시된 바와 같이, 블록체인망을 이용한 차량의 비상 상황 로그 시스템은 차량(10)에 구비된 센서들(미도시)로부터의 센싱데이터와 인공지능 학습을 이용하여 차량의 비상 상황 발생 여부를 판별하고, 블록체인망을 이용하여 비상 상황 로그 서버(300)로 차량으로부터 센싱된 로그데이터를 포함하는 비상 상황 정보를 전송하며, 비상 상황 로그 서버(300)는 비상 상황 정보를 저장한 후 차량(10)과 근거리에 위치한 경찰서, 도로교통안전공사, 119 센터 또는 운전자의 보험사로 연락하여 비상 상황에 신속히 대처하도록 할 수 있다. As shown in FIG. 1, the emergency log system of a vehicle using a blockchain network detects whether an emergency situation of a vehicle occurs using sensing data and artificial intelligence learning from sensors (not shown) provided in the
도 1을 참조하면, 본 발명의 실시 예에 의한 블록체인망을 이용한 차량의 비상 상황 로그 시스템은 엣지 컴퓨팅 장치(100), 차량 비상 블록체인망(200) 및 비상 상황 로그 서버(300)를 포함할 수 있다.Referring to FIG. 1, an emergency log system of a vehicle using a block chain network according to an embodiment of the present invention may include an
차량(10)은 차량의 상태와 관련된 다수의 실시간 데이터(이하, '차량데이터'라 한다)를 통신가능하도록 설정된 엣지 컴퓨팅 장치(100)로 전송한다. 차량데이터는 차량에 장착된 센서들(미도시)이 센싱한 센싱데이터, 블랙박스가 촬영한 차량의 전방 또는 후방 영상데이터, GPS에서 획득한 차량 위치정보, OBD에서 획득한 OBD 데이터를 포함한다. 차량에 장착된 센서들은 충돌 감지 센서, 에어백 작동 센서, 가속도 센서, 속도 센서 등 차량의 상태를 센싱하는 센서를 포함한다.The
엣지 컴퓨팅 장치(100)는 차량(10)으로부터 센싱데이터, 영상데이터, 위치정보 등 차량(10)의 상태와 관련된 데이터, 즉, 차량(10)에서 발생하는 데이터들 중 차량의 비상 상황 발생 여부를 판단하는데 사용되는 차량데이터를 수신한다.The
엣지 컴퓨팅 장치(100)는 차량과 근접한 위치에서 컴퓨팅 능력을 통해 차량(10)의 동작을 제어하거나, 차량(10)에 구비된 센서들로부터 차량 상태를 센싱한 센싱데이터를 수신하여 차량의 비상 상황 발생 여부를 판별하고, 비상 상황이 발생한 것으로 판별되면, 수신된 센싱데이터의 로그 파일을 포함하는 차량에 대한 비상 상황 정보를 블록에 기재한 후, 블록을 차량 비상 블록체인망(200)으로 브로드캐스팅하는 엣지 컴퓨팅 시스템으로서 동작할 수 있다. 이러한 엣지 컴퓨팅 장치(100)는 차량(10)에 탑재될 수 있다.The
엣지 컴퓨팅 장치(100)와 비상 상황 로그 서버(300)는 차량 비상 블록체인망(200)의 구성원으로서 동작할 수 있다. 따라서, 엣지 컴퓨팅 장치(100)는 블록체인망(200)으로부터 전파되는 신규로 생성된 블록을 수신하여 분산저장하거나, 엣지 컴퓨팅 장치(100)에서 생성된 신규 블록을 블록체인망(200)으로 전파하여 분산저장하도록 요청할 수도 있다.The
이러한 엣지 컴퓨팅 장치(100)는 수신된 센싱데이터로부터 차량(10)의 상태가 비상 상황은 아니나 일부 이상이 발생한 것으로 예측되는 경우, 차량(10)으로 또는 차량 운전자의 모바일 단말기로 차량(10)의 현재 상태와 유의할 점 등을 알려줄 수도 있다. When the state of the
도 2는 도 1에 도시된 엣지 컴퓨팅 장치(100)를 자세히 도시한 블록도이다.2 is a detailed block diagram of the
도 2를 참조하면, 본 발명의 실시 예에 따른 엣지 컴퓨팅 장치(100)는 버스(110), 블록 해쉬 채굴부(120), 블록 해쉬 저장부(130), 통신부(140), 센싱데이터 수집부(150), 메모리(160) 및 프로세서(170)를 포함할 수 있다.2, the
버스(110)는 블록 해쉬 채굴부(120), 블록 해쉬 저장부(130), 통신부(140), 센싱데이터 수집부(150), 메모리(160) 및 프로세서(170)를 서로 연결하고, 제어 메시지, 상태정보, 및/또는 데이터와 같은 각종 신호를 전달하는 회로를 포함할 수 있다.The
블록 해쉬 채굴부(120)는 블록 생성에 필요한 블록 해쉬를 채굴하고, 블록 해쉬 저장부(130)는 채굴된 블록 해쉬를 저장할 수 있다.The block
통신부(140)는 차량(10) 및 차량 비상 블록체인망(200)과의 통신을 위한 인터페이스 회로를 포함한다. 예를 들어, 통신부(140)는 차량(10)으로부터 차량 데이터를 수신하고, 차량 비상 블록체인망(200)에게 후술할 블록을 브로드캐스팅할 수 있다. 차량데이터는 센싱데이터, 영상데이터, 위치정보, 차량 식별 정보, 차량의 운전자 정보 등을 포함한다.The
센싱데이터 수집부(150)는 차량(10)으로부터 수신되는 차량데이터를 수집 및 저장할 수 있다. The
메모리(160)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(160)에는 엣지 컴퓨팅 장치(100)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.The
메모리(160)에 저장되는 프로그램은 블록 해쉬를 채굴하고, 채굴된 블록 해쉬를 이용하여 신규 블록을 생성하는 블록 채굴 프로그램을 포함할 수 있다.The program stored in the
또한, 메모리(160)에 저장되는 프로그램은 차량(10)으로부터 수집되는 센싱데이터들을 분석하여 차량의 비상 상황 발생 여부를 판단하는 비상 상황 판단 프로그램과, 비상 상황이 발생한 경우 센싱데이터와 영상데이터를 이용하여 비상 상황을 심층 분석하고, 블록을 생성하여 전파하는 심층 분석 프로그램을 포함할 수 있다.In addition, the program stored in the
프로세서(170)는 메모리(160)에 저장된 하나 이상의 프로그램을 실행하여 엣지 컴퓨팅 장치(100)의 전반적인 동작을 제어할 수 있다.The
이를 위하여, 프로세서(170)는 비상상황 판별부(171), 비상상황 심층분석부(173), 비상상황 정보 생성부(175) 및 블록 생성부(177)를 포함할 수 있다.To this end, the
비상상황 판별부(171)는 비상 상황 판단 프로그램을 실행하여 차량(10)으로부터 수신된 차량데이터 중 센싱데이터를 센서 기능 별로 분석하여 차량의 상태를 기능 별로 파악하고, 기능 별로 파악된 결과를 종합 분석하여 차량(10)에 비상 상황이 발생하였는지 여부를 판별할 수 있다.The emergency
예를 들어, 비상상황 판별부(171)는 충돌 감지 센서에 의한 센싱데이터로부터 차량(10)의 충돌이 발생하였는지를 판단하고, 에어백 작동 센서에 의한 센싱데이터로부터 에어백이 작동하였는지를 판단하고, 가속도 센서에 의한 센싱데이터로부터 급감속 여부를 판단할 수 있다.For example, the emergency
그리고, 비상상황 판별부(171)는 기능 별로 판단된 결과를 종합 분석하여 차량(10)에 이상 또는 결함이 발생하였는지, 또는 발생한 이상 또는 결함이 비상 상황(emergency)에 해당하는지 판별할 수 있다. 예를 들어, 비상상황 판별부(171)는 각 기능 별로 파악된 결과마다 기설정된 가중치를 부여하고, 가중치를 부여한 값을 더한 최종값이 사전에 분류된 레벨 중 비상 상황 레벨에 속하면 비상 상황이 발생한 것으로 판별할 수 있다. In addition, the emergency
차량(10)에 비상 상황이 발생한 것으로 판별되면, 비상상황 심층분석부(173)는 심층 분석 프로그램을 실행하여 차량(10)으로부터 수신된 차량데이터 중 영상데이터를 이용하여 딥러닝 알고리즘 기반의 객체(즉, 전방 차량 또는 후방 차량)를 검출하고, 목표물 분류 알고리즘에 의한 주행 상황 정보를 추출하여 비상 상황을 심층분석할 수 있다.If it is determined that an emergency situation has occurred in the
다시 말하면, 비상상황 심층분석부(173)는 차량(10)에 비상 상황이 발생한 것으로 판별되면, 차량(10)에서 촬영된 영상데이터와 영상인식기반의 차량 검출 알고리즘을 이용하여 차량(10)의 전방 및 후방 중 적어도 하나에 위치하는 객체를 검출하고, 차량(10)에서 촬영된 영상데이터와 중앙선 식별 알고리즘을 이용하여 차량의 주행 방향을 검출한 후, 검출된 객체와 차량의 주행 방향을 분석하여 차량(10)의 비상 상황을 심층 분석할 수 있다.In other words, when it is determined that an emergency situation has occurred in the
먼저, 도 3 내지 도 7을 참조하여 딥러닝 기반의 객체를 검출하는 동작에 대해 설명한다.First, an operation of detecting a deep learning-based object will be described with reference to FIGS. 3 to 7.
도 3은 영상인식기반 전방 차량 검출 알고리즘의 개요도, 도 4는 일반적인 Tenser Flow 구조를 도시한 도면, 도 5는 일반적인 CNN 구조를 도시한 도면, 도 6은 ROI pooling의 예시도, 도 7은 MultiNet의 물체 검출 알고리즘 구조를 도시한 도면이다.3 is a schematic diagram of an image recognition-based front vehicle detection algorithm, FIG. 4 is a diagram illustrating a general Tenser Flow structure, FIG. 5 is a diagram showing a general CNN structure, FIG. 6 is an example of ROI pooling, and FIG. 7 is a MultiNet. Is a diagram showing the structure of an object detection algorithm.
먼저, 본 발명의 실시 예에서, 객체 검출은 전방 차량 또는 후방 차량 검출을 의미하고, 딥러닝 알고리즘과 차량 검출 알고리즘과 멀티넷의 물체 검출 알고리즘은 동일한 알고리즘을 의미하며, 설명의 편의를 위해 혼용될 수 있다. First, in an embodiment of the present invention, object detection means front vehicle or rear vehicle detection, and the deep learning algorithm, the vehicle detection algorithm, and the object detection algorithm of the multinet mean the same algorithm, and they may be used for convenience of description. have.
도 3 내지 도 7을 참조하면, 딥러닝 알고리즘은 물체의 특징 추출 단계가 포함되어 있어, 영상 전처리 과정과 특징 추출 단계를 별도로 진행하지 않고, 딥러닝 알고리즘이 학습 목적에 맞춰 스스로 특징 추출 단계를 계산할 수 있는 장점이 있다. 도 5에 도시된 CNN(Convolution Neural Network) 구조는 컴퓨터가 스스로 특징표현을 학습하여 결과를 도출하는 특징표현 학습 알고리즘의 네트워크 구조로서, 영상의 위상학적 구조를 학습할 수 있도록 신경망의 구조를 새롭게 설계해 영상 처리에 적합한 신경망이다. 3 to 7, the deep learning algorithm includes a feature extraction step of an object, so that the deep learning algorithm may calculate the feature extraction step on its own in accordance with the learning purpose without separately performing the image preprocessing process and the feature extraction step. There are advantages to it. The CNN (Convolution Neural Network) structure shown in FIG. 5 is a network structure of a feature expression learning algorithm in which a computer learns a feature expression by itself and derives a result, and newly designs a structure of a neural network so that the topological structure of an image can be learned. Neural network suitable for image processing.
CNN은 특징을 추출하는 convolution과 pooling 레이어 단계와 추출된 특징을 학습하여 결과를 예측하는 Fully Connected 레이어 단계로 구성되어 있다. Convolution 레이어는 CNN을 이루는 핵심 레이어로, 입력 이미지로부터 특징을 추출하는 필터와 이 필터의 값을 비선형 값으로 변경하는 Activiation 함수로 구성된다. 또한, Pooling 레이어는 convolution 레이어에 의해 추출된 특징을 서브 샘플링하는 과정으로 convolution 레이어와 함께 특징을 추출하는 단계에 속한다. Fully Connected 레이어는 추출된 특징 값을 기존의 인공 신경망으로 분류하는 단계로 이 단계를 통해 예측 결과 값이 출력되는 구조이며, Softmax 함수와 같은 Activiation 함수를 추가로 사용하여 분류의 다양성을 확장시킬 수 있다. CNN consists of the convolution and pooling layer stages that extract features, and the fully connected layer stage that learns the extracted features and predicts the results. The Convolution layer is the core layer of the CNN. It consists of a filter that extracts features from the input image and an Activiation function that changes the filter's value to a nonlinear value. In addition, the pooling layer is a process of subsampling a feature extracted by the convolution layer and belongs to the step of extracting the feature together with the convolution layer. The Fully Connected layer classifies the extracted feature values into existing artificial neural networks. This step outputs the predicted result values. The diversity of classification can be extended by additionally using Activiation functions such as Softmax function. .
한편, MultiNet 알고리즘은, YOLO(You only look once) 알고리즘의 장점인 fast regression design과 Fast-RCNN(Fast Recurrent Convolution Neural Network)알고리즘의 장점인 ROI-Pooling 기능을 결합한 알고리즘이다. On the other hand, the MultiNet algorithm combines the fast regression design, which is the advantage of the YOLO (YOLO) algorithm, and the ROI-Pooling function, which is the advantage of the Fast Recurrent Convolution Neural Network (RCN) algorithm.
YOLO 알고리즘은 한 번에 물체의 종류와 위치를 찾는 알고리즘으로, 이미지 내의 Bounding Box와 class probability를 single regression 문제로 간주하며, 실시간 처리가 가능하지만 정확도가 비교적 낮다. Fast-RCNN 알고리즘은 Region proposal 단계를 진행한 이미지를 CNN 알고리즘으로 특징 맵을 추출한 후, ROI pooling 레이어 단계를 거쳐 softmax classifier와 Bounding Box Regressor 단계를 진행하는 알고리즘으로 정확도는 높지만, Region proposal 단계의 처리 속도가 느려 실시간에 적합하지 못하다. ROI pooling은 도 6에 도시된 것처럼 ROI크기에 상관없이 내가 원하는 N*M feature가 나오도록 ROI 내 영역을 나누는 방법이다. The YOLO algorithm finds the type and location of an object at one time. It considers the bounding box and class probability in the image as a single regression problem, and can process in real time, but the accuracy is relatively low. Fast-RCNN algorithm is an algorithm that extracts feature map from region proposal stage by CNN algorithm and then performs softmax classifier and bounding box regressor stage through ROI pooling layer stage. Is slow and not suitable for real time. ROI pooling is a method of dividing the region in the ROI so that the N * M features that I want come out regardless of the ROI size as shown in FIG.
이러한 MultiNet 알고리즘은 딥러닝 알고리즘을 이용해 실시간으로 분류(classification), 검출(detection), 분할(segmentation)하기 위한 알고리즘으로, 분류 단계는 도로와 사이드 도로를 구분하는 역할을 하고, 검출 단계에서는 차량을 검출하고, 분할단계에서는 빈 공간을 구별하는 역할을 한다. 본 발명의 경우, 블랙박스 영상에서 전방 차량 또는 후방 차량을 확인할 때, 분류와 분할 단계는 불필요하므로 검출 단계만 적용할 수 있다. 이는 본 발명에서는 중앙선 식별 알고리즘을 이용하여 중앙선을 식별하고 차량 주행방향을 추출하기 때문에, 분류와 분할 단계를 제외할 수 있다.The MultiNet algorithm is a algorithm for classification, detection, and segmentation in real time using a deep learning algorithm. The classification step distinguishes roads from side roads, and the detection step detects vehicles. In the dividing step, it serves to distinguish the empty space. In the present invention, when identifying the front vehicle or the rear vehicle in the black box image, the classification and dividing steps are unnecessary, so only the detection step may be applied. In the present invention, since the center line is identified using the center line identification algorithm and the vehicle driving direction is extracted, the classification and dividing steps may be excluded.
한편, 기존의 물체 검출 알고리즘은 region propasals 단계를 진행한 후 convolution 네트워크를 사용해 점수에 따라 물체를 검출하는 기법을 주로 사용하였다. 본 발명에서 사용하는 MultiNet의 검출 알고리즘은 end-to-end trainable 검출 방법을 제안하여, 크기에 적응적인 features를 가질 수 있는 장점이 있어, 다양한 크기의 차량을 실시간으로 검출할 수 있다. On the other hand, the existing object detection algorithm mainly used the method of detecting the object according to the score using the convolution network after the region propasals step. The detection algorithm of MultiNet used in the present invention proposes an end-to-end trainable detection method, and has an advantage that it can have features adaptive to size, so that vehicles of various sizes can be detected in real time.
도 7을 참조하면, 입력된 이미지는 CNN Encoder 단계와 Detection Decoder 단계를 거쳐 영상에서 물체를 검출한다. CNN Encoder 단계는 상술한 것처럼 VGG16(Very Deep Convolution Network)의 convolution 레이어와 Max pooling(5단계의 pooling 레이어) 단계를 거쳐 특징 맵을 추출하는 단계이다. Referring to FIG. 7, an input image detects an object from an image through a CNN Encoder step and a Detection Decoder step. As described above, the CNN Encoder step is a step of extracting a feature map through a convolution layer and a Max pooling (5 step pooling layer) step of a Very Deep Convolution Network (VGG16).
MultiNet의 Detection decoder는 FastBox라고 하며, Hidden, Prediction, Rezoom Layers, Delta Prediction의 4단계를 포함한다. Hidden 단계는 특징 맵을 500개의 filter로 1x1 convolution한 결과이며, 이를 1x1 convolution으로 특정 위치에 물체가 있는지에 대한 confidence와 해당 cell 주변 Bounding Box의 좌표를 찾는 과정을 prediction 과정이라 한다. Prediction 단계의 낮은 결과 정확도 향상을 위해 높은 차원(VGG)에 ROI pooling을 적용해 grid(39x12) 크기로 특징 추출하고, 1x1 convolution을 진행하는 Rezoom Layer 단계를 거쳐 해당 Bounding Box가 차량인지 아닌지를 판별할 수 있으며, 이로써 차량)의 전방 차량 또는 후방 차량이 판별된다. MultiNet's Detection Decoder is called FastBox and includes four steps: Hidden, Prediction, Rezoom Layers, and Delta Prediction. The hidden step is a result of 1x1 convolution of 500 feature maps, and the process of finding confidence in the presence of an object at a specific location and finding coordinates of the bounding box around the corresponding cell using the 1x1 convolution. In order to improve the accuracy of the low result of the Prediction stage, ROI pooling is applied to a high dimension (VGG) to extract features of grid (39x12) size, and to determine whether or not the corresponding bounding box is a vehicle by going through the Rezoom Layer stage that proceeds with 1x1 convolution. In this way, the front vehicle or the rear vehicle of the vehicle) can be determined.
상술한 영상인식기반의 물체 검출 알고리즘, 즉, 차량 검출 알고리즘은 영상데이터에서 운전자의 전방에 위치한 차량을 검출하여 교통 상황을 파악하며, 영상 내 차량 검출 크기는 (40x40)pixels 이상이고, 바퀴 2개 및 차량의 60% 이상이 식별가능할 경우 차량으로서 검출될 수 있다.The above-described object recognition algorithm based on image recognition, that is, the vehicle detection algorithm detects a vehicle located in front of the driver in the image data to grasp the traffic situation, and the vehicle detection size in the image is greater than (40x40) pixels and has two wheels. And when at least 60% of the vehicle is identifiable, it can be detected as a vehicle.
다음으로, 도 8을 참조하여 중앙선 식별 알고리즘에 의해 차량의 주행 방향을 판단하는 동작에 대해 설명한다.Next, an operation of determining the driving direction of the vehicle by the center line identification algorithm will be described with reference to FIG. 8.
도 8은 HSV 색상 모델을 이용한 중앙선 식별 결과의 예시도와 중앙성 식별 알고리즘을 적용한 차량 주행방향 판단 결과를 보여주는 도면이다.8 is a diagram illustrating an example of a centerline identification result using the HSV color model and a vehicle driving direction determination result to which the centrality identification algorithm is applied.
먼저, 본 발명의 실시 예에서, 중앙선을 검출하여 차량(10)의 주행 방향 및/또는 차량 대수를 검출하는 동작은 주행상황정보를 추출하는 동작 또는 도로상황을 인식하는 동작과 동일한 의미로 사용될 수 있으며, 설명의 편의를 위해 혼용될 수 있다. First, in an embodiment of the present disclosure, the operation of detecting the center line to detect the driving direction and / or the number of vehicles may be used in the same sense as the operation of extracting driving situation information or recognizing a road situation. It may be used for convenience of description.
중앙선 식별 알고리즘은 도로에서 주로 노란색 실선으로 표현된 중앙선을 검출하기 위한 알고리즘으로서, 컬러모델을 RGB 색상 모델에서 HSV 색상 모델로 변경하여 명암에 관계없이 색상을 추출하여 차선을 검출할 수 있다. HSV 색상 모델은 모든 색상을 색상(Hue), 채도(Saturation), 명도(Value) 채널로 표현하는 방식으로 모든 채널을 확인해야 하는 RGB 색상 모델과 달리 색상 채널만 확인하여 노란색을 기준으로 하는 이진화 영상을 추출할 수 있다. The centerline identification algorithm is an algorithm for detecting a centerline mainly represented by a solid yellow line on a road. The laneline may be detected by extracting colors regardless of contrast by changing a color model from an RGB color model to an HSV color model. HSV color model is different from RGB color model where all channels should be identified by expressing all colors as Hue, Saturation, and Value channels. Binary image based on yellow by checking only color channel Can be extracted.
비상상황 심층분석부(173)는 노란색인 영역과 노란색이 아닌 영역으로 이진화된 영상에서 직선 성분을 찾아 중앙선을 판별하며, 이로써 단순히 직선 성분을 찾던 기존의 알고리즘보다 중앙선 식별 시간이 빠르고 정확하다. 특히, 도 8의 아래에 도시된 예시도에서, 비상상황 심층분석부(173)는 우측에 도시된 것처럼 중앙선(파란선)을 기준으로 양쪽의 차량의 주행 방향이 다름(노랑 사각형과 초록 사각형으로 구분)을 정확히 판단한다. The emergency in-
비상상황 심층분석부(173)는 검출된 객체, 즉, 검출된 전방 차량 또는 후방 차량과 주행 방향을 종합 분석하여 비상 상황을 보다 심층적으로 분석할 수 있다. 예를 들어, 차량(10)이 전복되었거나 차선을 이탈한 경우 차량의 주행방향보다 반대 방향의 차량 복잡도가 올라갈 수 있으며, 이러한 경우 차량뿐만 아니라 도로 상황도 비상 상태로 판단하고, 비상 상황에 대한 가중치를 상향조정할 수 있다.The emergency
비상상황 판별부(171)에서 차량(10)에 비상 상황이 발생한 것으로 판단되고, 비상상황 심층분석부(173)에서 심층 분석이 완료되면, 비상상황 정보 생성부(175)는 차량(10)으로부터 수신된 차량데이터에 대한 로그 파일과 차량(10)의 식별정보와 위치정보를 포함하는 비상상황 정보를 생성한다. When the emergency
자세히 설명하면, 비상상황 정보 생성부(175)는 수집 및 저장된 차량데이터 중 비상 상황의 발생 여부를 판단하는데 사용한 차량데이터의 로그 파일을 생성하며, 로그 파일의 각 로그는 차량데이터가 차량(10)에서 센싱된 시간(또는 측정된 시간 또는 획득된 시간)과 센싱값(또는 측정값)을 포함한다. 또한, 비상상황 정보 생성부(175)는 수집된 차량데이터 중 비상 상황의 발생 여부를 판단하는데 사용된 차량데이터의 이전에 수집된 차량데이터를 이용하여 참조 로그 파일을 생성할 수 있다. 참조 로그 파일은 비상상황 로그 서버(300) 또는 경찰서와 같은 기관에서 차량(10)의 비상 상황이 발생하기 전 상황을 분석하여 참조하는데 사용할 수 있다. In detail, the emergency
블록 생성부(177)는 블록 해쉬 저장부(130)로부터 사용가능한 블록 해쉬를 제공받아 비상상황 정보 생성부(175)에서 생성된 비상상황 정보를 블록 해쉬에 기재하여 신규 블록을 생성할 수 있다. 그리고, 블록 생성부(177)는 비상상황 정보가 실린 블록을 블록체인망(200)으로 브로드캐스팅하여 비상 상황 로그 서버(300)로 전파되도록 할 수 있다.The
다시 도 1을 참조하면, 차량 비상 블록체인망(200)은 엣지 컴퓨팅 장치(100)로부터 수신되는 블록을 블록체인망(200)의 구성원들에게 전달하여 분산저장되도록 할 수 있다. 차량 비상 블록체인망(200)은 하나 이상의 엣지 컴퓨팅 장치(100)와 하나 이상의 비상 상황 로그 서버(300)를 포함하므로, 엣지 컴퓨팅 장치(100)와 비상 상황 로그 서버(300)는 블록체인망의 노드로서 동작할 수 있다.Referring back to FIG. 1, the vehicle
비상 상황 로그 서버(300)는 차량 비상 블록체인망(200)을 통해 전달받은 블록에 기초하여 비상상황정보를 추출 및 저장할 수 있다. 이로써, 비상 상황 로그 서버(300)에는 차량(10)의 비상상황 발생 시 차량의 상태를 알 수 있는 로그 파일과 차량(10)의 식별정보와 위치 정보가 저장된다. The
또한, 비상 상황 로그 서버(300)는 저장된 로그 파일과 차량(10)의 식별정보와 위치 정보를 포함하는 비상상황정보를 경찰서, 차량(10)의 식별정보에 매핑저장된 보험사 등 차량의 비상상황을 해결할 수 있는 기관 또는 사람에게 통지할 수 있다. 엣지 컴퓨팅 장치(100)는 비상 상황 정보의 레벨에 따라 로그 파일을 선택적으로 경찰 서버 또는 보험사 서버 중 적어도 하나로 전송할 수도 있다.In addition, the
한편, 엣지 컴퓨팅 장치(100)와 블록체인망(200)의 네트워크가 통신이 불가한 경우, 엣지 컴퓨팅 장치(100)는 v2x(Vehicle to Everthing)를 활용하여 인근의 다른 차량의 엣지 컴퓨팅 시스템으로 블록은 이용하지 않으면서 비상 상황 정보를 발송할 수도 있다. Meanwhile, when the network of the
도 9는 본 발명의 실시 예에 따른 블록체인망을 이용한 차량의 비상 상황 로그 시스템의 비상 상황 공유 방법을 설명하기 위한 흐름도이다.9 is a flowchart illustrating an emergency sharing method of an emergency log system of a vehicle using a blockchain network according to an exemplary embodiment of the present invention.
도 9에 도시된 차량(10), 엣지 컴퓨팅 장치(100), 블록체인망(200) 및 비상 상황 로그 서버(300)는 도 1 내지 도 8을 참조하여 설명하였으므로 상세한 설명은 생략한다.Since the
도 9를 참조하면, 엣지 컴퓨팅 장치(100)는 블록체인망(200)의 구성원, 즉 노드로서 동작하여 블록체인망(200)으로 전파되는 신규 생성 블록을 분산저장한다(S900). Referring to FIG. 9, the
또한, 엣지 컴퓨팅 장치(100)는 자체적으로 사용할, 즉, 블록 생성에 필요한 블록 해쉬를 채굴하여 저장한다(S905, S910).Also, the
S900단계 내지 S910단계가 진행되는 동안 엣지 컴퓨팅 장치(100)는 S915단계 내지 S970단계를 병행할 수 있다.During the operations S900 to S910, the
즉, 엣지 컴퓨팅 장치(100)는 차량(10)으로부터 차량데이터를 수신하여 시간의 흐름에 따라 수집 및 저장한다(S915~S920). S920단계에서 엣지 컴퓨팅 장치(100)는 차량데이터가 수신될 때마다 차량데이터를 기능 별로 분류하여 로그 형태로 저장할 수 있다.That is, the
엣지 컴퓨팅 장치(100)는 수집 및 저장된 차량데이터 중 차량(10)의 상태를 센싱한 센싱데이터를 기능 별로 분석하여 차량의 비상 상황 발생 여부를 판단할 수 있다(S925).The
도 10은 S925단계를 자세히 도시한 흐름도이다.10 is a detailed flowchart illustrating step S925.
도 10을 참조하면, 엣지 컴퓨팅 장치(100)는 실시간으로 입력되는 센싱데이터 중 충돌 감지 센싱데이터를 분류하여 충돌 감지 여부를 판단한다(S1010~S1030).Referring to FIG. 10, the
또한, 엣지 컴퓨팅 장치(100)는 실시간으로 입력되는 센싱데이터 중 에어백 작동 센싱데이터를 분류하여 에어백의 작동 여부를 판단한다(S1010, S1040, S1050).In addition, the
또한, 엣지 컴퓨팅 장치(100)는 실시간으로 입력되는 센싱데이터 중 가속도 센싱데이터를 분류하여 차량(10)의 급감속 여부를 판단할 수 있다(S1010, S1060, S1070).In addition, the
그리고, 엣지 컴퓨팅 장치(100)는 S1030, S1050, S1070의 판단 결과를 종합 분석하여 차량(10)에 이상 또는 결함이 발생하였는지, 또는 발생한 이상 또는 결함이 비상 상황에 해당하는지 판별할 수 있다(S1080). In addition, the
다시 도 9를 참조하면, 엣지 컴퓨팅 장치(100)는 차량(10)에 비상 상황이 발생한 것으로 판별되면, 차량(10)으로부터 수신된 차량데이터 중 영상데이터를 이용하여 딥러닝 알고리즘 기반의 객체(즉, 전방 차량 또는 후방 차량)를 검출하고, 목표물 분류 알고리즘에 의한 주행 상황 정보를 추출하여 비상 상황을 심층분석할 수 있다(S935, S940, S945).Referring back to FIG. 9, when it is determined that an emergency situation has occurred in the
엣지 컴퓨팅 장치(100)는 S945단계의 심층 분석 결과(즉, 검출된 객체의 종류, 형태, 차량(10)의 주행 방향 등)와 S925단계에서 비상 상황 판단에 사용된 차량데이터의 로그 파일과 차량(10)의 위치정보와 식별정보를 포함하는 비상상황정보를 생성하여 저장한다(S950).The
엣지 컴퓨팅 장치(100)는 채굴된 블록 해쉬를 요청 및 전달받아 비상상황정보를 담은 블록을 생성한 후 생성된 블록을 블록체인망으로 브로드캐스팅한다(S955~S970).The
블록체인망(200)의 구성원들 중 비상 상황 로그 서버(300)와 연결된 노드에서 비상상황정보를 실은 블록을 비상 상황 로그 서버(300)로 전송하면(S975, S980), 비상 상황 로그 서버(300)는 블록의 비상상황정보를 저장한다(S985). S985단계에서 비상 상황 로그 서버(300)는 비상상황정보가 담긴 블록을 수신하여 파싱한 후 비상상황정보를 확인하고 로그 파일을 포함하는 차량 정보를 저장하고, 경찰서와 같은 외부 기관으로 비상 상황이 발생하였음을 통지할 수 있다. When a block carrying emergency information is transmitted from the node connected to the
상기와 같이 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.As described above, although the present invention has been described by way of limited embodiments and drawings, the present invention is not limited to the above embodiments, and various modifications and variations will be made by those skilled in the art to which the present invention pertains. This is possible. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.
10: 차량 100: 엣지 컴퓨팅 장치
200: 차량 비상 블록체인망 300: 비상 상황 로그 서버10: vehicle 100: edge computing device
200: vehicle emergency blockchain network 300: emergency log server
Claims (6)
상기 엣지 컴퓨팅 장치로부터 수신되는 블록을 블록체인망 구성원들에게 전달하는 차량 비상 블록체인망; 및
상기 차량 비상 블록체인망을 통해 전달받은 블록에 기초하여 상기 차량에 대한 비상 상황 정보를 저장하는 비상 상황 로그 서버;를 포함하고,
상기 엣지 컴퓨팅 장치는,
상기 차량의 센서들로부터 수신한 센싱데이터를 센서 기능 별로 분석하여 차량의 상태를 기능 별로 파악하고, 상기 기능 별로 파악된 차량의 상태마다 기설정된 가중치를 부여하고, 가중치를 부여한 값을 더한 최종값이 사전에 분류된 레벨들 중 비상 상황 레벨에 속하면 차량에 비상 상황이 발생한 것으로 판별하는 비상 상황 판별부;
상기 비상 상황 판별부에서 차량에 비상 상황이 발생한 것으로 판별되면, 상기 차량에서 촬영된 영상데이터와 영상인식기반의 차량 검출 알고리즘을 이용하여 상기 차량의 전방 차량 및 후방 차량 중 적어도 하나를 검출하고, 상기 차량에서 촬영된 영상데이터와 중앙선 식별 알고리즘을 이용하여 상기 차량의 주행 방향과 차량 대수를 검출한 후, 상기 검출된 전방 차량 및 후방 차량 중 적어도 하나와 상기 차량의 주행 방향과 차량 대수를 종합 분석하여 비상 상황에 대한 가중치를 조정하는 비상상황 심층분석부;를 포함하고,
상기 비상상황 심층분석부는,
상기 검출된 전방 차량 및 후방 차량 중 적어도 하나와 상기 차량의 주행 방향과 차량 대수를 종합 분석한 결과, 상기 차량의 전복 및 차선 이탈이 발생한 경우 상기 차량 및 도로 상황이 비상 상태인 것으로 판단하고, 비상 상황에 대한 가중치를 상향조정하는 것을 특징으로 하는 블록체인망을 이용한 차량의 비상 상황 로그 시스템.Receiving sensing data sensing the state of the vehicle from sensors provided in the vehicle to determine whether an emergency situation of the vehicle occurs, and if it is determined that the emergency situation has occurred, for a vehicle including a log file of the received sensing data An edge computing device that writes emergency information to a block and then broadcasts the block to a vehicle emergency blockchain network;
A vehicle emergency blockchain network for delivering blocks received from the edge computing device to blockchain network members; And
And an emergency log server configured to store emergency information on the vehicle based on a block received through the vehicle emergency block chain network.
The edge computing device,
The final value obtained by analyzing the sensing data received from the sensors of the vehicle for each sensor function to identify the state of the vehicle by function, assigning a predetermined weight to each state of the vehicle identified by the function, and adding the weighted value. An emergency situation determination unit for determining that an emergency situation has occurred in a vehicle when belonging to an emergency situation level among pre-classified levels;
When it is determined that the emergency situation has occurred in the vehicle, the emergency situation determination unit detects at least one of the front vehicle and the rear vehicle of the vehicle by using the image data photographed from the vehicle and an image recognition-based vehicle detection algorithm. After detecting the driving direction of the vehicle and the number of vehicles by using the image data photographed from the vehicle and the center line identification algorithm, at least one of the detected front vehicle and the rear vehicle, the driving direction of the vehicle and the number of vehicles are analyzed. Includes; Emergency deep analysis unit for adjusting the weight for the emergency;
The emergency deep analysis unit,
As a result of comprehensively analyzing at least one of the detected front and rear vehicles, the driving direction of the vehicle, and the number of vehicles, it is determined that the vehicle and the road situation are in an emergency state when the vehicle is overturned and lane departure occurs. Emergency situation log system of a vehicle using a block chain network, characterized in that to increase the weight for the situation.
상기 엣지 컴퓨팅 장치는,
상기 비상상황 심층분석부의 비상상황 분석 결과, 상기 차량의 현재 위치 정보, 상기 차량의 차종, 비상 상황의 발생 여부 판단에 사용된 차량데이터의 로그 파일 및 참조 로그 파일을 포함하는 비상 상황 정보를 생성하는 비상상황 정보 생성부; 및
상기 생성된 비상상황 정보를 상기 블록에 기재하는 블록 생성부;를 더 포함하고,
상기 참조 로그 파일은, 상기 비상 상황의 발생 여부를 판단하는데 사용된 차량데이터의 이전에 수집된 차량데이터의 로그 파일인 것을 특징으로 하는 블록체인망을 이용한 차량의 비상 상황 로그 시스템.The method of claim 1,
The edge computing device,
As a result of the emergency analysis of the emergency deep analysis unit, to generate emergency information including the current location information of the vehicle, the vehicle model of the vehicle, a log file of the vehicle data used to determine whether or not an emergency occurs; Emergency information generation unit; And
And a block generation unit for writing the generated emergency information in the block.
And the reference log file is a log file of previously collected vehicle data of the vehicle data used to determine whether the emergency situation has occurred.
상기 엣지 컴퓨팅 장치는,
블록 생성에 필요한 블록 해쉬를 채굴하여 저장하고, 상기 저장된 블록 해쉬를 이용하여 상기 차량에 대한 비상 상황 정보를 기재한 블록을 생성하여 브로드캐스팅하는 것을 특징으로 하는 블록체인망을 이용한 차량의 비상 상황 로그 시스템.The method of claim 1,
The edge computing device,
The emergency log system of a vehicle using a block chain network, which mines and stores a block hash necessary for block generation, and generates and broadcasts a block describing emergency information on the vehicle using the stored block hash. .
상기 비상 상황 로그 서버는,
상기 전달받은 비상 상황 정보의 레벨에 따라 상기 로그 파일을 선택적으로 경찰 서버 및 상기 차량의 운전자에 매핑된 보험사 서버 중 적어도 하나로 전송하는 것을 특징으로 하는 블록체인망을 이용한 차량의 비상 상황 로그 시스템.The method of claim 1,
The emergency log server,
And the log file is selectively transmitted to at least one of a police server and an insurance company server mapped to a driver of the vehicle according to the level of the emergency information received.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180090436A KR102073929B1 (en) | 2018-08-02 | 2018-08-02 | Vehicle Emergency Log system using blockchain network |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180090436A KR102073929B1 (en) | 2018-08-02 | 2018-08-02 | Vehicle Emergency Log system using blockchain network |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102073929B1 true KR102073929B1 (en) | 2020-02-05 |
Family
ID=69514711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180090436A KR102073929B1 (en) | 2018-08-02 | 2018-08-02 | Vehicle Emergency Log system using blockchain network |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102073929B1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111477001A (en) * | 2020-03-04 | 2020-07-31 | 中国联合网络通信有限公司广州市分公司 | Traffic signal acquisition and management system based on 5G and MEC |
CN111899515A (en) * | 2020-09-29 | 2020-11-06 | 深圳市城市交通规划设计研究中心股份有限公司 | Vehicle detection system based on wisdom road edge calculates gateway |
CN111932916A (en) * | 2020-07-31 | 2020-11-13 | 长沙理工大学 | Control method and control system for dynamic emergency lane of urban road |
CN111967056A (en) * | 2020-07-18 | 2020-11-20 | 赣州市智能产业创新研究院 | Wireless communication information acquisition method and system based on block chain |
CN112562409A (en) * | 2020-12-04 | 2021-03-26 | 上海淞泓智能汽车科技有限公司 | Autonomous parking system and method based on multi-access edge calculation |
KR102263461B1 (en) * | 2020-11-17 | 2021-06-09 | 동국대학교 경주캠퍼스 산학협력단 | Method and apparatus for multicasting block data based on scalable peer to peer overlay structure |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110003449A (en) * | 2010-12-13 | 2011-01-12 | 아진산업(주) | Accident data recording device for vehicle |
KR20140031504A (en) * | 2012-09-03 | 2014-03-13 | 삼성중공업 주식회사 | Vehicle accident management system and method |
KR20180063789A (en) | 2016-12-02 | 2018-06-12 | 팅크웨어(주) | Method and system for integrated managing vehicle operation status |
-
2018
- 2018-08-02 KR KR1020180090436A patent/KR102073929B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110003449A (en) * | 2010-12-13 | 2011-01-12 | 아진산업(주) | Accident data recording device for vehicle |
KR20140031504A (en) * | 2012-09-03 | 2014-03-13 | 삼성중공업 주식회사 | Vehicle accident management system and method |
KR20180063789A (en) | 2016-12-02 | 2018-06-12 | 팅크웨어(주) | Method and system for integrated managing vehicle operation status |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111477001A (en) * | 2020-03-04 | 2020-07-31 | 中国联合网络通信有限公司广州市分公司 | Traffic signal acquisition and management system based on 5G and MEC |
CN111967056A (en) * | 2020-07-18 | 2020-11-20 | 赣州市智能产业创新研究院 | Wireless communication information acquisition method and system based on block chain |
CN111932916A (en) * | 2020-07-31 | 2020-11-13 | 长沙理工大学 | Control method and control system for dynamic emergency lane of urban road |
CN111899515A (en) * | 2020-09-29 | 2020-11-06 | 深圳市城市交通规划设计研究中心股份有限公司 | Vehicle detection system based on wisdom road edge calculates gateway |
KR102263461B1 (en) * | 2020-11-17 | 2021-06-09 | 동국대학교 경주캠퍼스 산학협력단 | Method and apparatus for multicasting block data based on scalable peer to peer overlay structure |
CN112562409A (en) * | 2020-12-04 | 2021-03-26 | 上海淞泓智能汽车科技有限公司 | Autonomous parking system and method based on multi-access edge calculation |
CN112562409B (en) * | 2020-12-04 | 2022-11-15 | 上海淞泓智能汽车科技有限公司 | Autonomous parking system and method based on multi-access edge calculation |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102073929B1 (en) | Vehicle Emergency Log system using blockchain network | |
US11840239B2 (en) | Multiple exposure event determination | |
US10311658B2 (en) | Unexpected impulse change collision detector | |
US10717442B2 (en) | Method and apparatus for determining a presently existing driving situation | |
CN110866427A (en) | Vehicle behavior detection method and device | |
CN113688805B (en) | Unmanned aerial vehicle-based unlicensed muck vehicle identification method and system | |
US11769403B2 (en) | Systems and methods for fiber optic based vehicle-direction detection | |
CN113095125B (en) | Diagnosing a perception system based on scene continuity | |
Thomas et al. | Toward detecting accidents with already available passive traffic information | |
JPWO2018138980A1 (en) | Control system, control method and program | |
CN111401282A (en) | Target detection method, target detection device, computer equipment and storage medium | |
US20230206652A1 (en) | Systems and methods for utilizing models to detect dangerous tracks for vehicles | |
CN112835790A (en) | Test method, device, equipment and medium for automatic driving software | |
CN115675520A (en) | Unmanned driving implementation method and device, computer equipment and storage medium | |
KR102105007B1 (en) | Edge-cloud system for collecting and providing data of connected car | |
US20200174488A1 (en) | False target removal device and method for vehicles and vehicle including the device | |
US10415981B2 (en) | Anomaly estimation apparatus and display apparatus | |
US20230377351A1 (en) | Systems and methods for detecting objects in an image of an environment | |
CN115520216A (en) | Driving state judging method and device, computer equipment and storage medium | |
EP4113377A1 (en) | Use of dbscan for lane detection | |
WO2023092520A1 (en) | Parameter adjustment and data processing method and apparatus for vehicle identification model, and vehicle | |
KR101877809B1 (en) | Method and Apparatus for Recognizing Traffic Light Using GPU | |
US20210342631A1 (en) | Information processing method and information processing system | |
Ponn et al. | Performance Analysis of Camera-based Object Detection for Automated Vehicles. | |
KR20230069165A (en) | How to detect and classify objects in road traffic |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant |