KR20180051422A - Electronic apparatus and control method thereof - Google Patents
Electronic apparatus and control method thereof Download PDFInfo
- Publication number
- KR20180051422A KR20180051422A KR1020170148111A KR20170148111A KR20180051422A KR 20180051422 A KR20180051422 A KR 20180051422A KR 1020170148111 A KR1020170148111 A KR 1020170148111A KR 20170148111 A KR20170148111 A KR 20170148111A KR 20180051422 A KR20180051422 A KR 20180051422A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- electronic device
- filters
- image data
- confidence map
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G06K9/00791—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- G06K9/46—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 전자 장치 및 그 제어 방법에 관한 것으로써, 보다 상세하게는 전자 장치에 입력된 영상 데이터로부터 오브젝트를 검출하기 위한 전자 장치 및 그 제어 방법에 관한 기술이다.BACKGROUND OF THE
최근 자율 주행 관련 기술 등의 발달로, 차량 내에 탑재되어 주행 정보를 제공하는 헤드 업 디스플레이 혹은 차량 내에 탑재되어 주행 상황을 실시간으로 촬영하는 블랙박스와 같은 전자 장치는 차량의 상태를 모니터링하여 모니터링된 결과를 제공한다. 뿐만 아니라, 전자 장치는 차량이 주행하는 도로의 상황을 포함하는 주행 정보를 제공한다. 구체적으로, 전자 장치는 차량이 주행하는 도로 상황을 촬영하고, 촬영된 영상 데이터로부터 차량 주변에 있는 주변 차량, 보행자 등을 포함하는 오브젝트를 검출하고, 검출된 오브젝트의 유형 정보, 위치 정보 및 이동 정보 중 적어도 하나를 포함하는 주행 정보를 제공한다.BACKGROUND ART [0002] With the recent development of autonomous driving-related technologies and the like, an electronic device such as a head-up display mounted in a vehicle and providing driving information, or a black box mounted in a vehicle and photographing a driving situation in real time, Lt; / RTI > In addition, the electronic device provides the running information including the situation of the road on which the vehicle is running. Specifically, the electronic device captures the road conditions on which the vehicle travels, detects objects including nearby vehicles, pedestrians, and the like around the vehicle from the photographed image data, and displays the type information of the detected object, Or the like.
이에 따라, 운전자는 전자 장치를 통해 제공된 다양한 주행 정보를 통해 앞 차량 간의 거리, 사각지대 위험 요소, 도로를 건너는 보행자가 있는지 등을 체크하여 차량 간 혹은 차량과 보행자 간의 사고 위험을 예방할 수 있다.Accordingly, the driver can prevent the risk of an accident between the vehicles or between the vehicle and the pedestrian by checking the distance between the preceding vehicle, the risk of a blind spot, the presence of a pedestrian crossing the road, and the like through various travel information provided through the electronic device.
그러나, 이 같은 종래의 전자 장치는 차량 주변에 복수의 주변 차량들이 주정차되어 있거나 혹은 복수의 보행자가 함께 차량 도로를 건너는 조건의 도로 상황, 악천후(눈, 비, 안개)의 도로 상황, 야간 시간대의 도로 상황에서, 촬영된 영상 데이터로부터 주변 차량 및 보행자를 검출하지 못하는 문제가 발생한다.However, such a conventional electronic device has a problem that a plurality of nearby vehicles are parked around the vehicle, or a road condition under which a plurality of pedestrians cross the vehicle road together, a road situation of bad weather (snow, rain, fog) There arises a problem in that, in the road situation, the surrounding vehicles and the pedestrian can not be detected from the photographed image data.
본 발명은 상술한 문제점을 해결하는 동시에 상술한 기술 개발 요청에 응답하기 위하여 안출된 것으로, 본 발명은 일반적인 도로 상황 뿐만 아니라, 야간 및 악천후 도로 상황 등에서도 주변 차량 및 보행자의 검출이 용이하도록 하기 위함을 목적으로 한다.The present invention has been made in order to solve the above-described problems and to respond to the above-described technology development request. The present invention is intended to facilitate detection of nearby vehicles and pedestrians even in the case of night roads and bad weather conditions as well as general road conditions. .
본 발명의 일 실시예에 따른 전자 장치의 제어 방법은 영상 데이터를 입력받는 단계, 복수의 필터를 이용하여 상기 영상 데이터로부터 오브젝트를 나타내는 특징 정보를 획득하는 단계, 상기 복수의 필터 중 적어도 두 개 이상의 필터를 통해 획득한 특징 정보를 이용하여 상기 영상 데이터에 포함된 오브젝트를 검출하는 단계 및 상기 검출된 오브젝트에 대한 정보를 제공하는 단계를 포함한다.A method of controlling an electronic device according to an embodiment of the present invention includes receiving image data, acquiring feature information indicating an object from the image data using a plurality of filters, Detecting an object included in the image data using the feature information acquired through the filter, and providing information on the detected object.
한편, 본 발명의 또다른 실시예에 따르면, 전자 장치는 영상 데이터를 입력받는 입력부, 상기 영상 데이터의 오브젝트에 대한 정보를 출력하는 출력부 및 복수의 필터를 이용하여 상기 영상 데이터로부터 오브젝트를 나타내는 특징 정보를 획득하고, 상기 복수의 필터 중 적어도 두 개 이상의 필터를 통해 획득한 특징 정보를 이용하여 상기 영상 데이터에 포함된 오브젝트를 검출하여 상기 검출된 오브젝트에 대한 정보를 출력하도록 상기 출력부를 제어하는 프로세서를 포함한다.According to another aspect of the present invention, there is provided an electronic device including an input unit for inputting image data, an output unit for outputting information on the object of the image data, And controlling the output unit to output information about the detected object by detecting an object included in the image data using the feature information acquired through at least two filters among the plurality of filters, .
이상과 같이 다양한 실시예를 따르면, 본 발명에 따른 전자 장치는 일반적인 도로 상황 뿐만 아니라, 야간 및 악천후 도로 상황 등에서도 주변 차량 및 보행자를 보다 정확하게 검출할 수 있다.According to the various embodiments as described above, the electronic device according to the present invention can more accurately detect nearby vehicles and pedestrians, not only in general road conditions but also in nighttime and bad weather conditions.
도 1은 일반적인 전자 장치에서 오브젝트를 인식하지 못하는 환경을 나타내는 예시도,
도 2는 본 발명의 일 실시예에 따른 영상 데이터로부터 오브젝트를 검출하는 전자 장치의 개략적인 블록도,
도 3은 본 발명의 일 실시예에 따른 영상 데이터로부터 오브젝트를 검출하는 전자 장치의 세부 블록도,
도 4는 종래의 전자 장치에서 오브젝트 검출 과정 및 검출 결과를 나타내는 예시도,
도 5는 본 발명의 일 실시예에 따른 전자 장치에서 오브젝트 검출 과정 및 검출 결과를 나타내는 예시도,
도 6은 본 발명에 따른 전자 장치에서 파이널 컨피던스 맵 생성에 이용되는 참조 컨피던스 맵의 사이즈를 조정하는 예시도,
도 7은 본 발명에 따른 전자 장치와 종래의 전자 장치에서 영상 데이터로부터 오브젝트를 검출한 검출 결과를 나타내는 예시도,
도 8은 본 발명의 일 실시예에 따른 전자 장치의 오브젝트 검출 결과에 따른 주행 정보를 제공하는 예시도,
도 9는 본 발명의 일 실시예에 따른 전자 장치의 세부 블록도,
도 10은 본 발명의 일 실시예에 따른 촬영된 영상 데이터로부터 오브젝트를 검출하는 전자 장치의 제어 방법에 대한 흐름도,
도 11은 본 발명의 일 실시예에 따른 전자 장치에서 영상 데이터로부터 오브젝트를 나타내는 특징 정보를 획득하는 방법의 흐름도,
도 12는 본 발명의 일 실시예에 따른 전자 장치에서 오브젝트를 검출하는 방법의 흐름도이다.1 is an exemplary view showing an environment in which an object is not recognized in a general electronic device,
2 is a schematic block diagram of an electronic device for detecting objects from image data according to an embodiment of the present invention;
3 is a detailed block diagram of an electronic device for detecting an object from image data according to an embodiment of the present invention;
4 is an exemplary diagram showing an object detection process and a detection result in a conventional electronic device,
5 is an exemplary diagram illustrating an object detection process and a detection result in an electronic device according to an embodiment of the present invention.
6 is an exemplary diagram for adjusting the size of the reference confidence map used for generating the final confidence map in the electronic device according to the present invention,
7 is an exemplary diagram showing a detection result of an object detected from image data in an electronic device and a conventional electronic device according to the present invention,
8 is a diagram illustrating an example of providing travel information according to an object detection result of an electronic device according to an embodiment of the present invention.
9 is a detailed block diagram of an electronic device according to an embodiment of the present invention;
10 is a flowchart of a method of controlling an electronic device for detecting an object from photographed image data according to an embodiment of the present invention;
11 is a flowchart of a method for acquiring feature information representing an object from image data in an electronic device according to an embodiment of the present invention;
12 is a flowchart of a method of detecting an object in an electronic device according to an embodiment of the present invention.
본 발명에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다. Before describing the present invention in detail, a method of describing the present specification and drawings will be described.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다. First, the terms used in the specification and claims have chosen generic terms in light of their function in various embodiments of the present invention. However, these terms may vary depending on the intentions of the skilled artisan, the legal or technical interpretation, and the emergence of new technologies. In addition, some terms are arbitrarily selected by the applicant. These terms may be construed in the meaning defined herein and may be interpreted based on the general contents of this specification and the ordinary technical knowledge in the art without specific terms definition.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다. In addition, the same reference numerals or signs in the drawings attached to the present specification indicate components or components that perform substantially the same function. For ease of explanation and understanding, different embodiments will be described using the same reference numerals or symbols. That is, even though all of the elements having the same reference numerals are shown in the plural drawings, the plural drawings do not mean one embodiment.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다. Further, in the present specification and claims, terms including ordinal numbers such as "first "," second ", etc. may be used for distinguishing between elements. These ordinals are used to distinguish between identical or similar elements, and the use of such ordinal numbers should not be construed as limiting the meaning of the term. For example, components associated with such an ordinal number should not be limited in the order of use, placement order, or the like. If necessary, each ordinal number may be used interchangeably.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.As used herein, the singular forms "a", "an" and "the" include plural referents unless the context clearly dictates otherwise. In this application, the terms "comprise", "comprising" and the like are used to specify that there is a stated feature, number, step, operation, element, component, or combination thereof, But do not preclude the presence or addition of features, numbers, steps, operations, components, parts, or combinations thereof.
본 발명의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.In the embodiments of the present invention, terms such as "module", "unit", "part", and the like are terms used to refer to components that perform at least one function or operation, Or may be implemented as a combination of hardware and software. It should also be understood that a plurality of "modules "," units ", "parts ", etc. may be integrated into at least one module or chip, (Not shown).
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Further, in an embodiment of the present invention, when a part is connected to another part, this includes not only a direct connection but also an indirect connection through another medium. Also, the inclusion of a component in a component means that the component may include other components, not the exclusion of any other component, unless specifically stated otherwise.
이하, 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 일반적인 전자 장치에서 오브젝트를 인식하지 못하는 환경을 나타내는 예시도이다.1 is an exemplary diagram showing an environment in which an object is not recognized by a general electronic device.
도 1에 도시된 바와 같이, 차량과 같은 운송 장치 내 구비된 전자 장치(100)는 예를 들어, 운송 장치가 주행하는 도로 상황을 실시간으로 촬영하는 블랙박스, 스마트 폰 등이 될 수 있다. 이 같은 전자 장치(100)는 운송 장치가 주행하는 도로의 전방 영역 및 후방 영역을 실시간으로 촬영하고,오브젝트 검출 알고리즘을 이용하여 촬영된 영상 데이터 상에서 사람, 차량 등의 오브젝트를 검출할 수 있다.As shown in FIG. 1, an
이후, 전자 장치(100)는 검출된 오브젝트의 유형 정보, 오브젝트의 위치 정보, 오브젝트의 이동 정보 중 적어도 하나를 제공한다. 이에 따라, 운송 장치를 운전하는 운전자는 전자 장치(100)를 통해 제공된 정보에 기초하여 주행 중인 전방 혹은 후방의 도로 환경 상태를 인지하여 안전한 주행을 할 수 있다.Then, the
이 같이, 도로 상에 존재하는 다양한 오브젝트에 대한 정보를 제공하는 전자 장치(100)는 다음과 같은 환경 조건에서 해당 오브젝트를 검출하지 못한다. In this way, the
구체적으로, 도 1에 도시된 바와 같이, 운송 장치가 야간 도로를 주행하는 제1 주행 환경(10)에서, 전자 장치(100)는 촬영된 영상 데이터로부터 보행자에 대한 오브젝트를 검출하지 못한다. 또한, 전자 장치(100)는 운송 장치가 비가 오는 날씨에 도로를 주행하는 제2 주행 환경(20)에서, 전자 장치(100)는 촬영된 영상 데이터로부터 보행자 혹은 주변 차량에 대한 오브젝트를 검출하지 못한다. 또한, 보행자의 일부가 우산에 의해 가려지는 제3 주행 환경(30)에서, 전자 장치(100)는 촬영된 영상 데이터로부터 우산에 의해 가려진 보행자에 대한 오브젝트를 검출하지 못한다. Specifically, as shown in Fig. 1, in the
이 같은 환경 조건은 운송 장치를 운전하기 어려운 환경 조건이 될 수 있다. 이 같은 환경 조건에서 전자 장치(100)가 주행 중인 도로 상에 존재하는 오브젝트를 검출하지 못할 경우, 운송 장치를 운전하는 운전자의 사고 발생 확률이 높아질 수 있다.These environmental conditions can be environmental conditions that make the transportation equipment difficult to operate. If the
이하에서는, 전자 장치(100)의 각 구성에 대해서 상세히 설명하도록 한다.Hereinafter, each configuration of the
도 2는 본 발명의 일 실시예에 따른 영상 데이터로부터 오브젝트를 검출하는 전자 장치의 개략적인 블록도이다.2 is a schematic block diagram of an electronic device for detecting objects from image data according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 전자 장치(100)는 입력부(110), 출력부(120), 저장부(130) 및 프로세서(140)를 포함한다.2, the
입력부(110)는 카메라를 통해 촬영된 영상 데이터를 입력받는다. 출력부(120)는 입력부(110)를 통해 입력된 영상 데이터로부터 비디오 및 오디오 중 적어도 하나를 출력한다. 또한, 출력부(120)는 영상 데이터로부터 검출된 오브젝트에 대한 정보를 비디오 및 오디오 중 적어도 하나를 통해 출력한다. 여기서, 영상 데이터로부터 검출된 오브젝트에 대한 정보는, 오브젝트의 유형 정보, 위치 정보, 이동 정보 중 적어도 하나를 포함할 수 있다.The
저장부(130)는 촬영된 영상 데이터에 포함된 오브젝트를 나타내는 특징점을 검출하기 위한 복수의 필터를 포함하는 필터 세트를 저장할 수 있다. The
따라서, 후술할 프로세서(140)는 저장부(130)에 저장된 필터 세트를 이용하여 입력부(110)를 통해 입력된 영상 데이터로부터 오브젝트를 검출할 수 있다.Accordingly, the
구체적으로, 프로세서(140)는 필터 세트에 포함된 복수의 필터를 이용하여 입력부(110)를 통해 입력된 영상 데이터로부터 오브젝트를 나타내는 특징 정보를 획득한다. 이후, 프로세서(1409)는 복수의 필터 중 적어도 두 개 이상의 필터를 통해 획득한 특징 정보를 이용하여 해당 영상 데이터에 포함된 오브젝트를 검출하고, 검출된 오브젝트에 대한 정보를 출력하도록 출력부(120)를 제어한다.Specifically, the
여기서, 특징 정보는 오브젝트의 신뢰도를 나타내는 확률값 및 해당 오브젝트가 위치하는 위치 정보를 포함할 수 있다.Here, the feature information may include a probability value indicating the reliability of the object and position information on the position of the object.
구체적으로, 프로세서(140)는 필터 세트를 구성하는 복수의 필터로부터 획득한 특징 정보 각각을 이용하여 복수의 필터 각각에 대응되는 컨피던스 맵을 생성한다. 이후, 프로세서(140)는 복수의 필터 각각에 대응되는 컨피던스 맵 중 제1 및 제2 컨피던스 맵을 획득하며, 획득한 제1 및 제2 컨피던스 맵을 이용하여 파이널 컨피던스 맵을 생성한다. 이후, 프로세서(140)는 파이널 컨피던스 맵을 분석하여 입력부(110)를 통해 입력된 영상 데이터로부터 오브젝트를 검출할 수 있다.Specifically, the
여기서, 제1 컨피던스 맵은 복수의 필터 중 기설정된 필터 다음의 필터로부터 획득한 특징 정보를 이용하여 생성된 맵이며, 제2 컨피던스 맵은 복수의 필터 중 마지막 필터로부터 획득한 특징 정보를 이용하여 생성된 맵이 될 수 있다.Here, the first confidence map is a map generated using the feature information acquired from the filter after the predetermined filter among the plurality of filters, and the second confidence map is generated using the feature information acquired from the last filter among the plurality of filters Gt; map < / RTI >
본 발명에서는 제1 및 제2 컨피던스 맵을 이용하여 파이널 컨피던스 맵을 생성하는 것으로 한정하여 설명하였으나, 본 발명은 이에 한정되지 않으며, 제1 및 제2 컨피던스 맵과, 또다른 필터로부터 획득한 특징 정보를 이용하여 생성된 컨피던스 맵을 이용하여 파이널 컨피던스 맵을 생성할 수 있다.The present invention is limited to generating the final confidence map using the first and second confidence maps. However, the present invention is not limited to this, and the first and second confidence maps and the feature information The final confidence map can be generated using the generated confidence map.
보다 구체적으로, 프로세서(140)는 필터 세트를 구성하는 복수의 필터 중 제1 필터를 이용하여 입력부(110)를 통해 입력된 영상 데이터로부터 영상 데이터에 포함된 오브젝트를 나타내는 제1 특징 정보를 획득한다. 이후, 프로세서(140)는 전술한 바와 같이, 제1 특징 정보에 기초하여 컨피던스 맵을 생성한다. 이후, 프로세서(140)는 복수의 필터 중 제2 필터를 이용하여, 제1 특징 정보에 기초하여 생성된 컨피던스 맵으로부터 해당 오브젝트를 나타내는 제2 특징 정보를 획득한다. 이후, 프로세서(140)는 제2 특징 정보에 기초하여 생성된 컨피던스 맵을 기설정된 사이즈로 폴링(pooling)한다. 이후, 프로세서(140)는 제3 필터를 이용하여, 폴링된 컨피던스 맵으로부터 해당 오브젝트를 나타내는 제3 특징 정보를 획득한다.More specifically, the
만약, 제3 필터가 마직막 필터인 경우, 프로세서(140)는 제1 및 제2 필터 중 적어도 하나의 필터로부터 획득한 특징 정보에 기초하여 생성된 컨피던스 맵과 마지막 필터로부터 획득한 제3 특징 정보에 기초하여 생성된 컨피던스 맵을 이용하여 파이널 컨피던스 맵을 생성할 수 있다.If the third filter is a last filter, the
이후, 프로세서(140)는 기생성된 파이널 컨피던스 맵으로부터 오브젝트의 신뢰도를 나타내는 확률값과 기설정된 임계값을 비교하여 확률값이 기설정된 임계값 이상이면, 영상 데이터로부터 오브젝트를 검출한다. 이후, 프로세서(140)는 검출된 오브젝트의 형태를 바탕으로 해당 오브젝트를 유형 정보를 획득할 수 있다.Thereafter, the
따라서, 프로세서(140)는 입력된 영상 데이터로부터 검출된 오브젝트의 유형 정보, 위치 정보 및 이동 정보 중 적어도 하나를 출력하도록 출력부(120)를 제어할 수 있다.Accordingly, the
또한, 프로세서(140)는 입력된 영상 데이터로부터 검출된 오브젝트의 유형 정보, 위치 정보 및 이동 정보 중 적어도 하나를 이용하여 전자 장치(100)와 해당 오브젝트와의 거리 정보, 위험 상황 정보, 사각지대 알림 정보 중 적어도 하나를 생성한다. 이후, 프로세서(140)는 후술할 통신부(150)를 통해 운송 장치 내 구비되어 운송 장치의 주행 정보를 제공하는 타 전자 장치(미도시)로 전송한다. 이에 따라, 타 전자 장치(미도시)는 전자 장치(100)로부터 수신된 정보에 기초하여 기 검출된 오브젝트와의 거리 정보, 위험 상황 정보 및 사각지대 알림 정보 중 적어도 하나를 제공할 수 있다.In addition, the
이하에서는, 본 발명에 따른 전자 장치(100)에서 영상 데이터로부터 오브젝트를 검출하는 동작에 대해서 보다 상세히 설명하도록 한다.Hereinafter, the operation of detecting an object from image data in the
도 3은 본 발명의 일 실시예에 따른 영상 데이터로부터 오브젝트를 검출하는 전자 장치의 세부 블록도이다.3 is a detailed block diagram of an electronic device for detecting an object from image data according to an embodiment of the present invention.
도 3에 도시된 바와 같이, 프로세서(140)는 제1 내지 제3 연산부(141~143)를 포함하며, 저장부(130)는 필터 저장부(131), 특징 결과 저장부(132) 및 특징 정보 저장부(133)를 포함할 수 있다.3, the
구체적으로, 입력부(110)를 통해 최초 영상 데이터가 입력되면, 제1 연산부(141)는 필터 저장부(131)에 기저장된 필터 세트를 구성하는 복수의 필터 중 제1 필터에 설정된 파라메타를 이용하여 영상 데이터로부터 오브젝트에 대한 제1 특징값을 획득하여 특징 결과 저장부(132)에 저장한다.More specifically, when the first image data is input through the
제2 연산부(142)는 특징 결과 저장부(132)에 저장된 제1 특징값에 기초하여 오브젝트의 신뢰도를 나타내는 확률값 및 해당 오브젝트가 위치하는 위치 정보를 포함하는 제1 특징 정보를 획득하여 특징 정보 저장부(133)에 저장한다. 이에 따라, 제3 연산부(143)는 특징 정보 저장부(133)에 저장된 제1 특징 정보에 기초하여 제1 필터에 대응되는 제1 컨피던스 맵을 생성한다.The
제1 컨피던스 맵이 생성되면, 제1 연산부(141)는 제2 필터에 설정된 파라메타를 이용하여 제1 컨피던스 맵으로부터 해당 오브젝트에 대한 제2 특징값을 획득하여 특징 결과 저장부(132)에 저장한다.When the first confidence map is generated, the
이에 따라, 제2 연산부(142)는 특징 결과 저장부(132)에 저장된 제2 특징값에 기초하여 해당 오브젝트의 신뢰도를 나타내는 확률값 및 위치 정보를 포함하는 제2 특징 정보를 획득하여 특징 정보 저장부(133)에 저장한다. 이에 따라, 제3 연산부(143)는 특징 정보 저장부(133)에 저장된 제2 특징 정보에 기초하여 제2 필터에 대응되는 제2 컨피던스 맵을 생성한다.Accordingly, the
이 같은 일련의 과정을 통해 복수의 필터 중 마지막 필터인 제3 필터에 대응되는 제3 컨피던스 맵이 생성되면, 제3 연산부(143)는 기생성된 제1 내지 제3 컨피던스 맵을 이용하여 파이널 컨피던스 맵을 생성할 수 있다.If a third confidence map corresponding to the third filter, which is the last filter among the plurality of filters, is generated through the above-described series of processes, the
그러나, 본 발명은 이에 한정되지 않으며, 제3 연산부(143)는 기생성된 제1 및 제2 컨피던스 맵 중 하나와, 마지막 필터인 제3 필터에 대응하여 생성된 제3 컨피던스 맵을 이용하여 파이널 컨피던스 맵을 생성할 수 있다.However, the present invention is not limited to this, and the
파이널 컨피던스 맵이 생성되면, 제3 연산부(143)는 파이널 컨피던스 맵으로부터 해당 오브젝트의 신뢰도를 나타내는 확률값과 기설정된 임계값을 비교하여 확률값이 기설정된 임계값 이상이면, 해당 오브젝트를 검출하고, 검출된 오브젝트에 대한 정보를 출력부(120)로 전달한다. 이에 따라, 출력부(120)를 입력된 영상 데이터로부터 검출된 오브젝트에 대한 정보를 비디오 및 오디오 중 적어도 하나를 통해 출력할 수 있다.When the final confidence map is generated, the
이하에서는, 본 발명에 따른 전자 장치와 종래의 전자 장치에서 입력된 영상 데이터로부터 오브젝트를 검출하는 과정 및 검출 결과를 비교하여 설명하도록 한다.Hereinafter, a process of detecting an object from image data input from an electronic device according to the present invention and a conventional electronic device, and a detection result are compared and described.
도 4는 종래의 전자 장치에서 오브젝트 검출 과정 및 검출 결과를 나타내는 예시도이다.4 is an exemplary diagram showing an object detection process and a detection result in a conventional electronic device.
도 4에 도시된 바와 같이, 종래의 전자 장치(100')는 영상 데이터(410)가 입력되면, 필터 세트에 포함된 복수의 필터를 이용하여 입력된 영상 데이터로부터 오브젝트에 대한 특징값을 획득한다.4, in the conventional electronic device 100 ', when the
이 경우, 종래의 전자 장치(100')는 영상 데이터(410)가 입력되면, 제1 필터에 설정된 파라메타를 이용하여 영상 데이터(410)로부터 오브젝트에 대한 제1 특징 정보를 획득한다. 이후, 전자 장치(100')는 제1 특징 정보에 기초하여 제1 필터에 대응되는 제1 컨피던스 맵(conv 1_1)(411)을 획득한다. In this case, when the
이후, 전자 장치(100')는 제2 필터에 설정된 파라메타를 이용하여 제1 컨피던스 맵(411)로부터 제2 특징 정보를 획득하고, 획득한 제2 특징 정보에 기초하여 제2 필터에 대응되는 제2 컨피던스 맵(conv 1_2)(412)를 획득한다.Thereafter, the electronic device 100 'acquires the second feature information from the
이후, 전자 장치(100')는 제2 컨피던스 맵(412)을 기설정된 사이즈로 폴링(pool 1)(413)하여 폴링된 컨피던스 맵을 획득한다. 이후, 전자 장치(100')는 제3 필터를 이용하여 폴링된 컨피던스 맵으로부터 제3 특징 정보를 획득하고, 획득한 제3 특징 정보에 기초하여 제3 필터에 대응되는 제3 컨피던스 맵(conv 2_1)(414)를 획득한다.Thereafter, the electronic device 100 'polls the
이 같은 일련의 처리 과정을 통해 마지막 n 번째 필터에 대응되는 n 번재 컨피던스 맵(conv 5_3)(415)가 획득되면, 종래의 전자 장치(100')는 기획득한 n 번째 컨피던스 맵(415)을 파이널 컨피던스 맵(420)으로 결정한다. When the n-th confidence map (conv 5 - 3) 415 corresponding to the last n-th filter is obtained through the series of processes, the conventional electronic device 100 'acquires the n-
이후, 종래의 전자 장치(100')는 기결정된 파이널 컨피던스 맵(420)으로부터 파이널 특징 정보가 획득되면, 위치 예측기(RPN)(416)를 이용하여 기획득한 파이널 특징 정보로부터 최초 입력된 영상 데이터(410)에 포함된 오브젝트의 위치 정보를 획득한다. 여기서, 전술한 특징 정보는 오브젝트에 대한 특징값이 될 수 있다.Then, when the final feature information is obtained from the predetermined
따라서, 종래의 전자 장치(100')는 위치 예측기(RPN)를 통해 기획득한 파이널 특징 정보에 포함된 특징값으로부터 오브젝트가 위치하는 위치 정보를 획득할 수 있다. Accordingly, the conventional electronic device 100 'can acquire the position information on the object from the feature value included in the final feature information estimated through the position predictor (RPN).
이후, 종래의 전자 장치(100')는 기획득한 파이널 특징 정보에 포함된 특징값으로부터 오브젝트의 유형 정보를 획득한다. 이후, 종래의 전자 장치(100')는 기획득한 오브젝트의 유형 정보 및 위치 정보에 기초하여 해당 오브젝트의 유형 및 위치하는 지점이 표시된 오브젝트 검출 결과 정보(430)를 제공할 수 있다.Thereafter, the conventional electronic device 100 'obtains the type information of the object from the feature values contained in the final feature information acquired. Thereafter, the conventional electronic device 100 'may provide the object detection result
즉, 종래의 전자 장치(100')는 오브젝트 검출 결과 정보(430)를 통해 자동차(431)에 해당하는 제1 오브젝트가 검출된 오브젝트 검출 결과 정보(430)만을 제공한다. That is, the conventional electronic device 100 'provides only the object detection result
한편, 입력된 영상 데이터 상에는 자동차(431)에 해당하는 제1 오브젝트 및 제1 오브젝트와 일부 중첩된 사람에 해당하는 제2 오브젝트가 포함될 수 있다. 그러나, 종래의 전자 장치(100')는 제1 오브젝트와 중첩된 제2 오브젝트에 대해서 검출하지 못하고, 전술한 자동차(431)에 해당하는 제1 오브젝트가 검출된 오브젝트 검출 결과 정보(430)만을 제공한다.On the input image data, a first object corresponding to the
도 5는 본 발명의 일 실시예에 따른 전자 장치에서 오브젝트 검출 과정 및 검출 결과를 나타내는 예시도이다.5 is an exemplary diagram illustrating an object detection process and a detection result in an electronic device according to an exemplary embodiment of the present invention.
도 5에 도시된 바와 같이, 전자 장치(100)는 영상 데이터(510)가 입력되면, 필터 세트에 포함된 복수의 필터 중 제1 필터에 설정된 파라메타를 이용하여 입력된 영상 데이터로부터 오브젝트에 대한 특징값을 획득한다. 이후, 전자 장치(100)는 기획득한 특징값에 기초하여 오브젝트의 신뢰도를 나타내는 확률값 및 해당 오브젝트가 위치하는 위치 정보를 포함하는 특징 정보를 획득한다. 이후, 전자 장치(100)는 기획득한 특징 정보에 기초하여 제1 필터에 대응되는 제1 컨피던스 맵(conv 1_1)(511)을 생성한다.5, when the
제1 컨피던스 맵(511)이 생성되면, 전자 장치(100)는 제2 필터에 설정된 파라메타를 이용하여 제1 컨피던스 맵(511)으로부터 해당 오브젝트에 대한 특징값을 획득한다. 이후, 전자 장치(100)는 기획득한 특징값에 기초하여 오브젝트의 신뢰도를 나타내는 확률값 및 해당 오브젝트가 위치하는 위치 정보를 포함하는 특징 정보를 획득한다. 이후, 전자 장치(100)는 기획득한 특징 정보에 기초하여 제2 필터에 대응되는 제2 컨피던스 맵(conv 1_2)(512)을 생성한다.When the
제2 컨피던스 맵(512)이 생성되면, 전자 장치(100)는 기생성된 제2 컨피던스 맵(512)을 기설정된 사이즈로 폴링하여, 폴링된 컨피던스 맵(513)을 생성한다. 이후, 전자 장치(100)는 제3 필터에 설정된 파라메타를 이용하여 폴링된 컨피던스 맵(513)으로부터 해당 오브젝트에 대한 특징값을 획득한다. 이후, 전자 장치(100)는 기획득한 특징값에 기초하여 오브젝트의 신뢰도를 나타내는 확률값 및 해당 오브젝트가 위치하는 위치 정보를 포함하는 특징 정보를 획득한다. 이후, 전자 장치(100)는 기획득한 특징 정보에 기초하여 제3 필터에 대응되는 제3 컨피던스 맵(conv 2_1)(514)을 생성한다.When the second confidence map 512 is generated, the
이 같은 일련의 처리 과정을 통해 마지막 n 번째 필터에 대응되는 n 번재 컨피던스 맵(conv 8_2)(515)가 획득되면, 전자 장치(100)는 n 번재 컨피던스 맵(conv 8_2)(515)과, 이전 컨피던스 맵 중 기정의된 필터에 대응되는 컨피던스 맵을 획득한다. When the n-th confidence map (conv 8_2) 515 corresponding to the last n-th filter is obtained through the series of processes, the
이후, 전자 장치(100)는 기획득한 n 번재 컨피던스 맵(conv 8_2)(515)과 기정의된 필터에 대응되는 컨피던스 맵을 참조 컨피던스 맵(이하 제1 내지 제4 참조 컨피던스 맵이라 함)으로 결정한다. 이후, 전자 장치(100)는 제1 내지 제4 참조 컨피던스 맵(521~525)의 사이즈를 동일한 사이즈로 조정한다. 이후, 전자 장치(100)는 동일한 사이즈로 조정된 제1 내지 참조 컨피던스 맵(521~525)을 이용하여 파이널 컨피던스 맵(530)을 생성한다.Then, the
그러나, 본 발명은 이에 한정되지 않으며, 전자 장치(100)는 복수의 필터 각각에 대응하여 컨피던스 맵이 생성될 경우, 각각의 컨피던스 맵의 사이즈를 기설정된 동일한 사이즈로 조정할 수 있다.However, the present invention is not limited to this, and the
파이널 컨피던스 맵(530)이 생성되면, 전자 장치(100)는 기생성된 파이널 컨피던스 맵(530)으로부터 오브젝트를 나타내는 특징 정보를 획득하고, 획득한 특징 정보에 기초하여 기입력된 영상 데이터에 포함된 오브젝트를 검출한다. 이후, 전자 장치(100)는 검출된 오브젝트의 위치 및 유형 정보에 기초하여 입력된 영상 데이터에 대한 오브젝트 검출 결과(540)를 제공한다.When the
도 4에서 설명한 바와 같이, 입력된 영상 데이터(510) 상에는 자동차에 해당하는 제1 오브젝트 및 제1 오브젝트와 일부 중첩된 사람에 해당하는 제2 오브젝트가 포함될 수 있다.4, the first object corresponding to the automobile and the second object corresponding to the person partially overlapping the first object may be included in the
이 경우, 본 발명에 따른 전자 장치(100)는 전술한 일련의 수행 과정을 통해 입력된 영상 데이터(510)로부터 자동차에 해당하는 제1 오브젝트(541) 및 제1 오브젝트와 일부 중첩된 사람에 해당하는 제2 오브젝트(542)를 검출하고, 제1 및 제2 오브젝트(541,542)가 검출된 오브젝트 검출 결과 정보(540)를 제공할 수 있다.In this case, the
이하에서는, 본 발명에 따른 전자 장치(100)에서 전술한 파이널 컨피던스 맵(530)을 생성하는데 이용된 제1 내지 제5 참조 컨피던스 맵(521~525)의 사이즈를 조정하는 동작에 대해서 설명하도록 한다.Hereinafter, an operation of adjusting the sizes of the first to fifth reference confidence maps 521 to 525 used to generate the above-described
도 6은 본 발명에 따른 전자 장치에서 파이널 컨피던스 맵 생성에 이용되는 참조 컨피던스 맵의 사이즈를 조정하는 예시도이다.6 is an exemplary diagram for adjusting the size of the reference confidence map used for generating the final confidence map in the electronic device according to the present invention.
도 5에서 설명한 바와 같이, 전자 장치(100)는 복수의 필터 각각에 대응되는 컨피던스 맵 중 기정의된 필터에 대응되는 컨피던스 맵과 마지막 n 번째 필터에 대응되는 컨피던스 맵을 제1 내지 제5 참조 컨피던스 맵(521~525)으로 결정할 수 있다.5, the
이 같은 제1 내지 제5 참조 컨피던스 맵(521~525)으로 결정으로 결정된 각각의 컨피던스 맵은 기설정된 사이즈로 폴링될 수 있다.Each of the confidence maps determined to be determined by the first to fifth reference confidence maps 521 to 525 can be polled to a predetermined size.
예를 들어, 제1 참조 컨피던스 맵(521)으로 결정된 컨피던스 맵은 80 * 48의 픽셀 단위로 사이즈가 조정된 맵이 될 수 있으며, 제2 참조 컨피던스 맵(522)으로 결정된 컨피던스 맵은 80 * 48의 픽셀 단위에서 40 * 24의 픽셀 단위로 사이즈가 조정된 맵이 될 수 있다.For example, the confidence map determined by the first
그리고, 제3 참조 컨피던스 맵(523)으로 결정된 컨피던스 맵은 40 * 24의 픽셀 단위에서 20 * 12의 픽셀 단위로 사이즈가 조정된 맵이 될 수 있으며, 제4 참조 컨피던스 맵(524)으로 결정된 컨피던스 맵은 20 * 12의 픽셀 단위에서 10 * 6의 픽셀 단위로 사이즈가 조정된 맵이 될 수 있다. 그리고, 제5 참조 컨피던스 맵(525)으로 결정된 마지막 n 번째 필터에 대응되는 컨피던스 맵은 10 * 6의 픽셀 단위에서 5 * 3의 픽셀 단위로 사이즈가 조정된 맵이 될 수 있다.The confidence map determined by the third
따라서, 전자 장치(100)는 제1 내지 제5 참조 컨피던스 맵(521~525)으로 결정된 각각의 컨피던스 맵의 사이즈를 기설정된 동일한 사이즈로 조정한다.Therefore, the
실시예에 따라 전자 장치(100)는 제1 내지 제5 참조 컨피던스 맵(521~525)으로 결정된 각각의 컨피던스 맵의 사이즈의 중 가장 큰 사이즈로 표현된 제1 참조 컨피던스 맵(521)에 해당하는 컨피던스 맵의 사이즈로 나머지 제2 내지 제5 컨피던스 맵(522~525)에 해당하는 컨피던스 맵의 사이즈를 조정할 수 있다.According to the embodiment, the
즉, 전자 장치(100)는 제2 내지 제5 컨피던스 맵(522~525)에 해당하는 각각의 컨피던스 맵을 80 * 48의 픽셀 단위의 사이즈로 표현될 수 있도록 조정한다. 이에 따라, 제1 내지 제5 참조 컨피던스 맵(521~525) 각각에 해당하는 컨피던스 맵은 80 * 48의 픽셀 단위의 사이즈로 이루어질 수 있다.That is, the
이후, 전자 장치(100)는 전술한 바와 같이, 동일한 사이즈로 조정된 제1 내지 제5 참조 컨피던스 맵(521~525)을 이용하여 도 5에서 설명한 바와 같은 파이널 컨피던스 맵(540)을 생성할 수 있다.Then, the
도 7은 본 발명에 따른 전자 장치와 종래의 전자 장치에서 영상 데이터로부터 오브젝트를 검출한 검출 결과를 나타내는 예시도이다.Fig. 7 is an exemplary diagram showing detection results of an object detected from image data in an electronic device and a conventional electronic device according to the present invention. Fig.
도 7의 (a)에 도시된 바와 같이, 종래의 전자 장치(10)는 입력된 영상 데이터 상에 복수의 오브젝트가 서로 중첩되는 경우, 중첩된 오브젝트에 대해서 검출하지 못한다. 예를 들어, 횡단 보도 앞에 정차된 버스가 횡단 보도를 건너는 사람에 의해 일부 가려지거나, 횡단 보도 앞에 정차된 차량와 버스가 서로 중첩되거나, 무리의 사람들이 횡단 보도를 건너는 경우, 종래의 전자 장치(10)는 이 같은 도로 환경을 촬영한 영상 데이터(710)로부터 버스, 차량 및 횡단 보도를 건너는 무리의 사람들에 대한 오브젝트를 검출하지 못한다.As shown in Fig. 7 (a), when the plurality of objects are superimposed on each other on the input image data, the conventional
반면, 본 발명에 따른 전자 장치(10)는 전술한 실행 과정을 통해 도로 환경을 촬영한 영상 데이터(710)로부터 버스, 차량 및 횡단 보도를 건너는 무리의 사람들 각각에 대한 오브젝트를 검출할 수 있다.On the other hand, the
또한, 도 7의 (b)에 도시된 바와 같이, 종래의 전자 장치(10)는 야간의 도로 환경을 촬영한 영상 데이터(720)로부터 주행 중인 차량에 대한 오브젝트를 검출하지 못하는 반면, 본 발명에 다른 전자 장치(10)는 야간의 도로 환경을 촬영한 영상 데이터(720)로부터 주행 중인 차량에 대한 오브젝트를 검출할 수 있다.7B, the conventional
도 8은 본 발명의 일 실시예에 따른 전자 장치의 오브젝트 검출 결과에 따른 주행 정보를 제공하는 예시도이다.8 is a diagram illustrating an example of providing driving information according to an object detection result of an electronic device according to an embodiment of the present invention.
도 8에 도시된 바와 같이, 전자 장치(100)는 촬영된 영상 데이터로부터 검출된 오브젝트의 유형 정보, 위치 정보 및 이동 정보 중 적어도 하나를 이용하여 기검출된 오브젝트와의 거리 정보, 위험 상황 정보 및 사각지대 알림 정보 중 적어도 하나를 생성하여 운송 장치 내에 구비된 타 전자 장치(200)로 전송한다.8, the
이에 따라, 타 전자 장치(200)는 전자 장치(100)로부터 수신된 오브젝트와의 거리 정보, 위험 상황 정보 및 사각지대 알림 정보 중 적어도 하나를 제공할 수 있다.Accordingly, the other
예를 들어, 도 8에 도시된 바와 같이, 타 전자 장치(200)는 운송 장치의 주변 상황에 대한 위험 요소를 시각적으로 제공하는 전자 거울(E-Mirror)(810)를 통해 전자 장치(100)로부터 수신된 사각지대 알림 정보를 제공할 수 있다.8, the other
구체적으로, 타 전자 장치(200)는 전자 장치(100)로부터 사각지대 알림 정보가 수신되면, 수신된 사각지대 알림 정보에 기초하여 전자 거울(810)의 일 영역이 나머지 영역과 상이하게 표시되도록 전자 거울(810)을 제어한다. 이에 따라, 전자 거울(810)의 일 영역은 적색(811)으로 표시됨으로써, 운송 장치의 운전자는 전자 거울(810)에 표시된 알림 정보에 기초하여 운송 장치 주변에 차량이 근접하였음을 인지할 수 있다.Specifically, when the blind zone notification information is received from the
뿐만 아니라, 타 전자 장치(200)는 주행 정보를 제공하는 헤드 업 디스플레이(HUD)(820)를 통해 전자 장치(100)로부터 수신된 사각지대 알림 정보를 제공할 수 있다.In addition, the other
구체적으로, 타 전자 장치(200)는 전자 장치(100)로부터 사각지대 알림 정보가 수신되면, 수신된 사각지대 알림 정보에 기초하여 주변 차량이 운송 차량에 근접해 있음을 표시하도록 헤드 업 디스플레이를 제어한다. 이에 따라, 헤드 업 디스플레이(820)는 화면의 일 영역(821)에 주변 차량이 운송 차량에 근접해 있음을 표시함으로써, 운송 장치의 운전자는 헤드 업 디스플레이(820)에 표시된 알림 정보에 기초하여 운송 장치 주변에 차량이 근접하였음을 인지할 수 있다.Specifically, when the blind zone notification information is received from the
뿐만 아니라, 타 전자 장치(200)는 주행 정보를 제공하는 헤드 업 디스플레이(HUD)(820)를 통해 전자 장치(100)로부터 수신된 주변 차량에 대한 위험 상황 정보를 제공할 수 있다.In addition, the other
구체적으로, 타 전자 장치(200)는 전자 장치(100)로부터 위험 상황 정보가 수신되면, 수신된 위험 상황 정보에 기초하여 운송 차량 전방에 주변 차량이 근접에 있음을 나타내는 주변 차량 정보(822)를 표시하도록 헤드 업 디스플레이(820)를 제어한다. 이에 따라, 헤드 업 디스플레이(820)는 화면의 일 영역(821)에 운송 차량과 근접한 주변 차량을 또다른 주변 차량과 상이하게 표시함으로써, 운송 장치의 운전자는 헤드 업 디스플레이(820)를 통해 운송 차량이 전방에 있는 주변 차량과 근접하고 있음을 인지할 수 있다.Specifically, when the dangerous situation information is received from the
한편, 본 발명에 따른 전자 장치(100)는 검출된 오브젝트의 유형 정보, 위치 정보 및 이동 정보 중 적어도 하나를 이용하여 해당 오브젝트와의 거리 정보, 위험 상황 정보 및 사각지대 알림 정보 중 적어도 하나를 독립적으로 제공할 수 있다.Meanwhile, the
이하에서는, 본 발명에 따른 전자 장치(100)의 세부 구성에 대해서 상세히 설명하도록 한다.Hereinafter, the detailed configuration of the
도 9는 본 발명의 일 실시예에 따른 전자 장치의 세부 블록도이다.9 is a detailed block diagram of an electronic device according to an embodiment of the present invention.
도 9에 도시된 바와 같이, 전자 장치(100)는 입력부(110), 출력부(120), 저장부(130) 및 프로세서(140) 외에 통신부(150), 촬영부(160) 및 감지부(170)를 더 포함할 수 있다.9, the
먼저, 전술한 바와 같이, 입력부(110)는 카메라를 통해 촬영된 영상 데이터를 입력받는다. 뿐만 아니라, 입력부(110)는 다양한 사용자 명령을 입력받아, 프로세서(140)로 전달하기 위한 입력 수단이 될 수 있다. 이 경우, 입력부(110)는 터치 입력이 가능한 터치 패드 혹은 각종 기능키, 숫자키, 문자키 등을 구비한 키 패드(Key Pad)로 구현될 수 있다.First, as described above, the
또한, 전술한 출력부(120)는 디스플레이부(121) 및 오디오 출력부(122)를 포함한다. 디스플레이부(121)는 운송 차량의 주행 정보 및 촬영된 영상 데이터에 포함된 비디오 영상을 화면상에 디스플레이한다. 또한, 디스플레이부(121)는 촬영된 영상 데이터로부터 검출된 오브젝트의 유형 정보, 위치 정보 및 이동 정보 중 적어도 하나에 기초하여 생성된 해당 오브젝트의 거리 정보, 위험 상황 정보 및 사각지대 알림 정보 중 적어도 하나를 시각적으로 제공할 수 있다.The
오디오 출력부(122)는 차량의 주행 정보 및 촬영된 영상 데이터에 포함된 오디오 신호 등을 스피커를 통해 가청음 형태로 출력할 수 있다. 또한, 오디오 출력부(122)는 촬영된 영상 데이터로부터 검출된 오브젝트의 유형 정보, 위치 정보 및 이동 정보 중 적어도 하나에 기초하여 생성된 해당 오브젝트의 거리 정보, 위험 상황 정보 및 사각지대 알림 정보 중 적어도 하나에 대한 오디오 신호를 출력할 수 있다.The
한편, 디스플레이부(121)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 등으로 구현될 수 있다. 특히, 디스플레이부(121)는 전술한 입력부(110)가 사용자의 터치 입력이 가능한 터치 입력부(미도시)를 포함하는 경우, 터치 입력부(미도시)와 함께 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수 있다.Meanwhile, the display unit 121 may be implemented as a liquid crystal display (LCD), an organic light emitting diode (OLED), or the like. In particular, when the
전술한 프로세서(140)는 전자 장치(100)를 구성하는 각 구성에 대한 동작을 전반적으로 제어한다. 특히, 프로세서(140)는 전술한 바와 같이, 입력부(110)를 통해 입력된 영상 데이터로부터 오브젝트를 검출하고, 검출된 오브젝트에 대한 유형 정보, 위치 정보 및 이동 정보 중 적어도 하나를 제공할 수 있다.The
이 같은 프로세서(140)는 CPU(141), GPU(142), ROM(143) 및 RAM(144)을 포함할 수 있으며, CPU(141), GPU(142), ROM(143) 및 RAM(144)은 버스(145)를 통해 서로 연결될 수 있다.Such a
CPU(141)는 저장부(130)를 액세스하여, 저장부(130)에 저장된 OS를 이용하여 부팅을 수행한다. 또한 CPU(141)는 저장부(130)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다. The
GPU(142)는 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 디스플레이 화면을 생성한다. 구체적으로, GPU(142)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하고, 연상된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 디스플레이 화면을 생성한다.
ROM(143)은 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(141)는 ROM(143)에 저장된 명령어에 따라 저장부(130)에 저장된 OS를 RAM(144)에 복사하고, OS를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(141)는 저장부(130)에 저장된 각종 프로그램을 RAM(144)에 복사하고, RAM(144)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. The
이 같은 프로세서(140)는 전술한 각 구성들과 결합되어 단일칩 시스템(System-on-a-chip 또는 System on chip, SOC, SoC)으로 구현될 수 있다.The
한편, 상술한 프로세서(140)의 동작은 저장부(130)에 저장된 프로그램에 의해 이루어질 수 있다. 여기서, 저장부(130)는 ROM(143), RAM(144) 또는 전자 장치(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱), 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나로 구현될 수 있다.Meanwhile, the operation of the
통신부(150)는 전술한 운송 차량 내 구비된 타 전자 장치(200), 운송 차량 내에 있는 스마트 폰과 같은 단말 장치(미도시), 주변 차량에 구비된 전자 장치(100), 주변 차량에 구비된 타 전자 장치(200) 및 교통 상황을 수집하는 서버(미도시) 등과 통신을 수행할 수 있다.The
이 같은 통신부(150)는 근거리 무선 통신 모듈(미도시), 무선 통신 모듈(미도시) 등과 같은 통신 모듈로 구현될 수 있다. 여기서, 근거리 무선 통신 모듈(미도시)은 근거리에 위치한 타 전자 장치(200) 혹은 운송 차량 내에 있는 단말 장치(미도시) 등과 무선 통신을 수행하는 통신 모듈로써, 예를 들어, 블루투스(Bluetooth), 지그비(Zigbee), NFC(Near Field Communication) 등이 될 수 있다. The
무선 통신 모듈(미도시)은 와이파이(WiFi), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Ling Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 교통 상황을 수집하는 서버(미도시) 등과 통신을 수행할 수 있다.The wireless communication module (not shown) accesses the mobile communication network according to various mobile communication standards such as WiFi, 3G (3rd Generation), 3GPP (3rd Generation Partnership Project), LTE (Ling Term Evolution) (Not shown) or the like which collects data.
뿐만 아니라, 통신부(150)는 HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), IEEE(Institute of Electrical and Eletronics Engineers) 1394 등의 유선 통신 모듈 중 적어도 하나를 포함하는 커넥터(미도시)를 더 포함할 수 있다. 이 같은 커넥터(미도시)는 프로세서(140)의 제어 명령에 따라 커넥터(미도시)에 연결된 유선 케이블을 통해 외부 서버(미도시)로부터 전송된 컨텐츠 데이터를 수신하거나, 기저장된 영상 데이터를 외부 기록 매체로 전송할 수 있다. 또한, 커넥터(미도시)는 커넥터(미도시)와 물리적으로 연결된 유선 케이블을 통해 전원 소스로부터 전원을 입력받을 수 있다.In addition, the
촬영부(160)는 사용자 명령 혹은 이벤트 발생에 따라, 정지 영상 또는 동영상을 촬영하기 위한 것으로써, 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수 있다.The photographing
감지부(170)는 주변 밝기, 외부 온도 및 전자 장치(100)의 움직임 등을 감지하는 센서이다. 이 같은 감지부(170)는 조도 센서(미도시), 온도 센서(미도시) 움직임 센서(미도시), 지자기 센서(미도시), 중력 센서(미도시) 및 자이로 센서(미도시) 등을 포함할 수 있다.The
조도 센서(미도시)는 주변 환경의 밝기를 감지하며, 온도 센서(미도시)는 외부 온도를 감지하는 센서가 될 수 있다.The illuminance sensor (not shown) senses the brightness of the surrounding environment, and the temperature sensor (not shown) may be a sensor that senses the external temperature.
움직임 센서(Accelerometer Sensor)(미도시)는 이동하는 전자 장치(100)의 가속도나 충격의 세기를 측정하는 가속도 센서이다. 그리고, 지자기 센서(Magnetic Sensor)(미도시)는 지구 자기장을 이용하여 방위각을 탐지할 수 있는 센서이며, 중력 센서(Gravity Sensor)(미도시)는 중력이 어느 방향으로 작용하는지 탐지하는 센서로써, 전자 장치(100)가 구비된 운송 차량이 이동하는 방향에 따라 자동으로 회전하여 방향을 감지한다. 마지막으로, 자이로 센서(Gyroscope Sensor)(미도시)는 기존의 움직임 센서(미도시)에 각각 회전을 넣어 6축 방향을 인식하여 하여 좀더 세밀하고 정밀한 동작을 인식할 수 있도록 도와주는 센서이다.An accelerometer sensor (not shown) is an acceleration sensor that measures the acceleration or impact strength of the moving
지금까지 본 발명에 따른 전자 장치(100)에서 촬영된 영상 데이터로부터 오브젝트를 검출하는 동작에 대해서 상세히 설명하였다. 이하에서는 본 발명에 따른 전자 장치(100)에서 촬영된 영상 데이터로부터 오브젝트를 검출하는 방법에 대해서 상세히 설명하도록 한다.The operation of detecting an object from image data photographed in the
도 10은 본 발명의 일 실시예에 따른 촬영된 영상 데이터로부터 오브젝트를 검출하는 전자 장치의 제어 방법에 대한 흐름도이다.10 is a flowchart of a method of controlling an electronic device for detecting an object from photographed image data according to an embodiment of the present invention.
도 10에 도시된 바와 같이, 전자 장치(100)는 카메라를 통해 촬영된 영상 데이터를 입력받는다(S1010). 영상 데이터가 입력되면, 전자 장치(100)는 기저장된 필터 세트를 구성하는 복수의 필터를 이용하여 기입력된 영상 데이터로부터 오브젝트를 나타내는 특징 정보를 획득한다(S1020). 이후, 전자 장치(100)는 복수의 필터 중 적어도 두 개 이상의 필터를 통해 획득한 특징 정보를 이용하여 영상 데이터에 포함된 오브젝트를 검출한다(S1030). 이후, 전자 장치(100)는 검출된 오브젝트에 정보를 제공한다(S1040).As shown in Fig. 10, the
여기서, 특징 정보는 오브젝트의 신뢰도를 나타내는 확률값 및 해당 오브젝트가 위치하는 위치 정보를 포함할 수 있다.Here, the feature information may include a probability value indicating the reliability of the object and position information on the position of the object.
구체적으로, 전자 장치(100)는 필터 세트를 구성하는 복수의 필터로부터 획득한 특징 정보 각각을 이용하여 복수의 필터 각각에 대응되는 컨피던스 맵을 생성한다. 이후, 전자 장치(100)는 복수의 필터 각각에 대응되는 컨피던스 맵 중 기정의된 적어두 두 개의 필터 각각에 대응되는 제1 및 제2 컨피던스 맵을 획득하고, 획득한 제1 및 제2 컨피던스 맵을 이용하여 파이널 컨피던스 맵을 생성한다. 이후, 전자 장치(100)는 제1 및 제2 컨피던스 맵을 이용하여 생성된 파이널 컨피던스 맵을 분석하여 기입력된 영상 데이터로부터 오브젝트를 검출할 수 있다.Specifically, the
이하에서는, 전자 장치(100)에서 복수의 필터를 이용하여 영상 데이터로부터 오브젝트를 나타내는 특징 정보를 획득하는 방법 및 기획득한 특징 정보에 기초하여 영상 데이터에 포함된 오브젝트를 검출하는 방법에 대해서 상세히 설명하도록 한다.Hereinafter, a method of acquiring feature information representing an object from image data using a plurality of filters in the
도 11은 본 발명의 일 실시예에 따른 전자 장치에서 영상 데이터로부터 오브젝트를 나타내는 특징 정보를 획득하는 방법의 흐름도이다.11 is a flowchart of a method for acquiring feature information representing an object from image data in an electronic device according to an embodiment of the present invention.
도 11에 도시된 바와 같이, 전자 장치(100)는 영상 데이터가 입력되면, 복수의 필터 중 제1 필터를 이용하여 기입력된 영상 데이터로부터 오브젝트를 나타내는 제1 특징 정보를 획득한다(S1110).As shown in FIG. 11, when the image data is input, the
이후, 전자 장치(100)는 제2 필터를 이용하여, 제1 특징 정보에 기초하여 생성된 컨피던스 맵으로부터 오브젝트를 나타내는 제2 특징 정보를 획득한다(S1120). 이후, 전자 장치(100)는 제2 특징 정보에 기초하여 생성된 컨피던스 맵을 기설정된 사이즈로 폴링한다(S1130). 이후, 전자 장치(100)는 제3 필터를 이용하여, 기설정된 사이즈로 폴링된 컨피던스 맵으로부터 오브젝트를 나타내는 제3 특징 정보를 획득한다(S1140).Thereafter, the
구체적으로, 전자 장치(100)는 최초 영상 데이터가 입력되면, 복수의 필터 중 제1 필터에 설정된 파라메타를 이용하여 영상 데이터로부터 오브젝트에 대한 제1 특징값을 획득한다. 이후, 전자 장치(100)는 제1 특징값에 기초하여 오브젝트의 신뢰도를 나타내는 확률값 및 해당 오브젝트가 위치하는 위치 정보를 포함하는 제1 특징 정보를 획득한다. 이후, 전자 장치(100)는 획득한 제1 특징 정보에 기초하여 제1 필터에 대응되는 제1 컨피던스 맵을 생성한다.Specifically, when the original image data is input, the
이후, 전자 장치(100)는 제1 필터에 설정된 파라메타를 이용하여 기생성된 제1 컨피던스 맵으로부터 해당 오브젝트에 대한 제2 특징값을 획득한다. 이후, 전자 장치(100)는 제2 특징값에 기초하여 해당 오브젝트의 신뢰도를 나타내는 확률값 및 위치 정보를 포함하는 제2 특징 정보를 획득하고, 획득한 제2 특징 정보에 기초하여 제2 필터에 대응되는 제2 컨피던스 맵을 생성한다.Thereafter, the
이후, 전자 장치(100)는 제2 컨피던스 맵을 기설정된 사이즈로 폴링한다. 예를 들어, 제2 컨피던스 맵이 80 * 48의 픽셀 단위로 표현된 맵인 경우, 전자 장치(100)는 제2 컨피던스 맵을 40 * 24의 픽셀 단위로 폴링할 수 있다. 이 같이, 제2 컨피던스 맵이 기설정된 사이즈로 폴링되면, 전자 장치(100)는 제3 필터에 설정된 파라메타를 이용하여 기설정된 사이즈로 폴링된 제2 컨피던스 맵으로부터 해당 오브젝트에 대한 제3 특징값을 획득한다. 이후, 전자 장치(100)는 제3 특징값에 기초하여 해당 오브젝트의 신뢰도를 나타내는 확률값 및 위치 정보를 포함하는 제2 특징 정보를 획득하고, 획득한 제2 특징 정보에 기초하여 제2 필터에 대응되는 제3 컨피던스 맵을 생성한다.Thereafter, the
이 같은 일련의 처리 과정을 통해 복수의 필터 각각에 대응되는 컨피던스 맵이 생성되면, 전자 장치(100)는 복수의 컨피던스 맵 중 적어도 두 개의 컨피던스 맵을 이용하여 파이널 컨피던스 맵을 생성하고, 생성된 파이널 컨피던스 맵으로부터 오브젝트를 검출할 수 있다.When a confidence map corresponding to each of the plurality of filters is generated through the series of processes, the
도 12는 본 발명의 일 실시예에 따른 전자 장치에서 오브젝트를 검출하는 방법의 흐름도이다.12 is a flowchart of a method of detecting an object in an electronic device according to an embodiment of the present invention.
도 12에 도시된 바와 같이, 전자 장치(100)는 복수의 필터로부터 획득한 특징 정보 각각을 이용하여 복수의 필터 각각에 대응되는 컨피던스 맵을 생성한다(S1210). 이후, 전자 장치(100)는 복수이 필터 각각에 대응되는 컨피던스 맵 중 제1 및 제2 컨피던스 맵을 획득한다(S1220) As shown in FIG. 12, the
여기서, 제1 컨피던스 맵은 복수의 필터 중 기설정된 필터 다음의 필터로부터 획득한 특징 정보를 이용하여 생성된 맵이며, 제2 컨피던스 맵은 복수의 필터 중 마지막 필터로부터 획득한 특징 정보를 이용하여 생성된 맵이 될 수 있다.Here, the first confidence map is a map generated using the feature information acquired from the filter after the predetermined filter among the plurality of filters, and the second confidence map is generated using the feature information acquired from the last filter among the plurality of filters Gt; map < / RTI >
이 같은 제1 및 제2 컨피던스 맵이 획득되면, 전자 장치(100)는 제1 및 제2 컨피던스 맵을 동일한 사이즈로 조정한다(S1220,S1230). 이후, 전자 장치(100)는 동일한 사이즈로 조정된 제1 및 제2 컨피던스 맵을 이용하여 파이널 컨피던스 맵을 생성하고, 생성된 파이널 컨피던스 맵을 분석하여 영상 데이터에 포함된 오브젝트를 검출한다(S1240,S1250).When such first and second confidence maps are obtained, the
구체적으로, 전자 장치(100)는 파이널 컨피던스 맵으로부터 오브젝트를 나타내는 특징 정보를 획득하고, 획득한 특징 정보에 기초하여 기입력된 영상 데이터에 포함된 오브젝트를 검출할 수 있다. Specifically, the
보다 구체적으로, 전자 장치(100)는 파이널 컨피던스 맵으로부터 오브젝트를 나타내는 특징 정보가 획득되면, 기획득한 특징 정보에 포함된 오브젝트의 신뢰도를 나타내는 확률값과 기설정된 임계값을 비교한다. 비교 결과, 확률값이 기설정된 임계값 이상이면, 전자 장치(100)는 기획득한 특징 정보에 포함된 오브젝트의 위치 정보에 기초하여 해당 오브젝트를 검출한다. 이후, 전자 장치(100)는 파이널 컨피던스 맵으로부터 검출된 오브젝트의 유형 정보를 획득한다. 이후, 전자 장치(100)는 검출된 오브젝트의 위치 정보, 해당 오브젝트의 유형 정보 및 해당 오브젝트의 이동 정보 중 적어도 하나에 기초하여 기입력된 영상 데이터에 대한 오브젝트 검출 결과를 제공한다.More specifically, when the characteristic information indicating the object is obtained from the final confidence map, the
한편, 전자 장치(100)는 운송 장치 내 구비된 장치로써, 해당 운송 장치 내에 구비되어 주행 정보를 제공하는 타 전자 장치(200)와 통신을 수행할 수 있다. 이 경우, 전자 장치(100)는 영상 데이터로부터 검출된 오브젝트의 유형 정보, 위치 정보 및 이동 정보 중 적어도 하나를 이용하여 해당 오브젝트와의 거리 정보, 위험 상황 정보 및 사각지대 알림 정보 중 적어도 하나를 타 전자 장치(200)로 전송할 수 있다. 이에 따라, 타 전자 장치(200)는 전자 장치(100)로부터 수신된 정보에 기초하여 전자 거울(E-Mirror) 또는 헤드 업 디스플레이를 통해 해당 오브젝트에 대한 알림 정보를 제공할 수 있다.Meanwhile, the
한편, 상술한 바와 같은 전자 장치(100)의 제어 방법은 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 비일시적 컴퓨터 판독 가능 매체에 저장될 수 있다.On the other hand, the control method of the
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.A non-transitory readable medium is a medium that stores data for a short period of time, such as a register, cache, memory, etc., but semi-permanently stores data and is readable by the apparatus. Specifically, the above-described programs may be stored in a computer-readable recording medium such as a RAM (Random Access Memory), a flash memory, a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), an EEPROM (Electronically Erasable and Programmable ROM) Card, a USB memory, a CD-ROM, or the like.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limiting the scope of the invention as defined by the appended claims. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention.
100 : 전자 장치
110 : 입력부
120 : 출력부
121 : 디스플레이부
122 : 오디오 출력부
130 : 저장부
140 : 프로세서
150 : 통신부
160 : 촬영부
170 : 감지부100: electronic device 110: input
120: output unit 121: display unit
122: Audio output unit 130:
140: processor 150:
160: photographing unit 170:
Claims (20)
영상 데이터를 입력받는 단계;
복수의 필터를 이용하여 상기 영상 데이터로부터 오브젝트를 나타내는 특징 정보를 획득하는 단계;
상기 복수의 필터 중 적어도 두 개 이상의 필터를 통해 획득한 특징 정보를 이용하여 상기 영상 데이터에 포함된 오브젝트를 검출하는 단계; 및
상기 검출된 오브젝트에 대한 정보를 제공하는 단계;
를 포함하는 제어 방법.A method of controlling an electronic device,
Receiving image data;
Obtaining characteristic information representing an object from the image data using a plurality of filters;
Detecting an object included in the image data using feature information acquired through at least two filters among the plurality of filters; And
Providing information about the detected object;
≪ / RTI >
상기 특징 정보는
상기 오브젝트의 신뢰도를 나타내는 확률값 및 상기 오브젝트가 위치하는 위치 정보를 포함하는 것을 특징으로 하는 제어 방법.The method according to claim 1,
The feature information
A probability value indicating the reliability of the object, and position information on which the object is located.
상기 획득하는 단계는,
상기 복수의 필터 중 제1 필터를 이용하여 상기 영상 데이터로부터 상기 오브젝트를 나타내는 제1 특징 정보를 획득하는 단계;
제2 필터를 이용하여, 상기 제1 특징 정보에 기초하여 생성된 컨피던스 맵으로부터 상기 오브젝트를 나타내는 제2 특징 정보를 획득하는 단계;
상기 제2 특징 정보에 기초하여 생성된 컨피던스 맵을 기설정된 사이즈로 폴링(pooling)하는 단계; 및
제3 필터를 이용하여, 상기 폴링된 컨피던스 맵으로부터 상기 오브젝트를 나타내는 제3 특징 정보를 획득하는 단계;
를 포함하는 것을 특징으로 하는 제어 방법.The method according to claim 1,
Wherein the acquiring comprises:
Obtaining first feature information representing the object from the image data using a first filter of the plurality of filters;
Acquiring second feature information representing the object from a confidence map generated based on the first feature information using a second filter;
The method comprising: pooling a confidence map generated based on the second feature information to a predetermined size; And
Obtaining third feature information representing the object from the polled confidence map using a third filter;
The control method comprising the steps of:
상기 검출하는 단계는,
상기 복수의 필터로부터 획득한 특징 정보 각각을 이용하여 상기 복수의 필터 각각에 대응되는 컨피던스 맵을 생성하는 단계;
상기 복수의 필터 각각에 대응되는 컨피던스 맵 중 제1 및 제2 컨피던스 맵을 획득하는 단계;
상기 제1 및 제2 컨피던스 맵을 이용하여 파이널 컨피던스 맵을 생성하는 단계; 및
상기 파이널 컨피던스 맵을 분석하여 상기 오브젝트를 검출하는 단계;
를 포함하는 것을 특징으로 하는 제어 방법.3. The method of claim 2,
Wherein the detecting comprises:
Generating a confidence map corresponding to each of the plurality of filters using feature information obtained from the plurality of filters;
Obtaining a first and a second one of a plurality of confidence maps corresponding to the plurality of filters;
Generating a final confidence map using the first and second confidence maps; And
Analyzing the final confidence map to detect the object;
The control method comprising the steps of:
상기 제1 컨피던스 맵은,
상기 복수의 필터 중 기설정된 필터 다음의 필터로부터 획득한 특징 정보를 이용하여 생성된 맵이며,
상기 제2 컨피던스 맵은,
상기 복수의 필터 중 마지막 필터로부터 획득한 특징 정보를 이용하여 생성된 맵인 것을 특징으로 하는 제어 방법.5. The method of claim 4,
Wherein the first confidence map comprises:
A map generated by using feature information acquired from a filter next to a predetermined filter among the plurality of filters,
Wherein the second confidence map comprises:
Wherein the map is generated using feature information obtained from the last filter among the plurality of filters.
상기 제1 및 제2 컨피던스 맵의 사이즈를 동일한 사이즈로 조정하는 단계;
를 더 포함하는 것을 특징으로 하는 제어 방법.5. The method of claim 4,
Adjusting the sizes of the first and second confidence maps to the same size;
Further comprising the steps of:
상기 오브젝트를 검출하는 단계는,
상기 파이널 컨피던스 맵으로부터 상기 오브젝트의 신뢰도를 나타내는 확률값이 기설정된 임계 값 이상인지 여부에 따라, 상기 오브젝트를 검출하는 것을 특징으로 하는 제어 방법.5. The method of claim 4,
Wherein the detecting the object comprises:
And the object is detected based on whether or not a probability value indicating the reliability of the object is equal to or greater than a predetermined threshold value from the final confidence map.
상기 제공하는 단계는,
상기 검출된 오브젝트의 유형 정보, 위치 정보, 이동 정보 중 적어도 하나를 제공하는 것을 특징으로 하는 제어 방법.The method according to claim 1,
Wherein the providing step comprises:
And providing at least one of type information, position information, and movement information of the detected object.
상기 전자 장치는 운송 장치 내에 구비되어 주행 정보를 제공하는 타 전자 장치와 통신을 수행하며,
상기 제공하는 단계는,
상기 검출된 오브젝트의 유형 정보, 위치 정보, 이동 정보 중 적어도 하나를 이용하여 상기 오브젝트와의 거리 정보, 위험 상황 정보, 사각지대 알림 정보 중 적어도 하나를 상기 타 전자 장치에 제공하는 것을 특징으로 하는 제어 방법.9. The method of claim 8,
The electronic device is provided in the transportation device and performs communication with other electronic devices providing driving information,
Wherein the providing step comprises:
And provides at least one of distance information, dangerous situation information, and blind zone notification information to the other electronic device using at least one of type information, position information, and movement information of the detected object Way.
상기 전자 장치는 운송 장치 내에 구비된 장치이며,
상기 영상 데이터는 상기 운송 장치가 주행하는 도로의 전방 영역 또는 후방 영역에 대한 영상 데이터인 것을 특징으로 하는 제어 방법.The method according to claim 1,
The electronic device is a device provided in a transportation device,
Wherein the image data is image data for a front region or a rear region of a road on which the transportation apparatus travels.
영상 데이터를 입력받는 입력부;
상기 영상 데이터의 오브젝트에 대한 정보를 출력하는 출력부; 및
복수의 필터를 이용하여 상기 영상 데이터로부터 오브젝트를 나타내는 특징 정보를 획득하고,
상기 복수의 필터 중 적어도 두 개 이상의 필터를 통해 획득한 특징 정보를 이용하여 상기 영상 데이터에 포함된 오브젝트를 검출하여 상기 검출된 오브젝트에 대한 정보를 출력하도록 상기 출력부를 제어하는 프로세서;
를 포함하는 전자 장치.In an electronic device,
An input unit for receiving image data;
An output unit for outputting information on an object of the image data; And
Acquiring feature information indicating an object from the image data using a plurality of filters,
A processor for detecting an object included in the image data using feature information acquired through at least two filters among the plurality of filters and controlling the output unit to output information about the detected object;
≪ / RTI >
상기 특징 정보는
상기 오브젝트의 신뢰도를 나타내는 확률값 및 상기 오브젝트가 위치하는 위치 정보를 포함하는 것을 특징으로 하는 전자 장치.12. The method of claim 11,
The feature information
A probability value indicating the reliability of the object, and position information on which the object is located.
상기 프로세서는,
상기 복수의 필터 중 제1 필터를 이용하여 상기 영상 데이터로부터 상기 오브젝트를 나타내는 제1 특징 정보를 획득하고,
제2 필터를 이용하여, 상기 제1 특징 정보에 기초하여 생성된 컨피던스 맵으로부터 상기 오브젝트를 나타내는 제2 특징 정보를 획득하며,
상기 제2 특징 정보에 기초하여 생성된 컨피던스 맵을 기설정된 사이즈로 폴링(pooling)하고,
제3 필터를 이용하여, 상기 폴링된 컨피던스 맵으로부터 상기 오브젝트를 나타내는 제3 특징 정보를 획득하는 것을 특징으로 하는 전자 장치.12. The method of claim 11,
The processor comprising:
Acquiring first characteristic information representing the object from the image data using a first filter among the plurality of filters,
Acquiring second feature information representing the object from a confidence map generated based on the first feature information using a second filter,
The method comprising the steps of: pooling a confidence map generated based on the second feature information to a preset size;
And acquires third feature information indicating the object from the polled confidence map using a third filter.
상기 프로세서는,
상기 복수의 필터로부터 획득한 특징 정보 각각을 이용하여 상기 복수의 필터 각각에 대응되는 컨피던스 맵을 생성하고,
상기 복수의 필터 각각에 대응되는 컨피던스 맵 중 제1 및 제2 컨피던스 맵을 획득하며,
상기 제1 및 제2 컨피던스 맵을 이용하여 파이널 컨피던스 맵을 생성하고,
상기 파이널 컨피던스 맵을 분석하여 상기 오브젝트를 검출하는 것을 특징으로 하는 전자 장치.13. The method of claim 12,
The processor comprising:
Generates a confidence map corresponding to each of the plurality of filters using each of the feature information acquired from the plurality of filters,
Acquiring first and second confidence maps of a confidence map corresponding to each of the plurality of filters,
Generates a final confidence map using the first and second confidence maps,
And the object is detected by analyzing the final confidence map.
상기 제1 컨피던스 맵은,
상기 복수의 필터 중 기설정된 필터 다음의 필터로부터 획득한 특징 정보를 이용하여 생성된 맵이며,
상기 제2 컨피던스 맵은,
상기 복수의 필터 중 마지막 필터로부터 획득한 특징 정보를 이용하여 생성된 맵인 것을 특징으로 하는 전자 장치.15. The method of claim 14,
Wherein the first confidence map comprises:
A map generated by using feature information acquired from a filter next to a predetermined filter among the plurality of filters,
Wherein the second confidence map comprises:
Wherein the map is generated using feature information obtained from the last filter among the plurality of filters.
상기 프로세서는,
상기 제1 및 제2 컨피던스 맵의 사이즈를 동일한 사이즈로 조정하는 것을 특징으로 하는 전자 장치.15. The method of claim 14,
The processor comprising:
And adjusts the sizes of the first and second confidence maps to the same size.
상기 프로세서는,
상기 파이널 컨피던스 맵으로부터 상기 오브젝트의 신뢰도를 나타내는 확률값이 기설정된 임계 값 이상인지 여부에 따라, 상기 오브젝트를 검출하는 것을 특징으로 하는 전자 장치.15. The method of claim 14,
The processor comprising:
And detects the object based on whether the probability value indicating the reliability of the object is equal to or greater than a predetermined threshold value from the final confidence map.
상기 프로세서는,
상기 검출된 오브젝트의 유형 정보, 위치 정보, 이동 정보 중 적어도 하나를 출력하도록 상기 출력부를 제어하는 것을 특징으로 하는 전자 장치.12. The method of claim 11,
The processor comprising:
And controls the output unit to output at least one of type information, position information, and movement information of the detected object.
운송 장치 내에 구비되어 주행 정보를 제공하는 타 전자 장치와 통신을 수행하는 통신부;를 더 포함하며,
상기 프로세서는,
상기 검출된 오브젝트의 유형 정보, 위치 정보, 이동 정보 중 적어도 하나를 이용하여 상기 오브젝트와의 거리 정보, 위험 상황 정보, 사각지대 알림 정보 중 적어도 하나를 상기 타 전자 장치로 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 전자 장치.19. The method of claim 18,
And a communication unit provided in the transportation device and performing communication with another electronic device providing traveling information,
The processor comprising:
And controls the communication unit to transmit at least one of distance information, dangerous situation information, and blind zone notification information to the other electronic device using at least one of type information, position information, and movement information of the detected object .
상기 전자 장치는 운송 장치 내에 구비된 장치이며,
상기 영상 데이터는 상기 운송 장치가 주행하는 도로의 전방 영역 또는 후방 영역에 대한 영상 데이터인 것을 특징으로 하는 전자 장치.
12. The method of claim 11,
The electronic device is a device provided in a transportation device,
Wherein the image data is image data for a front region or a rear region of a road on which the transportation apparatus travels.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/806,983 US10558870B2 (en) | 2016-11-08 | 2017-11-08 | Electronic apparatus and control method thereof |
| PCT/KR2017/012616 WO2018088804A1 (en) | 2016-11-08 | 2017-11-08 | Electronic apparatus and control method thereof |
| US16/710,626 US10878257B2 (en) | 2016-11-08 | 2019-12-11 | Electronic apparatus and control method thereof |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662418924P | 2016-11-08 | 2016-11-08 | |
| US62/418,924 | 2016-11-08 | ||
| US201662419645P | 2016-11-09 | 2016-11-09 | |
| US62/419,645 | 2016-11-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180051422A true KR20180051422A (en) | 2018-05-16 |
| KR102545199B1 KR102545199B1 (en) | 2023-06-19 |
Family
ID=62452379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170148111A KR102545199B1 (en) | 2016-11-08 | 2017-11-08 | Electronic apparatus and control method thereof |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP3523752A4 (en) |
| KR (1) | KR102545199B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102095152B1 (en) * | 2019-06-07 | 2020-03-30 | 건국대학교 산학협력단 | A method of recognizing a situation and apparatus performing the same |
| KR20210087737A (en) * | 2020-01-03 | 2021-07-13 | 영남대학교 산학협력단 | Object Detection Method Using Multiscale Convolution Filter |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150066799A (en) * | 2013-12-09 | 2015-06-17 | 현대자동차주식회사 | Method And Device for Recognizing a Pedestrian and Vehicle supporting the same |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5448758B2 (en) * | 2009-11-30 | 2014-03-19 | キヤノン株式会社 | Information processing apparatus, information processing method, information processing system, program, and data structure |
-
2017
- 2017-11-08 EP EP17869574.8A patent/EP3523752A4/en active Pending
- 2017-11-08 KR KR1020170148111A patent/KR102545199B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150066799A (en) * | 2013-12-09 | 2015-06-17 | 현대자동차주식회사 | Method And Device for Recognizing a Pedestrian and Vehicle supporting the same |
Non-Patent Citations (1)
| Title |
|---|
| Pablo Arbeláez 외 2명, Hypercolumns for object segmentation and fine-grained localization, 2015 IEEE Conference on Computer Vision and Pattern Recognition (2015.10.15.)* * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102095152B1 (en) * | 2019-06-07 | 2020-03-30 | 건국대학교 산학협력단 | A method of recognizing a situation and apparatus performing the same |
| WO2020246655A1 (en) * | 2019-06-07 | 2020-12-10 | 건국대학교 산학협력단 | Situation recognition method and device for implementing same |
| KR20210087737A (en) * | 2020-01-03 | 2021-07-13 | 영남대학교 산학협력단 | Object Detection Method Using Multiscale Convolution Filter |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3523752A4 (en) | 2019-10-23 |
| KR102545199B1 (en) | 2023-06-19 |
| EP3523752A1 (en) | 2019-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200219325A1 (en) | Information providing method and information providing vehicle therefor | |
| US11205348B2 (en) | Drive assist device | |
| US20170010679A1 (en) | Communication between autonomous vehicle and external observers | |
| EP3005228B1 (en) | Information processing device, approaching object notification method, and program | |
| KR20220000977A (en) | Apparatus and method for providing guidance information using crosswalk recognition result | |
| US10810774B2 (en) | Electronic apparatus and method for controlling the same | |
| CN111565989B (en) | Autonomous driving apparatus and method for autonomous driving of vehicle | |
| US10733879B2 (en) | Roadside device, method of controlling roadside device and non-transitory storage medium | |
| KR20140007709A (en) | Transparent display apparatus for displaying an information of danger element and method thereof | |
| US20210192239A1 (en) | Method for recognizing indication information of an indicator light, electronic apparatus and storage medium | |
| CN111710189B (en) | Control method for electronic device, and recording medium | |
| CN113165651B (en) | Electronic device and control method thereof | |
| US10878257B2 (en) | Electronic apparatus and control method thereof | |
| CN114332821A (en) | Decision information acquisition method, device, terminal and storage medium | |
| KR102130966B1 (en) | Apparatus and method for controlling traffic signal | |
| KR102545199B1 (en) | Electronic apparatus and control method thereof | |
| KR101374653B1 (en) | Apparatus and method for detecting movement of vehicle | |
| US11492002B2 (en) | Electronic device attached to vehicle and control method therefor | |
| KR101793156B1 (en) | System and method for preventing a vehicle accitdent using traffic lights | |
| KR20200070100A (en) | A method for detecting vehicle and device for executing the method | |
| KR102274544B1 (en) | Electronic device and image processing method thereof | |
| JP7192696B2 (en) | Control device, vehicle, and control method | |
| KR102299501B1 (en) | Electronic apparatus, control method of electronic apparatus and computer readable recording medium | |
| JP2022042283A (en) | Object recognition controller and method for object recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E701 | Decision to grant or registration of patent right | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |