KR102223320B1 - Apparatus and method for determining status of vehicle LED lighting based on comparison of adjacent grayscale - Google Patents

Abstract

이웃 LED 조명을 이용하여 차량간 LED 조명 상태를 판단하는 방법 및 장치에 관한 기술이 제공된다.A method and apparatus for determining a state of LED lighting between vehicles using neighboring LED lighting is provided.

Description

인접 그레이스케일 비교에 기초한 차량 LED 조명 상태 판단 방법 및 장치{Apparatus and method for determining status of vehicle LED lighting based on comparison of adjacent grayscale}{Apparatus and method for determining status of vehicle LED lighting based on comparison of adjacent grayscale}

이하, 차량간 LED 조명 상태를 판단하는 방법 및 장치에 관한 기술이 제공된다.Hereinafter, a technology regarding a method and an apparatus for determining a state of LED lighting between vehicles is provided.

차량 통신(Vehicle communication)은 차량 간의 안전 경고 및 교통 정보를 교환할 수 있는 단거리 내지 중거리 통신 시스템에 관련될 수 있다. 예를 들어, 차량은 차선 변경을 요구하는 신호를 보내고 다른 차량에서 확인 신호를 기다릴 수 있다. 비상 제동의 경우 비상 제동 신호가 다른 차량으로 보내질 수 있다. 차량이 속도를 높이거나 낮추면 차량 통신을 통해 다른 차량에도 경고 신호가 전송된다. 또한, 차량 추적 기능을 사용하면 차량의 ID를 다른 차량으로 보내, 차도에 주행중인 차량의 지도를 만들 수 있다. 차량 추적, 차선 탐지, 보행자 감지 등과 같은 차량 추적 및 기타 감지 기술과 함께 차량 통신은 보다 안전하고 조정된 운송 네트워크를 가져오고 궁극적으로 지능형 교통 시스템 및 자율 차량 네트워크를 가능하게 한다. 이 때문에, 차량 통신은 집중적으로 연구되어 왔으며, 최근에는 광학 카메라 통신(OCC)이라는 새로운 기술은 많은 이점 때문에 차량 통신을 위한 유망한 후보 기술로 부상했다.Vehicle communication may relate to a short- to medium-range communication system capable of exchanging safety warnings and traffic information between vehicles. For example, a vehicle may signal to change lanes and wait for a confirmation signal from another vehicle. In case of emergency braking, an emergency braking signal can be sent to another vehicle. When a vehicle speeds up or slows down, a warning signal is also sent to other vehicles through vehicle communication. In addition, if the vehicle tracking function is used, the ID of the vehicle can be sent to another vehicle to create a map of the vehicle driving on the roadway. Vehicle communication, along with vehicle tracking and other detection technologies such as vehicle tracking, lane detection, pedestrian detection, etc., will lead to a safer and more coordinated transportation network and ultimately enable intelligent transportation systems and autonomous vehicle networks. For this reason, vehicle communication has been intensively studied, and recently, a new technology called optical camera communication (OCC) has emerged as a promising candidate technology for vehicle communication because of its many advantages.

대한민국 특허등록공보 제10-0736356호(등록일: 2007년 06월 29일)Korean Patent Registration Publication No. 10-0736356 (Registration date: June 29, 2007) 대한민국 특허공개공보 제 10-2014-0096880호(공개일: 2014년 08월 06일)Korean Patent Publication No. 10-2014-0096880 (Publication date: August 06, 2014)

일실시예에 따른 LED 조명 상태 출력 방법은 외부 LED 가시광 신호의 수신에 기초하여, LED 이미지 프레임을 생성하는 단계, 상기 LED 이미지 프레임으로부터 식별된 LED 전체 영역에 대해 복수 개의 LED 단위 영역들로 분할하는 단계, 상기 LED 전체 영역을 대표하는 전체 그레이스케일 레벨을 산출하는 단계, 상기 분할된 단위 영역들 중 대상 영역을 선택하는 단계, 상기 선택된 대상 영역에 인접한 이웃 영역들의 이웃 그레이스케일 레벨을 계산하는 단계, 상기 전체 그레이스케일 레벨 및 상기 이웃 그레이스케일 레벨에 기초하여 이웃 그레이스케일 비율을 출력하는 단계를 포함할 수 있다.The LED lighting state output method according to an embodiment comprises the steps of generating an LED image frame based on reception of an external LED visible light signal, dividing the entire LED area identified from the LED image frame into a plurality of LED unit areas. Steps, calculating an overall grayscale level representing the entire LED area, selecting a target area from among the divided unit areas, calculating neighboring grayscale levels of neighboring areas adjacent to the selected target area, And outputting a neighboring grayscale ratio based on the total grayscale level and the neighboring grayscale level.

일측에 따른 상기 대상 영역을 선택하는 단계는 상기 분할된 단위 영역들의 각각을 순차적으로 상기 대상 영역으로 선택하는 단계를 포함할 수 있다.Selecting the target region according to one side may include sequentially selecting each of the divided unit regions as the target region.

또한, LED 조명 상태 출력 방법은 상기 대상 영역을 대표하는 대상 영역 대표 정보를 산출하는 단계, 상기 이웃 그레이스케일 비율 및 상기 대상 영역 대표 정보에 기초하여 상기 대상 영역의 조명 상태를 판단하는 단계를 더 포함할 수 있다.In addition, the LED lighting state output method further includes calculating the target area representative information representing the target area, and determining the lighting state of the target area based on the neighboring grayscale ratio and the target area representative information. can do.

다른 일실시예에 따른 상기 이웃 그레이스케일 레벨을 계산하는 단계는 상기 대상 영역이 상기 LED 전체 영역의 외곽 영역에 해당하는 경우, 상기 LED 전체 영역의 외부에 해당하는 이웃 영역들의 그레이스케일 레벨을 LED가 꺼진 상태에 대응하는 그레이스케일 레벨로 설정하는 단계를 포함할 수 있다.In the calculating of the neighboring grayscale level according to another embodiment, when the target region corresponds to an outer region of the entire LED region, the LED determines grayscale levels of the neighboring regions corresponding to the outer region of the entire LED region. It may include the step of setting the grayscale level corresponding to the off state.

일실시예에 따른 상기 전체 그레이스케일 레벨을 산출하는 단계는 상기 LED 단위 영역들의 그레이스케일 레벨의 평균값을 계산하고, 상기 평균값을 상기 전체 그레이스케일 레벨로 설정하는 단계를 포함할 수 있다.Calculating the total grayscale level according to an embodiment may include calculating an average value of grayscale levels of the LED unit regions, and setting the average value to the total grayscale level.

또한, 상기 대상 영역의 조명 상태를 판단하는 단계는 상기 대상 영역의 그레이스케일 레벨이 임계 레벨보다 큰 경우에 응답하여, 상기 대상 영역의 조명이 켜진 상태라고 판단하는 단계를 포함할 수 있다.In addition, determining the lighting state of the target region may include determining that the lighting of the target region is turned on in response to a case where the grayscale level of the target region is greater than a threshold level.

일측에 따르면, 상기 대상 영역의 조명 상태를 판단하는 단계는 상기 이웃 그레이스케일 비율이 미리 설정된 임계치보다 큰 경우에 응답하여, 상기 임계 레벨을 소정 간격 상승시키는 단계를 포함할 수 있다.According to one side, determining the lighting state of the target area may include raising the threshold level by a predetermined interval in response to a case where the neighboring grayscale ratio is greater than a preset threshold.

일실시예에 따르면, 상기 이웃 그레이스케일 레벨을 계산하는 단계는 상기 이웃 그레이스케일 레벨의 평균값을 계산하고, 상기 평균값을 상기 이웃 그레이스케일 레벨로 설정하는 단계를 포함할 수 있다.According to an embodiment, calculating the neighboring grayscale level may include calculating an average value of the neighboring grayscale levels and setting the average value to the neighboring grayscale level.

도 1은 일실시예에 따른 차량 간 LED 통신의 방법을 도시한 흐름도이다.
도 2는 일실시예에 따른 LED 패널과 LED 비트를 감지하는 것에 관한 도면이다.
도 3은 일실시예에 따른 그레이스케일 레벨에 기초하여 LED 비트를 감지하는 것을 도시한 도면이다.
도 4는 일실시예에 따라 LED 패널의 그레이스케일 레벨이 차이를 보이는 것을 나타낸 도면이다.
도 5는 일실시예에 따라 LED 패널에서 빛 번짐 효과(Blooming effect)가 나타나는 것을 도시한 도면이다.
도 6은 일실시예에 따라 LED의 조명 상태를 판단하기 위한 방법을 나타낸 도면이다.
도 7은 일실시예에 따라 LED의 조명 상태를 판단하기 위한 방법의 흐름도를 도시한 도면이다.
도 8은 일실시예에 따라 대상 영역과 이웃한 영역들의 그레이스케일 레벨을 계산하는 것을 도시한 도면이다.
도 9는 일실시예에 따라 결과값들을 분류하는 방법을 도시한 도면이다.
도 10은 일실시예에 따라 복수 개의 LED 조명 상태 판단 결과값을 도시한 그래프이다.
도 11은 일실시예에 따라 LED 조명 상태를 판단하는 장치의 구성을 나타낸 블록도이다.1 is a flowchart illustrating a method of LED communication between vehicles according to an embodiment.
2 is a diagram illustrating an LED panel and detecting an LED bit according to an embodiment.
3 is a diagram illustrating detecting an LED bit based on a grayscale level according to an embodiment.
4 is a diagram illustrating a difference in grayscale levels of an LED panel according to an exemplary embodiment.
5 is a diagram illustrating that a blooming effect appears in an LED panel according to an exemplary embodiment.
6 is a diagram illustrating a method for determining an illumination state of an LED according to an exemplary embodiment.
7 is a diagram illustrating a flow chart of a method for determining an illumination state of an LED according to an exemplary embodiment.
8 is a diagram illustrating calculation of grayscale levels of regions adjacent to a target region according to an exemplary embodiment.
9 is a diagram illustrating a method of classifying result values according to an embodiment.
10 is a graph showing a plurality of LED lighting state determination result values according to an embodiment.
11 is a block diagram showing the configuration of an apparatus for determining an LED lighting state according to an embodiment.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for the purpose of illustration only, and may be changed and implemented in various forms. Accordingly, the embodiments are not limited to a specific disclosure form, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical idea.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Although terms such as first or second may be used to describe various components, these terms should be interpreted only for the purpose of distinguishing one component from other components. For example, a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is referred to as being "connected" to another component, it is to be understood that it may be directly connected or connected to the other component, but other components may exist in the middle.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate that the described feature, number, step, action, component, part, or combination thereof is present, but one or more other features or numbers, It is to be understood that the presence or addition of steps, actions, components, parts, or combinations thereof, does not preclude the possibility of preliminary exclusion.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the relevant technical field. Terms as defined in a commonly used dictionary should be construed as having a meaning consistent with the meaning of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in the present specification. Does not. Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The same reference numerals shown in each drawing indicate the same members.

도 1은 일실시예에 따른 차량 간 LED 통신의 방법을 도시한 흐름도이다.1 is a flowchart illustrating a method of LED communication between vehicles according to an embodiment.

일실시예에 따른 VOCC(Vehicle optical camera communication) 시스템의 시스템 구조가 도 1에 제시 되어있다. 송신 측에서는 오류 정정 부호화 및 변조 후에 LED 패널 내 LED 칩의 On 및 Off 상태에 따라 디지털 비트 1과 0이 전달될 수 있다. 수신 측에서는 LED 패널의 이미지를 처리하여 내장된 데이터를 추출한 다음, 이를 디코딩하여 원본 데이터를 얻을 수 있다. 도 1에 도시된 바와 같이, 이미지 처리 컴포넌트는 LED 패널 검출 및 LED 비트 검출의 두 개의 컴포넌트를 포함한다. 상기 LED 패널 검출 및 LED 비트 검출은 서로 다른 목적을 가지고 있으며, 알고리즘은 다른 클래스를 사용할 수 있다. LED 패널 검출은 LED 비트 검출과 별도로 처리해야할 수 있다. LED 패널 검출과 LED 비트 검출은 도 2를 통해 설명하도록 한다.A system structure of a vehicle optical camera communication (VOCC) system according to an embodiment is shown in FIG. 1. At the transmitting side, digital bits 1 and 0 may be transmitted according to the On and Off status of the LED chip in the LED panel after error correction coding and modulation. The receiving side can process the image of the LED panel to extract the embedded data, and then decode it to obtain the original data. As shown in Fig. 1, the image processing component includes two components: LED panel detection and LED bit detection. The LED panel detection and LED bit detection have different purposes, and different classes of algorithms can be used. LED panel detection may have to be handled separately from LED bit detection. LED panel detection and LED bit detection will be described with reference to FIG. 2.

도 2는 일실시예에 따른 LED 패널과 LED 비트를 감지하는 것에 관한 도면이다.2 is a diagram illustrating an LED panel and detecting an LED bit according to an embodiment.

도 2는 LED 패널과 LED 비트 검출 간의 차이점을 보여준다. 도 2의 왼쪽 도면은 LED 패널 검출에서 전체 이미지가 처리되어 이미지의 LED 패널 좌표를 감지하는 것을 도시한 것이다. 도 2의 오른쪽 도면은 LED 비트 검출에서 감지 된 LED 패널을 면밀히 검사하여 패널의 각 LED 칩의 켜짐 또는 꺼짐 상태를 찾는 것을 도시한 도면이다. LED 칩의 켜짐 또는 꺼짐 상태는 논리 비트 1 및 0으로 변환될 수 있다. 그 후, 오류를 수정하는 디코딩을 할 수 있고, 원본 전송 데이터가 획득될 수 있다. 후술하는 실시예들은 VOCC에서 높은 BER(Bit error rate)을 달성하는데 필요한 LED 비트 검출 알고리즘에 관한 실시예들이다. 후술하는 실시예들에서는 LED 패널의 좌표는 미리 얻어 졌다고 가정한다. 시뮬레이션에서 LED 패널의 좌표는 간단한 LED 패널 감지 알고리즘을 사용하여 얻을 수 있다.2 shows the difference between LED panel and LED bit detection. The left drawing of FIG. 2 shows that the entire image is processed in LED panel detection to detect the LED panel coordinates of the image. The right diagram of FIG. 2 is a diagram illustrating finding the on or off state of each LED chip of the panel by closely inspecting the LED panel detected in the LED bit detection. The on or off state of the LED chip can be converted to logic bits 1 and 0. Thereafter, decoding to correct errors can be performed, and original transmission data can be obtained. The embodiments to be described later are embodiments related to an LED bit detection algorithm required to achieve a high bit error rate (BER) in VOCC. In the embodiments described later, it is assumed that the coordinates of the LED panel are obtained in advance. In the simulation, the coordinates of the LED panel can be obtained using a simple LED panel detection algorithm.

도 3은 일실시예에 따른 그레이스케일 레벨에 기초하여 LED 비트를 감지하는 것을 도시한 도면이다.3 is a diagram illustrating detecting an LED bit based on a grayscale level according to an embodiment.

원칙적으로, LED 패널이 위치한 후에는 선명한 이미지에서 LED의 켜짐 및 꺼짐 상태를 쉽게 감지할 수 있다. 도 3에서 설명한 바와 같이, 각 LED 칩의 상태는 각 LED 칩의 그레이스케일 레벨을 임계값과 비교함으로써 간단히 결정될 수 있다. 이미지 센서 및 비교기 회로에 의해, LED 패널 이미지는 2진화될 수 있다. 이미지는 LED가 켜진 상태가 흰색이고, LED가 꺼진 상태는 검은색인 흑백 이미지로 구성될 수 있다. LED의 휘도는 배경에서 다른 물체의 휘도보다 훨씬 높아야, 이미지가 흑과 백으로 2진화될 수 있다.In principle, after the LED panel is positioned, it is easy to detect the on and off status of the LED in a clear image. As described in FIG. 3, the state of each LED chip can be determined simply by comparing the grayscale level of each LED chip with a threshold value. With the image sensor and comparator circuit, the LED panel image can be binarized. The image may consist of a black and white image in which the LED is turned on in white and the LED is turned off in black. The brightness of the LED must be much higher than that of other objects in the background, so the image can be binarized into black and white.

출력된 그레이스케일 이미지는 미리 결정된 임계값을 사용하여 2 진화될 수 있다. 임계값은 테스트 이미지에서 LED가 켜졌다고 판단되는 가장 낮은 그레이스케일 값일 수 있다. 프레임 간의 그레이스케일 레벨 변화의 영향을 줄이기 위해 0부터 255까지의 범위에 있는 LED의 그레이스케일 레벨은 고정된 표준값을 사용하여 -1에서 1까지의 범위로 정규화될 수 있다. 이 표준값은 모든 LED가 켜져있는 테스트 백색 LED 패널의 최대 그레이스케일 레벨로 결정될 수 있다. 그레이 스케일은 -1에서 1까지의 범위로 조정되므로 켜기 및 끄기 LED를 구분하기위한 임계값은 0이 될 수 있다. 프레임 사이 그레이스케일 변화의 영향은 프리앰블 프레임을 통해 온 및 오프 LED의 그레이 스케일을 반복적으로 측정함으로써 효과적으로 제거될 수 있다. 따라서 임계값은 1000 프레임마다 업데이트 될 수 있다.The output grayscale image can be binarized using a predetermined threshold. The threshold may be the lowest grayscale value at which the LED is determined to be turned on in the test image. To reduce the effect of grayscale level changes between frames, the grayscale level of an LED in the range 0 to 255 can be normalized to a range of -1 to 1 using a fixed standard value. This standard value can be determined by the maximum grayscale level of the test white LED panel with all LEDs on. The gray scale is scaled from -1 to 1, so the threshold to differentiate between on and off LEDs can be zero. The effect of the grayscale change between frames can be effectively eliminated by repeatedly measuring the grayscale of the on and off LEDs through the preamble frame. Therefore, the threshold can be updated every 1000 frames.

도 4는 일실시예에 따라 LED 패널의 그레이스케일 레벨이 차이를 보이는 것을 나타낸 도면이다.4 is a diagram illustrating a difference in grayscale levels of an LED panel according to an exemplary embodiment.

카메라에 의해 설정된 주어진 ISO 속도 S에서 이미지 센서 내의 픽셀에서 그레이 스케일 값 G가 수학식 1에 따라 결정될 수 있다.The gray scale value G in the pixel in the image sensor at a given ISO speed S set by the camera may be determined according to Equation 1.

여기서, H는 화소에 도달하는 빛의 양에 대응하는 발광 노광량이고,Here, H is the amount of light emission corresponding to the amount of light reaching the pixel,

는 그레이스케일 레벨을 얻기 위해 ISO 속도 S에서 요구되는 표시된 노광량일 수 있다.

May be the indicated exposure amount required at ISO speed S to obtain the grayscale level.

Off LED에서 이미지 센서로 들어오는 빛은 LED 표면에서 반사되는 주변 광일 수 있다. 따라서, Off LED 픽셀의 발광 노광은 수학식 2를 통해 계산될 수 있다.The light entering the image sensor from the Off LED may be ambient light reflected off the surface of the LED. Accordingly, the light emission exposure of the Off LED pixel can be calculated through Equation 2.

여기서, Ev는 주변 광의 조도, R은 LED 표면의 반사율, t는 카메라의 노광 시간, N은 렌즈의 F- 넘버, K는에 의해 결정되는 반사광 측정기 보정 상수이다.Here, Ev is the illuminance of the ambient light, R is the reflectance of the LED surface, t is the exposure time of the camera, N is the F-number of the lens, and K is a reflection light meter correction constant determined by.

On LED에서 이미지 센서로 들어오는 빛은 LED에 의해 방출된 빛과 LED 표면에서 반사 된 주변 광선의 조합일 수 있다. 따라서, On LED 픽셀의 발광 노광은 수학식 3을 통해 계산될 수 있다.The light coming from the On LED to the image sensor may be a combination of the light emitted by the LED and the ambient light reflected off the LED surface. Accordingly, the light emission exposure of the On LED pixel can be calculated through Equation 3.

Lv는 LED의 조도일 수 있다.Lv may be the illuminance of the LED.

수학식 1, 2, 3로부터 계산되는 On 및 Off LED의 그레이스케일 레벨은 차량 및 상황 등의 다양한 요인에 의해 결정될 수 있다. 도 4에 도시 된 바와 같이, 도 4a의 온 LED의 그레이 스케일은 도 4b의 오프 LED의 그레이 스케일보다 훨씬 낮다. 따라서 모든 상황에서 모든 차량의 LED 상태를 정확하게 구별하는 데 사용할 수 있는 고정 임계값은 없고, 상황에 따라 적응적으로(adaptably) 사용할 수 있는 변동 임계값을 설정해야 한다.Grayscale levels of the On and Off LEDs calculated from Equations 1, 2, and 3 may be determined by various factors such as a vehicle and a situation. As shown in Fig. 4, the gray scale of the on LED of Fig. 4a is much lower than the gray scale of the off LED of Fig. 4b. Therefore, there is no fixed threshold that can be used to accurately distinguish the LED states of all vehicles in all situations, and a fluctuation threshold that can be used adaptively depending on the situation must be set.

도 5는 일실시예에 따라 LED 패널에서 빛 번짐 효과(Blooming effect)가 나타나는 것을 도시한 도면이다.5 is a diagram illustrating that a blooming effect appears in an LED panel according to an exemplary embodiment.

이미지 획득시 많은 결함으로 인해 캡처 된 LED 이미지에 흐려짐이 생겨 그레이 스케일이 무효화 될 수 있다. 두 가지 주요 결점은 Airy 회절(Airy diffraction pattern)과 광학 수차(Optical aberrations)이다. Airy 회절은 빛의 휘몰아치는 본질에 의해 야기되는 피할 수 없는 현상이다. Airy 회절은 캡쳐된 이미지에서 물체의 경계로부터 연장되는 빛의 스트라이프 패턴을 생성한다. 그 효과는 도 5에서 볼 수 있듯이 들어오는 이미지를 Airy 디스크 회절 패턴으로 컨볼빙(convolving)하는 것으로 수학적으로 설명 될 수 있다. 광학 수차는 렌즈 생산에서 결함으로 형성된 이미지의 왜곡이다. Airy 회절과 마찬가지로 광학 수차는 점으로 초점을 맞추기보다는 영역 위로 빛을 분산시켜 이미지 흐리게 만든다.During image acquisition, a number of defects can cause blur in the captured LED image to invalidate the gray scale. The two main drawbacks are Airy diffraction pattern and optical aberrations. Airy diffraction is an inevitable phenomenon caused by the swirling nature of light. Airy diffraction creates a striped pattern of light that extends from the boundary of the object in the captured image. The effect can be mathematically explained by convolving the incoming image into an Airy disk diffraction pattern as shown in FIG. 5. Optical aberration is the distortion of an image formed by defects in lens production. Like Airy diffraction, optical aberrations blur the image by scattering light over an area rather than focusing it as a point.

이미지가 흐려져 것에 따라 도래되는 결과는 도 6에서 도시된 LED 블루밍 간섭(Blooming interference)이다. 간섭 때문에 LED의 그레이 스케일 레벨은 주변 LED에 의해 심각하게 변경될 수 있다. 예를 들어, 선술한 도 4b는 이웃 LED로부터의 간섭에 의해 심각한 영향을 받으므로, 정확한 LED 조명 상태 판단이 어려울 수 있다.The result that comes as the image becomes blurred is the LED Blooming interference shown in FIG. 6. Due to interference, the gray scale level of the LEDs can be severely changed by the surrounding LEDs. For example, since FIG. 4B described above is severely affected by interference from neighboring LEDs, it may be difficult to accurately determine the LED lighting state.

도 6은 일실시예에 따라 LED의 조명 상태를 판단하기 위한 방법을 나타낸 도면이다.6 is a diagram illustrating a method for determining an illumination state of an LED according to an exemplary embodiment.

먼저 LED 패널 감지 알고리즘을 사용하여 이미지의 전체 LED 패널 위치를 결정할 수 있다. 이 알고리즘에 따른 출력은 볼록 선체(Convex hull)이며, 전체 LED 패널 영역을 포함하는 최소 볼록 다각형(Convex polygon)으로 구성될 수 있다. 일실시예에 따르면, LED 패널은 직사각형 형태일 수 있다. 따라서 얻어진 볼록 선체는 사각형이거나 대부분의 경우 직사각형일 수 있다.First, the LED panel detection algorithm can be used to determine the position of the entire LED panel in the image. The output according to this algorithm is a convex hull, which can consist of a smallest convex polygon covering the entire LED panel area. According to an embodiment, the LED panel may have a rectangular shape. The resulting convex hull can thus be square or, in most cases, rectangular.

어레이의 LED 수가 제공되면, LED 패널의 전체 영역은 같은 수의 동등한 하위 영역으로 나뉠 수 있다. 도 6에 도시된 실시예에 따르면, LED 패널은 8 x 8 개의 LED를 포함하고, LED 패널은 64개의 동일한 부분 영역으로 분할된다.Given the number of LEDs in the array, the entire area of the LED panel can be divided into an equal number of equal sub-areas. According to the embodiment shown in Fig. 6, the LED panel includes 8 x 8 LEDs, and the LED panel is divided into 64 equal partial areas.

이러한 각 하위 영역은 어레이의 LED 영역으로 간주된다. 일단 LED의 영역이 결정되면, LED 영역 및 이웃하는 LED 영역 내부의 픽셀로부터 그 LED의 특징을 얻을 수 있다. 위에 설명된 절차에 관해 두 가지 측면에서 설명이 필요할 수 있다.Each of these sub-areas is considered an LED area of the array. Once the area of the LED is determined, the characteristics of the LED can be obtained from the pixels inside the LED area and the neighboring LED area. The procedure described above may require explanation in two respects.

첫째, LED 영역은 크기가 작기 때문에 이미지의 단일 LED를 직접 감지하기가 어려울 수 있다. 또한 LED가 꺼지면 LED를 직접 감지하는 것이 거의 불가능할 수 있다. 그러나, 더 크고 높은 휘도를 가진 패널 내부의 On LED의 존재로 인해, 패널은 이미지의 배경에 비해 더 쉽게 감지될 수 있다. 따라서, LED 영역을 직접 감지하는 것 보다 전체 LED 패널을 감지하는 것이 더 쉬울 수 있다. 이에 따라, 각 LED의 영역은 도 6과 같이 감지된 LED 패널을 나누어 간접적으로 얻을 수 있습니다. 또한, 각 LED 영역의 면적은 LED 패널의 크기에 비례할 수 있다. 결과적으로 LED 패널이 감지되면, 하나의 패널의 LED 영역은 LED의 크기에 관계없이 결정될 수 있다.First, because the LED area is small, it can be difficult to directly detect a single LED in the image. Also, it can be nearly impossible to detect the LED directly when the LED is off. However, due to the presence of the On LED inside the panel with a larger and higher luminance, the panel can be detected more easily compared to the background of the image. Therefore, it may be easier to detect the entire LED panel than to directly detect the LED area. Accordingly, each LED area can be obtained indirectly by dividing the detected LED panel as shown in FIG. 6. In addition, the area of each LED area may be proportional to the size of the LED panel. As a result, when the LED panel is detected, the LED area of one panel can be determined regardless of the size of the LED.

둘째, 영역 분할을 위한 어레이의 LED 수를 알아야 한다. 일실시예에 따르면, LED 수는 VOCC 표준에 지정된 고정 번호이어야 한다. 또한,LED 수는 두 차량 간의 통신 채널 설정에 필요한 프리앰블 프레임을 통해 쉽게 얻을 수 있다.Second, it is necessary to know the number of LEDs in the array for segmentation. According to one embodiment, the number of LEDs must be a fixed number specified in the VOCC standard. In addition, the number of LEDs can be easily obtained through the preamble frame required to establish a communication channel between two vehicles.

LED의 조명 상태를 정확하게 검출하기 위해, LED on과 off 상태의 차이점을 구분할 수 있는 특징을 결정 해야한다. 선택된 특징은 또한 LED 그레이 스케일 변화 및 LED 블루밍 간섭과 같은 문제를 극복 해야한다. 이러한 기준에 기초하여, 평균 그레이스케일 비 (AGR), 그라디언트 내측 경도 (GRI) 및 인접 그레이스케일 비 (NGR)의 3 가지 특징이 제안된다.In order to accurately detect the lighting status of the LED, it is necessary to determine the characteristics that can distinguish the difference between the LED on and off status. The selected feature should also overcome problems such as LED gray scale change and LED blooming interference. Based on this criterion, three features are proposed: average grayscale ratio (AGR), gradient inner hardness (GRI) and adjacent grayscale ratio (NGR).

평균 그레이스케일 비(AGR) 특징을 이용하여 조명 상태를 검출하는 것은 전체 LED 패널에 대한 LED 영역의 비율을 이용하여 LED 조명 상태를 검출하는 것이다. 그라디언트 내측 경도(GRI) 특징을 이용하여 조명 상태를 검출하는 것은 LED 영역 내의 복수개의 그라디언트의 방향성을 이용하여 LED 조명 상태를 검출하는 것이다. 인접 그레이스케일 비(NGR) 특징을 이용하여 조명 상태를 검출하는 것은 대상 LED 영역 주변의 이웃 영역들의 그레이스케일 레벨을 이용하여 LED 조명 상태를 검출하는 것이다. 일실시예에 따르면, 3가지 중 적어도 하나의 특징을 이용하여 LED 조명 상태를 검출할 수 있는데, 복수개의 특징을 이용하는 경우, 후술하는 도 9 및 도 10에 기초하여 결과값들이 분류될 수 있다.Detecting the lighting condition using the average grayscale ratio (AGR) feature is to detect the LED lighting condition using the ratio of the LED area to the total LED panel. Detecting the lighting state using the gradient inner hardness (GRI) feature is to detect the LED lighting state using the directions of a plurality of gradients in the LED area. Detecting the lighting state using the neighboring grayscale ratio (NGR) feature is to detect the LED lighting state using the grayscale levels of neighboring regions around the target LED region. According to an embodiment, the LED lighting state may be detected using at least one of the three features. When a plurality of features are used, the result values may be classified based on FIGS. 9 and 10 to be described later.

도 7은 일실시예에 따라 LED의 조명 상태를 판단하기 위한 방법의 흐름도를 도시한 도면이다.7 is a diagram illustrating a flow chart of a method for determining an illumination state of an LED according to an exemplary embodiment.

단계(710)에서, 프로세서는 외부 LED 가시광 신호의 수신에 기초하여, LED 이미지 프레임을 생성할 수 있다. 외부 LED 가시광 신호는 LED 가시광이 매질을 통해 전파되어 입력 장치에 수신되는 신호일 수 있다. 예시적으로, 외부 LED 가시광 신호는 외부 LED의 가시광이 전파되어 광학 센서 또는 카메라에 의해 검출되는 신호일 수 있다. 프로세서는 수신된 가시광 신호를 LED 이미지 프레임으로 변환시켜 생성할 수 있다.In step 710, the processor may generate an LED image frame based on reception of an external LED visible light signal. The external LED visible light signal may be a signal received by the input device by propagating the visible LED light through a medium. For example, the external LED visible light signal may be a signal detected by an optical sensor or a camera by propagating visible light of an external LED. The processor may generate the received visible light signal by converting it into an LED image frame.

단계(720)에서, 프로세서는 LED 이미지 프레임을 복수개의 LED 단위 영역들로 분할할 수 있다. 프로세서는 LED 단위 영역을 사용자가 미리 지정하거나 표준에 의해 정해진 개수에 따라 분할할 수 있다. 예시적으로, 프로세서는 이미지 프레임을 8 x 8의 LED 단위 영역으로 분할할 수 있다.In step 720, the processor may divide the LED image frame into a plurality of LED unit regions. The processor may pre-designate the LED unit area or divide it according to the number determined by the standard. For example, the processor may divide the image frame into 8 x 8 LED unit areas.

단계(730)에서, 프로세서는 LED 전체 영역을 대표하는 전체 그레이스케일 레벨을 산출할 수 있다. LED 전체 영역은 LED 패널 영역을 의미할 수 있다. 일실시예에 따르면, 전체 그레이스케일 레벨은 LED 단위 영역들의 그레이스케일 레벨의 평균값을 계산하고, 평균값을 전체 그레이스케일 레벨로 설정할 수 있다. 예시적으로, 이미지 프레임이 64개의 단위 영역으로 구성된 경우, 프로세서는 64개의 단위 영역들의 그레이스케일 레벨을 산출하여 평균값을 계산할 수 있다. 계산된 평균값은 LED 전체 영역을 대표하는 전체 그레이스케일 레벨일 수 있다.In step 730, the processor may calculate an overall grayscale level representing the entire area of the LED. The entire LED area may mean the LED panel area. According to an embodiment, the total grayscale level may be calculated by calculating an average value of the grayscale levels of the LED unit regions, and the average value may be set as the total grayscale level. For example, when an image frame is composed of 64 unit areas, the processor may calculate an average value by calculating grayscale levels of 64 unit areas. The calculated average value may be an overall grayscale level representing the entire area of the LED.

단계(740)에서, 프로세서는 분할된 단위 영역들 중 대상 영역을 선택할 수 있다. 일실시예에 따르면, 프로세서는 분할된 단위 영역들의 각각을 순차적으로 대상 영역으로 선택할 수 있다. 프로세서가 순차적으로 대상 영역을 선택하고, 각각의 대상 영역에 대해 후술하는 단계들을 수행하므로, 분할된 단위 영역들 모두에 대해 LED 조명 상태를 판단할 수 있다.In step 740, the processor may select a target area from among the divided unit areas. According to an embodiment, the processor may sequentially select each of the divided unit areas as a target area. Since the processor sequentially selects a target area and performs steps described below for each target area, it is possible to determine the LED lighting state for all of the divided unit areas.

단계(750)에서, 프로세서는 선택된 대상 영역에 인접한 이웃 영역들의 이웃 그레이스케일 레벨을 계산할 수 있다. 일실시예에 따르면, 이웃 그레이스케일 레벨은 대상 영역과 이웃하는 영역들의 그레이스케일 레벨의 평균값을 계산하고, 계산된 평균값을 이웃 그레이스케일 레벨로 설정할 수 있다. 예시적으로, 단위 영역들이 복수개의 사각형으로 분할된 경우, 대상 영역과 이웃하는 단위 영역들은 최대 8개의 단위 영역들로 존재할 수 있다. 프로세서는 대상 영역과 이웃하는 8개의 단위 영역들의 그레이스케일 레벨을 산출하여 평균값을 계산할 수 있다. 프로세서는 계산된 평균값을 이웃 그레이스케일 레벨로 설정할 수 있다.In step 750, the processor may calculate neighboring grayscale levels of neighboring regions adjacent to the selected target region. According to an embodiment, the neighboring grayscale level may calculate an average value of grayscale levels of the target region and neighboring regions, and set the calculated average value as the neighboring grayscale level. For example, when the unit regions are divided into a plurality of squares, the unit regions adjacent to the target region may exist as a maximum of eight unit regions. The processor may calculate an average value by calculating grayscale levels of the eight unit regions adjacent to the target region. The processor may set the calculated average value as a neighboring grayscale level.

단계(760)에서, 프로세서는 전체 그레이스케일 레벨 및 이웃 그레이스케일 레벨에 기초하여 이웃 그레이스케일 비율을 출력할 수 있다. 이웃 그레이스케일 비율은 전체 그레이스케일 레벨에 대한 이웃 그레이스케일 레벨일 수 있다.In operation 760, the processor may output a neighboring grayscale ratio based on the total grayscale level and the neighboring grayscale level. The neighboring grayscale ratio may be a neighboring grayscale level to the entire grayscale level.

수학식 4에서 NGR은 이웃 그레이스케일 비율이고,

은 이웃 그레이스케일 레벨이며,

은 전체 그레이스케일 레벨이다.In Equation 4, NGR is the neighboring grayscale ratio,

Is the neighboring grayscale level,

Is the overall grayscale level.

단계(760) 이후, 프로세서는 대상 영역을 대표하는 대상 영역 대표 정보를 산출할 수 있다. 대상 영역 대표 정보는 대상 영역의 그레이스케일 레벨일 수 있다. 프로세서는 이웃 그레이스케일 비율 및 대상 영역 대표 정보에 기초하여 대상 영역의 조명 상태를 판단할 수 있다.After step 760, the processor may calculate target area representative information representing the target area. The representative information of the target area may be a grayscale level of the target area. The processor may determine the lighting state of the target area based on the neighboring grayscale ratio and representative information of the target area.

일실시예에 따르면, 대상 영역의 그레이스케일 레벨이 임계 레벨보다 큰 경우에 응답하여, 프로세서는 대상 영역의 조명이 켜진 상태라고 판단할 수 있다. 반면, 대상 영역의 그레이스케일 레벨이 임계 레벨보다 작은 경우에 응답하여, 프로세서는 대상 영역의 조명이 꺼진 상태라고 판단할 수 있다.According to an embodiment, in response to a case where the grayscale level of the target area is greater than the threshold level, the processor may determine that the illumination of the target area is turned on. On the other hand, in response to a case where the grayscale level of the target area is less than the threshold level, the processor may determine that the illumination of the target area is turned off.

이웃 그레이스케일 비율이 미리 설정된 임계치보다 큰 경우, 프로세서는 임계 레벨을 소정 간격 상승시킬 수 있다. 이웃 그레이스케일 비율이 미리 설정된 임계치보다 큰 경우란, 대상 영역 주변에 LED 조명 상태가 on인 이웃 영역들이 상대적으로 많이 존재하는 경우일 수 있다. 대상 영역 주변에 LED 조명 상태가 on인 LED가 많이 존재하게 되면, 대상 영역은 이웃 영역들에 의해 많은 영향을 받게 될 수 있다.When the neighboring grayscale ratio is greater than a preset threshold, the processor may increase the threshold level by a predetermined interval. When the neighboring grayscale ratio is greater than a preset threshold, there may be relatively many neighboring regions in which the LED lighting state is turned on around the target region. If there are many LEDs whose LED lighting state is on around the target area, the target area may be affected by neighboring areas.

예시적으로, 대상 영역의 조명 상태가 off인 상태임에도 불구하고, 이웃 영역들에 조명 상태가 on인 LED가 다수 존재하면 대상 영역에도 영향을 줄 수 있다. 고정된 임계 레벨을 이용하여, 대상 영역의 조명 상태를 판단하게 되면, 대상 영역이 off인 상태임에도 불구하고, on인 상태로 검출될 수 있게 된다. 따라서, 이웃 그레이스케일 비율에 따라 임계 레벨을 조정함으로써, 프로세서는 보다 정확하게 대상 영역의 조명 상태를 판단할 수 있다.For example, even though the lighting state of the target region is off, if there are multiple LEDs with the lighting state on in neighboring regions, the target region may also be affected. When the lighting state of the target area is determined by using the fixed threshold level, even though the target area is off, it can be detected as an on state. Accordingly, by adjusting the threshold level according to the neighboring grayscale ratio, the processor can more accurately determine the lighting state of the target area.

도 8은 일실시예에 따라 대상 영역과 이웃한 영역들의 그레이스케일 레벨을 계산하는 것을 도시한 도면이다.8 is a diagram illustrating calculation of grayscale levels of regions adjacent to a target region according to an exemplary embodiment.

프로세서는 대상 영역(811)에 인접한 이웃 영역들(820)의 이웃 그레이스케일 레벨을 계산할 수 있다. 대상 영역(811)에 인접한 이웃 영역들(820)이 모두 LED 단위 영역들인 경우는 도 7에서 선술하였으므로 자세한 설명은 생략한다.The processor may calculate the neighboring grayscale levels of neighboring regions 820 adjacent to the target region 811. In the case where the neighboring areas 820 adjacent to the target area 811 are all LED unit areas, a detailed description thereof will be omitted since it has been previously described in FIG. 7.

일실시예에 따르면, 대상 영역(810)이 LED 전체 영역의 외곽 영역에 해당하는 경우, LED 전체 영역의 외부에 해당하는 이웃 영역들(830)의 그레이스케일 레벨을 LED가 꺼진 상태에 대응하는 그레이스케일 레벨로 설정하고 이웃 그레이스케일 레벨을 계산할 수 있다. LED 전체 영역의 외곽 영역은 분할된 단위 영역 중 최외곽에 위치한 영역일 수 있다.According to an embodiment, when the target area 810 corresponds to the outer area of the entire LED area, the gray scale level of the neighboring areas 830 corresponding to the outside of the entire LED area is set to a gray level corresponding to the state in which the LED is turned off. You can set it to the scale level and calculate the neighboring grayscale level. The outer area of the entire LED area may be an area located at the outermost part of the divided unit areas.

도 9은 일실시예에 따라 결과값들을 분류하는 방법을 도시한 도면이다.9 is a diagram illustrating a method of classifying result values according to an embodiment.

도 9에 따라 결과값들을 분류하는 방법은 모든 오브젝트가 도 9a에 표시된 것 처럼 두개 이상의 클래스로 분류되는 training data set을 필요로 한다. 임의의 n차원 벡터 w가 주어지면, n은 각 객체의 특징(feature)의 수이고, w로 설정된 트레이닝 내의 모든 객체 x의 투영은 수학식5로 주어질 수 있다.The method of classifying result values according to FIG. 9 requires a training data set in which all objects are classified into two or more classes as shown in FIG. 9A. Given an arbitrary n-dimensional vector w, n is the number of features of each object, and projections of all objects x in training set to w can be given by Equation (5).

여기서, 수학식 5를 통해 w와 x를 내적한 결과값을 추출할 수 있다.Here, the result of the dot product of w and x may be extracted through Equation 5.

과

은 각각 w벡터에 투영되는 클래스 0과 1의 평균값일 수 있고,

and

May be the average value of classes 0 and 1 projected onto the w vector, respectively,

과

은 각각 w벡터에 투영되는 클래스 0과 1의 표준편차값일 수 있다.

and

May be standard deviation values of classes 0 and 1 projected onto the w vector, respectively.

일실시예에 따라 결과값들을 분류하는 방법은 도 9b에 설명된 것처럼 클래스 간의 투영된 결과값들의 분산이 최대이고 클래스 내의 투영된 결과값들의 분산이 최소가 되도록 하는 판별 벡터w를 찾을 수 있다. 즉, 결과값들을 분류하는 방법은 수학식 7의 비율을 최대화하는 판별 벡터 w를 찾을 수 있다.According to an exemplary embodiment, a method of classifying result values may find a discrimination vector w such that the variance of the projected result values between classes is the largest and the variance of the projected result values in the class is minimal, as illustrated in FIG. 9B. That is, as a method of classifying the result values, a discriminant vector w that maximizes the ratio of Equation 7 can be found.

여기서,

는 클래스들 간의 분산이고,

는 클래스 내 분산이다.here,

Is the variance between classes,

Is the intraclass variance.

수학식 8에 기초하여,

가 최대가 되는 판별 벡터 w를 계산할 수 있다.Based on Equation 8,

The discriminant vector w at which is the maximum can be calculated.

여기서, 수학식 9를 이용하여 클래스 내 공분산 행렬

을 구할 수 있다.Here, the intra-class covariance matrix using Equation 9

Can be saved.

도 10은 일실시예에 따라 복수 개의 LED 조명 상태 판단 결과값을 도시한 그래프이다.10 is a graph showing a plurality of LED lighting state determination result values according to an embodiment.

LED 비트 검출에 도 9에 선술한 방법을 적용하기 위해 복수개의 LED 패널 프레임 집합을 이용할 수 있다. 각 프레임의 전송된 비트는 알려져 있고, 각 프레임의 LED의 실제 상태도 알려져 있다. LED 패널 검출 및 LED 특징 추출을 수행 한 후, 모든 프레임에서 3 차원 LED 특징 벡터의 훈련 세트In order to apply the method described in FIG. 9 to the LED bit detection, a plurality of LED panel frame sets may be used. The transmitted bits of each frame are known, and the actual state of each frame's LED is also known. After performing LED panel detection and LED feature extraction, a training set of 3D LED feature vectors in every frame

를 얻을 수 있다.

Can be obtained.

각 LED의 알려진 상태에 따라 두 세트의 LED 특성 벡터

,

가 얻어질 수 있다. 그 후, 두 집합 S0 및 S1의 평균 벡터 m0 및 m1이 각각 계산된다.Two sets of LED characteristic vectors depending on the known state of each LED

,

Can be obtained. Then, the average vectors m0 and m1 of the two sets S0 and S1 are calculated, respectively.

공분산 행렬

은 수학식 10에 기초하여 계산될 수 있다.Covariance matrix

May be calculated based on Equation 10.

여기서,

는 모든 LED 특징 벡터들로부터 계산된 3 x 3 공분산 행렬이다.here,

Is the 3 x 3 covariance matrix calculated from all LED feature vectors.

여기서,

는 특징

와

사이의 분산이다.here,

Features

Wow

Is the variance between.

도 9에서 선술한 방법으로, 판별 벡터 w를 구하고, 입력 프레임에서 추출한 특징 벡터 u에 기초하여 LED 조명 상태 판단할 수 있다.In the method described in FIG. 9, a discrimination vector w may be obtained, and the LED lighting state may be determined based on the feature vector u extracted from the input frame.

여기서, thres는 세트S의 모든 특징 벡터가 투영된 값의 평균이다.Here, thres is the average of the projected values of all feature vectors of set S.

예시적으로, 도 10에 도시된 바와 같이 100개의 샘플 프레임을 이용하여, LED의 on과 off 상태를 구별할 수 있는 판별 벡터 w를 찾을 수 있다.For example, as illustrated in FIG. 10, a discrimination vector w capable of distinguishing the on and off states of the LED may be found using 100 sample frames.

도 11은 일실시예에 따라 LED 조명 상태를 판단하는 장치(1100)의 구성을 나타낸 블록도이다.11 is a block diagram showing the configuration of an apparatus 1100 for determining an LED lighting state according to an embodiment.

장치(1100)는 이미지 생성부(1110), 메모리(1120), 프로세서(1130)를 포함할 수 있다. 이미지 생성부(1110)는 외부 LED 가시광 신호의 수신에 기초하여, LED 이미지 프레임을 생성할 수 있다. 이미지 생성부(1110)는 프로세서(1130)와 별개의 물리적 모듈로서, 이미지 프레임을 생성할 수 도 있으나, 프로세서(1130)의 물리적 모듈에 포함되고 프로세서(1130)의 연산을 처리하는 알고리즘과 구별되는 알고리즘으로 이미지 프레임을 생성할 수 도 있다.The device 1100 may include an image generator 1110, a memory 1120, and a processor 1130. The image generator 1110 may generate an LED image frame based on reception of an external LED visible light signal. The image generator 1110 is a physical module separate from the processor 1130, and may generate an image frame, but is included in the physical module of the processor 1130 and is distinguished from an algorithm that processes an operation of the processor 1130. It is also possible to generate an image frame with an algorithm.

프로세서(1130)는 외부 LED 가시광 신호의 수신에 기초하여, LED 이미지 프레임을 생성하고, LED 이미지 프레임으로부터 식별된 LED 전체 영역에 대해 복수 개의 LED 단위 영역들로 분할할 수 있다. 프로세서(1130)는 LED 전체 영역을 대표하는 전체 그레이스케일 레벨을 산출할 수 있다. 프로세서(1130)는 분할된 단위 영역들 중 대상 영역을 선택하고, 선택된 대상 영역에 인접한 이웃 영역들의 이웃 그레이스케일 레벨을 계산할 수 있다. 또한, 전체 그레이스케일 레벨 및 이웃 그레이스케일 레벨에 기초하여 이웃 그레이스케일 비율을 출력할 수 있다.The processor 1130 may generate an LED image frame based on reception of an external LED visible light signal, and divide the entire LED area identified from the LED image frame into a plurality of LED unit areas. The processor 1130 may calculate an overall grayscale level representing the entire LED area. The processor 1130 may select a target region from among the divided unit regions and calculate neighboring grayscale levels of neighboring regions adjacent to the selected target region. In addition, a neighboring grayscale ratio may be output based on the entire grayscale level and the neighboring grayscale level.

메모리(1120)는 LED 이미지 프레임, 전체 그레이스케일 레벨, 이웃 그레이스케일 레벨, 이웃 그레이스케일 비율 중 적어도 하나를 적어도 일시적으로 저장할 수 있다.The memory 1120 may temporarily store at least one of an LED image frame, a total grayscale level, a neighboring grayscale level, and a neighboring grayscale ratio.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices, methods, and components described in the embodiments are, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. Further, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to operate as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or, to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited drawings, a person of ordinary skill in the art can apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order from the described method, and/or components such as systems, structures, devices, circuits, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.

Claims (13)

외부 LED 가시광 신호의 수신에 기초하여, LED 이미지 프레임을 생성하는 단계;
상기 LED 이미지 프레임으로부터 식별된 LED 전체 영역에 대해 복수 개의 LED 단위 영역들로 분할하는 단계;
상기 LED 전체 영역을 대표하는 전체 그레이스케일 레벨을 산출하는 단계;
상기 분할된 단위 영역들 중 대상 영역을 선택하는 단계;
상기 선택된 대상 영역에 인접한 이웃 영역들의 이웃 그레이스케일 레벨을 계산하는 단계;
상기 전체 그레이스케일 레벨 및 상기 이웃 그레이스케일 레벨에 기초하여 이웃 그레이스케일 비율을 출력하는 단계;
상기 대상 영역을 대표하는 대상 영역 대표 정보를 산출하는 단계;
상기 이웃 그레이스케일 비율 및 상기 대상 영역의 대표 정보에 기초하여 상기 대상 영역의 조명 상태를 판단하는 단계
를 포함하고,
상기 대상 영역의 조명 상태를 판단하는 단계는,
상기 이웃 그레이스케일 비율이 미리 설정된 임계치보다 큰 경우에 응답하여, 임계 레벨을 소정 간격 상승시키는 단계;
상기 대상 영역의 그레이스케일 레벨과 상기 임계 레벨을 비교하여 상기 대상 영역의 조명 상태를 판단하는 단계를 포함하는,
LED 조명 상태 출력 방법.Generating an LED image frame based on the reception of an external LED visible light signal;
Dividing the entire LED area identified from the LED image frame into a plurality of LED unit areas;
Calculating an overall grayscale level representing the entire area of the LED;
Selecting a target area from among the divided unit areas;
Calculating neighboring grayscale levels of neighboring regions adjacent to the selected target region;
Outputting a neighboring grayscale ratio based on the total grayscale level and the neighboring grayscale level;
Calculating target area representative information representing the target area;
Determining an illumination state of the target area based on the neighboring grayscale ratio and representative information of the target area
Including,
Determining the lighting state of the target area,
Raising a threshold level by a predetermined interval in response to a case where the neighboring grayscale ratio is greater than a preset threshold;
Comprising the step of determining the lighting state of the target area by comparing the grayscale level of the target area and the threshold level,
How to output LED lighting status. 제1항에서,
상기 대상 영역을 선택하는 단계는,
상기 분할된 단위 영역들의 각각을 순차적으로 상기 대상 영역으로 선택하는 단계
를 포함하는 LED 조명 상태 출력 방법.In claim 1,
The step of selecting the target area,
Sequentially selecting each of the divided unit areas as the target area
LED lighting status output method comprising a. 삭제delete 제1항에 있어서,
상기 이웃 그레이스케일 레벨을 계산하는 단계는,
상기 대상 영역이 상기 LED 전체 영역의 외곽 영역에 해당하는 경우, 상기 LED 전체 영역의 외부에 해당하는 이웃 영역들의 그레이스케일 레벨을 LED가 꺼진 상태에 대응하는 그레이스케일 레벨로 설정하는 단계
를 포함하는 LED 조명 상태 출력 방법.The method of claim 1,
Calculating the neighboring grayscale level,
When the target area corresponds to an outer area of the entire LED area, setting the grayscale level of the neighboring areas corresponding to the outside of the entire LED area to a grayscale level corresponding to a state in which the LED is turned off
LED lighting status output method comprising a. 제1항에 있어서,
상기 전체 그레이스케일 레벨을 산출하는 단계는,
상기 LED 단위 영역들의 그레이스케일 레벨의 평균값을 계산하고, 상기 평균값을 상기 전체 그레이스케일 레벨로 설정하는 단계
를 포함하는 LED 조명 상태 출력 방법.The method of claim 1,
The step of calculating the overall grayscale level,
Calculating an average value of the grayscale levels of the LED unit regions, and setting the average value to the total grayscale level
LED lighting status output method comprising a. 제1항에 있어서,
상기 대상 영역의 조명 상태를 판단하는 단계는,
상기 대상 영역의 그레이스케일 레벨이 임계 레벨보다 큰 경우에 응답하여, 상기 대상 영역의 조명이 켜진 상태라고 판단하는 단계
를 포함하는 LED 조명 상태 출력 방법.The method of claim 1,
Determining the lighting state of the target area,
In response to a case where the grayscale level of the target area is greater than a threshold level, determining that the illumination of the target area is turned on
LED lighting status output method comprising a. 삭제delete 제1항에 있어서,
상기 이웃 그레이스케일 레벨을 계산하는 단계는,
상기 이웃 그레이스케일 레벨의 평균값을 계산하고, 상기 평균값을 상기 이웃 그레이스케일 레벨로 설정하는 단계
를 포함하는 LED 조명 상태 출력 방법.The method of claim 1,
Calculating the neighboring grayscale level,
Calculating an average value of the neighboring grayscale levels and setting the average value as the neighboring grayscale level
LED lighting status output method comprising a. 제1항, 제2항, 제4항 내지 제6항, 및 제8항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.A computer-readable recording medium storing one or more computer programs including instructions for performing the method of any one of claims 1, 2, 4 to 6, and 8. 외부 LED 가시광 신호의 수신에 기초하여, LED 이미지 프레임을 생성하는 이미지 생성부;
상기 이미지 프레임의 전체 그레이스케일 레벨을 추출하고,
상기 LED 이미지 프레임으로부터 식별된 LED 전체 영역에 대해 복수 개의 LED 단위 영역들로 분할하며,
상기 LED 전체 영역을 대표하는 전체 그레이스케일 레벨을 산출하고,
상기 분할된 단위 영역들 중 대상 영역을 선택하며,
상기 선택된 대상 영역에 인접한 이웃 영역들의 이웃 그레이스케일 레벨을 계산하고,
상기 전체 그레이스케일 레벨 및 상기 이웃 그레이스케일 레벨에 기초하여 이웃 그레이스케일 비율을 출력하며,
상기 대상 영역을 대표하는 대상 영역 대표 정보를 산출하고,
상기 이웃 그레이스케일 비율 및 상기 대상 영역 대표 정보에 기초하여 상기 대상 영역의 조명 상태를 판단하는 프로세서; 및
상기 전체 그레이스케일 레벨, 상기 이웃 그레이스케일 레벨, 및 상기 이웃 그레이스케일 비율 중 적어도 하나를 저장하는 메모리
를 포함하고,
상기 프로세서는,
상기 이웃 그레이스케일 비율이 미리 설정된 임계치보다 큰 경우에 응답하여, 임계 레벨을 소정 간격 상승시키며,
상기 대상 영역의 그레이스케일 레벨과 상기 임계 레벨을 비교하여 상기 대상 영역의 조명 상태를 판단하는,
LED 조명 상태 출력 장치.An image generator configured to generate an LED image frame based on the reception of an external LED visible light signal;
Extracting the entire grayscale level of the image frame,
Dividing the entire LED area identified from the LED image frame into a plurality of LED unit areas,
Calculating an overall grayscale level representing the entire area of the LED,
Selecting a target area from among the divided unit areas,
Calculate neighboring grayscale levels of neighboring regions adjacent to the selected target region,
Outputting a neighboring grayscale ratio based on the entire grayscale level and the neighboring grayscale level,
Calculate target area representative information representing the target area,
A processor that determines a lighting state of the target area based on the neighboring grayscale ratio and the target area representative information; And
A memory for storing at least one of the total grayscale level, the neighboring grayscale level, and the neighboring grayscale ratio
Including,
The processor,
In response to a case where the neighboring grayscale ratio is greater than a preset threshold, the threshold level is increased by a predetermined interval,
Comparing the grayscale level of the target area and the threshold level to determine the lighting state of the target area,
LED light status output device. 삭제delete 제10항에 있어서,
상기 프로세서는,
상기 대상 영역의 그레이스케일 레벨이 임계 레벨보다 큰 경우에 응답하여, 상기 대상 영역의 조명이 켜진 상태라고 판단하는,
LED 조명 상태 출력 장치.The method of claim 10,
The processor,
In response to a case where the grayscale level of the target area is greater than the threshold level, determining that the illumination of the target area is turned on,
LED lighting status output device. 삭제delete

Images