KR102293920B1 - Method and apparatus for transmitting and receiving signal using optical camera communication in communication access for land mobiles system - Google Patents

Method and apparatus for transmitting and receiving signal using optical camera communication in communication access for land mobiles system Download PDF

Info

Publication number
KR102293920B1
KR102293920B1 KR1020200076031A KR20200076031A KR102293920B1 KR 102293920 B1 KR102293920 B1 KR 102293920B1 KR 1020200076031 A KR1020200076031 A KR 1020200076031A KR 20200076031 A KR20200076031 A KR 20200076031A KR 102293920 B1 KR102293920 B1 KR 102293920B1
Authority
KR
South Korea
Prior art keywords
rsu
image
occ
frame
modulation scheme
Prior art date
Application number
KR1020200076031A
Other languages
Korean (ko)
Inventor
장영민
아메드엠디파이살
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Application granted granted Critical
Publication of KR102293920B1 publication Critical patent/KR102293920B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/501—Structural aspects
    • H04B10/502—LED transmitters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/60—Receivers
    • H04B10/66—Non-coherent receivers, e.g. using direct detection
    • H04B10/69—Electrical arrangements in the receiver
    • H04B10/691—Arrangements for optimizing the photodetector in the receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention relates to a method for transmitting and receiving signals using optical camera communication (OCC) in a communication access for land mobiles (CALM) system, which can increase detection accuracy of an OCC frame, and an apparatus thereof. According to the present invention, a method for operating a first roadside unit (RSU) belonging to an intelligent transportation system (ITS) supporting the OCC comprises the following steps: acquiring an image including an OCC frame modulated by a preset modulation scheme from a second RSU; acquiring the OCC frame from the second RSU from the image; calculating distance information from the second RSU as a demodulation result of the OCC frame; and controlling movement of the first RSU on the basis of the distance information from the second RSU. The modulated OCC frame includes information on the preset modulation scheme, information on a frequency used for transmission of a modulated data signal, and identifier (ID) information of the second RSU.

Description

CALM 시스템에서의 광학 카메라 통신을 이용한 신호의 송수신 방법 및 장치{METHOD AND APPARATUS FOR TRANSMITTING AND RECEIVING SIGNAL USING OPTICAL CAMERA COMMUNICATION IN COMMUNICATION ACCESS FOR LAND MOBILES SYSTEM}Method and apparatus for transmitting and receiving signals using optical camera communication in a CALM system

본 발명은 광학 카메라 통신(optical camera system, OCC)을 이용하여 신호를 송수신하는 방법에 관한 것으로, 보다 구체적으로 OCC를 지원하는 스테이션(station)(예를 들어, ITS(intelligent transportation system) 스테이션)의 동작 방법 및 스테이션의 아키텍쳐에 관한 것이다. The present invention relates to a method for transmitting and receiving a signal using an optical camera system (OCC), and more particularly, to a station supporting OCC (eg, an intelligent transportation system (ITS) station). It relates to a method of operation and an architecture of a station.

최근 가시광 파장에 통신기능을 부가하여 무선 통신을 가능하게 하는 기술인 가시광 통신(Visible Light Communication; VLC) 기술이 활발히 연구되고 있으며, IEEE 802.15.7 국제표준규격도 완료되어 상용화를 위한 비즈니스 모델 발굴을 추진하고 있다. 그러나 IEEE 802.15.7은 주로 광 검출기(Photo Diode; PD)를 이용한 데이터 전송에 국한되어 있어 VLC 동글 등의 전용 통신장치를 사용해야 하는 문제점이 있다. 이에 따라 광검출기보다는 주로 카메라와 같은 이미지 센서를 이용하고, 가시광선뿐만 아니라 적외선 및 자외선 파장까지 포함하는 광학 무선 통신(Optical Camera Communications; OCC)의 국제표준화가 IEEE 802.15.7m OWC TG(Task Group)에서 진행되고 있다. OCC는 다양한 분야에 활용될 수 있으며, 특히 차량 간(vehicle to vehicle, V2V) 통신 및 차량 및 사물(vehicle to everything, V2X) 간 통신에 활용될 수 있다. Recently, Visible Light Communication (VLC) technology, a technology that enables wireless communication by adding communication functions to visible light wavelengths, is being actively researched. have. However, IEEE 802.15.7 is mainly limited to data transmission using a photo detector (Photo Diode; PD), so there is a problem in that a dedicated communication device such as a VLC dongle must be used. Accordingly, the international standardization of Optical Camera Communications (OCC), which mainly uses an image sensor such as a camera rather than a photodetector, and includes not only visible light, but also infrared and ultraviolet wavelengths IEEE 802.15.7m OWC TG (Task Group) is underway in OCC can be used in various fields, and in particular, it can be used for vehicle-to-vehicle (V2V) communication and vehicle-to-everything (V2X) communication.

CALM(communication access for land mobiles) 시스템은 다양한 무선 통신 프로토콜을 통해 통신 서비스를 제공할 수 있다. 이를 위하여 CALM 시스템은 무선 인터넷 서비스(Wibro/Mobile WiMAX), 무선 LAN(WLAN) 서비스, 적외선(IR) 통신 서비스 등의 다양한 무선 통신 프로토콜을 활용하는 시스템일 수 있다. 특히 CALM 시스템을 활용하여 이동 중인 자동차 환경에서도 연속적으로 통신이 가능한 지능형 무선 통합 플랫폼인 ITS(intelligent transportation system)을 구현하기 위한 연구가 진행되고 있으며, ISO 21217 및 ISO 21218에 의해 규격화가 되어 상용화를 위한 비즈니스 모델 발굴을 추진하고 있다. 다만, 현재까지의 ITS 시스템은 OCC 프로토콜에 의한 통신을 지원하지 않는 문제점이 있다.A communication access for land mobiles (CALM) system may provide a communication service through various wireless communication protocols. To this end, the CALM system may be a system utilizing various wireless communication protocols such as wireless Internet service (Wibro/Mobile WiMAX), wireless LAN (WLAN) service, and infrared (IR) communication service. In particular, research is underway to implement an intelligent wireless integrated platform ITS (intelligent transportation system) that can communicate continuously even in a moving car environment using the CALM system, and has been standardized by ISO 21217 and ISO 21218 for commercialization. We are in the process of developing a business model. However, the ITS system up to now has a problem in that it does not support communication by the OCC protocol.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 통신 시스템에서 신호를 복조함에 있어 수신한 이미지를 전처리하고, RCNN(region based convolution neural network)를 이용하여 OCC(optical camera communication) 프레임의 이미지를 포함하는 관심 영역을 다중으로 검출하며, OCC 프레임의 복조 결과를 기초로 차량을 제어하는 장치 및 장치를 제공하는 것이다.An object of the present invention for solving the above problems is to preprocess a received image in demodulating a signal in a communication system, and include an image of an optical camera communication (OCC) frame using a region based convolution neural network (RCNN). To provide an apparatus and apparatus for multiple detection of an ROI and controlling a vehicle based on a demodulation result of an OCC frame.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 OCC(optical camera communication)를 지원하는 ITS(intelligent transportation system)에 속한 제1 RSU(roadside unit)의 동작 방법은, 제2 RSU로부터 미리 설정된 변조 방식에 의해 변조된 OCC 프레임을 포함하는 이미지를 획득하는 단계; 및 상기 이미지로부터 상기 제2 RSU로부터의 상기 OCC 프레임을 획득하는 단계; 상기 OCC 프레임의 복조 결과 상기 제2 RSU와의 거리 정보를 산출하는 단계; 및 상기 제2 RSU와의 거리 정보를 기초로 상기 제1 RSU의 이동을 제어하는 단계를 포함하고, 상기 변조된 OCC 프레임은, 상기 미리 설정된 변조 방식에 관한 정보, 상기 변조된 데이터 신호의 전송을 위해 사용되는 주파수에 관한 정보 및 상기 제2 RSU의 ID(identifier) 정보를 더 포함하는 것을 특징으로 할 수 있다. 하는 제1 RSU의 동작 방법. In order to achieve the above object, the method of operating a first roadside unit (RSU) belonging to an intelligent transportation system (ITS) supporting optical camera communication (OCC) according to an embodiment of the present invention for achieving the above object is a modulation preset from the second RSU. acquiring an image including an OCC frame modulated by the method; and obtaining the OCC frame from the second RSU from the image; calculating distance information from the second RSU as a result of demodulating the OCC frame; and controlling the movement of the first RSU based on distance information from the second RSU, wherein the modulated OCC frame includes information about the preset modulation scheme and the modulated data signal for transmission. It may further include information about the frequency used and ID (identifier) information of the second RSU. How to operate the first RSU.

여기서, 상기 미리 설정된 변조 방식은, S2-PSK(spatial 2-phase shift keying) 변조 방식 및 HS-PSK(hybrid spatial phase shift keying) 변조 방식 중 하나의 변조 방식이고, 상기 HS-PSK 변조 방식은, S2-PSK 및 DSM-PSK(dimmable spatial M-PSK) 변조 방식을 포함할 수 있다. Here, the preset modulation scheme is one of a spatial 2-phase shift keying (S2-PSK) modulation scheme and a hybrid spatial phase shift keying (HS-PSK) modulation scheme, and the HS-PSK modulation scheme includes: S2-PSK and DSM-PSK (dimmable spatial M-PSK) modulation schemes may be included.

여기서, 상기 이미지로부터 상기 제2 RSU로부터의 상기 OCC 프레임을 획득하는 단계는, 상기 이미지를 바운딩 박스(bounding box) 단위로 분할하는 단계; 바운딩 박스 단위로 분할된 상기 이미지 중 RoI(region of interest)를 결정하는 단계; 및 상기 RoI를 기초로, 상기 제2 RSU로부터의 상기 OCC 프레임의 이미지를 포함하는 바운딩 박스들을 분류하는 단계를 더 포함할 수 있다. Here, the step of obtaining the OCC frame from the second RSU from the image may include: dividing the image into units of bounding boxes; determining a region of interest (RoI) among the images divided into bounding box units; and classifying bounding boxes including the image of the OCC frame from the second RSU based on the RoI.

여기서, 상기 바운딩 박스 단위로 분할된 상기 이미지 중 RoI를 결정하는 단계는, RCNN(region based convolution neural network)에 의해 상기 바운딩 박스 단위로 분할된 상기 이미지의 특징을 분류하는 단계를 더 포함하고, 상기 RoI는, 상기 분류된 이미지의 특징을 기초로 결정될 수 있다. Here, the step of determining the RoI among the images divided into the bounding box unit further comprises classifying a feature of the image divided into the bounding box unit by a region based convolution neural network (RCNN), and the The RoI may be determined based on a characteristic of the classified image.

여기서, 상기 OCC 프레임의 이미지를 포함하는 바운딩 박스의 크기가 미리 설정된 값 이하인 경우, 상기 이미지 중 RoI를 재설정하는 단계를 더 포함할 수 있다. Here, when the size of the bounding box including the image of the OCC frame is less than or equal to a preset value, the method may further include resetting the RoI among the images.

여기서, 산출된 상기 제2 RSU와의 거리가 미리 설정된 값 이상인 경우, 상기 이미지 중 RoI를 재설정하는 단계를 더 포함할 수 있다. Here, when the calculated distance to the second RSU is equal to or greater than a preset value, the method may further include resetting the RoI in the image.

상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른, OCC(optical camera communication)를 지원하는 ITS(intelligent transportation system)에 속한 제1 RSU(roadside unit)는, 프로세서(processor); 상기 프로세서의 제어에 따라 제2 RSU에 포함된 LED(Light Emitting Diode) 어레이(array)의 점멸 상태를 촬영하는 카메라; 및 상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory)를 포함하며, 상기 하나 이상의 명령들은, 상기 제2 RSU로부터 미리 설정된 변조 방식에 의해 변조된 OCC 프레임을 포함하는 이미지를 획득하고; 상기 이미지로부터 상기 제2 RSU로부터의 상기 OCC 프레임을 획득하고; 상기 OCC 프레임의 복조 결과 상기 제2 RSU와의 거리 정보를 산출하고; 그리고 상기 제2 RSU와의 거리 정보를 기초로 상기 제1 RSU의 이동을 제어하도록 실행되고, 상기 변조된 OCC 프레임은, 상기 미리 설정된 변조 방식에 관한 정보, 상기 변조된 데이터 신호의 전송을 위해 사용되는 주파수에 관한 정보 및 상기 제2 RSU의 ID(identifier) 정보를 더 포함할 수 있다. According to another embodiment of the present invention for achieving the above object, a first roadside unit (RSU) belonging to an intelligent transportation system (ITS) supporting optical camera communication (OCC) includes a processor; a camera for photographing a blinking state of an LED (Light Emitting Diode) array included in the second RSU under the control of the processor; and a memory in which at least one instruction executed through the processor is stored, wherein the one or more instructions are configured to: obtain an image including an OCC frame modulated by a preset modulation scheme from the second RSU; obtain the OCC frame from the second RSU from the image; calculating distance information from the second RSU as a result of demodulation of the OCC frame; And it is executed to control the movement of the first RSU based on the distance information with the second RSU, the modulated OCC frame, information about the preset modulation scheme, used for transmission of the modulated data signal It may further include information about the frequency and ID (identifier) information of the second RSU.

여기서, 상기 미리 설정된 변조 방식은, S2-PSK(spatial 2-phase shift keying) 변조 방식 및 HS-PSK(hybrid spatial phase shift keying) 변조 방식 중 하나의 변조 방식이고, 상기 HS-PSK 변조 방식은, S2-PSK 및 DSM-PSK(dimmable spatial M-PSK) 변조 방식을 포함할 수 있다. Here, the preset modulation scheme is one of a spatial 2-phase shift keying (S2-PSK) modulation scheme and a hybrid spatial phase shift keying (HS-PSK) modulation scheme, and the HS-PSK modulation scheme includes: S2-PSK and DSM-PSK (dimmable spatial M-PSK) modulation schemes may be included.

여기서, 상기 적어도 하나의 명령은, 상기 제2 RSU와의 거리가 미리 설정된 값 미만인 경우, 상기 제1 RSU의 이동을 제어하도록 실행됨에 있어, 상기 제1 RSU의 속도를 감속하도록 실행될 수 있다. Here, when the distance to the second RSU is less than a preset value, the at least one command is executed to control the movement of the first RSU, and may be executed to decelerate the speed of the first RSU.

여기서, 상기 적어도 하나의 명령은, 상기 이미지로부터 상기 제2 RSU로부터의 상기 OCC 프레임을 획득하도록 실행됨에 있어, 상기 이미지를 바운딩 박스(bounding box) 단위로 분할하고, 바운딩 박스 단위로 분할된 상기 이미지 중 RoI(region of interest)를 결정하고, 그리고 상기 RoI를 기초로, 상기 제2 RSU로부터의 상기 OCC 프레임의 이미지를 포함하는 바운딩 박스들을 분류하도록 더 실행될 수 있다. Here, when the at least one command is executed to obtain the OCC frame from the second RSU from the image, the image is divided into bounding box units, and the image is divided into bounding box units. determine a region of interest (RoI), and classify bounding boxes including an image of the OCC frame from the second RSU based on the RoI.

여기서, 상기 적어도 하나의 명령은, 상기 바운딩 박스 단위로 분할된 상기 이미지 중 RoI를 결정하는 단계는, RCNN(region based convolution neural network)에 의해 상기 바운딩 박스 단위로 분할된 상기 이미지의 특징을 분류하는 단계를 더 포함하고, 상기 RoI는, 상기 분류된 이미지의 특징을 기초로 결정될 수 있다. Here, in the at least one command, the step of determining the RoI among the images divided into the bounding box unit is to classify a feature of the image divided into the bounding box unit by a region based convolution neural network (RCNN). The method may further include, wherein the RoI may be determined based on a characteristic of the classified image.

여기서, 상기 적어도 하나의 명령은, 상기 제2 RSU와의 거리가 미리 설정된 값 이상인 경우, 상기 이미지 중 RoI를 재설정하고; 재설정된 상기 RoI를 기초로 상기 제2 RSU로부터의 상기 OCC 프레임의 이미지를 포함하는 바운딩 박스들을 재분류하도록 더 실행될 수 있다. Here, the at least one command may include resetting the RoI in the image when the distance to the second RSU is equal to or greater than a preset value; and reclassifying the bounding boxes including the image of the OCC frame from the second RSU based on the reset RoI.

본 발명에 따른 OCC(optical camera communication)를 지원하는 통신 노드는 RCNN(region based convolution neural network)를 이용하여 OCC 프레임의 이미지를 포함하는 관심 영역을 다중으로 검출하여, OCC 프레임의 검출 정확도를 향상시킬 수 있다. The communication node supporting OCC (optical camera communication) according to the present invention uses a region based convolution neural network (RCNN) to multiple detect a region of interest including an image of an OCC frame, thereby improving the detection accuracy of the OCC frame. can

본 발명에 따른 OCC를 지원하는 통신 노드는 RCNN을 이용하여 검출한 OCC 프레임의 복조 결과를 기초로 차량을 제어하는 동작을 수행할 수 있다. The communication node supporting OCC according to the present invention may perform an operation of controlling the vehicle based on the demodulation result of the OCC frame detected using the RCNN.

도 1은 OCC(optical camera communication) 기반 ITS(intelligent transportation system)의 일 실시예를 도시한 개념도이다.
도 2는 OCC 네트워크의 차량 노드들 간의 광학 신호 송수신의 일 실시예를 도시한 개념도이다.
도 3은 OCC 시스템의 구성의 일 실시예를 도시한 개념도이다.
도 4는 OCC 네트워크의 OBU(on-board unit) 스테이션(station)들 간에 OCC 프레임을 송수신하여 차량을 제어하는 방법의 일 실시예를 도시한 개념도이다.
도 5는 이미지로부터 다른 OBU 스테이션에 의해 송신되는 OCC 프레임을 검출하는 OBU 스테이션의 동작의 일 실시예를 도시한 흐름도이다.
도 6은 CNN(convolution neural network)의 일 실시예를 도시한 개념도이다.
도 7은 CNN의 이미지 분류 동작 및 분류 결과의 일 실시예를 도시한 개념도이다.
도 8은 차량 간 거리와 OCC 프레임의 에러율 간의 관계를 도시한 그래프이다. 1 is a conceptual diagram illustrating an embodiment of an optical camera communication (OCC)-based intelligent transportation system (ITS).
2 is a conceptual diagram illustrating an embodiment of optical signal transmission and reception between vehicle nodes of an OCC network.
3 is a conceptual diagram illustrating an embodiment of the configuration of an OCC system.
4 is a conceptual diagram illustrating an embodiment of a method of controlling a vehicle by transmitting and receiving OCC frames between on-board unit (OBU) stations of an OCC network.
5 is a flowchart illustrating an embodiment of an operation of an OBU station for detecting an OCC frame transmitted by another OBU station from an image.
6 is a conceptual diagram illustrating an embodiment of a convolution neural network (CNN).
7 is a conceptual diagram illustrating an example of an image classification operation and classification result of CNN.
8 is a graph illustrating a relationship between an inter-vehicle distance and an error rate of an OCC frame.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being “connected” or “connected” to another component, it is understood that the other component may be directly connected or connected to the other component, but other components may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that no other element is present in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the accompanying drawings. In describing the present invention, in order to facilitate the overall understanding, the same reference numerals are used for the same components in the drawings, and duplicate descriptions of the same components are omitted.

도 1은 OCC(optical camera communication) 기반 ITS(intelligent transportation system)의 일 실시예를 도시한 개념도이다. 1 is a conceptual diagram illustrating an embodiment of an optical camera communication (OCC)-based intelligent transportation system (ITS).

도 1을 참조하면, ITS 시스템은 복수개의 하위 시스템을 포함할 수 있다. 예를 들어, ITS 시스템은 중앙(central) 스테이션(110), 로드사이드(roadside) 스테이션(120), OBU(onboard unit) 스테이션(130) 및 개인 스테이션(140)을 포함할 수 있다. Referring to FIG. 1 , the ITS system may include a plurality of subsystems. For example, the ITS system may include a central station 110 , a roadside station 120 , an onboard unit (OBU) station 130 , and a personal station 140 .

ITS의 중앙 스테이션(110)은 ITS 어플리케이션(111) 및 네트워크 인터페이스(112)를 포함할 수 있다. ITS 어플리케이션(111)은 ITS를 유지하기 위한 기능을 수행할 수 있다. 그리고 네트워크 인터페이스는 ITS 스테이션 간의 네트워크를 지원할 수 있으며, 서버를 더 포함할 수 있다. The central station 110 of the ITS may include an ITS application 111 and a network interface 112 . The ITS application 111 may perform a function for maintaining the ITS. In addition, the network interface may support a network between ITS stations, and may further include a server.

ITS의 중앙 스테이션(110)과 ITS의 로드사이드 스테이션(120)은 통신 네트워크(150)에 의해 연결될 수 있다. 또한 통신 네트워크(150)는 ITS의 개인 스테이션(140)과도 연결될 수 있다. ITS의 중앙 스테이션(110), ITS의 로드사이드 스테이션(120) 및 ITS의 개인 스테이션(140)은 통신 네트워크(150)에 의해 데이터를 송수신할 수 있다. The central station 110 of the ITS and the loadside station 120 of the ITS may be connected by a communication network 150 . The communication network 150 may also be connected to the personal station 140 of the ITS. The central station 110 of the ITS, the loadside station 120 of the ITS, and the personal station 140 of the ITS may send and receive data by the communication network 150 .

ITS의 로드 사이드 스테이션(120)는 송수신 모듈(121)을 더 포함할 수 있으며, 송수신 모듈(121)을 통해 통신 네트워크(150)에 접속될 수 있다. 그리고 ITS의 로드 사이드 스테이션(120)는 OCC 방식을 지원할 수 있다. ITS의 로드 사이드 스테이션(120)는 OCC 프레임을 송신하기 위한 복수개의 광원들을 포함할 수 있으며, OCC 프레임을 수신하기 위한 이미지 센서를 포함할 수 있다. ITS의 로드 사이드 스테이션(120)는 OCC 방식을 통해 ITS의 OBU 스테이션(130)과 통신을 수행할 수 있다. The load side station 120 of the ITS may further include a transmission/reception module 121 , and may be connected to the communication network 150 through the transmission/reception module 121 . And the load side station 120 of the ITS may support the OCC scheme. The load side station 120 of the ITS may include a plurality of light sources for transmitting the OCC frame, and may include an image sensor for receiving the OCC frame. The load side station 120 of the ITS may communicate with the OBU station 130 of the ITS through the OCC method.

ITS의 OBU 스테이션(130-1, 130-2)은 차량에 구비된 스테이션일 수 있다. 제1 OBU 스테이션(130-1)은 OBU(131-1), 안테나(132-1), 호스트 컴퓨터(133-1) 및 사용자 인터페이스(134-1)을 포함할 수 있다. OBU(131-1)은 차량에 탑재되는 장치들을 포함할 수 있으며, 예를 들어, 인포테인먼트(infortainment) 장치(예를 들어, 디스플레이(display) 장치, 내비게이션(navigation) 장치, 어라운드 뷰 모니터링(around view monitoring) 장치) 등을 포함할 수 있다. OBU(131-1)은 안테나(132-1)를 더 포함할 수 있으며, 안테나(132-1)를 통해 미리 설정된 네트워크에 접속하여 데이터를 송수신할 수 있다. The OBU stations 130-1 and 130-2 of the ITS may be stations provided in the vehicle. The first OBU station 130-1 may include an OBU 131-1, an antenna 132-1, a host computer 133-1, and a user interface 134-1. The OBU 131-1 may include devices mounted on a vehicle, for example, an infotainment device (eg, a display device, a navigation device, and an around view monitoring device). monitoring) device), and the like. The OBU 131-1 may further include an antenna 132-1, and may access a preset network through the antenna 132-1 to transmit/receive data.

호스트 컴퓨터(133-1)는 프로세서 및 메모리 등을 포함할 수 있다. 프로세서는 OBU, 사용자 인터페이스 및 메모리를 제어하기 위한 컨트롤 로직을 포함할 수 있다. 메모리는 프로세서에 의해 처리된 신호를 저장할 수 있고, 프로세서의 요청에 따라 저장된 신호를 출력할 수 있다. 메모리는 프로세서의 동작을 위해 필요한 데이터를 일시 저장하는 휘발성 메모리(예를 들어, RAM(random access memory) 등)를 의미할 수 있다. 또는 메모리는 운영체제 코드(operating system code)(예를 들어, 커널(kernel) 및 디바이스 드라이버(device driver))와 프로세서의 기능을 수행하기 위한 응용 프로그램(application program) 코드 등이 저장되는 비휘발성 메모리를 의미할 수 있다. The host computer 133 - 1 may include a processor and memory. The processor may include control logic for controlling the OBU, user interface, and memory. The memory may store the signal processed by the processor, and may output the stored signal according to the request of the processor. The memory may refer to a volatile memory (eg, random access memory (RAM), etc.) that temporarily stores data necessary for the operation of the processor. Alternatively, the memory is a non-volatile memory in which operating system code (eg, kernel and device driver) and application program code for performing a function of the processor are stored. can mean

사용자 인터페이스(134-1)는 사용자에게 서비스를 제공하는 인터페이스일 수 있다. 사용자 인터페이스(134-1)는 입력부, 출력부, 디스플레이부 등을 포함할 수 있으며, OBU(131-1) 및 호스트 컴퓨터(133-1)의 명령에 의하여 서비스를 제공할 수 있다. The user interface 134 - 1 may be an interface that provides a service to a user. The user interface 134-1 may include an input unit, an output unit, a display unit, and the like, and may provide services according to commands from the OBU 131-1 and the host computer 133-1.

ITS의 OBU 스테이션(130-1, 130-2)은 OCC 방식을 지원할 수 있다. ITS의 OBU 스테이션(130-1, 130-2)은 OCC 프레임을 송신하기 위한 복수개의 광원들을 포함할 수 있으며, OCC 프레임을 수신하기 위한 이미지 센서를 포함할 수 있다. 예를 들어, ITS의 제1 OBU 스테이션(130-1)은 ITS 로드사이드 스테이션(120)으로부터 OCC 프레임을 수신할 수 있으며, 제2 OBU 스테이션(130-2)으로 신호를 송신할 수 있다. The OBU stations 130-1 and 130-2 of the ITS may support the OCC scheme. The OBU stations 130-1 and 130-2 of the ITS may include a plurality of light sources for transmitting the OCC frame, and may include an image sensor for receiving the OCC frame. For example, the first OBU station 130-1 of the ITS may receive an OCC frame from the ITS loadside station 120, and may transmit a signal to the second OBU station 130-2.

ITS 시스템에 포함된 각각의 스테이션(110, 120, 130-1, 130-2 등)은 단일 네트워크 노드로 구성될 수 있다. 또는 ITS 시스템에 포함된 각각의 스테이션(110, 120, 130-1, 130-2 등)은 복수개의 네트워크 노드(예를 들어, 라우터 및 호스트 등)으로 구성될 수 있다. 스테이션(110, 120, 130-1, 130-2 등)에 포함된 라우터는 ITS 스테이션 간의 패킷을 전송하는 기능을 수행할 수 있다. 그리고 스테이션(110, 120, 130-1, 130-2 등)에 포함된 호스트는 ITS의 서비스에 관한 기능들을 수행할 수 있다. Each of the stations 110, 120, 130-1, 130-2, etc. included in the ITS system may be configured as a single network node. Alternatively, each of the stations 110, 120, 130-1, 130-2, etc. included in the ITS system may be configured with a plurality of network nodes (eg, routers and hosts). A router included in the stations 110, 120, 130-1, 130-2, etc. may perform a function of transmitting packets between ITS stations. In addition, the host included in the stations 110, 120, 130-1, 130-2, etc. may perform functions related to the ITS service.

도 2는 OCC 네트워크의 차량 노드들 간의 광학 신호 송수신의 일 실시예를 도시한 개념도이다. 2 is a conceptual diagram illustrating an embodiment of optical signal transmission and reception between vehicle nodes of an OCC network.

도 2를 참조하면, 차량 간 OCC 네트워크는 복수개의 OBU(onboard unit) 스테이션을 포함하는 차량 단말들을 포함할 수 있다. 각각의 OBU 스테이션들은 OCC 방식을 지원할 수 있다. ITS의 OBU 스테이션(130-1, 130-2)은 OCC 프레임을 송신하기 위한 복수개의 광원들을 포함할 수 있으며, OCC 프레임을 수신하기 위한 이미지 센서를 포함할 수 있다. 예를 들어, OBU 스테이션(130-1)을 포함하는 차량 단말은 전단에 OCC 프레임을 송신하기 위한 복수개의 광원들을 포함할 수 있다. 그리고 OBU 스테이션을 포함하는 차량 단말은 전방 및 후방에 다른 차량 단말로부터의 OCC 프레임을 수신하기 위한 이미지 센서들을 포함할 수 있다. 차량 단말에 포함된 이미지 센서들을 각각 전방 이미지 센서 및 후방 이미지 센서라고 지칭할 수 있다. Referring to FIG. 2 , an inter-vehicle OCC network may include vehicle terminals including a plurality of onboard unit (OBU) stations. Each OBU station may support the OCC scheme. The OBU stations 130-1 and 130-2 of the ITS may include a plurality of light sources for transmitting the OCC frame, and may include an image sensor for receiving the OCC frame. For example, the vehicle terminal including the OBU station 130 - 1 may include a plurality of light sources for transmitting the OCC frame at the front end. In addition, the vehicle terminal including the OBU station may include image sensors for receiving OCC frames from other vehicle terminals in front and rear. The image sensors included in the vehicle terminal may be referred to as a front image sensor and a rear image sensor, respectively.

OBU 스테이션은 전방 이미지 센서를 이용하여 다른 차량으로부터의 OCC 프레임을 감지할 수 있다. 다른 차량으로부터의 OCC 프레임을 감지한 경우, OBU 스테이션은 OCC 프레임의 감지 결과를 기초로 차량 단말을 적응적으로 제어할 수 있다. OBU 스테이션은 전방 이미지 센서를 이용하여 ITS의 RSU 스테이션으로부터의 OCC 프레임을 수신할 수 있으며, 수신한 OCC 프레임을 기초로 교통 정보를 획득할 수 있다. The OBU station can detect OCC frames from other vehicles using the front image sensor. When detecting an OCC frame from another vehicle, the OBU station may adaptively control the vehicle terminal based on the detection result of the OCC frame. The OBU station may receive the OCC frame from the RSU station of the ITS using the front image sensor, and may acquire traffic information based on the received OCC frame.

OBU 스테이션은 후방 이미지 센서를 이용하여 다른 차량들을 감지할 수 있다. 예를 들어, OCC 스테이션은 다른 OBU 스테이션으로부터의 OCC 프레임을 감지할 수 있다. 다른 차량으로부터의 OCC 프레임을 감지한 경우, OBU 스테이션은 OCC 프레임의 감지 결과를 기초로 차량 단말을 적응적으로 제어할 수 있다. 또는 OBU 스테이션은 후방 이미지 센서를 이용하여 이미지를 획득할 수 있으며, 획득한 이미지의 분석 결과를 기초로 다른 차량을 감지할 수 있다. 다른 차량을 감지한 OBU는 다른 차량과의 충돌을 회피하기 위하여 차량을 제어할 수 있다. The OBU station can detect other vehicles using the rear image sensor. For example, the OCC station may detect an OCC frame from another OBU station. When detecting an OCC frame from another vehicle, the OBU station may adaptively control the vehicle terminal based on the detection result of the OCC frame. Alternatively, the OBU station may acquire an image using the rear image sensor, and may detect another vehicle based on an analysis result of the acquired image. The OBU sensing another vehicle may control the vehicle in order to avoid a collision with the other vehicle.

도 3은 OCC 시스템의 구성의 일 실시예를 도시한 개념도이다. 3 is a conceptual diagram illustrating an embodiment of the configuration of an OCC system.

도 3을 참조하면, 본 발명의 일 실시예에 의한 OCC 시스템은 광학 무선 송신 장치(310)와 광학 무선 수신 장치(320)을 포함할 수 있다. 광학 무선 송신 장치(310)는 변조기(311)와 송신기(312)를 포함할 수 있다. 송신기(312)는 적어도 하나 이상의 광원들(312-1, 312-2)을 포함할 수 있으며, 광원(312-1, 312-2)은 LED일 수 있다. 광학 무선 수신 장치(320)는 수신기(321)와 복조기(323)를 포함할 수 있으며, 광원 검출기(322)를 더 포함할 수 있다. 수신기(321)는 카메라와 같은 이미지 센서(321-1)를 포함할 수 있다. Referring to FIG. 3 , the OCC system according to an embodiment of the present invention may include an optical wireless transmission device 310 and an optical wireless reception device 320 . The optical wireless transmission device 310 may include a modulator 311 and a transmitter 312 . The transmitter 312 may include at least one or more light sources 312 - 1 and 312 - 2 , and the light sources 312 - 1 and 312 - 2 may be LEDs. The optical wireless receiving device 320 may include a receiver 321 and a demodulator 323 , and may further include a light source detector 322 . The receiver 321 may include an image sensor 321-1, such as a camera.

변조기(311)는 전송하고자 하는 비트 열(bit sequence)인 이진 데이터 신호 D[i]를 입력받을 수 있고, 변조된 펄스 파형을 갖는 이진 데이터 신호 S1(t) 및 S2(t)를 생성할 수 있다. S1 및 S2는 연속 신호일 수도 있고 이산 신호일 수 있다.The modulator 311 may receive a binary data signal D[i], which is a bit sequence to be transmitted, and may generate binary data signals S1(t) and S2(t) having a modulated pulse waveform. have. S1 and S2 may be continuous signals or discrete signals.

송신기(312)는 이진 데이터 신호 S1(t) 및 S2(t)에 따라 복수개의 광원들(312-1, 312-2) 각각을 점멸시킴으로써 데이터를 송신할 수 있다. 여기서 점멸이라 함은 반드시 광원(312-1, 312-2)이 완전히 켜지고 완전히 꺼지는 방식만을 나타내는 것이 아니라, 광원(312-1, 312-2)의 밝기 변화를 이용해 이진값 0과 1 두 가지 상태를 나타내는 모든 방식을 포함할 수 있다. 광원(312-1, 312-2)의 점멸 주파수가 일정값(예: 200Hz) 이상이면 사람은 광원(312-1, 312-2)의 점멸을 느끼지 못할 수 있다. The transmitter 312 may transmit data by blinking each of the plurality of light sources 312-1 and 312-2 according to the binary data signals S1(t) and S2(t). Here, blinking does not necessarily indicate a method in which the light sources 312-1 and 312-2 are completely turned on and completely off, but two states of binary values 0 and 1 using the brightness change of the light sources 312-1 and 312-2. It can include any way of representing When the blinking frequency of the light sources 312-1 and 312-2 is greater than or equal to a predetermined value (eg, 200 Hz), a person may not feel the blinking of the light sources 312-1 and 312-2.

수신기(321)는 이미지 센서(321-1)가 광원(312-1, 312-2)들을 연속적으로 촬영(샘플링)한 이미지 열(image sequence)을 수신할 수 있다. 광원 검출기(322)는 수신한 이미지에서 광원(312-1, 312-2)들의 위치를 검출할 수 있다. 복조기(323)은 광원(312-1, 312-2)들의 점멸 상태로부터 데이터 신호를 복조할 수 있다.The receiver 321 may receive an image sequence in which the image sensor 321-1 continuously photographed (sampled) the light sources 312-1 and 312-2. The light source detector 322 may detect positions of the light sources 312 - 1 and 312 - 2 in the received image. The demodulator 323 may demodulate the data signal from the blinking state of the light sources 312 - 1 and 312 - 2 .

도 4는 OCC 네트워크의 OBU(on-board unit) 스테이션(station)들 간에 OCC 프레임을 송수신하여 차량을 제어하는 방법의 일 실시예를 도시한 개념도이다.4 is a conceptual diagram illustrating an embodiment of a method for controlling a vehicle by transmitting and receiving OCC frames between on-board unit (OBU) stations of an OCC network.

도 4를 참조하면, 차량 간 OCC 네트워크는 복수개의 OBU 스테이션들을 포함하는 차량 단말들을 포함할 수 있다. 복수개의 OBU 스테이션들 중 OCC 프레임을 송신하는 OBU 스테이션을 송신 노드(410)라 지칭하고, OCC 프레임을 수신하는 OBU 스테이션을 수신 노드(420)라 지칭할 수 있다. OCC 네트워크에서 각각의 OBU 스테이션들은 OCC 방식을 지원할 수 있다. Referring to FIG. 4 , an inter-vehicle OCC network may include vehicle terminals including a plurality of OBU stations. Among the plurality of OBU stations, an OBU station transmitting an OCC frame may be referred to as a transmitting node 410 , and an OBU station receiving an OCC frame may be referred to as a receiving node 420 . In the OCC network, each OBU station may support the OCC scheme.

송신 노드(410)는 미리 설정된 변조 방식에 따라서 변조된 OCC 프레임을 생성할 수 있다. 예를 들어, 미리 설정된 방식은 S2-PSK(spatial 2-phase shift keying) 변조 방식일 수 있다. 또는 미리 설정된 방식은 S2-PSK 및 DSM-PSK(dimmable spatial M-PSK) 변조 방식을 포함하는, HS-PSK(hybrid spatial phase shift keying) 변조 방식일 수 있다. OCC 프레임은 송신 노드(410)에 포함된 제1 송신 처리부에 의해 생성될 수 있다. OCC 프레임은 하단의 표 1에 기재된 정보 요소들(element)중에서 하나 이상의 정보 요소들을 포함할 수 있다.The transmitting node 410 may generate a modulated OCC frame according to a preset modulation scheme. For example, the preset scheme may be a spatial 2-phase shift keying (S2-PSK) modulation scheme. Alternatively, the preset scheme may be a hybrid spatial phase shift keying (HS-PSK) modulation scheme, including S2-PSK and dimmable spatial M-PSK (DSM-PSK) modulation schemes. The OCC frame may be generated by the first transmission processing unit included in the transmission node 410 . The OCC frame may include one or more information elements among information elements listed in Table 1 below.

Figure 112020064173524-pat00001
Figure 112020064173524-pat00001

ID는 송신 노드(410)의 ID를 지시할 수 있다. 또한, ID는 송신 노드(410)의 ID뿐만 아니라 제어 정보를 포함하는 패킷의 수신 대상인 수신 노드(420)의 ID를 지시할 수 있다. 하이브리드 변조 지시자는 OCC 프레임의 변조 방식을 지시할 수 있다. 예를 들어, OCC 프레임이 S2-PSK 변조 방식으로 변조된 경우, 변조 방식 값은 0으로 설정될 수 있으며, OCC 프레임이 HS-PSK 변조 방식으로 변조된 경우, 변조 방식 값은 1로 설정될 수 있다. 위상 매핑 테이블은 미리 설정된 글로벌 위상 시프트 값과 비트 스트림간의 매핑 관계를 지시할 수 있다. The ID may indicate the ID of the transmitting node 410 . In addition, the ID may indicate not only the ID of the transmitting node 410 but also the ID of the receiving node 420 , which is a reception target of a packet including control information. The hybrid modulation indicator may indicate a modulation scheme of the OCC frame. For example, when the OCC frame is modulated using the S2-PSK modulation method, the modulation method value may be set to 0, and when the OCC frame is modulated using the HS-PSK modulation method, the modulation method value may be set to 1. have. The phase mapping table may indicate a mapping relationship between a preset global phase shift value and a bit stream.

디밍 레벨은 7개로 분류될 수 있다. 예를 들어, 디밍 레벨은 디밍 1/8, 디밍 2/8, 디밍 3/8, 디밍 4/8, 디밍 5/8, 디밍 6/8, 및 디밍 7/8으로 분류될 수 있다. 예를 들어, 디밍 4/8은 LED 그룹에 속한 8개의 LED 중에서 3개의 LED들이 특정 시점에서 온(on) 상태인 것을 의미할 수 있다. 즉, 디밍 값이 "1111 0000"인 경우, LED 그룹에 속한 첫 번째, 두 번째, 세 번째 및 네 번째 LED들은 온 상태일 수 있고, 나머지 4의 LED들은 오프(off) 상태일 수 있다.Dimming levels can be classified into seven. For example, the dimming level may be classified as dimming 1/8, dimming 2/8, dimming 3/8, dimming 4/8, dimming 5/8, dimming 6/8, and dimming 7/8. For example, dimming 4/8 may mean that 3 LEDs among 8 LEDs belonging to the LED group are in an on state at a specific time. That is, when the dimming value is “1111 0000”, the first, second, third, and fourth LEDs belonging to the LED group may be in an on state, and the remaining 4 LEDs may be in an off state.

송신 노드(410)는 표 1에 도시된 하나 이상의 정보를 포함하는 OCC 프레임을 수신 노드(420)에 전송할 수 있다. 송신 노드(410)는 LED 어레이를 점멸시킴으로써 제어 정보를 포함하는 패킷을 전송할 수 있다(S410).The transmitting node 410 may transmit an OCC frame including one or more pieces of information shown in Table 1 to the receiving node 420 . The transmitting node 410 may transmit a packet including control information by blinking the LED array (S410).

한편 수신 노드(420)는 카메라를 사용하여 이미지(예를 들어, LED 어레의 점멸 상태)를 촬영할 수 있다. 수신 노드(420)에 의해 촬영된 이미지는 OCC 프레임에 의해 점멸되는 LED 어레이의 이미지를 포함할 수 있다. 수신 노드(420)는 촬영한 이미지로부터 송신 노드(410) 및 송신 노드(410)로부터의 OCC 프레임을 검출할 수 있다(S420). 송신 노드(410) 및 송신 노드(410)로부터의 OCC 프레임을 검출하는 수신 노드(420)의 동작은 아래와 같을 수 있다. On the other hand, the receiving node 420 may take an image (eg, the blinking state of the LED array) using a camera. The image taken by the receiving node 420 may include an image of the LED array that is flickered by the OCC frame. The reception node 420 may detect the transmission node 410 and the OCC frame from the transmission node 410 from the captured image (S420). The operation of the transmitting node 410 and the receiving node 420 detecting the OCC frame from the transmitting node 410 may be as follows.

도 5는 이미지로부터 다른 OBU 스테이션에 의해 송신되는 OCC 프레임을 검출하는 OBU 스테이션의 동작의 일 실시예를 도시한 흐름도이다. 5 is a flowchart illustrating an embodiment of an operation of an OBU station for detecting an OCC frame transmitted by another OBU station from an image.

도 5를 참조하면, 수신 노드(420)는 카메라 등의 이미지 센서를 이용하여 외부 이미지를 획득할 수 있다(S421). 외부 이미지는 OCC 프레임을 송신하는 다른 OBU 스테이션의 광원에 의한 이미지를 포함할 수 있다. 그러나 외부 이미지는 다른 OBU 스테이션의 광원뿐만 아니라 외부 광원들에 의한 이미지를 더 포함할 수 있다. 수신 노드(420)는 촬영한 외부 이미지로부터 다른 OBU 스테이션의 광원에 의한 이미지를 검출할 필요가 있을 수 있다. Referring to FIG. 5 , the receiving node 420 may acquire an external image using an image sensor such as a camera ( S421 ). The external image may include an image by a light source of another OBU station that transmits an OCC frame. However, the external image may further include an image by external light sources as well as light sources of other OBU stations. The receiving node 420 may need to detect an image by a light source of another OBU station from a photographed external image.

수신 노드(420)는 획득한 외부 이미지를 전처리할 수 있다. 예를 들어, 수신 노드(420)는 이미지의 해상도를 보정하거나 이미지에 포함된 픽셀들의 명도 차이를 보정할 수 있다. 수신 노드(420)는 외부 이미지를 전처리하여, 전처리된 이미지로부터 높은 정확도로 OCC 프레임을 검출할 수 있다. The receiving node 420 may pre-process the acquired external image. For example, the receiving node 420 may correct a resolution of an image or a difference in brightness between pixels included in the image. The receiving node 420 may pre-process the external image to detect the OCC frame from the pre-processed image with high accuracy.

그리고 수신 노드(420)는 이미지의 분석을 위해 획득한 외부 이미지를 미리 설정된 단위로 구분할 수 있다. 예를 들어, 수신 노드(420)는 이미지의 그레디언트(gradient) 및 주변 픽셀 간의 유사도를 기초로, 이미지를 미리 설정된 단위인 바운딩 박스(bounding box)들로 구분할 수 있다. 수신 노드(420)는 이미지의 바운딩 박스들 중 광원의 특성과 관련성이 높은 바운딩 박스들의 영역을 설정할 수 있다. 수신 노드(420)는 탐색 대상인 광원의 특성과 높은 관련성을 갖는 영역인 관심 영역(region of interest, ROI)를 설정할 수 있다. 수신 노드(420)는 관심 영역들의 이미지를 리사이징(resizing)할 수 있다. 수신 노드(420)는 리사이징된 이미지들의 특징을 분류할 수 있다. 수신 노드(420)는 컨볼루션 신경망(convolution neural network, CNN)를 이용하여 관심 영역의 리사이징된 이미지를 분류할 수 있다(S423). 수신 노드(420)에 포함된 CNN 및 수신 노드(420)가 CNN을 이용하여 관심 영역의 이미지들을 분류하는 방법은 아래와 같을 수 있다. In addition, the receiving node 420 may classify an external image acquired for image analysis into a preset unit. For example, the receiving node 420 may classify the image into bounding boxes, which are preset units, based on a gradient of the image and the similarity between neighboring pixels. The receiving node 420 may set regions of bounding boxes having high relevance to the characteristics of the light source among the bounding boxes of the image. The reception node 420 may set a region of interest (ROI), which is a region having a high correlation with a characteristic of a light source to be searched. The receiving node 420 may resize the image of the regions of interest. The receiving node 420 may classify characteristics of the resized images. The receiving node 420 may classify the resized image of the ROI by using a convolutional neural network (CNN) ( S423 ). A CNN included in the receiving node 420 and a method in which the receiving node 420 classifies images of an ROI by using the CNN may be as follows.

도 6은 CNN(convolution neural network)의 일 실시예를 도시한 개념도이다. 6 is a conceptual diagram illustrating an embodiment of a convolution neural network (CNN).

도 6을 참조하면, CNN은 복수개의 계층(layer)를 포함할 수 있으며, 각각의 계층들은 복수개의 인공 노드(artificial node)들을 포함할 수 있다. CNN은 복수의 적응적 가중 벡터(adaptive weight vector)들을 포함할 수 있으며, CNN의 각각의 계층들에 포함된 인공 노드들은 가중 벡터에 의해 연결될 수 있다. 인공 신경망은 복수개의 계층들을 포함할 수 있으며, 구체적으로 입력 레이어는 입력 영상 데이터를 획득할 수 있다. 히든 레이어는 복수개의 레이어들을 포함할 수 있으며, 히든 레이어는 컨볼루션 레이어 및 서브 샘플링 레이어를 포함할 수 있다. 컨볼루션 레이어는 컨볼루션 필터를 이용하여 레이어에 입력된 이미지에 에 컨볼루션 연산을 수행할 수 있다. 그리고 컨볼루션 레이어는 입력된 이미지들을 기초로 특징 맵을 생성할 수 있다. 특징 지도는 입력된 이미지들의 다양한 특징들을 포함하는 데이터를 포함할 수 있다. 서브 샘플링 레이어는 특징 맵을 샘플링 또는 풀링하여 특징 지도의 크기를 감소시킬 수 있다. 출력 레이어는 특징 맵에 표현된 다양한 특징들을 조합하여 이미지의 클래스를 분류할 수 있다. 출력 레이어는 완전 연결 레이어를 포함할 수 있다. Referring to FIG. 6 , a CNN may include a plurality of layers, and each layer may include a plurality of artificial nodes. A CNN may include a plurality of adaptive weight vectors, and artificial nodes included in each layer of the CNN may be connected by a weight vector. The artificial neural network may include a plurality of layers, and specifically, the input layer may acquire input image data. The hidden layer may include a plurality of layers, and the hidden layer may include a convolutional layer and a sub-sampling layer. A convolutional layer may perform a convolution operation on an image input to the layer by using a convolution filter. In addition, the convolution layer may generate a feature map based on the input images. The feature map may include data including various features of the input images. The sub-sampling layer may reduce the size of the feature map by sampling or pooling the feature map. The output layer may classify the image by combining various features expressed in the feature map. The output layer may include a fully connected layer.

CNN은 영역 기반(region based) 데이터를 처리하기 위한 R-CNN(region based CNN)일 수 있으며, 고속 R-CNN(faster R-CNN)일 수 있다. 컨볼루션 신경망은 관심 영역의 이미지들 중 검출하고자 하는 대상(예를 들어, 송신 노드(410)로부터의 광원 등)을 판별할 수 있도록 미리 학습된 신경망일 수 있다. 도 6의 CNN 을 기초로 수신 노드(420)는 아래의 서술된 방법에 따라서 이미지의 특징들을 분류할 수 있다. The CNN may be a region based CNN (R-CNN) for processing region based data, and may be a fast R-CNN (R-CNN). The convolutional neural network may be a neural network trained in advance to determine a target to be detected (eg, a light source from the transmitting node 410 ) among images of an ROI. Based on the CNN of FIG. 6 , the receiving node 420 may classify the features of the image according to the method described below.

도 7은 CNN의 이미지 분류 동작 및 분류 결과의 일 실시예를 도시한 개념도이다. 7 is a conceptual diagram illustrating an example of an image classification operation and classification result of CNN.

도 7을 참조하면, 수신 노드(420)는 CNN의 입력 레이어에 외부 이미지의 바운딩 박스(예를 들어, ROI의 이미지)를 입력할 수 있다. 입력 레이어는 ROI의 이미지를 컨볼루션 레이어에 입력할 수 있다. 컨볼루션 레이어는 획득한 ROI 이미지를 기초로 컨볼루션 연산을 수행할 수 있다. 컨볼루션 레이어는 연산 수행 결과 ROI 이미지들 각각의 특징 맵을 생성할 수 있다. ROI 이미지들 각각은 서로 다른 특징을 가질 수 있다. Referring to FIG. 7 , the receiving node 420 may input a bounding box of an external image (eg, an image of an ROI) to the input layer of the CNN. The input layer can input the image of the ROI to the convolution layer. The convolution layer may perform a convolution operation based on the acquired ROI image. The convolution layer may generate a feature map of each of the ROI images as a result of the operation. Each of the ROI images may have different characteristics.

컨볼루션 레이어는 컨볼루션 필터를 이용하여 레이어에 입력된 이미지에 에 컨볼루션 연산을 수행할 수 있다. 그리고 컨볼루션 레이어는 입력된 이미지들을 기초로 특징 맵을 생성할 수 있다. 컨볼루션 레이어는 생성한 이미지들의 특징을 포함하는 특징 맵을 서브 샘플링 레이어에 입력할 수 있다. 서브 샘플링 레이어는 특징 맵을 샘플링 또는 풀링하여 특징 맵의 크기를 감소시킬 수 있다. 서브 샘플링 레이어는 특징 맵을 출력 레이어로 전달할 수 있다. 출력 레이어는 특징 맵에 표현된 다양한 특징들을 조합하여 이미지의 클래스를 분류할 수 있다. 출력 레이어는 완전 연결 레이어를 포함할 수 있다. A convolutional layer may perform a convolution operation on an image input to the layer by using a convolution filter. In addition, the convolution layer may generate a feature map based on the input images. The convolution layer may input a feature map including features of the generated images to the sub-sampling layer. The sub-sampling layer may reduce the size of the feature map by sampling or pooling the feature map. The sub-sampling layer may transmit the feature map to the output layer. The output layer may classify the image by combining various features expressed in the feature map. The output layer may include a fully connected layer.

다시 도 5를 참조하면, 수신 노드(420)는 컨볼루션 신경망에서 출력된 특징을 기초로 초기 바운딩 박스 후보들을 산출할 수 있다(S424). 구체적으로, 수신 노드(420)는 컨볼루션 신경망의 출력 결과를 미리 설정된 신경망 등에 입력하여, 바운딩 박스들의 후보를 산출할 수 있다. 바운딩 박스들의 후보를 산출하는 미리 설정된 신경망은 RPN(Region Proposal Network)일 수 있다. 수신 노드(420)는 RPN를 이용하여 초기 바운딩 박스 후보들 중 검출 대상을 포함하는 바운딩 박스의 존재 여부를 검출할 수 있다.Referring back to FIG. 5 , the receiving node 420 may calculate initial bounding box candidates based on the feature output from the convolutional neural network ( S424 ). Specifically, the receiving node 420 may input the output result of the convolutional neural network to a preset neural network or the like to calculate candidates for bounding boxes. The preset neural network for calculating the candidates of the bounding boxes may be a Region Proposal Network (RPN). The receiving node 420 may detect the existence of a bounding box including a detection target among initial bounding box candidates by using the RPN.

수신 노드(420)는 바운딩 박스들 중에서 탐색 대상 객체를 구분할 수 있다. 즉, 수신 노드(420)은 이미지의 바운딩 박스 중, OCC 프레임을 송신하는 광원 또는 외부의 다른 광원 등을 분류할 수 있다. 수신 노드(420)는 전체의 외부 이미지의 바운딩 박스들 각각의 특징을 기초로 검출 대상에 해당하는 바운딩 박스들을 선택할 수 있다. The receiving node 420 may distinguish a search target object from among the bounding boxes. That is, the receiving node 420 may classify a light source that transmits an OCC frame or another external light source among the bounding boxes of the image. The receiving node 420 may select the bounding boxes corresponding to the detection target based on the characteristics of each of the bounding boxes of the entire external image.

본 발명의 다른 실시예에 따르면, 수신 노드(420)는 출력된 결과를 기초로 바운딩 박스들을 분류할 수 있다. 즉, 수신 노드(420)는 1차적으로 분류된 바운딩 박스들을 다시 RCNN에 입력하고, 바운딩 박스들 각각의 특징을 산출함으로써 각각의 클래스를 분류할 수 있다. 따라서, 수신 노드(420)는 OCC 프레임을 송신하는 광원들을 보다 명확하게 검출할 수 있다. According to another embodiment of the present invention, the receiving node 420 may classify the bounding boxes based on the output result. That is, the receiving node 420 may classify each class by inputting the primarily classified bounding boxes back to the RCNN, and calculating the characteristics of each of the bounding boxes. Accordingly, the receiving node 420 may more clearly detect the light sources transmitting the OCC frame.

다시 도 4를 참조하면, 수신 노드(420)는 촬영한 이미지로부터 송신 노드(410)로부터의 OCC 프레임을 검출할 수 있다. 즉, 수신 노드(420)은 이미지 중 송신 노드로부터의 광원의 점멸 상태가 표 1에 기재된 정보 요소 중 적어도 하나의 정보 요소(예를 들어, 송신 노드 ID 및 OCC 프레임 변조 방식 정보 등)를 지시하는 경우, 수신 노드(420)는 OCC 프레임을 검출하였다고 판단할 수 있다. 수신 노드(420)는 검출된 OCC 프레임을 복조하여 차량의 ID와 같은 표 1에 기재된 정보 요소 중 적어도 하나의 정보 요소를 획득할 수 있다. Referring back to FIG. 4 , the receiving node 420 may detect the OCC frame from the transmitting node 410 from the captured image. That is, the receiving node 420 indicates that the blinking state of the light source from the transmitting node in the image indicates at least one information element (eg, transmitting node ID and OCC frame modulation method information, etc.) among the information elements listed in Table 1 In this case, the receiving node 420 may determine that the OCC frame is detected. The receiving node 420 may acquire at least one information element among information elements listed in Table 1, such as an ID of a vehicle, by demodulating the detected OCC frame.

수신 노드(420)는 OCC 프레임의 복조 결과를 기초로, 차량의 제어 여부를 결정할 수 있다(S430). 예를 들어, 수신 노드(420)는 OCC 프레임의 복조 결과를 기초로 수신 노드(420)를 포함하는 차량과 송신 노드(410)를 포함하는 차량 간의 거리를 산출할 수 있다. 차량 간의 거리가 미리 설정된 범위를 초과할 경우, 수신 노드(420)는 차량의 속도를 줄이도록 하는 명령을 차량에 전달할 수 있다(S430). 수신 노드(420)를 포함하는 차량은 수신 노드(420)로부터의 명령에 따라 차량의 속도를 줄일 수 있다(S440). The receiving node 420 may determine whether to control the vehicle based on the demodulation result of the OCC frame (S430). For example, the reception node 420 may calculate a distance between the vehicle including the reception node 420 and the vehicle including the transmission node 410 based on the demodulation result of the OCC frame. When the distance between vehicles exceeds a preset range, the receiving node 420 may transmit a command to reduce the speed of the vehicle to the vehicle ( S430 ). The vehicle including the receiving node 420 may reduce the speed of the vehicle according to a command from the receiving node 420 ( S440 ).

수신 노드(420)는 OCC 프레임의 복조 결과를 기초로, RoI의 재설정 여부를 결정할 수 있다. 예를 들어, 수신 노드(420)는 OCC 프레임의 복조 결과를 기초로 수신 노드(420)를 포함하는 차량과 송신 노드(410)를 포함하는 차량 간의 거리 및 상대 속도를 산출할 수 있다. 차량 간의 거리와 차량 간의 상대 속도가 미리 설정된 범위를 초과할 경우, 수신 노드(420)는 OCC 프레임의 복조 오류율을 최소화하기 위한 동작을 수행할 수 있다. The reception node 420 may determine whether to reset the RoI based on the demodulation result of the OCC frame. For example, the receiving node 420 may calculate the distance and the relative speed between the vehicle including the receiving node 420 and the vehicle including the transmitting node 410 based on the demodulation result of the OCC frame. When the distance between vehicles and the relative speed between vehicles exceed a preset range, the receiving node 420 may perform an operation for minimizing the demodulation error rate of the OCC frame.

도 8은 차량 간 거리와 OCC 프레임의 에러율 간의 관계를 도시한 그래프이다. 8 is a graph illustrating a relationship between an inter-vehicle distance and an error rate of an OCC frame.

도 8을 참조하면, 차량 간 거리가 증가할수록 수신 노드(420)의 OCC 프레임 복조 에러율은 정비례하는 방향으로 증가할 수 있다. LED를 포함하는 광원의 특성 상 거리가 증가할수록 신호의 세기가 감소할 수 있다. 또는 LED를 통해 송신되는 OCC 프레임이 수신 노드(420)의 RoI를 통해 수신되지 않을 수 있다. 따라서, 수신 노드(420)는 일정 범위 이상의 송신 노드(410)로부터 OCC 프레임을 수신하지 못할 수 있다. Referring to FIG. 8 , as the distance between vehicles increases, the OCC frame demodulation error rate of the receiving node 420 may increase in a direction in direct proportion. Due to the characteristics of the light source including the LED, the intensity of the signal may decrease as the distance increases. Alternatively, the OCC frame transmitted through the LED may not be received through the RoI of the receiving node 420 . Accordingly, the receiving node 420 may not receive the OCC frame from the transmitting node 410 over a certain range.

다시 도 4를 참조하면, 수신 노드(420)는 OCC 프레임의 복조 오류율을 최소화하기 위하여, RoI를 재설정할 수 있다. 수신 노드(420)는 미리 설정된 R-CNN 알고리즘을 이용하여 OCC 프레임을 수신하기 위한 RoI를 재설정할 수 있다. Referring back to FIG. 4 , the receiving node 420 may reset the RoI in order to minimize the demodulation error rate of the OCC frame. The receiving node 420 may reset the RoI for receiving the OCC frame using a preset R-CNN algorithm.

또는 수신 노드(420)는 송신 노드(410)의 광원의 이미지 영역의 크기를 기초로 RoI 재설정 여부를 결정할 수 있다. 광원의 이미지 영역의 크기가 미리 설정된 범위에 미치지 못하는 경우, 수신 노드(420)는 OCC 프레임의 복조 오류율을 최소화하기 위하여, RoI를 재설정할 수 있다. 수신 노드(420)는 미리 설정된 R-CNN 알고리즘을 이용하여 OCC 프레임을 수신하기 위한 RoI를 재설정할 수 있다. Alternatively, the receiving node 420 may determine whether to reset the RoI based on the size of the image area of the light source of the transmitting node 410 . When the size of the image area of the light source does not reach a preset range, the receiving node 420 may reset the RoI in order to minimize the demodulation error rate of the OCC frame. The receiving node 420 may reset the RoI for receiving the OCC frame using a preset R-CNN algorithm.

발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The methods according to the invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer-readable medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.

컴퓨터 판독 가능 매체의 예에는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of computer-readable media include hardware devices specially configured to store and carry out program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as at least one software module to perform the operations of the present invention, and vice versa.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. Although it has been described with reference to the above embodiments, it will be understood by those skilled in the art that various modifications and changes can be made to the present invention without departing from the spirit and scope of the present invention as set forth in the following claims. will be able

Claims (12)

OCC(optical camera communication)를 지원하는 ITS(intelligent transportation system)에 속한 제1 RSU(roadside unit)의 동작 방법에 있어서,
제2 RSU로부터 미리 설정된 변조 방식에 의해 변조된 OCC 프레임을 포함하는 이미지를 획득하는 단계; 및
상기 이미지로부터 상기 제2 RSU로부터의 상기 OCC 프레임을 획득하는 단계;
상기 OCC 프레임의 복조 결과 상기 제2 RSU와의 거리 정보를 산출하는 단계; 및
상기 제2 RSU와의 거리 정보를 기초로 상기 제1 RSU의 이동을 제어하는 단계를 포함하고,
상기 이미지로부터 상기 제2 RSU로부터의 상기 OCC 프레임을 획득하는 단계는,
상기 이미지를 바운딩 박스(bounding box) 단위로 분할하는 단계;
바운딩 박스 단위로 분할된 상기 이미지 중 RoI(region of interest)를 결정하는 단계; 및
상기 RoI를 기초로, 상기 제2 RSU로부터의 상기 OCC 프레임의 이미지를 포함하는 바운딩 박스들을 분류하는 단계를 포함하고,
상기 변조된 OCC 프레임은,
상기 미리 설정된 변조 방식에 관한 정보, 상기 변조된 데이터 신호의 전송을 위해 사용되는 주파수에 관한 정보 및 상기 제2 RSU의 ID(identifier) 정보를 더 포함하는 것을 특징으로 하는 제1 RSU의 동작 방법.In the operating method of a first RSU (roadside unit) belonging to an intelligent transportation system (ITS) supporting optical camera communication (OCC),
acquiring an image including an OCC frame modulated by a preset modulation scheme from a second RSU; and
obtaining the OCC frame from the second RSU from the image;
calculating distance information from the second RSU as a result of demodulating the OCC frame; and
Controlling the movement of the first RSU based on the distance information with the second RSU,
Acquiring the OCC frame from the second RSU from the image comprises:
dividing the image into bounding box units;
determining a region of interest (RoI) among the images divided into bounding box units; and
Classifying bounding boxes including the image of the OCC frame from the second RSU based on the RoI,
The modulated OCC frame is
The method of operating the first RSU, characterized in that it further comprises information on the preset modulation scheme, information on a frequency used for transmission of the modulated data signal, and ID (identifier) information of the second RSU. 청구항 1에 있어,
상기 미리 설정된 변조 방식은,
S2-PSK(spatial 2-phase shift keying) 변조 방식 및 HS-PSK(hybrid spatial phase shift keying) 변조 방식 중 하나의 변조 방식이고,
상기 HS-PSK 변조 방식은,
S2-PSK 및 DSM-PSK(dimmable spatial M-PSK) 변조 방식을 포함하는, 제1 RSU의 동작 방법.The method according to claim 1,
The preset modulation scheme is
S2-PSK (spatial 2-phase shift keying) modulation scheme and HS-PSK (hybrid spatial phase shift keying) modulation scheme of one of the modulation scheme,
The HS-PSK modulation scheme is
Including S2-PSK and dimmable spatial M-PSK (DSM-PSK) modulation scheme, the operating method of the first RSU. 삭제delete 청구항 1에 있어,
상기 바운딩 박스 단위로 분할된 상기 이미지 중 RoI를 결정하는 단계는,
RCNN(region based convolution neural network)에 의해 상기 바운딩 박스 단위로 분할된 상기 이미지의 특징을 분류하는 단계를 포함하고,
상기 RoI는,
상기 분류된 이미지의 특징을 기초로 결정되는, 제1 RSU의 동작 방법.The method according to claim 1,
The step of determining the RoI among the images divided by the bounding box unit,
Classifying the features of the image divided into the bounding box unit by a region based convolution neural network (RCNN),
The RoI is,
The method of operation of the first RSU, which is determined based on a characteristic of the classified image. 청구항 1에 있어,
상기 이미지로부터 상기 제2 RSU로부터의 상기 OCC 프레임을 획득하는 단계는,
상기 OCC 프레임의 이미지를 포함하는 바운딩 박스의 크기가 미리 설정된 값 이하인 경우,
상기 이미지 중 RoI를 재설정하는 단계를 더 포함하는, 제1 RSU의 동작 방법.The method according to claim 1,
Acquiring the OCC frame from the second RSU from the image comprises:
When the size of the bounding box including the image of the OCC frame is less than or equal to a preset value,
The method of operating the first RSU, further comprising the step of resetting the RoI of the image. 청구항 1에 있어,
상기 이미지로부터 상기 제2 RSU로부터의 상기 OCC 프레임을 획득하는 단계는,
산출된 상기 제2 RSU와의 거리가 미리 설정된 값 이상인 경우,
상기 이미지 중 RoI를 재설정하는 단계를 더 포함하는, 제1 RSU의 동작 방법.The method according to claim 1,
Acquiring the OCC frame from the second RSU from the image comprises:
When the calculated distance to the second RSU is greater than or equal to a preset value,
The method of operating the first RSU, further comprising the step of resetting the RoI of the image. OCC(optical camera communication)를 지원하는 ITS(intelligent transportation system)에 속한 제1 RSU(roadside unit)로서,
프로세서(processor);
상기 프로세서의 제어에 따라 제2 RSU에 포함된 LED(Light Emitting Diode) 어레이(array)의 점멸 상태를 촬영하는 카메라; 및
상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory)를 포함하며,
상기 하나 이상의 명령들은,
상기 제2 RSU로부터 미리 설정된 변조 방식에 의해 변조된 OCC 프레임을 포함하는 이미지를 획득하고;
상기 이미지로부터 상기 제2 RSU로부터의 상기 OCC 프레임을 획득하고;
상기 OCC 프레임의 복조 결과 상기 제2 RSU와의 거리 정보를 산출하고; 그리고
상기 제2 RSU와의 거리 정보를 기초로 상기 제1 RSU의 이동을 제어하도록 실행되고,
상기 적어도 하나의 명령은,
상기 이미지로부터 상기 제2 RSU로부터의 상기 OCC 프레임을 획득하도록 실행됨에 있어,
상기 이미지를 바운딩 박스(bounding box) 단위로 분할하고,
바운딩 박스 단위로 분할된 상기 이미지 중 RoI(region of interest)를 결정하고, 그리고
상기 RoI를 기초로, 상기 제2 RSU로부터의 상기 OCC 프레임의 이미지를 포함하는 바운딩 박스들을 분류하도록 실행되고,
상기 변조된 OCC 프레임은,
상기 미리 설정된 변조 방식에 관한 정보, 상기 변조된 데이터 신호의 전송을 위해 사용되는 주파수에 관한 정보 및 상기 제2 RSU의 ID(identifier) 정보를 더 포함하는 것을 특징으로 하는 제1 RSU.As a first roadside unit (RSU) belonging to an intelligent transportation system (ITS) supporting optical camera communication (OCC),
processor;
a camera for photographing a blinking state of an LED (Light Emitting Diode) array included in the second RSU under the control of the processor; and
At least one instruction executed through the processor comprises a memory (memory) stored,
the one or more instructions,
acquiring an image including an OCC frame modulated by a preset modulation scheme from the second RSU;
obtain the OCC frame from the second RSU from the image;
calculating distance information from the second RSU as a result of demodulation of the OCC frame; and
and control the movement of the first RSU based on the distance information with the second RSU;
The at least one command is
being executed to obtain the OCC frame from the second RSU from the image,
Divide the image into bounding box units,
Determining a region of interest (RoI) among the images divided into bounding box units, and
classify, based on the RoI, bounding boxes including the image of the OCC frame from the second RSU;
The modulated OCC frame is
The first RSU, characterized in that it further includes information on the preset modulation scheme, information on a frequency used for transmission of the modulated data signal, and ID (identifier) information of the second RSU. 청구항 7에 있어,
상기 미리 설정된 변조 방식은,
S2-PSK(spatial 2-phase shift keying) 변조 방식 및 HS-PSK(hybrid spatial phase shift keying) 변조 방식 중 하나의 변조 방식이고,
상기 HS-PSK 변조 방식은,
S2-PSK 및 DSM-PSK(dimmable spatial M-PSK) 변조 방식을 포함하는, 제1 RSU. The method according to claim 7,
The preset modulation scheme is
S2-PSK (spatial 2-phase shift keying) modulation scheme and HS-PSK (hybrid spatial phase shift keying) modulation scheme of one of the modulation scheme,
The HS-PSK modulation scheme is
A first RSU comprising S2-PSK and dimmable spatial M-PSK (DSM-PSK) modulation schemes. 청구항 7에 있어,
상기 적어도 하나의 명령은,
상기 제2 RSU와의 거리가 미리 설정된 값 미만인 경우,
상기 제1 RSU의 이동을 제어하도록 실행됨에 있어,
상기 제1 RSU의 속도를 감속하도록 실행되는, 제1 RSU. The method according to claim 7,
The at least one command is
When the distance to the second RSU is less than a preset value,
In being executed to control the movement of the first RSU,
a first RSU that is executed to decelerate the speed of the first RSU. 삭제delete 청구항 7에 있어,
상기 적어도 하나의 명령은,
상기 바운딩 박스 단위로 분할된 상기 이미지 중 RoI를 결정하도록 실행됨에 있어,
RCNN(region based convolution neural network)에 의해 상기 바운딩 박스 단위로 분할된 상기 이미지의 특징을 분류하도록 실행되고,
상기 RoI는, 상기 분류된 이미지의 특징을 기초로 결정되는, 제1 RSU.The method according to claim 7,
The at least one command is
In being executed to determine RoI among the images divided by the bounding box unit,
It is executed to classify the features of the image divided into the bounding box unit by a region based convolution neural network (RCNN),
The RoI is, the first RSU, which is determined based on a characteristic of the classified image. 청구항 7에 있어,
상기 적어도 하나의 명령은,
상기 이미지로부터 상기 제2 RSU로부터의 상기 OCC 프레임을 획득하도록 실행됨에 있어,
상기 제2 RSU와의 거리가 미리 설정된 값 이상인 경우,
상기 이미지 중 RoI를 재설정하고;
재설정된 상기 RoI를 기초로 상기 제2 RSU로부터의 상기 OCC 프레임의 이미지를 포함하는 바운딩 박스들을 재분류하도록 실행되는, 제1 RSU.The method according to claim 7,
The at least one command is
being executed to obtain the OCC frame from the second RSU from the image,
When the distance to the second RSU is greater than or equal to a preset value,
reset RoI of the image;
and reclassify bounding boxes including the image of the OCC frame from the second RSU based on the reset RoI.
KR1020200076031A 2020-02-18 2020-06-22 Method and apparatus for transmitting and receiving signal using optical camera communication in communication access for land mobiles system KR102293920B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200020014 2020-02-18
KR1020200020014 2020-02-18

Publications (1)

Publication Number Publication Date
KR102293920B1 true KR102293920B1 (en) 2021-08-26

Family

ID=77465621

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200076031A KR102293920B1 (en) 2020-02-18 2020-06-22 Method and apparatus for transmitting and receiving signal using optical camera communication in communication access for land mobiles system

Country Status (1)

Country Link
KR (1) KR102293920B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150012479A (en) * 2013-07-25 2015-02-04 현대모비스 주식회사 Apparatus and method for adjusting light amount of vehicle using visible light communication
US20160134366A1 (en) * 2013-06-28 2016-05-12 Trustees Of Boston University Optical orthogonal frequency division multiplexing (o-ofdm) system with pulse-width modulation (pwm) dimming
KR20160137846A (en) * 2015-05-22 2016-12-01 영남대학교 산학협력단 Apparatus and method for transceiving data using a visible light communication system
WO2017096360A1 (en) * 2015-12-03 2017-06-08 Osram Sylvania Inc. Light-based vehicle positioning for mobile transport systems
KR20190123229A (en) * 2018-04-23 2019-10-31 국민대학교산학협력단 Method and apparatus for transmitting and receiving signal using optical camera communication in communication access for land mobiles system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160134366A1 (en) * 2013-06-28 2016-05-12 Trustees Of Boston University Optical orthogonal frequency division multiplexing (o-ofdm) system with pulse-width modulation (pwm) dimming
KR20150012479A (en) * 2013-07-25 2015-02-04 현대모비스 주식회사 Apparatus and method for adjusting light amount of vehicle using visible light communication
KR20160137846A (en) * 2015-05-22 2016-12-01 영남대학교 산학협력단 Apparatus and method for transceiving data using a visible light communication system
WO2017096360A1 (en) * 2015-12-03 2017-06-08 Osram Sylvania Inc. Light-based vehicle positioning for mobile transport systems
KR20190123229A (en) * 2018-04-23 2019-10-31 국민대학교산학협력단 Method and apparatus for transmitting and receiving signal using optical camera communication in communication access for land mobiles system

Similar Documents

Publication Publication Date Title
JP7460044B2 (en) Autonomous vehicle, and apparatus, program, and computer-readable medium relating to an autonomous vehicle system
CN109291929B (en) Deep integration fusion framework for automatic driving system
US11455793B2 (en) Robust object detection and classification using static-based cameras and events-based cameras
CN111295689B (en) Depth aware object counting
US20180365995A1 (en) Automobile communication system using unmanned air vehicle intermediary
US10078961B2 (en) Method and device for operating a traffic-infrastructure unit including a signal source
KR102266007B1 (en) Reducing received data in a v2x network based on received signal strength
KR20220119396A (en) Estimation of object size using camera map and/or radar information
US11625009B2 (en) Non-uniform occupancy grid manager
US11063667B1 (en) Systems, devices, and methods for optical communication
US10284795B2 (en) Image processing device, image processing method, and image processing program which control a scan frequency of an imaging unit
US20180373992A1 (en) System and methods for object filtering and uniform representation for autonomous systems
KR102345777B1 (en) Method and apparatus for determining location of a vehicle based on optical camera communication
US20210123757A1 (en) Method and apparatus for managing vehicle's resource in autonomous driving system
US11106923B2 (en) Method of checking surrounding condition of vehicle
KR102174863B1 (en) Autonomous Vehicle Exterior Display Interaction Apparatus and Method
KR102293920B1 (en) Method and apparatus for transmitting and receiving signal using optical camera communication in communication access for land mobiles system
US20210065543A1 (en) Method, Device, and System of Traffic Light Control Utilizing Virtual Detectors
US20190347805A1 (en) Adaptive data collecting and processing system and methods
US11386670B2 (en) Methods and systems for tracking non-connected vehicles
JP2020129369A (en) System and method for image processing using mobile device
US20220114433A1 (en) Methods and systems for enhanced scene perception using vehicle platoon
JP7490179B2 (en) Object Classification Based on Frame and Event Camera Processing and Related Applications
US11989796B2 (en) Parking seeker detection system and method for updating parking spot database using same
US20220222473A1 (en) Vehicle communication systems and methods for detecting and capturing relevant object data

Legal Events

Date Code Title Description
GRNT Written decision to grant