KR102063418B1 - Method and apparatus for modulating and demodulating in communication system - Google Patents
Method and apparatus for modulating and demodulating in communication system Download PDFInfo
- Publication number
- KR102063418B1 KR102063418B1 KR1020190092633A KR20190092633A KR102063418B1 KR 102063418 B1 KR102063418 B1 KR 102063418B1 KR 1020190092633 A KR1020190092633 A KR 1020190092633A KR 20190092633 A KR20190092633 A KR 20190092633A KR 102063418 B1 KR102063418 B1 KR 102063418B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- camera
- state
- blinking state
- matrix
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/50—Transmitters
- H04B10/516—Details of coding or modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
- H04B10/114—Indoor or close-range type systems
- H04B10/116—Visible light communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/60—Receivers
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Optical Communication System (AREA)
Abstract
Description
본 발명은 광학 카메라를 사용한 통신 기술에 관한 것으로, 더욱 상세하게는 광학 카메라를 사용한 통신 기술에서 신호를 변조하여 송신하는 방법 및 수신한 OCC 신호를 복조하는 방법에 관한 것이다.The present invention relates to a communication technology using an optical camera, and more particularly, to a method for modulating and transmitting a signal and a method for demodulating a received OCC signal in a communication technology using an optical camera.
정보통신 기술의 발전과 더불어 다양한 무선 통신 기술이 개발되고 있다. 가시광 통신(Visible Light Communication; VLC)은 LED(Light Emitting Diode)를 사용하여 수행될 수 있다. 가시광 통신 기술은 IEEE(Institute of Electrical and Electronics Engineers) 802.15.7에서 표준화되었으며, IEEE 802.15.7은 PHY(physical) 계층 및 MAC(medium access control) 계층의 기술들을 규정하고 있다. 특히, IEEE 802.15.7은 LoS(Line of Sight) 환경에서 고속 데이터 송수신을 위한 기술들을 규정하고 있으며, IEEE 802.15.7에 규정된 기술들은 실제 통신 환경에 적용되기 어려운 문제점이 있다.With the development of information and communication technology, various wireless communication technologies are being developed. Visible light communication (VLC) may be performed using a light emitting diode (LED). Visible light communication technology has been standardized in Institute of Electrical and Electronics Engineers (IEEE) 802.15.7, and IEEE 802.15.7 defines technologies of a physical (HY) layer and a medium access control (MAC) layer. In particular, IEEE 802.15.7 defines technologies for high-speed data transmission and reception in a line of sight (LoS) environment, and the technologies specified in IEEE 802.15.7 have a problem that is difficult to apply to an actual communication environment.
IEEE 802.15.7의 개선 필요성에 따라 IEEE 802.15.7m의 표준화가 진행되었다. IEEE 802.15.7m은 OWC(Optical Wireless Communication) 기술을 규정하고 있으며, OWC 기술은 LiFi(Light Fidelity) 기술, OCC(Optical Camera Communication) 기술, 및 LED-ID(LED Identification) 기술 등을 포함할 수 있다.According to the need for improvement of IEEE 802.15.7, standardization of IEEE 802.15.7m has proceeded. IEEE 802.15.7m defines Optical Wireless Communication (OWC) technology, which may include Light Fidelity (LiFi) technology, Optical Camera Communication (OCC) technology, and LED Identification (LED-ID) technology. .
OCC를 지원하는 통신 시스템(이하, "OCC 통신 시스템"이라 함)에서 송신기는 DSM-PSK 변조 방식을 사용하여 통신을 수행할 수 있고, 수신기는 회선 원리에 기반한 정합 필터를 사용하여 DSM-PSK 변조 방식으로 변조된 신호를 복조할 수 있다. 다만 이는 모션 블러(motion blur), 안개 등 다른 채널 조건을 처리할 때 낮은 성능을 나타낼 수 있는 문제점이 있다.In communication systems supporting OCC (hereinafter referred to as "OCC communication system"), the transmitter can perform communication using the DSM-PSK modulation scheme, and the receiver can use DSM-PSK modulation using a matched filter based on circuit principle. Can be demodulated in a modulated fashion. However, this is a problem that may exhibit low performance when processing other channel conditions such as motion blur, fog.
OCC 통신 시스템에서 수신단은 저속 카메라로 이미지를 캡쳐할 수 있고 광원 식별 신호를 획득할 수 있다. 수신단은 이를 기초로 관심 영역(RoI, Region Of Interest)을 검출할 수 있다. 수신단은 관심 영역에 기초하여 고속 카메라를 활성화 시킬 수 있다. 고속 카메라가 활성화 되는 경우 송신단과 수신단의 통신 링크가 활성화 될 수 있고, 고속 카메라는 관심 영역에 기초하여 이미지를 캡쳐할 수 있다. 수신단은 고속 카메라가 캡쳐한 이미지를 기초로 데이터 신호를 수신할 수 있다. 다만 OCC 통신 시스템에서 송신단과 수신단의 거리가 달라질 수 있고 이에 따라 관심 영역도 함께 달라질 수 있는 문제점이 있다.In the OCC communication system, the receiving end may capture an image with a low speed camera and acquire a light source identification signal. The receiving end may detect a region of interest (RoI) based on this. The receiving end may activate the high speed camera based on the region of interest. When the high speed camera is activated, the communication link between the transmitting end and the receiving end may be activated, and the high speed camera may capture an image based on the ROI. The receiving end may receive a data signal based on the image captured by the high speed camera. However, in the OCC communication system, the distance between the transmitting end and the receiving end may vary, and accordingly, the region of interest may also vary.
또한, 송신 노드의 광원과 수신 노드의 이미지 센서의 상태 및 송신 노드의 광원과 수신 노드의 이미지 센서 간의 환경적 요인 등에 따라 두 광원의 샘플링 시간에 차이가 생길 수 있으므로, 이는 곧 두 광원의 점멸 위상차의 변동으로 이어지고, 복조 결과 오류가 발생할 수 있다.In addition, the sampling time of the two light sources may vary depending on the light source of the transmitting node and the image sensor of the receiving node and environmental factors between the light source of the transmitting node and the image sensor of the receiving node. This can lead to fluctuations in, resulting in errors as a result of demodulation.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 통신 시스템에서 신호를 복조함에 있어 채널 조건을 고려하여 수신된 이미지를 처리하고, 관심 영역을 다중으로 검출하며, 인공 신경망을 활용하여 OCC 신호의 오류를 정정하는 장치 및 장치를 제공하는 것이다.An object of the present invention for solving the above problems is to process the received image in consideration of the channel conditions in the demodulation of the signal in the communication system, to detect the region of interest multiple times, using the artificial neural network error of the OCC signal It is to provide an apparatus and apparatus for correcting.
상기 목적을 달성하기 위한 본 발명의 제1 실시예에 따른 수신 노드는 프로세서(processor); 상기 프로세서의 제어에 따라 송신 노드에 포함된 제1 LED(Light Emitting Diode) 어레이(array)의 제1 점멸 상태를 촬영하는 제1 카메라, 상기 프로세서의 제어에 따라 상기 송신 노드에 포함된 제2 LED 어레이의 이미지를 촬영하는 제2 카메라; 및 상기 프로세서에 의해 실행되는 하나 이상의 명령들이 저장된 메모리(memory)를 포함하며, 상기 하나 이상의 명령들은, 상기 제1 카메라에 의해 촬영된 상기 제1 점멸 상태 이미지 및 상기 제2 카메라에 의해 촬영된 이미지에 기초하여 관심 영역을 탐색하고, 상기 관심 영역에서 상기 제2 카메라를 사용하여 상기 제2 LED 어레이의 점멸 상태를 촬영함으로써 제2 점멸 상태 이미지를 획득하고, 상기 송신 노드와 상기 수신 노드 간의 채널 상태를 기초로 상기 제2 점멸 상태 이미지를 보정함으로써 보정된 이미지를 생성하고, 상기 보정된 이미지를 기초로 사용자 데이터를 획득하도록 실행될 수 있다. 여기서, 상기 채널 상태는 상기 제2 점멸 상태 이미지에 반영된 흐림 현상 및 잡음을 지시할 수 있다.A receiving node according to a first embodiment of the present invention for achieving the above object includes a processor; A first camera photographing a first blinking state of a first array of light emitting diodes (LEDs) included in a transmitting node under control of the processor; a second LED included in the transmitting node under control of the processor; A second camera for taking an image of the array; And a memory in which one or more instructions executed by the processor are stored, wherein the one or more instructions include: the first blinking state image photographed by the first camera and the image photographed by the second camera Search for a region of interest based on and acquire a second blink state image by photographing the blink state of the second LED array using the second camera in the region of interest, and a channel state between the transmitting node and the receiving node. The corrected image may be generated by correcting the second blinking state image on the basis of, and to obtain user data based on the corrected image. Here, the channel state may indicate a blurring phenomenon and noise reflected in the second blinking state image.
여기서 상기 하나 이상의 명령들은, 아래의 수학식에 의하여 상기 채널 상태를 측정하도록 실행되고Wherein the one or more instructions are executed to measure the channel state by the equation
상기 수학식에서 y는 상기 제2 카메라가 촬영한 제2 점멸 상태의 이미지 행렬이고 h는 흐림 현상을 반영하기 위한 행렬이며, x는 실제 제2 점멸 상태의 이미지 행렬이며, n은 AWGN(Additive White Gaussian Noise)의 영향을 나타낸 행렬일 수 있다.In the above equation, y is an image matrix of a second blinking state photographed by the second camera, h is a matrix for reflecting a blur phenomenon, x is an image matrix of a second blinking state, and n is an additive white gauge. It may be a matrix indicating the influence of the noise.
여기서, 상기 하나 이상의 명령들은, 상기 h 행렬을 통하여 흐림 파라미터를 추출하고, 상기 n 행렬을 통하여 잡음의 정규 분포를 추출하도록 실행될 수 있다.Here, the one or more instructions may be executed to extract a blur parameter through the h matrix and to extract a normal distribution of noise through the n matrix.
여기서, 상기 보정된 이미지는 상기 제2 카메라가 촬영한 제2 점멸 상태, 상기 추출된 흐림 파라미터 및 상기 잡음의 정규 분포를 이용하여 생성 될 수 있다.Here, the corrected image may be generated using a second blinking state photographed by the second camera, the extracted blur parameter, and a normal distribution of the noise.
여기서, 상기 제2 점멸 상태 이미지를 보정하는 동작은 인공 신경망 디코딩 방식에 의해 수행되고, 상기 인공 신경망 디코딩 방식은 실제 제2 점멸 상태에 따른 위상 천이 값과 예측된 제2 점멸 상태에 따른 위상 값을 비교한 결과를 포함하는 학습 자료를 사용하여 수행될 수 있다.Here, the operation of correcting the second blinking state image is performed by an artificial neural network decoding method, and the artificial neural network decoding method uses a phase shift value according to the actual second blinking state and a phase value according to the predicted second blinking state. This can be done using learning materials that include comparisons.
여기서, 상기 실제 제2 점멸 상태에 따른 위상 천이 값이 상기 예측된 제2 점멸 상태에 따른 위상 값과 다른 경우, 상기 인공 신경망 디코딩 방식을 위한 가중치 벡터가 조절될 수 있다.Here, when the phase shift value according to the actual second blink state is different from the phase value according to the predicted second blink state, the weight vector for the artificial neural network decoding method may be adjusted.
본 발명의 제1 실시예에 따른 수신 노드의 동작 방법은 상기 수신 노드의 제1 카메라에 의해 촬영된 상기 제1 점멸 상태 이미지 및 상기 수신 노드의 제2 카메라에 의해 촬영된 이미지에 기초하여 관심 영역을 탐색하는 단계, 상기 관심 영역에서 상기 제2 카메라를 사용하여 제2 점멸 상태를 촬영함으로써 제2 점멸 상태 이미지를 획득하는 단계, 송신 노드와 상기 수신 노드 간의 채널 상태를 기초로 상기 제2 점멸 상태 이미지를 보정함으로써 보정된 이미지를 생성하는 단계 및 상기 보정된 이미지를 기초로 사용자 데이터를 획득하는 단계를 포함할 수 있다.A method of operating a reception node according to a first embodiment of the present invention is a region of interest based on the first blinking state image photographed by the first camera of the receiving node and the image photographed by the second camera of the receiving node. Searching for; obtaining a second blink state image by photographing a second blink state using the second camera in the region of interest; the second blink state based on a channel state between a transmitting node and the receiving node Generating a corrected image by correcting the image and acquiring user data based on the corrected image.
여기서, 상기 채널 상태는 상기 제2 점멸 상태 이미지에 반영된 흐림 현상 및 잡음을 지시할 수 있다.Here, the channel state may indicate a blurring phenomenon and noise reflected in the second blinking state image.
상기 보정된 이미지를 생성하는 단계에서; 상기 채널 상태는 아래의 수학식에 측정 되고,Generating the corrected image; The channel state is measured by the following equation,
여기에서 y는 상기 제2 카메라가 촬영한 제2 점멸 상태의 이미지 행렬이고 h는 흐림 현상을 반영하기 위한 행렬이며, x는 실제 제2 점멸 상태의 이미지 행렬이며, n은 AWGN(Additive White Gaussian Noise)의 영향을 나타낸 행렬일 수 있다.Here, y is an image matrix of the second blinking state photographed by the second camera, h is a matrix for reflecting a blur phenomenon, x is an image matrix of the second blinking state, and n is AWGN (Additive White Gaussian Noise). It may be a matrix showing the influence of
여기서, 상기 h 행렬을 통하여 흐림 파라미터를 추출하고, 상기 n 행렬을 통하여 잡음의 정규 분포를 추출하며, 상기 제2 카메라가 촬영한 제2 점멸 상태, 상기 추출된 흐림 파라미터 및 상기 잡음의 정규 분포를 이용하여 상기 보정된 이미지를 생성할 수 있다.Here, the blur parameter is extracted through the h matrix, the normal distribution of noise is extracted through the n matrix, and the second blinking state photographed by the second camera, the extracted blur parameter, and the normal distribution of the noise are extracted. The corrected image can be generated.
여기서, 상기 제2 점멸 상태 이미지를 보정하는 동작은 인공 신경망 디코딩 방식에 의해 수행되고, 상기 인공 신경망 디코딩 방식은 실제 제2 점멸 상태에 따른 위상 천이 값과 예측된 제2 점멸 상태에 따른 위상 값을 비교한 결과를 포함하는 학습 자료를 사용하여 수행되며, 상기 실제 제2 점멸 상태에 따른 위창 천이 값이 상기 예측된 제2 점멸 상태에 따른 위상 값과 다른 경우, 상기 인공 신경망 디코딩 방식을 위한 가중치 벡터를 조절할 수 있다.Here, the operation of correcting the second blinking state image is performed by an artificial neural network decoding method, and the artificial neural network decoding method uses a phase shift value according to the actual second blinking state and a phase value according to the predicted second blinking state. The weight vector for the artificial neural network decoding method is performed when the false shift value according to the actual second blink state is different from the phase value according to the predicted second blink state. Can be adjusted.
상기 목적을 달성하기 위한 본 발명의 제1 실시예에 따른 수신 노드는 환경 변수 및 잡음을 기초로 채널을 모델링 하고, 인공 신경망 디코더를 이용하여 제2 점멸 상태를 보정함으로써 신호의 복조 정확성을 향상시킬 수 있다.The receiving node according to the first embodiment of the present invention for achieving the above object is to model the channel based on the environmental variables and noise, and to improve the demodulation accuracy of the signal by correcting the second blinking state using an artificial neural network decoder Can be.
도 1은 통신 시스템의 제1 실시예를 도시한 개념도이다.
도 2는 통신 시스템을 구성하는 통신 노드의 제1 실시예를 도시한 블록도이다.
도 3은 통신 시스템에서 통신 노드에 포함된 송신 모듈의 제1 실시예를 도시한 블록도이다.
도 4는 통신 시스템에서 송신 모듈에 포함된 제2 송신 처리부의 제1 실시예를 도시한 블록도이다.
도 5는 통신 시스템에서 통신 노드에 포함된 제2 LED 어레이의 제1 실시예를 도시한 개념도이다.
도 6은 통신 시스템에서 통신 노드에 포함된 수신 모듈의 제1 실시예를 도시한 블록도이다.
도 7a 및 도 7b는 통신 시스템에서 흐림 현상을 설명하기 위한 개념도이다.
도 8은 통신 시스템에서 신호 보정부가 제2 점멸 상태를 보정하는 방법을 설명 하기 위한 개념도이다.
도 9는 통신 시스템에서 데이터의 송수신 방법의 제1 실시예를 도시한 순서도이다.
도 10은 통신 시스템에서, 수신 노드가 제2 LED 어레이의 점멸 상태를 보정하는 방법을 설명하기 위한 개념도이다.
도 11는 통신 시스템에서 제2 점멸 상태의 보정의 효과를 나타낸 그래프이다.1 is a conceptual diagram illustrating a first embodiment of a communication system.
2 is a block diagram showing a first embodiment of a communication node constituting a communication system.
3 is a block diagram illustrating a first embodiment of a transmission module included in a communication node in a communication system.
4 is a block diagram illustrating a first embodiment of a second transmission processor included in a transmission module in a communication system.
5 is a conceptual diagram illustrating a first embodiment of a second LED array included in a communication node in a communication system.
6 is a block diagram illustrating a first embodiment of a receiving module included in a communication node in a communication system.
7A and 7B are conceptual views illustrating a blurring phenomenon in a communication system.
8 is a conceptual view illustrating a method of correcting a second blinking state by a signal corrector in a communication system.
9 is a flowchart illustrating a first embodiment of a method of transmitting and receiving data in a communication system.
10 is a conceptual diagram illustrating a method of a receiving node correcting a blinking state of a second LED array in a communication system.
11 is a graph showing the effect of the correction of the second blinking state in the communication system.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.As the present invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term and / or includes a combination of a plurality of related items or any item of a plurality of related items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is said to be "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that another component may be present in the middle. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art, and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention. In the following description of the present invention, the same reference numerals are used for the same elements in the drawings and redundant descriptions of the same elements will be omitted.
본 발명에 따른 실시예들이 적용되는 통신 시스템(communication system)이 설명될 것이다. 본 발명에 따른 실시예들이 적용되는 통신 시스템은 아래 설명된 내용에 한정되지 않으며, 본 발명에 따른 실시예들은 다양한 통신 시스템에 적용될 수 있다. 여기서 통신 시스템은 통신 네트워크(network)와 동일한 의미로 사용될 수 있다.A communication system to which embodiments according to the present invention are applied will be described. The communication system to which the embodiments according to the present invention are applied is not limited to the contents described below, and the embodiments according to the present invention may be applied to various communication systems. Herein, the communication system may be used as the same meaning as the communication network.
도 1은 통신 시스템의 제1 실시예를 도시한 개념도이다.1 is a conceptual diagram illustrating a first embodiment of a communication system.
도 1을 참조하면, 통신 시스템은 복수의 통신 노드들(110, 120)을 포함할 수 있다. 복수의 통신 노드들(110, 120)은 IEEE(Institute of Electrical and Electronics Engineers) 802.15.7(예를 들어, IEEE 802.15.7m)에 규정된 통신 방식들을 사용하여 통신을 수행할 수 있다. 예를 들어 복수의 통신 노드들(110, 120) 각각은 LED(Light Emitting Diode) 및 카메라를 포함할 수 있고, LED를 점멸시킴으로써 신호를 전송할 수 있고, 카메라에 의해 촬영된 LED의 점멸 상태에 기초하여 신호를 획득할 수 있다. 복수의 통신 노드들(110, 120) 각각은 센서(sensor)노드, IoT(Internet of Things) 노드, 스마트폰(smart phone) 등일 수 있다. 복수의 통신 노드들(110, 120) 각각은 다음과 같은 구조를 가질 수 있다.Referring to FIG. 1, a communication system may include a plurality of
도 2는 통신 시스템을 구성하는 통신 노드의 제1 실시예를 도시한 블록도이다.2 is a block diagram showing a first embodiment of a communication node constituting a communication system.
도 2를 참조하면 통신 노드(200)는 프로세서(210), 메모리(220), 송신 모듈(230) 및 수신 모듈(240)을 포함할 수 있다. 또한, 통신 노드(200)는 저장 장치(250)등을 더 포함할 수 있다. 통신 노드(200)에 포함된 각각의 구성요소들은 버스(bus)에 의해 연결되어 서로 통신을 수행할 수 있다.Referring to FIG. 2, the
다만, 통신 노드(200)에 포함된 각각의 구성요소들은 공통 버스(260)가 아니라, 프로세서(210)를 중심으로 개별 인터페이스 또는 개별 버스를 통하여 연결될 수도 있다. 예를 들어, 프로세서(210)는 메모리(220), 송신 모듈(230), 수신 모듈(240) 및 저장 장치(250)중 적어도 하나와 전용 인터페이스를 통하여 연결될 수도 있다.However, each component included in the
프로세서(210)는 메모리(220) 및 저장 장치(250) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(210)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(220) 및 저장 장치(250) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(220)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.The
송신 모듈(230)은 LED 어레이(array)를 포함할 수 있으며, 프로세서(210)의 제어에 따라 동작할 수 있다. 수신 모듈(240)은 카메라를 포함할 수 있으며, 프로세서(210)의 제어에 따라 동작할 수 있다. 송신 모듈(230)은 다음과 같이 구성될 수 있다.The
도 3은 통신 시스템에서 통신 노드에 포함된 송신 모듈의 제1 실시예를 도시한 블록도이다.3 is a block diagram illustrating a first embodiment of a transmission module included in a communication node in a communication system.
도 3을 참조하면, 송신 모듈(300)은 제1 송신 처리부(310), 제2 송신 처리부(320), 디밍(dimming) 제어부(330), 제1 LED 어레이(340) 및 제2 LED 어레이(350)를 포함할 수 있다. 제1 송신 처리부(310)는 제1 변조 방식(예를 들어, S2-PSK))을 사용하여 입력 신호를 처리할 수 있고, 제2 송신 처리부(320)는 제2 변조 방식(예를 들어, DS8-PSK(Dimmable Spatial 8-Phase Shift Keying) 또는 8-PSK(8-Phase Shift Keying))을 사용하여 입력 신호를 처리할 수 있다. 제1 변조 방식에 따른 신호 전송률은 제2 변조 방식에 따른 신호 전송률 보다 낮을 수 있다.Referring to FIG. 3, the
제1 송신 처리부(310)의 입력 신호는 제어 정보(예를 들어, 중요 정보)를 포함할 수 있다. 예를 들어 제어 정보는 통신 노드의 ID(identifier), 제2 변조 방식에 따른 전송을 위해 필요한 전송 파라미터들 등을 포함할 수 있다. 제2 송신 처리부(320)의 입력 신호는 사용자 데이터(예를 들어, 데이터 신호)일 수 있다.The input signal of the
제1 송신 처리부(310)는 저속 변조부를 포함할 수 있다. 즉 제1 송신 처리부(310)는 제1 변조 방식을 사용하여 입력 신호를 변조할 수 있고, 변조된 입력 신호를 디밍 제어부(330)에 전송할 수 있다.The
제2 송신 처리부(320)의 구성은 다음과 같을 수 있다.The configuration of the
도 4는 통신 시스템에서 송신 모듈에 포함된 제2 송신 처리부의 제1 실시예를 도시한 블록도이다.4 is a block diagram illustrating a first embodiment of a second transmission processor included in a transmission module in a communication system.
도 4를 참조하면, 제2 송신 처리부(400)는 인코더(410) 및 변조기(420)를 포함할 수 있다. 인코더(410)는 입력 신호에 대한 인코딩을 수행할 수 있고, 인코딩된 신호를 출력할 수 있다. 변조기(420)는 제2 변조 방식(예를 들어, DS8-PSK 또는 8-PSK)에 따라서 인코더(410)로부터 입력된 신호에 대한 변조를 수행할 수 있다. Referring to FIG. 4, the
즉, 변조기(420)는 표1에 따라 입력 신호를 전역 위상 천이 신호로 변환할 수 있다. 변환 결과 획득된 각각의 전역 위상 천이 신호는 각각의 데이터 신호의 그룹 ID를 지시할 수 있다. That is, the
(입력)3 bit data
(input)
1로 설정된 전역 위상 천이 값은 위상이 45°만큼 천이되는 것을 지시할 수 있고, 2로 설정된 전역 위상 천이 값은 위상이 90°만큼 천이되는 것을 지시할 수 있고, 3으로 설정된 전역 위상 천이 값은 위상이 135°만큼 천이되는 것을 지시할 수 있다. 4로 설정된 전역 위상 천이 값은 위상이 180°만큼 천이되는 것을 지시할 수 있고, 5로 설정된 전역 위상 천이 값은 위상이 225°만큼 천이되는 것을 지시할 수 있고, 6으로 설정된 전역 위상 천이 값은 위상이 270°만큼 천이되는 것을 지시할 수 있고, 7로 설정된 전역 위상 천이 값은 위상이 315°만큼 천이되는 것을 지시할 수 있다. 표 1에서 3-비트 데이터는 송신 노드에 포함된 제2 송신 처리부의 출력 값일 수 있다. 예를 들어, 제2 송신 처리부의 출력 값이 "010"인 경우, 이에 대응하는 전역 위상 천이 값은 2일 수 있다. 또한, 표 1에 기재된 위상 매핑 테이블은 수신 노드에서 전역 위상 천이 값에 대응하는 3-비트 데이터를 획득하기 위해 사용될 수 있다. 변조기(420)는 전역 위상 천이 신호를 디밍 제어부(330)에 전송할 수 있다.다시 도 3을 참조하면, 디밍 제어부(330)는 변조부(420)로부터 위상 천이 신호를 수신할 수 있다. 디밍 제어부(330)는 아래 표 2 내지 표 8와 같이 미리 설정된 디밍 테이블 및 디밍 레벨(예를 들어, 1/(예를 들어, 1/8, 2/8, 3/8, 4/8, 5/8, 6/8, 7/8)에 따라 동작할 수 있다.A global phase shift value set to 1 may indicate that the phase is shifted by 45 °, a global phase shift value set to 2 may indicate that the phase is shifted by 90 °, and a global phase shift value set to 3 is It can indicate that the phase is shifted by 135 degrees. A global phase shift value set to 4 may indicate that the phase is shifted by 180 °, a global phase shift value set to 5 may indicate that the phase is shifted by 225 °, and a global phase shift value set to 6 The phase may indicate that the phase is shifted by 270 °, and the global phase shift value set to 7 may indicate that the phase is shifted by 315 °. In Table 1, 3-bit data may be an output value of a second transmission processor included in a transmission node. For example, when the output value of the second transmission processor is "010", the global phase shift value corresponding thereto may be two. In addition, the phase mapping table described in Table 1 may be used to obtain 3-bit data corresponding to the global phase shift value at the receiving node. The
즉 디밍 제어부(330)는 변조부(420)로부터 수신한 전역 위상 천이 신호에 따라 제 2 LED 에러이(350)를 점멸 할 수 있다. 예를 들어, 디밍 3/8은 LED 그룹에 속한 8개의 LED 중에서 3개의 LED들이 특정 시점에서 온(on) 상태인 것을 의미할 수 있다. 즉, 수신한 전역 위상 천이 신호에 의해 디밍 값이 1110 0000 인 경우, LED 그룹에 속한 첫 번째, 두 번째, 및 세 번째 LED들은 점멸 시킬 수 있고 나머지 5개의 LED들은 오프(off) 상태로 점멸 시키지 않을 수 있다.That is, the dimming
여기서 제2 LED 어레이(350)는 다음과 같이 구성될 수 있다.Here, the
도 5는 통신 시스템에서 통신 노드에 포함된 제2 LED 어레이의 제1 실시예를 도시한 개념도이다.5 is a conceptual diagram illustrating a first embodiment of a second LED array included in a communication node in a communication system.
도 5를 참조하면, 제2 LED 어레이(500)는 복수의 LED 그룹을 포함할 수 있으며, LED 그룹은 기준(reference) LED 그룹(511) 및 데이터 LED 그룹(521, 522, 523, 524, 525, 526, 527)으로 분류될 수 있다. 즉, 제2 LED 어레이(500)는 하나의 기준 LED 그룹(511) 및 복수의 데이터 LED 그룹들(521, 522, 523, 524, 525, 526, 527)을 포함할 수 있다. 여기에서 기준 LED 그룹(511)은 기준 신호가 전송되는 LED 그룹일 수 있고, 복수의 데이터 LED 그룹들(521, 522, 523, 524, 525, 526, 527)은 사용자 데이터 신호가 전송되는 LED 그룹일 수 있다.Referring to FIG. 5, the
복수의 LED 그룹들(500, 521, 522, 523, 524, 525, 526, 527) 각각은 K개의 LED들을 포함할 수 있다. K는 자연수일 수 있다. 예를 들어, K는 8일 수 있다. LED 그룹에서 LED들은 A×B 형태로 배치될 수 있다. A는 LED 그룹에서 행의 개수를 지시할 수 있고, B는 LED 그룹에서 열의 개수를 지시할 수 있다. 예를 들어, LED 그룹에서 LED들은 1×8, 2×4, 4×2 또는 8×1 형태로 배치될 수 있다.Each of the plurality of
한편 도 2에 도시된 통신 노드(200)에 포함된 수신 모듈(240)은 다음과 같이 구성될 수 있다.Meanwhile, the receiving
도 6은 통신 시스템에서 통신 노드에 포함된 수신 모듈의 제1 실시예를 도시한 블록도이다.6 is a block diagram illustrating a first embodiment of a receiving module included in a communication node in a communication system.
도 6을 참조하면, 수신 모듈(600)은 제1 카메라(610), 제 2 카메라(620), 관심 영역(RoI: Region of interest) 업데이트 유닛(630), 제1 수신 처리부(640) 신호 보정부(650) 및 제2 수신 처리부(660)를 포함할 수 있다. 제1 카메라(610)는 상대적으로 낮은 프레임 속도를 가지는 이미지를 촬영하기 위해서 사용될 수 있다. 제1 카메라(610)는 도 3에 도시된 송신 모듈(300)에 포함된 제1 LED 어레이(340)에 의해 발생하는 이미지를 촬영할 수 있다. 즉 제1 카메라(610)는 저속 데이터 신호를 수신할 수 있고, 저속 데이터 신호를 통해 제2 카메라(620)의 관심 영역을 감지할 수 있다.Referring to FIG. 6, the
관심 영역 업데이트 유닛(630)은 제1 카메라(610)에 의해 촬영된 이미지에 기초하여 관심 영역을 감지하고, 그 결과에 기초하여 제2 카메라(620)을 활성화 시킬 수 있다. 제2 카메라(620)가 활성화 되는 경우, 도 1에 도시된 송신 노드(110)와 수신 노드(120)간의 통신 링크가 활성화될 수 있다.The
제2 카메라(620)는 상대적으로 높은 프레임 속도를 가지는 이미지를 촬영하기 위해 사용될 수 있으며, 도 3에 도시된 송신 모듈(300)에 포함되는 제2 LED 어레이(350)에 의해 발생하는 이미지(예를 들어 도 5에 도시된 제2 LED 어레이(500)에 의해 발생하는 이미지)를 촬영할 수 있다.The
한편, 관심 영역 업데이트 유닛(630)에 의해 설정된 관심 영역은 도 3의 송신 모듈(300)과 도 6의 수신 모듈(600)이 이동하면 함께 이동할 수 있다. 이에 따라 제2 카메라(620)는 이동하기 전 관심 영역을 촬영할 수 있다.Meanwhile, the ROI set by the
이를 방지하기 위하여, 제1 카메라(610)가 관심 영역 업데이트 유닛(630)과 별개로 관심 영역을 감지하고 추적할 수 있다(multiple-RoI 방식). 제1 카메라(610)는 관심 영역의 감지 및 추적을 위해 딥-러닝(deep-learning)을 수행할 수 있다. 즉 제1 카메라(610)는 도 3의 송신 모듈(300)과 도 6의 수신 모듈(600)의 이동에 따른 관심 영역의 이동을 알기 위해 딥-러닝을 수행할 수 있고, 제2 카메라(620)에 관심 영역을 업데이트 할 수 있다. 즉 제1 카메라(610)는 관심 영역 업데이트 유닛(630)으로부터 관심 영역에 대한 정보를 수신할 수 있고, 이를 기초로 데이터를 축적하는 방식으로 딥-러닝을 수행할 수 있다. 즉 관심 영역의 감지는 제1 카메라(610)에 의해 쵤영된 제1 점멸 상태 및 제2 카메라에 의해 촬영된 영상에 기초하여 탐색될 수 있다.To prevent this, the
따라서 제1 카메라(610)와 관심 영역 업데이트 유닛(630)이 관심 영역을 함께 감지함으로써, 관심 영역 감지의 정확도가 향상될 수 있다.Therefore, since the
제1 수신 처리부(640)는 제1 카메라(610)에 의해 촬영된 이미지로부터 제어 정보를 획득할 수 있다. 이 경우, 제1 수신 처리부(640)는 제 1 변조 방식(예를 들어 S2-PSK)에 대응하는 복조 방식에 따라 제어 정보를 획득할 수 있다. 제1 수신 처리부(840)는 저속 복조부를 포함할 수 있다.The
신호 보정부(650)는 제2 카메라(620)로부터 제2 LED 어레이의 점멸 상태 이미지를 수신할 수 있다. 신호 보정부(650)는 제2 LED 어레이의 점멸 상태 이미지를 기초로 이미지 행렬을 추출할 수 있다. 신호 보정부(650)는 제2 카메라(620)가 촬영한 이미지를 그레이 스케일 형식으로 변환하여 이미지 행렬을 추출할 수 있다. 신호 보정부(650)는 채널 상태를 측정할 수 있고 측정된 채널 상태를 기초로 제2 LED 어레이의 점멸 상태가 보정된 이미지를 획득할 수 있다. 채널 상태는 제2 점멸 상태 이미지에 반영된 잡음 및 흐림 현상을 지시할 수 있다. 잡음은 AWGN((Additive White Gaussian Noise)일 수 있다. AWGN은 백색 소음이나 열잡음과 같이 LED의 점멸 상태에 영향을 부가하는 잡음일 수 있다. 흐림 현상은 원래의 제2 점멸 상태가 외부적인 요인(예를 들면 날씨, 송신 노드와 수신 노드의 이동 등)에 의하여 오염되는 현상일 수 있다. 이러한 흐림 현상은 각각의 LED 들의 가장 자리에서 발생할 수 있고, 이에 의해 복수개의 LED 그룹들(예를 들어 도 5의 복수의 LED 그룹들(510, 521, 522, 523, 524, 525, 526, 527)) 가운데 실제로 점멸하는 LED 그룹이 아닌 다른 LED 그룹이 점멸하는 것처럼 보일 수 있다.The
도 7a 및 도 7b은 통신 시스템에서 흐림 현상을 설명하기 위한 개념도이다.도 7a를 참조하면, 가로축의 크기가 200mm이고 세로축의 크기가 100mm인 이미지 영역(710)에서 가로축이 50mm이고 세로축이 50mm인 8개의 LED 그룹들(711-1 내지 711-8) 및 가로축이 40mm이고 세로축이 40mm인 8개의 블러 커널(blur kernel, 712-1 내지 712-8)들을 포함할 수 있다. 도 7 (b)는 가로축의 크기가 200mm이고 세로축의 크기가 100mm인 이미지 영역(720)에서 가로축이 50mm이고 세로축이 50mm인 8개의 LED 그룹들(721-1 내지 721-8)에서 가로축이 60mm이고 세로축이 60mm인 3개의 블러 커널들(722-1 내지 722-3)을 포함할 수 있다.7A and 7B are conceptual views illustrating a blur phenomenon in a communication system. Referring to FIG. 7A, in an
여기에서 블러 커널은 실제 LED가 점멸하는 영역과 달리, LED의 점멸 상태에 흐림 현상이 발생하여 실제 LED가 점멸하는 영역과 다르게 LED가 점멸하는 것처럼 보이는 영역일 수 있다.Here, the blur kernel may be an area where the LED appears to blink differently from the area where the LED blinks because a blur occurs in the blinking state of the LED, unlike the area where the LED blinks.
도 7a와 같이, LED 그룹들(711-1 내지 711-8)의 크기보다 블러 커널들(712-1 내지 712-8)의 크기가 작은 경우에는, LED 그룹(예를 들어 711-1)의 점멸 상태에 흐림 현상이 발생하더라도 블러 커널들((712-1 내지 712-8))이 LED 그룹들 내부에 존재하여 다른 LED 그룹들(예를 들어 711-2 내지 711-8)이 점멸하는 것처럼 보이지 않을 수 있다.As shown in FIG. 7A, when the blur kernels 712-1 to 712-8 are smaller in size than the LED groups 711-1 to 711-8, the LED group (eg, 711-1) Although blurring occurs in the blinking state, the blur kernels 712-1 to 712-8 exist inside the LED groups, such that other LED groups (for example, 711-2 to 711-8) flash. It may not be visible.
반면, 도 7b를 참조하면, LED들(721-1 내지 721-8)의 크기보다 블러 커널(722-1 내지 722-3)의 크기가 큰 경우에는, LED 그룹(예를 들어 721-1)의 점멸 상태에 흐림 현상이 발생하면 블러 커널(예를 들어, 722-1)이 LED 그룹(예를 들어 821-1)의 크기보다 크고 이로 인해 다른 LED 그룹(712-2)까지 빛 번짐이 발생하여, 다른 LED 그룹(예를 들어 721-2)이 점멸하는 것처럼 보일 수 있다.On the other hand, referring to FIG. 7B, when the size of the blur kernels 722-1 to 722-3 is larger than that of the LEDs 721-1 to 721-8, the LED group (for example, 721-1) is larger. If the blur condition occurs, the blur kernel (eg 722-1) is larger than the size of the LED group (eg 821-1) and this causes light bleeding to other LED groups 712-2. Thus, another group of LEDs (eg 721-2) may appear to blink.
즉 도 7 b의 경우, 흐림 현상에 의해 실제 점멸하는 LED 그룹(예를 들어 812-1)과 제2 카메라(620, 도 6 참조)가 촬영하는 이미지에서의 점멸하는 LED그룹(예를 들어 712-2)이 달라질 수 있다.That is, in the case of FIG. 7B, the LED group (for example, 812-1) and the LED group (for example, 712) blinking in the image photographed by the second camera 620 (see FIG. 6) actually blinking due to the blurring phenomenon. -2) may vary.
한편, 다시 도 6을 참조하면, 신호 보정부(650)는 수학식 1에 의하여 채널 상태를 측정할 수 있다.Meanwhile, referring back to FIG. 6, the
x는 제2 LED(예를 들어 도 3 의 제2 LED 어레이(350))의 실제 점멸 상태를 나타낸 이미지 행렬이고 y는 제2 카메라(620)가 촬영한 제2 LED 어레이의 점멸 상태를 나타낸 이미지 행렬이며 h는 흐림 현상의 영향을 나타낸 행렬이고 n은 AWGN의 영향을 나타낸 행렬일 수 있다. 여기에서 제2 LED 어레이의 실제 점멸 상태는 이미 알고 있는 값이며, 잡음을 나타내는 n 행렬은 미리 설정된 값일 수 있다. 즉, 신호 보정부(650)는 수학식 1에 의해서 흐림 현상 영향을 나타낸 h 행렬을 연산할 수 있다. 신호 보정부(650)는 h 행렬을 통하여 흐림 현상의 영향을 나타내는 흐림 파라미터를 추출할 수 있고, 미리 설정된 n 행렬을 통해서 잡음의 정규 분포를 추출할 수 있다. 여기에서 잡음의 정규 분포는 가우시안(Gaussian) 정규 분포를 따를 수 있다.x is an image matrix showing the actual blinking state of the second LED (for example, the
신호 보정부(650)는 제2 카메라가 촬영한 점멸 상태, 흐림 파라미터 및 잡음의 정규 분포을 기초로 딥-러닝을 수행할 수 있다. 신호 보정부(650)는 딥-러닝 수행 결과에 기초하여 제2 LED 어레이의 점멸 상태를 보정할 수 있다.The
도 8은 통신 시스템에서 신호 보정부가 제2 점멸 상태를 보정하는 방법을 설명 하기 위한 개념도이다.8 is a conceptual view illustrating a method of correcting a second blinking state by a signal corrector in a communication system.
도 8을 참조하면 신호 보정부(650, (도6 참조))는 인공 신경망 디코더(artificial neural network decoder, 810)를 포함할 수 있다. 인공 신경망 디코더(810)는 복수개의 계층(layer)를 포함할 수 있으며, 각각의 계층들은 복수개의 인공 노드(artificial node)들을 포함할 수 있다. 인공 신경망은 복수의 적응적 가중 벡터(adaptive weight vector)들을 포함할 수 있으며, 인공 신경망의 각각의 계층들에 포함된 인공 노드들은 가중 벡터에 의해 연결될 수 있다. 인공 신경망은 미리 설정된 파라미터에 따라 복수개의 계층들 및 인공 노드들을 포함할 수 있다.Referring to FIG. 8, the signal corrector 650 (see FIG. 6) may include an artificial
표 9를 참조하면, 인공 신경망 디코더(810)은 4개의 계층을 포함할 수 있으며, 구체적으로 입력 계층(input layer), 출력 계층(output layer) 및 히든 계층(hidden layer)를 포함할 수 있다.Referring to Table 9, the artificial
인공 신경망 디코더(810)는 딥-러닝을 수행하여 제2 LED 어레이의 점멸 상태를 보정할 수 있다. 인공 신경망 디코더(810)의 입력 계층에는 12개의 인공 노드들이 포함될 수 있으며, 각각의 인공 노드에는 제2 카메라(620, 도6 참조)가 촬영한 제2 점멸 상태 이미지(820), 신호 보정부(650, 도6 참조)가 추출한 흐림 파라미터(830) 및 잡음 정규 분포(840)가 입력될 수 있다. 인공 신경망 디코더(810)는 제2 LED 어레이의 점멸 상태 이미지(820), 흐림 파라미터(830) 및 잡음 정규 분포(840)를 이용하여 실제 제2 LED 어레이의 점멸 상태를 예측할 수 있고, 예측된 점멸 상태의 위상 천이 값을 결정할 수 있다.The artificial
인공 신경망 디코더(810)는 제2 LED 어레이의 예측된 점멸 상태의 위상 천이 값과 실제 제2 LED 어레이의 점멸 상태의 위상 천이 값을 비교하는 방식으로 딥-러닝을 수행할 수 있다.The artificial
이를 상세히 설명하면, 인공 신경망 디코더(810)는 예측된 제2 LED 어레이의 위상 천이 값과 실제 제2 LED 어레이의 점멸 상태의 위상 천이 값이 다르면 오류가 발생한 것으로 판단할 수 있다. 인공 신경망 디코더(810)가 오류가 발생한 것으로 판단하면, 인공 신경망 디코더(810)에 포함된 가중치 벡터의 가중치를 조정하여 오류를 수정하는 방식으로 딥-러닝을 수행할 수 있다.In detail, the artificial
예를 들어, 송신 모듈(300, 도 3 참조)에서 입력 신호가 DS8-PSK 방식에 의해 변조된 경우, 인공 신경망 디코더(810)는 표 10의 파라미터들에 기초하여 가중 벡터를 조정할 수 있다.For example, when the input signal is modulated by the DS8-PSK scheme in the transmission module 300 (see FIG. 3), the artificial
다층 퍼셉트론(multi-layer perceptron) 분류기는 미리 설정된 최적화 알고리즘을 통해 인공 신경망 디코더(810)의 계층간의 가중 벡터들을 수정할 수 있다. 최적화 알고리즘은 경사 하강법 등을 포함할 수 있으며, 표 10을 참조하면 아담 최적화(adam-optimizer) 알고리즘을 더 포함할 수 있다. 수신 노드(120)의 다층 퍼셉트론 분류기는 미리 설정된 이폭(epoch)의 수만큼 학습 동작을 반복하여 수행할 수 있다. 예를 들어 표 10에 따른 다층 퍼셉트론 분류기는 1초에 1000회의 학습 동작을 반복하여 수행할 수 있다.The multi-layer perceptron classifier may modify weight vectors between layers of the artificial
한편, 인공 신경망 디코더(810)가 예측된 제2 LED 점멸 상태의 위상 천이 값과 실제 제2 LED 어레이 점멸 상태의 위상 천이 값이 같아 오류가 발생하지 않은 것으로 판단하면 가중 벡터를 조정하지 않을 수 있다.Meanwhile, if the artificial
인공 신경망 디코더(810)는 딥-러닝 결과에 기초하여 보정된 제2 LED 어레이의 점멸 상태 이미지를 획득할 수 있다. 인공 신경망 디코더(810)는 보정된 제2 LED 어레이의 점멸 상태 이미지를 기초로 보정된 제2 LED 어레이의 점멸 상태의 위상 천이 값을 획득하여 제2 수신 처리부(660, 도 6 참조)에 전송할 수 있다.The artificial
다시 도 6을 참조하면, 제2 수신 처리부(660)는 신호 보정부(650)로부터 보정된 제2 점멸 상태의 위상 천이 값을 수신할 수 있다. 제2 수신 처리부(660)는 보정된 제2 점멸 상태의 위상 천이 값을 기초로 사용자 데이터를 획득할 수 있다.Referring back to FIG. 6, the
즉 제2 수신 처리부(660)는 표 1을 기초로 보정된 제2 점멸 상태의 위상 천이 값에 대응하는 3-비트 데이터를 추출함으로써 사용자 데이터를 획득할 수 있다.That is, the
다음으로, 통신 시스템에서 데이터의 송수신 방법들이 설명될 것이다. 통신 노드들 중에서 송신 노드에서 수행되는 방법(예를 들어, 신호의 전송 또는 수신)이 설명되는 경우에도 이에 대응하는 수신 노드는 송신 노드에서 수행되는 방법과 상응하는 방법(예를 들어, 신호의 수신 또는 전송)을 수행할 수 있다. 즉, 단말의 동작이 설명된 경우에 이에 대응하는 기지국은 단말의 동작과 상응하는 동작을 수행할 수 있다. 반대로, 기지국의 동작이 설명된 경우에 이에 대응하는 단말은 기지국의 동작과 상응하는 동작을 수행할 수 있다.Next, methods of transmitting and receiving data in a communication system will be described. Even when a method (for example, transmission or reception of a signal) is performed among the communication nodes is described, the corresponding receiving node corresponds to a method (for example, reception of a signal) corresponding to the method performed at the transmission node. Or transfer). That is, when the operation of the terminal has been described, the base station corresponding thereto may perform an operation corresponding to the operation of the terminal. On the contrary, when the operation of the base station is described, the terminal corresponding thereto may perform an operation corresponding to the operation of the base station.
도 9는 통신 시스템에서 데이터의 송수신 방법의 제1 실시예를 도시한 순서도이다.9 is a flowchart illustrating a first embodiment of a method of transmitting and receiving data in a communication system.
도 9를 참조하면 통신 시스템은 송신 노드 및 수신 노드를 포함할 수 있다. 송신 노드는 도 1 에 도시된 송신 노드(110)일 수 있고, 수신 노드는 도 1에 도시된 수신 노드(120)일 수 있다. 송신 노드 및 수신 노드 각각은 도 2에 도시된 통신 노드(200)와 동일 또는 유사하게 구성될 수 있다.Referring to FIG. 9, the communication system may include a transmitting node and a receiving node. The transmitting node may be the transmitting
송신 노드 및 수신 노드 각각에 포함된 송신 모듈은 도 3, 내지 도 5에 도시된 실시예들과 동일 또는 유사하게 구성될 수 있다. 송신 노드 및 수신 노드 각각에 포함된 수신 모듈은 도 6 내지 도 8에 도시된 실시예들과 동일 또는 유사하게 구성될 수 있다.The transmitting module included in each of the transmitting node and the receiving node may be configured identically or similarly to the embodiments shown in FIGS. 3 and 5. The receiving module included in each of the transmitting node and the receiving node may be configured identically or similarly to the embodiments illustrated in FIGS. 6 to 8.
통신 링크 설정 절차에서, 송신 노드는 제어 정보를 포함하는 패킷을 생성할 수 있다(S910), 제어 정보를 포함하는 패킷은 송신 노드에 포함된 제1 송신 처리부에 의해 생성될 수 있다. 여기에서 제어 정보는 아래 표 11에 기재된 정보 요소들(element)중에서 하나 이상의 정보 요소들을 포함할 수 있다.In the communication link establishment procedure, the transmitting node may generate a packet including control information (S910), and the packet including the control information may be generated by the first transmission processor included in the transmitting node. Here, the control information may include one or more information elements among the information elements described in Table 11 below.
ID는 송신 노드의 ID를 지시할 수 있다. 또한, ID는 송신 노드의 ID뿐만 아니라 제어 정보를 포함하는 패킷의 수신 대상인 수신 노드의 ID를 지시할 수 있다. 하이브리드 변조 지시자는 1로 설정될 수 있다. 위상 매핑 테이블은 도 1과 같이 설정될 수 있다.The ID may indicate the ID of the transmitting node. In addition, the ID may indicate the ID of the receiving node which is the reception target of the packet including the control information as well as the ID of the transmitting node. The hybrid modulation indicator can be set to one. The phase mapping table may be set as shown in FIG. 1.
디밍 레벨은 7개로 분류될 수 있다(표 2 내지 표 8 참조). 예를 들어, 디밍 레벨은 디밍 1/8, 디밍 2/8, 디밍 3/8, 디밍 4/8, 디밍 5/8, 디밍 6/8, 및 디밍 7/8으로 분류될 수 있다. 예를 들어, 디밍 4/8은 LED 그룹에 속한 8개의 LED 중에서 3개의 LED들이 특정 시점에서 온(on) 상태인 것을 의미할 수 있다. 즉, 디밍 값이 "1111 0000"인 경우, LED 그룹에 속한 첫 번째, 두 번째, 세 번째 및 네 번째 LED들은 온 상태일 수 있고, 나머지 4의 LED들은 오프(off) 상태일 수 있다.Dimming levels can be classified into seven (see Tables 2-8). For example, the dimming level may be classified into dimming 1/8, dimming 2/8, dimming 3/8, dimming 4/8, dimming 5/8, dimming 6/8, and dimming 7/8. For example, dimming 4/8 may mean that three of the eight LEDs belonging to the LED group are on at a specific time. That is, when the dimming value is "1111 0000", the first, second, third and fourth LEDs belonging to the LED group may be on, and the remaining four LEDs may be off.
제 1 통신 노드는 제어 정보를 포함하는 패킷을 수신 노드에 전송할 수 있다. 이경우 송신 노드에 포함된 제1 LED 어레이(예를 들어 도 3에 된 제1 LED 어레이(340))가 점멸됨으로써 제어 정보를 포함하는 패킷이 전송될 수 있다(S920).The first communication node may transmit a packet including control information to the receiving node. In this case, the first LED array (for example, the
한편 수신 노드는 제1 카메라(예를 들어, 도 6의 제1 카메라(610))를 사용하여 이미지(예를 들어 제1 LED 어레의 점멸 상태)를 촬영할 수 있다. 수신 노드는 촬영된 이미지로부터 정보 또는 데이터를 획득할 수 있다. 여기서 수신 노드에서 획득한 제어 정보는 송신 노드로부터 전송된 패킷에 포함된 제어 정보일 수 있고, 표 11에 기재된 하나 이상의 정보 요소들을 포함할 수 있다.Meanwhile, the receiving node may capture an image (for example, a blinking state of the first LED array) using the first camera (eg, the
수신 노드는 제어 정보에 기초하여, 송신 노드와의 통신의 수행 여부를 결정할 수 있다. 즉 수신 노드는 관심 영역 업데이트 유닛(예를 들어 도 8의 관심 영역 업데이트 유닛(630)를 사용하여 관심 영역을 감지하고, 그 결과에 기초하여 제2 카메라(예를 들어 도 6의 제2 카메라(620))를 활성화시킬 수 있다. The receiving node may determine whether to perform communication with the transmitting node based on the control information. That is, the receiving node detects the ROI using the ROI update unit (for example, the
한편 관심 영역 업데이트 유닛(예를 들어 도 6의 관심 영역 업데이트 유닛(630))의 관심 영역의 감지와 별개로 제1 카메라의 제어부도 제1 점멸 상태 및 제2 카메라가 촬영한 이미지를 기초로 관심 영역을 감지하고 업데이트 할 수 있다. 제1 카메라의 제어부는 관심 영역의 감지를 위하여 딥-러닝을 수행할 수 있다.Meanwhile, apart from the detection of the ROI of the ROI update unit (for example, the
즉. 제1 카메라의 제어부는 송신 노드와 수신 노드 사이의 거리 차이 발생에 따른, 관심 영역의 이동에 의한 오류를 방지하기 위하여 미리 탐지된 관심 영역을 기초로 딥-러닝을 수행할 수 있다. 제어부는 딥-러닝 수행 결과에 따라 수신 노드와 송신 노드의 거리 변화에 따른 변화된 관심 영역을 감지하여 업데이트 할 수 있다. 제1카메라의 제어부가 관심 영역 업데이트 유닛(830)과 동시에 관심 영역을 탐지하고 업데이트 함으로써 관심 영역 감지의 오류가 감소될 수 있다. In other words. The controller of the first camera may perform deep learning based on a region of interest previously detected in order to prevent an error due to movement of the region of interest according to a distance difference between a transmitting node and a receiving node. The controller may detect and update the changed ROI according to the change of the distance between the receiving node and the transmitting node according to the deep-learning result. By detecting and updating the ROI simultaneously with the
제2 카메라가 활성화되면 송신 노드와 수신 노드간의 통신 링크가 설정될 수 있다(S930). 이경우 수신 노드는 수신 노드의 ID 및 캐퍼빌러티(capability) 정보(예를 들어, 표 14에 기재된 정보 요소)를 포함한 응답 패킷을 송신 노드에 전송할 수 있다.When the second camera is activated, a communication link between a transmitting node and a receiving node may be established (S930). In this case, the receiving node may send a response packet including the receiving node's ID and capability information (for example, information elements described in Table 14) to the transmitting node.
응답 패킷은 수신 노드에 포함된 제1 송신 처리부 또는 제2 송신 처리부에 의해 송신 노드에 전송될 수 있다. 즉 응답 패킷은 S8-PSK 방식 또는 DS8-PSK 방식으로 전송될 수 있다. 수신 노드는 송신 노드의 제2 LED 어레이의 점멸 상태를 촬영하기 위한 동작을 수행할 수 있다.The response packet may be transmitted to the transmitting node by the first transmitting processor or the second transmitting processor included in the receiving node. That is, the response packet may be transmitted in the S8-PSK method or the DS8-PSK method. The receiving node may perform an operation for photographing a blinking state of the second LED array of the transmitting node.
송신 노드와 수신 노드간의 통신 링크의 설정이 완료되면, 송신 노드는 사용자 데이터를 생성할 수 있다(S940), 사용자 데이터는 송신 노드의 제2 송신 처리부(예를 들어, 도 3에 도시된 제2 송신 처리부(320))에 의해 생성될 수 있다.When the setting of the communication link between the transmitting node and the receiving node is completed, the transmitting node may generate user data (S940). The user data may be a second transmission processing unit (for example, the second illustrated in FIG. It may be generated by the
즉, 제2 송신 처리부의 변조기(예를 들어 도 4의 변조기(420)는 입력 신호를 수신하고 신호의 변조 방식(예를 들어 8-PSK, DS8-PSK)에 따라 입력 신호를 변조할 수 있다. 입력 신호의 변조에 의해 전역 위상 천이 값이 결정될 수 있다.That is, the modulator (for example, the
3-비트 신호에 매핑되는 전역 위상 천이 값이 결정되면, 송신 노드는 전역 위상 천이 값 및 디밍 레벨(1/8, 2/8, 3/8, 4/8, 5/8, 6/8, 7/8)에 기초하여 출력(예를 들어, 도 3에 도시된 디밍 제어부(330)의 출력)을 결정할 수 있다. 전역 위상 천이 값은 도 5에 도시된 기준 LED 그룹(511)에 의해 전송되는 3-비트 데이터의 로컬 위상 천이 값과 도 5에 도시된 데이터 LED 그룹들(521 내지 527)가운데 하나의 데이터 LED 그룹에 의해 전송되는 3-비트 신호의 로컬 위상 천이 값의 차이일 수 있다. 즉 데이터 LED 그룹에 의해 출력되는 신호의 위상은 기준 LED 그룹에 의해 출력되는 신호의 위상을 기준으로 천이될 수 있다.Once the global phase shift value that is mapped to the 3-bit signal is determined, the transmitting node determines the global phase shift value and the dimming levels (1/8, 2/8, 3/8, 4/8, 5/8, 6/8, The output (for example, the output of the dimming
예를 들어, 디밍레벨이 3/8이고, 전역 위상 천이 값이 2인 경우, 송신 노드의 기준 LED 그룹(511)에 속한 8개의 LED들 중에서 3개의 LED들이 특정 시점에 온(on) 상태로 동작할 수 있고, 송신 노드의 데이터 LED 그룹에 속한 8개의 LED들 중에서 3개의 LED들이 특정 시점에 온 상태로 동작할 수 있고, 송신 노드의 기준 LED 그룹(511)을 통해 전송되는 3-비트 신호의 로컬 위상 천이 값과 송신 노드의 하나의 데이터 LED 그룹을 통해 전송되는 3-비트 신호의 로컬 위상 천이 값 간의 차이는 2일 수 있다.For example, when the dimming level is 3/8 and the global phase shift value is 2, three of the eight LEDs belonging to the
한편, 송신 노드에서 사용되는 디밍 패턴은 미리 설정될 수 있고, 디밍 패턴은 송신 노드와 수신 노드 간에 공유될 수 있다. 예를 들어, 디밍 패턴은 "3/8 → 1/8 → 2/8 → 4/8"로 설정될 수 있으며, 이 경우에 패킷 #n에 속한 사용자 데이터(예를 들어, 페이로드)는 디밍 3/8에 기초하여 전송될 수 있고, 패킷 #n+1에 속한 사용자 데이터는 디밍 1/8에 기초하여 전송될 수 있고, 패킷 #n+2에 속한 사용자 데이터는 디밍 2/8에 기초하여 전송될 수 있고, 패킷 #n+3에 속한 사용자 데이터는 디밍 4/8에 기초하여 전송될 수 있다. 여기서, n은 0 이상의 정수일 수 있고, 디밍 패턴은 패킷 별로 설정될 수 있다.Meanwhile, the dimming pattern used at the transmitting node may be set in advance, and the dimming pattern may be shared between the transmitting node and the receiving node. For example, the dimming pattern may be set to "3/8 → 1/8 → 2/8 → 4/8", in which case user data (eg, payload) belonging to packet #n is dimmed. May be transmitted based on 3/8, user data belonging to packet # n + 1 may be transmitted based on dimming 1/8, and user data belonging to packet # n + 2 is based on dimming 2/8 User data belonging to packet # n + 3 may be transmitted based on dimming 4/8. Here, n may be an integer greater than or equal to 0, and the dimming pattern may be set for each packet.
또는, 디밍 패턴은 서브-패킷별로 설정될 수 있다. 이 경우, 디밍 패턴이 "3/8 → 1/8 → 2/8 → 4/8"로 설정되면, 패킷 내의 서브-패킷 #n에 속한 사용자 데이터(예를 들어, 페이로드)는 디밍 3/8에 기초하여 전송될 수 있고, 패킷 내의 서브-패킷 #n+1에 속한 사용자 데이터는 디밍 1/8에 기초하여 전송될 수 있고, 패킷 내의 서브-패킷 #n+2에 속한 사용자 데이터는 디밍 2/8에 기초하여 전송될 수 있고, 패킷 내의 서브-패킷 #n+3에 속한 사용자 데이터는 디밍 4/8에 기초하여 전송될 수 있다.Alternatively, the dimming pattern may be set for each sub-packet. In this case, if the dimming pattern is set to "3/8 → 1/8 → 2/8 → 4/8", user data (e.g., payload) belonging to sub-packet #n in the packet is dimming 3 /. May be transmitted based on 8, user data belonging to sub-packet # n + 1 in the packet may be transmitted based on dimming 1/8, and user data belonging to sub-packet # n + 2 in the packet is dimmed It may be transmitted based on 2/8, and user data belonging to sub-packet # n + 3 in the packet may be transmitted based on dimming 4/8.
송신 노드는 앞서 설명된 방법들에 기초하여 제2 LED 어레이(즉, 기준 LED 그룹 및 데이터 LED 그룹들)에 속한 LED들을 점멸시킴으로써 사용자 데이터를 전송할 수 있다(S950).The transmitting node may transmit user data by blinking the LEDs belonging to the second LED array (ie, the reference LED group and the data LED groups) based on the methods described above (S950).
한편 수신 노드는 특정 샘플링 시점에서 송신 노드의 제2 LED 어레이의 점멸 상태를 촬영할 수 있고, 미리 측정된 채널 모델을 기초로 제2 LED 어레이의 점멸 상태를 보정할 수 있다(S960).Meanwhile, the receiving node may photograph the blinking state of the second LED array of the transmitting node at a specific sampling time point, and may correct the blinking state of the second LED array based on the previously measured channel model (S960).
도 10은 통신 시스템에서, 수신 노드가 제2 LED 어레이의 점멸 상태를 보정하는 방법을 설명하기 위한 개념도이다.10 is a conceptual diagram illustrating a method of a receiving node correcting a blinking state of a second LED array in a communication system.
도 10을 참조하면, 수신 노드의 제2 카메라(예를 들어 도 6의 제2 카메라(620))은 제2 LED 어레이의 점멸 상태를 촬영할 수 있다. 여기에서 제2 카메라는 원래의 제2 LED 어레이의 점멸 상태(1010)가 흐림 현상 및 AWGN에 의해 왜곡된 이미지(1020)를 제2 LED 점멸 상태로 촬영할 수 있다. 제 2 카메라는 촬영한 제2 LED 어레이의 점멸 상태를 수신 노드의 신호 보정부(예를 들어, 도 6의 신호 보정부(650))에 전송할 수 있다. 수신 노드의 신호 보정부는 제2 카메라로부터 제2 LED 어레이의 점멸 상태를 수신할 수 있다. 신호 보정부는 제2 카메라가 촬영한 제2 LED 어레이의 점멸 상태를 그레이 스케일 형식으로 변환하여 이미지 행렬(1030)을 추출할 수 있다. 신호 보정부는 이미지 행렬(1030)을 통해 제2 LED 어레이의 점멸 상태를 획득할 수 있다. Referring to FIG. 10, a second camera (eg, the
신호 보정부는 제2 LED 어레이의 점멸 상태, 추출된 흐림 파라미터, 잡음 정규 분포를 인공 신경망 디코더(1040)에 입력할 수 있다. 인공 신경망 디코더(1040)는 추출된 흐림 파라미터, 잡음 정규 분포를 기초로 실제 제2 LED 어레이의 점멸 상태를 예측할 수 있고, 예측된 제2 LED 어레이의 점멸 상태를 기초로 위상 천이 값을 예측할 수 있다. 인공 신경망 디코더(1040)는 예측된 제2 LED 어레이의 점멸 상태의 위상 천이 값과 실제 제2 LED 어레이의 점멸 상태의 위상 천이 값을 비교하여 가중 벡터의 가중치를 조절하는 방식으로 딥-러닝을 수행할 수 있다. 인공 신경망 디코더(1040)는 딥-러닝 수행 결과에 따라서 보정된 제2 LED 어레이의 점멸 상태 이미지를 획득할 수 있고, 이를 기초로 보정된 제2 LED 어레이의 점멸 상태 이미지의 위상 천이 값을 획득할 수 있다. 신호 보정부는 보정된 제2 LED 어레이의 점멸 상태 이미지의 위상 천이 값을 수신 노드의 제2 수신 처리부(예를 들어 도 6의 제2 수신 처리부(660))에 전송할 수 있다.The signal corrector may input the flashing state, the extracted blur parameter, and the noise normal distribution of the second LED array to the artificial
수신 노드는 보정된 제2 LED 어레이의 점멸 상태의 위상 천이 값을 기초로 사용자 데이터를 획득할 수 있다(S970).The receiving node may acquire user data based on the phase shift value of the flickering state of the corrected second LED array (S970).
수신 노드의 제2 수신 처리부(예를 들어 도 6의 제2 수신 처리부(660))는 보정된 제2 LED 어레이의 점멸 상태의 위상 천이 값을 수신할 수 있다. 제2 수신 처리부는 위상 천이 값을 표 1과 비교하여 사용자 데이터에 해당하는 3-비트 데이터 값을 출력할 수 있다.The second receiving processor (eg, the
도 11은 통신 시스템에서 제2 점멸 상태의 보정의 효과를 나타낸 그래프이다.11 is a graph showing the effect of the correction of the second blinking state in the communication system.
도 11을 참조 하면, 흐림 파라미터와 잡음 정규 분포를 고려하여 제2 LED 어레이의 점멸 상태를 보정한 경우와 보정하지 않은 경우의 신호 대비 잡음비와 심볼 에러 비율의 관계를 나타낸 그래프일 수 있다. 실선으로 나타낸 그래프가 제2 LED 어레이의 점멸 상태를 보정하지 않은 경우의 신호 대비 잡음비와 데이터 신호의 에러의 비율의 관계를 나타낸 그래프일 수 있고, 점선으로 나타낸 경우가 제2 LED 어레이의 점멸 상태를 보정한 경우의 신호대비 잡음비와 데이터 신호의 에러 비율의 관계를 나타낸 그래프일 수 있다. 즉 도 11과 같이 제2 LED 어레이의 점멸 상태를 보정한 경우가 그렇지 않은 경우보다 동일한 신호 대비 잡음비에서 데이터 신호의 에러 발생 비율이 작아지는 효과가 있을 수 있다.Referring to FIG. 11, it may be a graph illustrating a relationship between a signal-to-noise ratio and a symbol error ratio when the flickering state of the second LED array is corrected in consideration of a blur parameter and a normal noise distribution. The graph shown by the solid line may be a graph showing the relationship between the ratio of the signal to noise ratio and the error of the data signal when the blinking state of the second LED array is not corrected, and the dotted line indicates the blinking state of the second LED array. It may be a graph showing a relationship between the signal-to-noise ratio and the error rate of the data signal when corrected. That is, as shown in FIG. 11, the error occurrence rate of the data signal may be reduced at the same signal-to-noise ratio than when the blinking state of the second LED array is corrected.
발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. The methods according to the invention can be implemented in the form of program instructions that can be executed by various computer means and recorded on a computer readable medium. Computer-readable media may include, alone or in combination with the program instructions, data files, data structures, and the like. The program instructions recorded on the computer readable medium may be those specially designed and constructed for the present invention, or may be known and available to those skilled in computer software.
컴퓨터 판독 가능 매체의 예에는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of computer readable media include hardware devices that are specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code, such as produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate with at least one software module to perform the operations of the present invention, and vice versa.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. Although described with reference to the above embodiments, those skilled in the art will understand that the present invention can be variously modified and changed without departing from the spirit and scope of the invention described in the claims below. Could be.
Claims (12)
프로세서(processor);
상기 프로세서의 제어에 따라 송신 노드에 포함된 제1 LED(Light Emitting Diode) 어레이(array)의 제1 점멸 상태를 촬영하는 제1 카메라;
상기 프로세서의 제어에 따라 상기 송신 노드에 포함된 제2 LED 어레이의 이미지를 촬영하는 제2 카메라; 및
상기 프로세서에 의해 실행되는 하나 이상의 명령들이 저장된 메모리(memory)를 포함하며,
상기 하나 이상의 명령들은,
상기 제1 카메라에 의해 촬영된 상기 제1 점멸 상태 및 상기 제2 카메라에 의해 촬영된 이미지에 기초하여 관심 영역을 탐색하고;
상기 관심 영역에서 상기 제2 카메라를 사용하여 상기 제2 LED 어레이의 점멸 상태를 촬영함으로써 제2 점멸 상태 이미지를 획득하고;
상기 송신 노드와 상기 수신 노드 간의 채널 상태를 기초로 상기 제2 점멸 상태 이미지를 보정함으로써 보정된 이미지를 생성하고, 그리고
상기 보정된 이미지를 기초로 사용자 데이터를 획득하도록 실행되고,
상기 채널 상태는 아래의 수학식에 의하여 측정되고,
상기 수학식에서 y는 상기 제2 카메라가 촬영한 제2 점멸 상태의 이미지 행렬이고 h는 상기 제2 점멸 상태 이미지에 반영된 흐림의 영향으로 발생한 블러 커널들의 정보를 반영하기 위한 행렬이며, x는 실제 제2 점멸 상태의 이미지 행렬이며, n은 AWGN(Additive White Gaussian Noise)의 영향을 나타낸 행렬인 수신 노드.As a receiving node in a communication system,
A processor;
A first camera photographing a first blinking state of a first array of light emitting diodes (LEDs) included in a transmitting node under control of the processor;
A second camera for capturing an image of a second LED array included in the transmission node under the control of the processor; And
One or more instructions executed by the processor include a stored memory,
The one or more instructions,
Search for an ROI based on the first blinking state photographed by the first camera and an image photographed by the second camera;
Acquire a second blink state image by photographing the blink state of the second LED array using the second camera in the region of interest;
Generate a corrected image by correcting the second blink state image based on a channel state between the transmitting node and the receiving node, and
Executed to obtain user data based on the corrected image,
The channel state is measured by the following equation,
In the above equation, y is an image matrix of a second blinking state photographed by the second camera, h is a matrix for reflecting information of blur kernels generated due to the blur reflected in the second blinking state image, and x is an actual zero. 2 Receive node where the image matrix is in a blinking state, and n is a matrix representing the effect of additive white gauge noise.
상기 하나 이상의 명령들은,
상기 h 행렬을 통하여 흐림 파라미터를 추출하고, 상기 n 행렬을 통하여 잡음의 정규 분포를 추출하도록 실행되는 수신 노드.The method according to claim 1,
The one or more instructions,
Receiving a blur parameter through the h matrix and extracting a normal distribution of noise through the n matrix.
상기 보정된 이미지는 상기 제2 카메라가 촬영한 제2 점멸 상태 이미지, 상기 추출된 흐림 파라미터 및 상기 잡음의 정규 분포를 이용하여 생성 되는 수신 노드.The method according to claim 4,
The corrected image is generated using a second blinking state image photographed by the second camera, the extracted blur parameter, and the normal distribution of the noise.
상기 제2 점멸 상태 이미지를 보정하는 동작은 인공 신경망 디코딩 방식에 의해 수행되고, 상기 인공 신경망 디코딩 방식은 실제 제2 점멸 상태에 따른 위상 천이 값과 예측된 제2 점멸 상태에 따른 위상 천이 값을 비교한 결과를 포함하는 학습 자료를 사용하여 수행되는 수신 노드.The method according to claim 1,
Correcting the second blinking state image is performed by an artificial neural network decoding method, and the artificial neural network decoding method compares a phase shift value according to an actual second blinking state with a phase shift value according to a predicted second blinking state. Receiving node performed using training material containing one result.
상기 실제 제2 점멸 상태에 따른 위상 천이 값이 상기 예측된 제2 점멸 상태에 따른 위상 천이 값과 다른 경우, 상기 인공 신경망 디코딩 방식을 위한 가중치 벡터가 조절되는 수신 노드.The method according to claim 6,
And if the phase shift value according to the actual second blink state is different from the phase shift value according to the predicted second blink state, the weight vector for the artificial neural network decoding scheme is adjusted.
상기 수신 노드의 제1 카메라에 의해 촬영된 제1 점멸 상태 이미지 및 상기 수신 노드의 제2 카메라에 의해 촬영된 이미지에 기초하여 관심 영역을 탐색하는 단계;
상기 관심 영역에서 상기 제2 카메라를 사용하여 제2 점멸 상태를 촬영함으로써 제2 점멸 상태 이미지를 획득하는 단계;
송신 노드와 상기 수신 노드 간의 채널 상태를 기초로 상기 제2 점멸 상태 이미지를 보정함으로써 보정된 이미지를 생성하는 단계; 및
상기 보정된 이미지를 기초로 사용자 데이터를 획득하는 단계를 포함하며,
상기 채널 상태는 아래의 수학식에 의하여 측정되고,
상기 수학식에서 y는 상기 제2 카메라가 촬영한 제2 점멸 상태의 이미지 행렬이고 h는 상기 제2 점멸 상태 이미지에 반영된 흐림의 영향으로 발생한 블러 커널들의 정보를 반영하기 위한 행렬이며, x는 실제 제2 점멸 상태의 이미지 행렬이며, n은 AWGN(Additive White Gaussian Noise)의 영향을 나타낸 행렬인 수신 노드의 동작 방법.As a method of operation of a receiving node in a communication system,
Searching for an ROI based on a first blink state image photographed by the first camera of the receiving node and an image photographed by the second camera of the receiving node;
Acquiring a second blink state image by capturing a second blink state using the second camera in the region of interest;
Generating a corrected image by correcting the second blink state image based on a channel state between a transmitting node and the receiving node; And
Acquiring user data based on the corrected image,
The channel state is measured by the following equation,
In the above equation, y is an image matrix of the second blinking state photographed by the second camera, h is a matrix for reflecting information of the blur kernels generated due to the blur reflected in the second blinking state image, and x is the actual zero. 2 is an image matrix in a blinking state, and n is a matrix representing the influence of additive white gauge noise (AWGN).
상기 h 행렬을 통하여 흐림 파라미터를 추출하고, 상기 n 행렬을 통하여 잡음의 정규 분포를 추출하며, 상기 제2 카메라가 촬영한 제2 점멸 상태, 상기 추출된 흐림 파라미터 및 상기 잡음의 정규 분포를 이용하여 상기 보정된 이미지를 생성하는 수신 노드의 동작 방법.The method according to claim 8,
Extracting a blur parameter through the h matrix, extracting a normal distribution of noise through the n matrix, using a second blinking state photographed by the second camera, the extracted blur parameter, and the normal distribution of the noise Operating method of the receiving node generating the corrected image.
상기 제2 점멸 상태 이미지를 보정하는 동작은 인공 신경망 디코딩 방식에 의해 수행되고, 상기 인공 신경망 디코딩 방식은 실제 제2 점멸 상태에 따른 위상 천이 값과 예측된 제2 점멸 상태에 따른 위상 천이 값을 비교한 결과를 포함하는 학습 자료를 사용하여 수행되며,
상기 실제 제2 점멸 상태에 따른 위창 천이 값이 상기 예측된 제2 점멸 상태에 따른 위상 천이 값과 다른 경우, 상기 인공 신경망 디코딩 방식을 위한 가중치 벡터를 조절하는 수신 노드의 동작 방법.
The method according to claim 11,
Correcting the second blinking state image is performed by an artificial neural network decoding method, and the artificial neural network decoding method compares a phase shift value according to an actual second blinking state with a phase shift value according to a predicted second blinking state. Is performed using a learning material containing one result,
And a method of operating a receiving node to adjust a weight vector for the artificial neural network decoding method when the false shift value according to the actual second blink state is different from the predicted phase shift value according to the second blink state.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190092633A KR102063418B1 (en) | 2019-07-30 | 2019-07-30 | Method and apparatus for modulating and demodulating in communication system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190092633A KR102063418B1 (en) | 2019-07-30 | 2019-07-30 | Method and apparatus for modulating and demodulating in communication system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102063418B1 true KR102063418B1 (en) | 2020-02-11 |
Family
ID=69568935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190092633A KR102063418B1 (en) | 2019-07-30 | 2019-07-30 | Method and apparatus for modulating and demodulating in communication system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102063418B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210105277A (en) * | 2020-02-18 | 2021-08-26 | 국민대학교산학협력단 | Method for modulating and demodulating and apparatus thereof |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101807511B1 (en) * | 2016-12-08 | 2018-01-18 | 서울과학기술대학교 산학협력단 | Camera communication system and method for vehicle |
| KR20180100213A (en) * | 2016-01-12 | 2018-09-07 | 국민대학교산학협력단 | S2-PSK optical wireless communication method and apparatus |
-
2019
- 2019-07-30 KR KR1020190092633A patent/KR102063418B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180100213A (en) * | 2016-01-12 | 2018-09-07 | 국민대학교산학협력단 | S2-PSK optical wireless communication method and apparatus |
| KR101807511B1 (en) * | 2016-12-08 | 2018-01-18 | 서울과학기술대학교 산학협력단 | Camera communication system and method for vehicle |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210105277A (en) * | 2020-02-18 | 2021-08-26 | 국민대학교산학협력단 | Method for modulating and demodulating and apparatus thereof |
| KR102301985B1 (en) * | 2020-02-18 | 2021-09-15 | 국민대학교산학협력단 | Method for modulating and demodulating and apparatus thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107886048B (en) | Target tracking method and system, storage medium and electronic terminal | |
| CN108702437B (en) | Method, system, device and storage medium for calculating depth map | |
| US10013765B2 (en) | Method and system for image registrations | |
| CN111507210B (en) | Traffic signal lamp identification method, system, computing equipment and intelligent vehicle | |
| US9123133B1 (en) | Method and apparatus for moving object detection based on cerebellar model articulation controller network | |
| KR102092496B1 (en) | S2-PSK optical wireless communication method and apparatus | |
| CN107255524B (en) | Method for detecting frequency of LED light source based on mobile equipment camera | |
| CN113674335B (en) | Depth imaging method, electronic device and storage medium | |
| KR102345777B1 (en) | Method and apparatus for determining location of a vehicle based on optical camera communication | |
| KR20180100212A (en) | DSM-PSK optical wireless transmission method and apparatus | |
| CN112966635B (en) | Low-resolution time sequence remote sensing image-oriented moving ship detection method and device | |
| CN109754034A (en) | A kind of terminal device localization method and device based on two dimensional code | |
| KR102063418B1 (en) | Method and apparatus for modulating and demodulating in communication system | |
| US20180006724A1 (en) | Multi-transmitter vlc positioning system for rolling-shutter receivers | |
| KR102065888B1 (en) | Communication method and apparatus in optical camera communication system | |
| JP2017091140A (en) | Code transmission/reception system, code receiver, code transmitter, code reception method, code transmission method, and program | |
| US11088763B2 (en) | RoI-based optical wireless communication method and device | |
| KR102136496B1 (en) | Method and apparatus for modulating and demodulating optical camera communication signal | |
| CN111104987B (en) | Face recognition method and device and electronic equipment | |
| KR102568759B1 (en) | Apparatus and method for 2d color code optical wireless communication considering signal circumstances | |
| CN103327317A (en) | Light communication transmitting and receiving apparatus and method, and light communication system and method | |
| US11979193B2 (en) | Communication method and device in optical camera communication system | |
| CN114972465A (en) | Image target depth detection method and device, electronic equipment and storage medium | |
| Kim et al. | Symbol decision method of color-independent visual-MIMO system using a dynamic palette | |
| US11700461B2 (en) | Method and apparatus for processing image based on optical communication, and computer-readable recording medium with program therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |