WO2023022251A1 - 무선 통신 시스템에서 신호 전송 방법 및 장치 - Google Patents

무선 통신 시스템에서 신호 전송 방법 및 장치 Download PDF

Info

Publication number
WO2023022251A1
WO2023022251A1 PCT/KR2021/010969 KR2021010969W WO2023022251A1 WO 2023022251 A1 WO2023022251 A1 WO 2023022251A1 KR 2021010969 W KR2021010969 W KR 2021010969W WO 2023022251 A1 WO2023022251 A1 WO 2023022251A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
learning
terminal
isp
base station
Prior art date
Application number
PCT/KR2021/010969
Other languages
English (en)
French (fr)
Inventor
박재용
이명희
오재기
정재훈
하업성
김성진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020237043173A priority Critical patent/KR20240047337A/ko
Priority to PCT/KR2021/010969 priority patent/WO2023022251A1/ko
Publication of WO2023022251A1 publication Critical patent/WO2023022251A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Definitions

  • the following description relates to a wireless communication system, and relates to a signal transmission method related to an artificial intelligence-based special purpose virtual camera through federated learning in a wireless communication system.
  • a wireless access system is widely deployed to provide various types of communication services such as voice and data.
  • a wireless access system is a multiple access system capable of supporting communication with multiple users by sharing available system resources (bandwidth, transmission power, etc.).
  • Examples of the multiple access system include a code division multiple access (CDMA) system, a frequency division multiple access (FDMA) system, a time division multiple access (TDMA) system, an orthogonal frequency division multiple access (OFDMA) system, and a single carrier frequency (SC-FDMA) system. division multiple access) system.
  • CDMA code division multiple access
  • FDMA frequency division multiple access
  • TDMA time division multiple access
  • OFDMA orthogonal frequency division multiple access
  • SC-FDMA single carrier frequency division multiple access
  • eMBB enhanced mobile broadband
  • RAT radio access technology
  • a communication system considering reliability and latency-sensitive services/UE (user equipment) as well as mMTC (massive machine type communications) providing various services anytime and anywhere by connecting multiple devices and objects has been proposed. .
  • Various technical configurations for this have been proposed.
  • the present disclosure may provide a method and apparatus in which a terminal or a base station performs image signal processing (ISP) based on artificial intelligence in a wireless communication system.
  • ISP image signal processing
  • a method of operating a terminal in a wireless communication system includes performing image sensing through a first sensor, receiving neural network-related information from a base station, and generating a first neural network based on the neural network-related information.
  • the method may include learning a network and transmitting the first neural network learning result data to a base station.
  • the first sensor does not perform image signal processing (ISP), but the neural network-related information may include information indicating whether or not the terminal learns a neural network. Learning of the first neural network may be learning to process the image sensing result data based on artificial intelligence.
  • the neural network related information may include weight information of the first neural network.
  • the terminal may perform the first neural network learning only when the information indicating whether the neural network is learning or not indicates the first neural network learning.
  • the terminal may receive second neural network learning result data from the base station.
  • the terminal may perform image sensing through a second sensor, and the second sensor may perform ISP.
  • the terminal may transmit ISP output data of the second sensor to the base station.
  • a method of operating a base station in a wireless communication system includes transmitting neural network related information to a terminal, receiving first neural network learning result data from the terminal, and the first neural network learning result data. Learning a first reverse neural network based on , and learning a second neural network based on a result of learning the first reverse neural network.
  • the reverse first neural network learning may perform image signal processing (ISP).
  • the neural network related information may include information indicating whether or not the terminal learns the neural network. Learning of the first neural network may process image sensing result data based on artificial intelligence. In the learning of the second neural network, a result of performing the ISP may be compared with data resulting from learning the first neural network.
  • the neural network related information may include weight information of the first neural network.
  • the base station may transmit second neural network learning result data to the terminal.
  • the base station may include an image signal processor (ISP).
  • the image signal processor (ISP) may perform image signal processing (ISP) based on the first reverse neural network learning result data.
  • the base station may receive ISP output data from the terminal and learn the second neural network based on the ISP output data.
  • a terminal in a wireless communication system, may include a transceiver and a processor connected to the transceiver.
  • the processor may control the terminal to perform image sensing through the first sensor.
  • the processor may control the transceiver to receive neural network related information from a base station.
  • the processor may control the terminal to learn a first neural network based on the neural network related information.
  • the processor may control the transceiver to transmit the first neural network learning result data to the base station.
  • the first sensor may not perform image signal processing (ISP).
  • the neural network related information may include information indicating whether or not the terminal learns the neural network. Learning of the first neural network may process the image sensing result data based on artificial intelligence.
  • a base station may include a transceiver and a processor connected to the transceiver.
  • the processor may control the transceiver to transmit neural network related information to the terminal.
  • the processor may control the base station to receive first neural network learning result data from the terminal.
  • the processor may control the base station to learn a first reverse neural network based on the first neural network learning result data, and to learn a second neural network based on the first reverse neural network learning result.
  • the reverse first neural network learning may perform image signal processing (ISP).
  • the neural network related information may include information indicating whether or not the terminal learns the neural network. Learning of the first neural network may process image sensing result data based on artificial intelligence. In the learning of the second neural network, a result of performing the ISP may be compared with data resulting from learning the first neural network.
  • an apparatus may include at least one memory and at least one processor functionally connected to the at least one memory.
  • the at least one processor may control the device to perform image sensing through the first sensor.
  • the at least one processor may control the device to receive neural network related information from a base station.
  • the at least one processor may control the device to learn a first neural network based on the neural network related information.
  • the at least one processor may control the device to transmit the first neural network learning result data to the base station.
  • the first sensor may not perform image signal processing (ISP).
  • the neural network related information may include information indicating whether or not the terminal learns the neural network. Learning of the first neural network may process the image sensing result data based on artificial intelligence.
  • a non-transitory computer-readable medium storing at least one instruction (instructions) includes the at least one instruction executable by a processor.
  • the at least one command instructs the computer readable medium to perform image sensing through a first sensor, to receive neural network-related information from a base station, and to generate a first neural network based on the neural network-related information. Instructing to learn, and instructing the base station to transmit the first neural network learning result data.
  • the first sensor may not perform image signal processing (ISP).
  • the neural network related information may include information indicating whether or not the terminal learns the neural network. Learning of the first neural network may process the image sensing result data based on artificial intelligence.
  • a terminal or a base station may perform image signal processing (ISP) based on artificial intelligence.
  • ISP image signal processing
  • a terminal can efficiently transmit and receive ISP-related data based on artificial intelligence.
  • Effects obtainable in the embodiments of the present disclosure are not limited to the above-mentioned effects, and other effects not mentioned are technical fields to which the technical configuration of the present disclosure is applied from the description of the following embodiments of the present disclosure. can be clearly derived and understood by those skilled in the art. That is, unintended effects according to implementing the configuration described in the present disclosure may also be derived by those skilled in the art from the embodiments of the present disclosure.
  • FIG. 1 is a diagram illustrating an example of a communication system applicable to the present disclosure.
  • FIG. 2 is a diagram illustrating an example of a wireless device applicable to the present disclosure.
  • FIG. 3 is a diagram illustrating another example of a wireless device applicable to the present disclosure.
  • FIG. 4 is a diagram illustrating an example of a portable device applicable to the present disclosure.
  • FIG. 5 is a diagram illustrating an example of a vehicle or autonomous vehicle applicable to the present disclosure.
  • AI Artificial Intelligence
  • FIG. 7 is a diagram illustrating a method of processing a transmission signal applicable to the present disclosure.
  • FIG 8 is a diagram showing an example of a communication structure that can be provided in a 6G system applicable to the present disclosure.
  • FIG. 9 is a diagram showing an electromagnetic spectrum applicable to the present disclosure.
  • FIG. 10 is a diagram illustrating a THz communication method applicable to the present disclosure.
  • FIG. 11 is a diagram showing the structure of a perceptron included in an artificial neural network applicable to the present disclosure.
  • FIG. 12 is a diagram illustrating an artificial neural network structure applicable to the present disclosure.
  • FIG. 13 is a diagram illustrating a deep neural network applicable to the present disclosure.
  • FIG. 14 is a diagram illustrating a convolutional neural network applicable to the present disclosure.
  • 15 is a diagram illustrating a filter operation of a convolutional neural network applicable to the present disclosure.
  • 16 is a diagram showing a neural network structure in which a circular loop applicable to the present disclosure exists.
  • 17 is a diagram illustrating an operational structure of a recurrent neural network applicable to the present disclosure.
  • 18a and 18b are diagrams illustrating an example of federated learning applicable to the present disclosure.
  • 19 is a diagram illustrating an example of federated learning applicable to the present disclosure.
  • 20 is a diagram illustrating an example of a federated learning procedure applicable to the present disclosure.
  • 21 is a diagram illustrating an example of a terminal applicable to the present disclosure.
  • 22 is a diagram illustrating an example of a terminal applicable to the present disclosure.
  • FIG. 23 is a diagram illustrating an example of a terminal applicable to the present disclosure.
  • 24 is a diagram illustrating an example of a terminal applicable to the present disclosure.
  • 25 is a diagram illustrating an example of an operation procedure of a terminal applicable to the present disclosure.
  • 26 is a diagram illustrating an example of a server, base station, or terminal procedure applicable to the present disclosure.
  • each component or feature may be considered optional unless explicitly stated otherwise.
  • Each component or feature may be implemented in a form not combined with other components or features.
  • an embodiment of the present disclosure may be configured by combining some elements and/or features. The order of operations described in the embodiments of the present disclosure may be changed. Some components or features of one embodiment may be included in another embodiment, or may be replaced with corresponding components or features of another embodiment.
  • a base station has meaning as a terminal node of a network that directly communicates with a mobile station.
  • a specific operation described as being performed by a base station in this document may be performed by an upper node of the base station in some cases.
  • the 'base station' is a term such as a fixed station, Node B, eNode B, gNode B, ng-eNB, advanced base station (ABS), or access point. can be replaced by
  • a terminal includes a user equipment (UE), a mobile station (MS), a subscriber station (SS), a mobile subscriber station (MSS), It may be replaced with terms such as mobile terminal or advanced mobile station (AMS).
  • UE user equipment
  • MS mobile station
  • SS subscriber station
  • MSS mobile subscriber station
  • AMS advanced mobile station
  • the transmitting end refers to a fixed and/or mobile node providing data service or voice service
  • the receiving end refers to a fixed and/or mobile node receiving data service or voice service. Therefore, in the case of uplink, the mobile station can be a transmitter and the base station can be a receiver. Similarly, in the case of downlink, the mobile station may be a receiving end and the base station may be a transmitting end.
  • Embodiments of the present disclosure are wireless access systems, such as an IEEE 802.xx system, a 3rd Generation Partnership Project (3GPP) system, a 3GPP Long Term Evolution (LTE) system, a 3GPP 5G (5th generation) NR (New Radio) system, and a 3GPP2 system. It may be supported by at least one disclosed standard document, and in particular, the embodiments of the present disclosure are supported by 3GPP technical specification (TS) 38.211, 3GPP TS 38.212, 3GPP TS 38.213, 3GPP TS 38.321 and 3GPP TS 38.331 documents It can be.
  • 3GPP technical specification TS 38.211, 3GPP TS 38.212, 3GPP TS 38.213, 3GPP TS 38.321 and 3GPP TS 38.331 documents It can be.
  • embodiments of the present disclosure may be applied to other wireless access systems, and are not limited to the above-described systems.
  • it may also be applicable to a system applied after the 3GPP 5G NR system, and is not limited to a specific system.
  • CDMA code division multiple access
  • FDMA frequency division multiple access
  • TDMA time division multiple access
  • OFDMA orthogonal frequency division multiple access
  • SC-FDMA single carrier frequency division multiple access
  • LTE is 3GPP TS 36.xxx Release 8 or later
  • LTE technology after 3GPP TS 36.xxx Release 10 is referred to as LTE-A
  • xxx Release 13 may be referred to as LTE-A pro.
  • 3GPP NR may mean technology after TS 38.xxx Release 15.
  • 3GPP 6G may mean technology after TS Release 17 and/or Release 18.
  • "xxx" means a standard document detail number.
  • LTE/NR/6G may be collectively referred to as a 3GPP system.
  • FIG. 1 is a diagram illustrating an example of a communication system applied to the present disclosure.
  • a communication system 100 applied to the present disclosure includes a wireless device, a base station, and a network.
  • the wireless device means a device that performs communication using a radio access technology (eg, 5G NR, LTE), and may be referred to as a communication/wireless/5G device.
  • the wireless device includes a robot 100a, a vehicle 100b-1 and 100b-2, an extended reality (XR) device 100c, a hand-held device 100d, and a home appliance. appliance) 100e, Internet of Thing (IoT) device 100f, and artificial intelligence (AI) device/server 100g.
  • a radio access technology eg, 5G NR, LTE
  • XR extended reality
  • IoT Internet of Thing
  • AI artificial intelligence
  • the vehicle may include a vehicle equipped with a wireless communication function, an autonomous vehicle, a vehicle capable of performing inter-vehicle communication, and the like.
  • the vehicles 100b-1 and 100b-2 may include an unmanned aerial vehicle (UAV) (eg, a drone).
  • UAV unmanned aerial vehicle
  • the XR device 100c includes augmented reality (AR)/virtual reality (VR)/mixed reality (MR) devices, and includes a head-mounted device (HMD), a head-up display (HUD) installed in a vehicle, a television, It may be implemented in the form of smart phones, computers, wearable devices, home appliances, digital signage, vehicles, robots, and the like.
  • the mobile device 100d may include a smart phone, a smart pad, a wearable device (eg, a smart watch, a smart glass), a computer (eg, a laptop computer), and the like.
  • the home appliance 100e may include a TV, a refrigerator, a washing machine, and the like.
  • the IoT device 100f may include a sensor, a smart meter, and the like.
  • the base station 120 and the network 130 may also be implemented as a wireless device, and a specific wireless device 120a may operate as a base station/network node to other wireless devices.
  • the wireless devices 100a to 100f may be connected to the network 130 through the base station 120 .
  • AI technology may be applied to the wireless devices 100a to 100f, and the wireless devices 100a to 100f may be connected to the AI server 100g through the network 130.
  • the network 130 may be configured using a 3G network, a 4G (eg LTE) network, or a 5G (eg NR) network.
  • the wireless devices 100a to 100f may communicate with each other through the base station 120/network 130, but communicate directly without going through the base station 120/network 130 (e.g., sidelink communication). You may.
  • the vehicles 100b-1 and 100b-2 may perform direct communication (eg, vehicle to vehicle (V2V)/vehicle to everything (V2X) communication).
  • the IoT device 100f eg, sensor
  • the IoT device 100f may directly communicate with other IoT devices (eg, sensor) or other wireless devices 100a to 100f.
  • Wireless communication/connection 150a, 150b, and 150c may be performed between the wireless devices 100a to 100f/base station 120 and the base station 120/base station 120.
  • wireless communication/connection includes various types of uplink/downlink communication 150a, sidelink communication 150b (or D2D communication), and inter-base station communication 150c (eg relay, integrated access backhaul (IAB)). This can be done through radio access technology (eg 5G NR).
  • radio access technology eg 5G NR
  • a wireless device and a base station/wireless device, and a base station can transmit/receive radio signals to each other.
  • the wireless communication/connections 150a, 150b, and 150c may transmit/receive signals through various physical channels.
  • various configuration information setting processes for transmitting / receiving radio signals various signal processing processes (eg, channel encoding / decoding, modulation / demodulation, resource mapping / demapping, etc.) At least a part of a resource allocation process may be performed.
  • FIG. 2 is a diagram illustrating an example of a wireless device applicable to the present disclosure.
  • a first wireless device 200a and a second wireless device 200b may transmit and receive radio signals through various wireless access technologies (eg, LTE and NR).
  • ⁇ the first wireless device 200a, the second wireless device 200b ⁇ denotes the ⁇ wireless device 100x and the base station 120 ⁇ of FIG. 1 and/or the ⁇ wireless device 100x and the wireless device 100x.
  • ⁇ can correspond.
  • the first wireless device 200a includes one or more processors 202a and one or more memories 204a, and may further include one or more transceivers 206a and/or one or more antennas 208a.
  • the processor 202a controls the memory 204a and/or the transceiver 206a and may be configured to implement the descriptions, functions, procedures, suggestions, methods and/or operational flow diagrams disclosed herein.
  • the processor 202a may process information in the memory 204a to generate first information/signal, and transmit a radio signal including the first information/signal through the transceiver 206a.
  • the processor 202a may receive a radio signal including the second information/signal through the transceiver 206a and store information obtained from signal processing of the second information/signal in the memory 204a.
  • the memory 204a may be connected to the processor 202a and may store various information related to the operation of the processor 202a.
  • memory 204a may perform some or all of the processes controlled by processor 202a, or instructions for performing the descriptions, functions, procedures, suggestions, methods, and/or flowcharts of operations disclosed herein. It may store software codes including them.
  • the processor 202a and the memory 204a may be part of a communication modem/circuit/chip designed to implement a wireless communication technology (eg, LTE, NR).
  • the transceiver 206a may be coupled to the processor 202a and may transmit and/or receive wireless signals through one or more antennas 208a.
  • the transceiver 206a may include a transmitter and/or a receiver.
  • the transceiver 206a may be used interchangeably with a radio frequency (RF) unit.
  • RF radio frequency
  • a wireless device may mean a communication modem/circuit/chip.
  • the first wireless device may include a transceiver and a processor connected to the transceiver.
  • the processor may control the first wireless device to perform image sensing through a first sensor.
  • the processor may control the transceiver to receive neural network related information from a base station.
  • the processor may control the first wireless device to learn a first neural network based on the neural network related information.
  • the processor may control the transceiver to transmit the first neural network learning result data to the base station.
  • the first sensor may not perform image signal processing (ISP).
  • the neural network related information may include information indicating whether or not the terminal learns the neural network. Learning of the first neural network may process the image sensing result data based on artificial intelligence.
  • the first wireless device may include a transceiver and a processor connected to the transceiver.
  • the processor may control the transceiver to transmit neural network related information to the terminal.
  • the processor may control the first wireless device to receive first neural network learning result data from the terminal.
  • the processor controls the first wireless device to learn a first reverse neural network based on the first neural network learning result data, and to learn a second neural network based on the first reverse neural network learning result. can do.
  • the reverse first neural network learning may perform image signal processing (ISP).
  • the neural network related information may include information indicating whether or not the terminal learns the neural network. Learning of the first neural network may process image sensing result data based on artificial intelligence. In the learning of the second neural network, a result of performing the ISP may be compared with data resulting from learning the first neural network.
  • the first wireless device may include at least one memory and at least one processor functionally connected to the at least one memory.
  • the at least one processor may control the first wireless device to perform image sensing through a first sensor.
  • the at least one processor may control the first wireless device to receive neural network related information from a base station.
  • the at least one processor may control the first wireless device to learn a first neural network based on the neural network related information.
  • the at least one processor may control the first wireless device to transmit the first neural network learning result data to the base station.
  • the first sensor may not perform image signal processing (ISP).
  • the neural network related information may include information indicating whether or not the terminal learns the neural network. Learning of the first neural network may process the image sensing result data based on artificial intelligence.
  • the second wireless device 200b includes one or more processors 202b, one or more memories 204b, and may further include one or more transceivers 206b and/or one or more antennas 208b.
  • the processor 202b controls the memory 204b and/or the transceiver 206b and may be configured to implement the descriptions, functions, procedures, suggestions, methods and/or operational flow diagrams disclosed herein.
  • the processor 202b may process information in the memory 204b to generate third information/signal, and transmit a radio signal including the third information/signal through the transceiver 206b.
  • the processor 202b may receive a radio signal including the fourth information/signal through the transceiver 206b and store information obtained from signal processing of the fourth information/signal in the memory 204b.
  • the memory 204b may be connected to the processor 202b and may store various information related to the operation of the processor 202b.
  • the memory 204b may perform some or all of the processes controlled by the processor 202b, or instructions for performing the descriptions, functions, procedures, suggestions, methods, and/or flowcharts of operations disclosed herein. It may store software codes including them.
  • the processor 202b and the memory 204b may be part of a communication modem/circuit/chip designed to implement a wireless communication technology (eg, LTE, NR).
  • the transceiver 206b may be coupled to the processor 202b and may transmit and/or receive wireless signals through one or more antennas 208b.
  • the transceiver 206b may include a transmitter and/or a receiver.
  • the transceiver 206b may be used interchangeably with an RF unit.
  • a wireless device may mean a communication modem/circuit/chip.
  • one or more protocol layers may be implemented by one or more processors 202a, 202b.
  • the one or more processors 202a and 202b may include one or more layers (eg, PHY (physical), MAC (media access control), RLC (radio link control), PDCP (packet data convergence protocol), RRC (radio resource) control) and functional layers such as service data adaptation protocol (SDAP).
  • One or more processors 202a, 202b may generate one or more protocol data units (PDUs) and/or one or more service data units (SDUs) according to the descriptions, functions, procedures, proposals, methods, and/or operational flow charts disclosed herein.
  • PDUs protocol data units
  • SDUs service data units
  • processors 202a, 202b may generate messages, control information, data or information according to the descriptions, functions, procedures, proposals, methods and/or operational flow diagrams disclosed herein.
  • One or more processors 202a, 202b generate PDUs, SDUs, messages, control information, data or signals (eg, baseband signals) containing information according to the functions, procedures, proposals and/or methods disclosed herein , may be provided to one or more transceivers 206a and 206b.
  • One or more processors 202a, 202b may receive signals (eg, baseband signals) from one or more transceivers 206a, 206b, and descriptions, functions, procedures, suggestions, methods, and/or flowcharts of operations disclosed herein PDUs, SDUs, messages, control information, data or information can be obtained according to these.
  • signals eg, baseband signals
  • One or more processors 202a, 202b may be referred to as a controller, microcontroller, microprocessor or microcomputer.
  • One or more processors 202a, 202b may be implemented by hardware, firmware, software, or a combination thereof.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • firmware or software may be implemented using firmware or software, and the firmware or software may be implemented to include modules, procedures, functions, and the like.
  • Firmware or software configured to perform the descriptions, functions, procedures, proposals, methods and/or operational flow charts disclosed in this document may be included in one or more processors 202a or 202b or stored in one or more memories 204a or 204b. It can be driven by the above processors 202a and 202b.
  • the descriptions, functions, procedures, suggestions, methods and/or operational flow charts disclosed in this document may be implemented using firmware or software in the form of codes, instructions and/or sets of instructions.
  • the second wireless device may be a non-transitory computer-readable medium storing at least one instruction.
  • the second wireless device may include the at least one command executable by a processor.
  • the at least one command instructs the second wireless device to perform image sensing through a first sensor, to receive neural network-related information from a base station, and to generate a first neural network based on the neural network-related information. Instructing to learn, and instructing the base station to transmit the first neural network learning result data.
  • the first sensor may not perform image signal processing (ISP).
  • the neural network related information may include information indicating whether or not the second wireless device learns the neural network. Learning of the first neural network may process the image sensing result data based on artificial intelligence.
  • One or more memories 204a, 204b may be coupled to one or more processors 202a, 202b and may store various types of data, signals, messages, information, programs, codes, instructions and/or instructions.
  • One or more memories 204a, 204b may include read only memory (ROM), random access memory (RAM), erasable programmable read only memory (EPROM), flash memory, hard drive, registers, cache memory, computer readable storage media, and/or It may consist of a combination of these.
  • One or more memories 204a, 204b may be located internally and/or externally to one or more processors 202a, 202b.
  • one or more memories 204a, 204b may be connected to one or more processors 202a, 202b through various technologies such as wired or wireless connections.
  • One or more transceivers 206a, 206b may transmit user data, control information, radio signals/channels, etc. referred to in the methods and/or operational flow charts of this document to one or more other devices.
  • One or more transceivers 206a, 206b may receive user data, control information, radio signals/channels, etc. referred to in descriptions, functions, procedures, proposals, methods and/or operational flow charts, etc. disclosed herein from one or more other devices. there is.
  • one or more transceivers 206a and 206b may be connected to one or more processors 202a and 202b and transmit and receive radio signals.
  • one or more processors 202a, 202b may control one or more transceivers 206a, 206b to transmit user data, control information, or radio signals to one or more other devices.
  • one or more processors 202a, 202b may control one or more transceivers 206a, 206b to receive user data, control information, or radio signals from one or more other devices.
  • one or more transceivers 206a, 206b may be coupled to one or more antennas 208a, 208b, and one or more transceivers 206a, 206b may be connected to one or more antennas 208a, 208b to achieve the descriptions, functions disclosed in this document.
  • one or more antennas may be a plurality of physical antennas or a plurality of logical antennas (eg, antenna ports).
  • One or more transceivers (206a, 206b) in order to process the received user data, control information, radio signal / channel, etc. using one or more processors (202a, 202b), the received radio signal / channel, etc. in the RF band signal It can be converted into a baseband signal.
  • One or more transceivers 206a and 206b may convert user data, control information, and radio signals/channels processed by one or more processors 202a and 202b from baseband signals to RF band signals.
  • one or more transceivers 206a, 206b may include (analog) oscillators and/or filters.
  • FIG. 3 is a diagram illustrating another example of a wireless device applied to the present disclosure.
  • a wireless device 300 corresponds to the wireless devices 200a and 200b of FIG. 2, and includes various elements, components, units/units, and/or modules. ) can be configured.
  • the wireless device 300 may include a communication unit 310, a control unit 320, a memory unit 330, and an additional element 340.
  • the communication unit may include communication circuitry 312 and transceiver(s) 314 .
  • communication circuitry 312 may include one or more processors 202a, 202b of FIG. 2 and/or one or more memories 204a, 204b.
  • transceiver(s) 314 may include one or more transceivers 206a, 206b of FIG.
  • the control unit 320 is electrically connected to the communication unit 310, the memory unit 330, and the additional element 340 and controls overall operations of the wireless device. For example, the control unit 320 may control electrical/mechanical operations of the wireless device based on programs/codes/commands/information stored in the memory unit 330. In addition, the control unit 320 transmits the information stored in the memory unit 330 to the outside (eg, another communication device) through the communication unit 310 through a wireless/wired interface, or transmits the information stored in the memory unit 330 to the outside (eg, another communication device) through the communication unit 310. Information received through a wireless/wired interface from other communication devices) may be stored in the memory unit 330 .
  • the additional element 340 may be configured in various ways according to the type of wireless device.
  • the additional element 340 may include at least one of a power unit/battery, an input/output unit, a driving unit, and a computing unit.
  • the wireless device 300 may be a robot (FIG. 1, 100a), a vehicle (FIG. 1, 100b-1, 100b-2), an XR device (FIG. 1, 100c), a mobile device (FIG. 1, 100d) ), home appliances (FIG. 1, 100e), IoT devices (FIG.
  • Wireless devices can be mobile or used in a fixed location depending on the use-case/service.
  • various elements, components, units/units, and/or modules in the wireless device 300 may be entirely interconnected through a wired interface or at least partially connected wirelessly through the communication unit 310 .
  • the control unit 320 and the communication unit 310 are connected by wire, and the control unit 320 and the first units (eg, 130 and 140) are connected wirelessly through the communication unit 310.
  • each element, component, unit/unit, and/or module within wireless device 300 may further include one or more elements.
  • the control unit 320 may be composed of one or more processor sets.
  • control unit 320 may include a set of a communication control processor, an application processor, an electronic control unit (ECU), a graphic processing processor, a memory control processor, and the like.
  • memory unit 330 may include RAM, dynamic RAM (DRAM), ROM, flash memory, volatile memory, non-volatile memory, and/or combinations thereof. can be configured.
  • FIG. 4 is a diagram illustrating an example of a portable device applied to the present disclosure.
  • a portable device may include a smart phone, a smart pad, a wearable device (eg, smart watch, smart glasses), and a portable computer (eg, a laptop computer).
  • a mobile device may be referred to as a mobile station (MS), a user terminal (UT), a mobile subscriber station (MSS), a subscriber station (SS), an advanced mobile station (AMS), or a wireless terminal (WT).
  • MS mobile station
  • UT user terminal
  • MSS mobile subscriber station
  • SS subscriber station
  • AMS advanced mobile station
  • WT wireless terminal
  • a portable device 400 includes an antenna unit 408, a communication unit 410, a control unit 420, a memory unit 430, a power supply unit 440a, an interface unit 440b, and an input/output unit 440c. ) may be included.
  • the antenna unit 408 may be configured as part of the communication unit 410 .
  • Blocks 410 to 430/440a to 440c respectively correspond to blocks 310 to 330/340 of FIG. 3 .
  • the communication unit 410 may transmit/receive signals (eg, data, control signals, etc.) with other wireless devices and base stations.
  • the controller 420 may perform various operations by controlling components of the portable device 400 .
  • the controller 420 may include an application processor (AP).
  • the memory unit 430 may store data/parameters/programs/codes/commands necessary for driving the portable device 400 . Also, the memory unit 430 may store input/output data/information.
  • the power supply unit 440a supplies power to the portable device 400 and may include a wired/wireless charging circuit, a battery, and the like.
  • the interface unit 440b may support connection between the mobile device 400 and other external devices.
  • the interface unit 440b may include various ports (eg, audio input/output ports and video input/output ports) for connection with external devices.
  • the input/output unit 440c may receive or output image information/signal, audio information/signal, data, and/or information input from a user.
  • the input/output unit 440c may include a camera, a microphone, a user input unit, a display unit 440d, a speaker, and/or a haptic module.
  • the input/output unit 440c acquires information/signals (eg, touch, text, voice, image, video) input from the user, and the acquired information/signals are stored in the memory unit 430.
  • the communication unit 410 may convert the information/signal stored in the memory into a wireless signal, and directly transmit the converted wireless signal to another wireless device or to a base station.
  • the communication unit 410 may receive a radio signal from another wireless device or base station and then restore the received radio signal to original information/signal. After the restored information/signal is stored in the memory unit 430, it may be output in various forms (eg, text, voice, image, video, or haptic) through the input/output unit 440c.
  • FIG. 5 is a diagram illustrating an example of a vehicle or autonomous vehicle to which the present disclosure applies.
  • a vehicle or an autonomous vehicle may be implemented as a mobile robot, vehicle, train, manned/unmanned aerial vehicle (AV), ship, etc., and is not limited to a vehicle type.
  • AV unmanned aerial vehicle
  • a vehicle or autonomous vehicle 500 includes an antenna unit 508, a communication unit 510, a control unit 520, a driving unit 540a, a power supply unit 540b, a sensor unit 540c, and an autonomous driving unit.
  • a portion 540d may be included.
  • the antenna unit 550 may be configured as a part of the communication unit 510 .
  • Blocks 510/530/540a to 540d respectively correspond to blocks 410/430/440 of FIG. 4 .
  • the communication unit 510 may transmit/receive signals (eg, data, control signals, etc.) with external devices such as other vehicles, base stations (eg, base stations, roadside base units, etc.), servers, and the like.
  • the controller 520 may perform various operations by controlling elements of the vehicle or autonomous vehicle 500 .
  • the controller 520 may include an electronic control unit (ECU).
  • ECU electronice control unit
  • AI devices include TVs, projectors, smartphones, PCs, laptops, digital broadcasting terminals, tablet PCs, wearable devices, set-top boxes (STBs), radios, washing machines, refrigerators, digital signage, robots, vehicles, etc. It may be implemented as a device or a movable device.
  • the AI device 600 includes a communication unit 610, a control unit 620, a memory unit 630, an input/output unit 640a/640b, a running processor unit 640c, and a sensor unit 640d.
  • a communication unit 610 can include Blocks 610 to 630/640a to 640d may respectively correspond to blocks 310 to 330/340 of FIG. 3 .
  • the communication unit 610 communicates wired and wireless signals (eg, sensor information, user data) with external devices such as other AI devices (eg, FIG. 1, 100x, 120, and 140) or AI servers (Fig. input, learning model, control signal, etc.) can be transmitted and received. To this end, the communication unit 610 may transmit information in the memory unit 630 to an external device or transmit a signal received from the external device to the memory unit 630 .
  • external devices eg, sensor information, user data
  • AI devices eg, FIG. 1, 100x, 120, and 140
  • AI servers Fig. input, learning model, control signal, etc.
  • the controller 620 may determine at least one executable operation of the AI device 600 based on information determined or generated using a data analysis algorithm or a machine learning algorithm. And, the controller 620 may perform the determined operation by controlling components of the AI device 600 . For example, the control unit 620 may request, retrieve, receive, or utilize data from the learning processor unit 640c or the memory unit 630, and may perform a predicted operation among at least one feasible operation or one determined to be desirable. Components of the AI device 600 may be controlled to execute an operation. In addition, the control unit 620 collects history information including user feedback on the operation contents or operation of the AI device 600 and stores it in the memory unit 630 or the running processor unit 640c, or the AI server ( 1, 140) can be transmitted to an external device. The collected history information can be used to update the learning model.
  • the memory unit 630 may store data supporting various functions of the AI device 600 .
  • the memory unit 630 may store data obtained from the input unit 640a, data obtained from the communication unit 610, output data of the learning processor unit 640c, and data obtained from the sensing unit 640.
  • the memory unit 630 may store control information and/or software codes required for operation/execution of the controller 620 .
  • the input unit 640a may obtain various types of data from the outside of the AI device 600.
  • the input unit 620 may obtain learning data for model learning and input data to which the learning model is to be applied.
  • the input unit 640a may include a camera, a microphone, and/or a user input unit.
  • the output unit 640b may generate an output related to sight, hearing, or touch.
  • the output unit 640b may include a display unit, a speaker, and/or a haptic module.
  • the sensing unit 640 may obtain at least one of internal information of the AI device 600, surrounding environment information of the AI device 600, and user information by using various sensors.
  • the sensing unit 640 may include a proximity sensor, an illuminance sensor, an acceleration sensor, a magnetic sensor, a gyro sensor, an inertial sensor, an RGB sensor, an IR sensor, a fingerprint recognition sensor, an ultrasonic sensor, an optical sensor, a microphone, and/or a radar. there is.
  • the learning processor unit 640c may learn a model composed of an artificial neural network using learning data.
  • the running processor unit 640c may perform AI processing together with the running processor unit of the AI server (FIG. 1, 140).
  • the learning processor unit 640c may process information received from an external device through the communication unit 610 and/or information stored in the memory unit 630 .
  • the output value of the learning processor unit 640c may be transmitted to an external device through the communication unit 610 and/or stored in the memory unit 630.
  • the transmitted signal may be processed by a signal processing circuit.
  • the signal processing circuit 700 may include a scrambler 710, a modulator 720, a layer mapper 730, a precoder 740, a resource mapper 750, and a signal generator 760.
  • the operation/function of FIG. 7 may be performed by the processors 202a and 202b and/or the transceivers 206a and 206b of FIG. 2 .
  • blocks 710 to 760 may be implemented in the processors 202a and 202b and/or the transceivers 206a and 206b of FIG. 2 .
  • blocks 710 to 760 may be implemented in the processors 202a and 202b of FIG. 2 .
  • blocks 710 to 750 may be implemented in the processors 202a and 202b of FIG. 2 and block 760 may be implemented in the transceivers 206a and 206b of FIG. 2 , and are not limited to the above-described embodiment.
  • the codeword may be converted into a radio signal through the signal processing circuit 700 of FIG. 7 .
  • a codeword is an encoded bit sequence of an information block.
  • Information blocks may include transport blocks (eg, UL-SCH transport blocks, DL-SCH transport blocks).
  • Radio signals may be transmitted through various physical channels (eg, PUSCH, PDSCH).
  • the codeword may be converted into a scrambled bit sequence by the scrambler 710.
  • a scramble sequence used for scrambling is generated based on an initialization value, and the initialization value may include ID information of a wireless device.
  • the scrambled bit sequence may be modulated into a modulation symbol sequence by modulator 720.
  • the modulation method may include pi/2-binary phase shift keying (pi/2-BPSK), m-phase shift keying (m-PSK), m-quadrature amplitude modulation (m-QAM), and the like.
  • the complex modulation symbol sequence may be mapped to one or more transport layers by the layer mapper 730. Modulation symbols of each transport layer may be mapped to corresponding antenna port(s) by the precoder 740 (precoding).
  • the output z of the precoder 740 can be obtained by multiplying the output y of the layer mapper 730 by the N*M precoding matrix W.
  • N is the number of antenna ports and M is the number of transport layers.
  • the precoder 740 may perform precoding after transform precoding (eg, discrete fourier transform (DFT)) on complex modulation symbols. Also, the precoder 740 may perform precoding without performing transform precoding.
  • transform precoding eg, discrete fourier transform (DFT)
  • the resource mapper 750 may map modulation symbols of each antenna port to time-frequency resources.
  • the time-frequency resource may include a plurality of symbols (eg, CP-OFDMA symbols and DFT-s-OFDMA symbols) in the time domain and a plurality of subcarriers in the frequency domain.
  • the signal generator 760 generates a radio signal from the mapped modulation symbols, and the generated radio signal can be transmitted to other devices through each antenna.
  • CP cyclic prefix
  • DAC digital-to-analog converter
  • the signal processing process for the received signal in the wireless device may be configured in reverse to the signal processing process 710 to 760 of FIG. 7 .
  • a wireless device eg, 200a and 200b of FIG. 2
  • the received radio signal may be converted into a baseband signal through a signal restorer.
  • the signal restorer may include a frequency downlink converter, an analog-to-digital converter (ADC), a CP remover, and a fast fourier transform (FFT) module.
  • ADC analog-to-digital converter
  • FFT fast fourier transform
  • the baseband signal may be restored to a codeword through a resource de-mapper process, a postcoding process, a demodulation process, and a de-scramble process.
  • a signal processing circuit for a received signal may include a signal restorer, a resource demapper, a postcoder, a demodulator, a descrambler, and a decoder.
  • 6G (radio communications) systems are characterized by (i) very high data rates per device, (ii) very large number of connected devices, (iii) global connectivity, (iv) very low latency, (v) battery- It aims to lower energy consumption of battery-free IoT devices, (vi) ultra-reliable connectivity, and (vii) connected intelligence with machine learning capabilities.
  • the vision of the 6G system can be four aspects such as “intelligent connectivity”, “deep connectivity”, “holographic connectivity”, and “ubiquitous connectivity”, and the 6G system can satisfy the requirements shown in Table 1 below. That is, Table 1 is a table showing the requirements of the 6G system.
  • the 6G system is enhanced mobile broadband (eMBB), ultra-reliable low latency communications (URLLC), mMTC (massive machine type communications), AI integrated communication, tactile Internet (tactile internet), high throughput, high network capacity, high energy efficiency, low backhaul and access network congestion and improved data security ( can have key factors such as enhanced data security.
  • eMBB enhanced mobile broadband
  • URLLC ultra-reliable low latency communications
  • mMTC massive machine type communications
  • AI integrated communication e.g., AI integrated communication
  • tactile Internet tactile internet
  • high throughput high network capacity
  • high energy efficiency high backhaul and access network congestion
  • improved data security can have key factors such as enhanced data security.
  • FIG. 10 is a diagram illustrating an example of a communication structure that can be provided in a 6G system applicable to the present disclosure.
  • a 6G system is expected to have 50 times higher simultaneous wireless communication connectivity than a 5G wireless communication system.
  • URLLC a key feature of 5G, is expected to become a more mainstream technology by providing end-to-end latency of less than 1 ms in 6G communications.
  • the 6G system will have much better volume spectral efficiency, unlike the frequently used area spectral efficiency.
  • 6G systems can provide very long battery life and advanced battery technology for energy harvesting, so mobile devices in 6G systems may not need to be charged separately.
  • AI The most important and newly introduced technology for the 6G system is AI.
  • AI was not involved in the 4G system.
  • 5G systems will support partial or very limited AI.
  • the 6G system will be AI-enabled for full automation.
  • Advances in machine learning will create more intelligent networks for real-time communication in 6G.
  • Introducing AI in communications can simplify and enhance real-time data transmission.
  • AI can use a plethora of analytics to determine how complex target tasks are performed. In other words, AI can increase efficiency and reduce processing delays.
  • AI can also play an important role in machine-to-machine, machine-to-human and human-to-machine communications.
  • AI can be a rapid communication in the brain computer interface (BCI).
  • BCI brain computer interface
  • AI-based communication systems can be supported by metamaterials, intelligent structures, intelligent networks, intelligent devices, intelligent cognitive radios, self-sustaining wireless networks, and machine learning.
  • AI-based physical layer transmission means applying a signal processing and communication mechanism based on an AI driver rather than a traditional communication framework in fundamental signal processing and communication mechanisms. For example, deep learning-based channel coding and decoding, deep learning-based signal estimation and detection, deep learning-based multiple input multiple output (MIMO) mechanism, It may include AI-based resource scheduling and allocation.
  • MIMO multiple input multiple output
  • Machine learning may be used for channel estimation and channel tracking, and may be used for power allocation, interference cancellation, and the like in a downlink (DL) physical layer. Machine learning can also be used for antenna selection, power control, symbol detection, and the like in a MIMO system.
  • DL downlink
  • AI algorithms based on deep learning require a lot of training data to optimize training parameters.
  • a lot of training data is used offline. This is because static training on training data in a specific channel environment may cause a contradiction between dynamic characteristics and diversity of a radio channel.
  • Machine learning refers to a set of actions that train a machine to create a machine that can do tasks that humans can or cannot do.
  • Machine learning requires data and a running model.
  • data learning methods can be largely classified into three types: supervised learning, unsupervised learning, and reinforcement learning.
  • Neural network training is aimed at minimizing errors in the output.
  • Neural network learning repeatedly inputs training data to the neural network, calculates the output of the neural network for the training data and the error of the target, and backpropagates the error of the neural network from the output layer of the neural network to the input layer in a direction to reduce the error. ) to update the weight of each node in the neural network.
  • Supervised learning uses training data in which correct answers are labeled in the learning data, and unsupervised learning may not have correct answers labeled in the learning data. That is, for example, learning data in the case of supervised learning related to data classification may be data in which each learning data is labeled with a category. Labeled training data is input to the neural network, and an error may be calculated by comparing the output (category) of the neural network and the label of the training data. The calculated error is back-propagated in a reverse direction (ie, from the output layer to the input layer) in the neural network, and the connection weight of each node of each layer of the neural network may be updated according to the back-propagation.
  • a reverse direction ie, from the output layer to the input layer
  • the amount of change in the connection weight of each updated node may be determined according to a learning rate.
  • the neural network's computation of input data and backpropagation of errors can constitute a learning cycle (epoch).
  • the learning rate may be applied differently according to the number of iterations of the learning cycle of the neural network. For example, a high learning rate is used in the early stages of neural network learning to increase efficiency by allowing the neural network to quickly achieve a certain level of performance, and a low learning rate can be used in the late stage to increase accuracy.
  • the learning method may vary depending on the characteristics of the data. For example, in a case where the purpose of the receiver is to accurately predict data transmitted by the transmitter in a communication system, it is preferable to perform learning using supervised learning rather than unsupervised learning or reinforcement learning.
  • the learning model corresponds to the human brain, and the most basic linear model can be considered. ) is called
  • the neural network cord used as a learning method is largely divided into deep neural networks (DNN), convolutional deep neural networks (CNN), and recurrent boltzmann machine (RNN). and this learning model can be applied.
  • DNN deep neural networks
  • CNN convolutional deep neural networks
  • RNN recurrent boltzmann machine
  • THz communication can be applied in 6G systems.
  • the data transmission rate can be increased by increasing the bandwidth. This can be done using sub-THz communication with wide bandwidth and applying advanced massive MIMO technology.
  • THz waves also known as sub-millimeter radiation
  • THz waves generally represent a frequency band between 0.1 THz and 10 THz with corresponding wavelengths in the range of 0.03 mm-3 mm.
  • the 100 GHz-300 GHz band range (sub THz band) is considered a major part of the THz band for cellular communications. Adding to the sub-THz band mmWave band will increase 6G cellular communications capacity.
  • 300 GHz-3 THz is in the far infrared (IR) frequency band.
  • the 300 GHz-3 THz band is part of the broad band, but is at the border of the wide band, just behind the RF band. Thus, this 300 GHz-3 THz band exhibits similarities to RF.
  • THz communications include (i) widely available bandwidth to support very high data rates, and (ii) high path loss at high frequencies (highly directional antennas are indispensable).
  • the narrow beamwidth produced by the highly directional antenna reduces interference.
  • the small wavelength of the THz signal allows a much larger number of antenna elements to be incorporated into devices and BSs operating in this band. This enables advanced adaptive array technology to overcome range limitations.
  • THz Terahertz
  • FIG. 10 is a diagram illustrating a THz communication method applicable to the present disclosure.
  • THz waves are located between RF (Radio Frequency)/millimeter (mm) and infrared bands, and (i) transmit non-metal/non-polarizable materials better than visible light/infrared rays, and have a shorter wavelength than RF/millimeter waves and have high straightness. Beam focusing may be possible.
  • 11 is a diagram showing the structure of a perceptron included in an artificial neural network applicable to the present disclosure.
  • 12 is a diagram showing an artificial neural network structure applicable to the present disclosure.
  • an artificial intelligence system may be applied in a 6G system.
  • the artificial intelligence system may operate based on a learning model corresponding to the human brain, as described above.
  • a paradigm of machine learning using a neural network structure having a high complexity such as an artificial neural network as a learning model may be referred to as deep learning.
  • the neural network cord used in the learning method is largely a deep neural network (DNN), a convolutional deep neural network (CNN), and a recurrent neural network (RNN).
  • DNN deep neural network
  • CNN convolutional deep neural network
  • RNN recurrent neural network
  • the artificial neural network may be composed of several perceptrons.
  • the huge artificial neural network structure extends the simplified perceptron structure shown in FIG. 11, and the input vector can be applied to different multi-dimensional perceptrons.
  • an input value or an output value is referred to as a node.
  • the perceptron structure shown in FIG. 11 can be described as being composed of a total of three layers based on input values and output values.
  • An artificial neural network in which there are H number of (d + 1) dimensional perceptrons between the 1st layer and the 2nd layer and K number of (H + 1) dimensional perceptrons between the 2nd layer and the 3rd layer is represented as shown in FIG. can
  • the layer where the input vector is located is called the input layer
  • the layer where the final output value is located is called the output layer
  • all layers located between the input layer and the output layer are called hidden layers.
  • the artificial neural network illustrated in FIG. 12 can be understood as a total of two layers.
  • the artificial neural network is composed of two-dimensionally connected perceptrons of basic blocks.
  • the above-described input layer, hidden layer, and output layer can be jointly applied to various artificial neural network structures such as CNN and RNN, which will be described later, as well as multi-layer perceptrons.
  • CNN neural network
  • RNN multi-layer perceptrons
  • DNN deep neural network
  • FIG. 13 is a diagram illustrating a deep neural network applicable to the present disclosure.
  • the deep neural network may be a multi-layer perceptron composed of 8 hidden layers + 8 output layers.
  • the multilayer perceptron structure can be expressed as a fully-connected neural network.
  • a fully-connected neural network there is no connection relationship between nodes located on the same layer, and a connection relationship may exist only between nodes located on adjacent layers.
  • DNN has a fully-connected neural network structure and is composed of a combination of multiple hidden layers and activation functions, so it can be usefully applied to identify the correlation characteristics between inputs and outputs.
  • the correlation characteristic may mean a joint probability of input and output.
  • 14 is a diagram illustrating a convolutional neural network applicable to the present disclosure.
  • 15 is a diagram illustrating a filter operation of a convolutional neural network applicable to the present disclosure.
  • various artificial neural network structures different from the aforementioned DNN can be formed depending on how a plurality of perceptrons are connected to each other.
  • nodes located inside one layer are arranged in a one-dimensional vertical direction.
  • the nodes are two-dimensionally arranged with w nodes horizontally and h nodes vertically. (convolutional neural network structure in FIG. 14).
  • a weight is added for each connection in the connection process from one input node to the hidden layer, a total of h ⁇ w weights should be considered. Since there are h ⁇ w nodes in the input layer, a total of h 2 w 2 weights may be required between two adjacent layers.
  • the convolutional neural network of FIG. 14 has a problem in that the number of weights increases exponentially according to the number of connections, it can be assumed that there is a filter with a small size instead of considering all mode connections between adjacent layers. can For example, as shown in FIG. 15, a weighted sum and an activation function operation may be performed on a portion where filters overlap.
  • one filter has weights corresponding to the number of filters, and learning of weights can be performed so that a specific feature on an image can be extracted as a factor and output.
  • a 3 ⁇ 3 filter is applied to a 3 ⁇ 3 area at the top left of the input layer, and an output value obtained by performing a weighted sum and an activation function operation on a corresponding node may be stored in z 22 .
  • the above-described filter is moved by a certain distance horizontally and vertically while scanning the input layer, and the weighted sum and activation function calculations are performed, and the output value can be placed at the position of the current filter.
  • the deep neural network of this structure is called a convolutional neural network (CNN), and the result of the convolution operation
  • the hidden layer may be called a convolutional layer.
  • a neural network including a plurality of convolutional layers may be referred to as a deep convolutional neural network (DCNN).
  • the number of weights may be reduced by calculating a weighted sum including only nodes located in a region covered by the filter in the node where the current filter is located. This allows one filter to be used to focus on features for a local area. Accordingly, CNN can be effectively applied to image data processing in which a physical distance in a 2D area is an important criterion. Meanwhile, in the CNN, a plurality of filters may be applied immediately before the convolution layer, and a plurality of output results may be generated through a convolution operation of each filter.
  • a structure in which this method is applied to an artificial neural network can be referred to as a recurrent neural network structure.
  • 16 is a diagram showing a neural network structure in which a circular loop applicable to the present disclosure exists.
  • 17 is a diagram illustrating an operational structure of a recurrent neural network applicable to the present disclosure.
  • a recurrent neural network is an element ⁇ x 1 (t) , x 2 (t) , . , x d (t) ⁇ into the fully connected neural network, the immediately preceding point in time t-1 is the hidden vector ⁇ z 1 (t-1) , z 2 (t-1) , . . . , z H (t-1) ⁇ together to apply a weighted sum and an activation function.
  • the reason why the hidden vector is transmitted to the next time point in this way is that information in the input vector at previous time points is regarded as being accumulated in the hidden vector of the current time point.
  • the recurrent neural network may operate in a predetermined sequence of views with respect to an input data sequence.
  • the input vector at time point 1 ⁇ x 1 (t) , x 2 (t) , . . . , x d (t) ⁇ is input to the recurrent neural network ⁇ z 1 (1) , z 2 (1) , . . . , z H (1) ⁇ is the input vector ⁇ x 1 (2) , x 2 (2) , . , x d (2) ⁇ , the vector ⁇ z 1 (2) , z 2 (2) , . . . of the hidden layer through the weighted sum and activation function , z H (2) ⁇ is determined.
  • This process is at time point 2, time point 3, . . . , iteratively performed until time T.
  • a deep recurrent neural network a recurrent neural network
  • Recurrent neural networks are designed to be usefully applied to sequence data (eg, natural language processing).
  • neural network core used as a learning method, in addition to DNN, CNN, and RNN, restricted Boltzmann machine (RBM), deep belief networks (DBN), and deep Q-Network It includes various deep learning techniques such as computer vision, voice recognition, natural language processing, and voice/signal processing.
  • RBM restricted Boltzmann machine
  • DNN deep belief networks
  • Q-Network It includes various deep learning techniques such as computer vision, voice recognition, natural language processing, and voice/signal processing.
  • AI-based physical layer transmission means applying a signal processing and communication mechanism based on an AI driver, not a traditional communication framework, in fundamental signal processing and communication mechanisms. For example, deep learning-based channel coding and decoding, deep learning-based signal estimation and detection, deep learning-based MIMO mechanism, AI-based resource scheduling ( scheduling) and allocation.
  • a method for exchanging information between devices may include communication between a server and devices, and communication between sensors inside devices.
  • a method for exchanging information between autonomous driving devices, unmanned devices, or general devices may include communication between a server and devices and communication between sensors inside the devices.
  • Devices are increasingly equipped with sensors to operate like autonomous vehicles, unmanned drones, IoT or robots.
  • devices are increasingly equipped with sensors such as radar and cameras to perform autonomous driving operations. Accordingly, the amount of data processed by the device increases, job processing becomes complicated, and data loss due to image signal processing (ISP) may increase.
  • ISP image signal processing
  • the autonomous driving device can identify surrounding objects. For example, an autonomous device may identify whether a nearby object is a person, mobile device, or object.
  • the autonomous driving device may grasp the driving environment.
  • the self-driving device can grasp the surrounding environment and region by 3D.
  • the autonomous driving device may detect surrounding objects or measure the speed of surrounding objects. Accordingly, the autonomous driving device may brake or prevent a collision with a surrounding object.
  • An autonomous driving device needs to be equipped with the above functions. However, the functions described above require very complex calculations and accurate references to be derived. Sensors included in existing devices have performance optimization limitations. That is, the camera lens, image sensor, and ISP included in the existing device have performance optimization limitations.
  • the RF frequency and processing speed of the radar included in the existing device have limitations in performance optimization. In addition, there is performance optimization for laser signal generation and detection of a radar included in an existing device.
  • changes in sensor specifications according to the product target of the device may cause an imbalance between the amount of information collected from the device and the work processing capability.
  • the product target may include concepts such as premium, high tier, and not tier.
  • Sensors may include lenses, image sensors, ISP processing, radar/lidar, and the like. The above-described imbalance may cause degradation in the performance of the device to identify surrounding objects, grasp the driving environment, detect objects, or measure speed.
  • the information obtained by the devices from the camera may be general information-centric. Accordingly, devices having a specific purpose must reprocess information obtained from the camera. Thus, additional processing costs may be incurred for such processing.
  • This disclosure proposes an organic operating method between a device and a server.
  • the present disclosure proposes a method of increasing reliability of communication between sensors inside a device.
  • the present disclosure proposes a method of increasing resource efficiency by performing ISP processing by AI.
  • FIGS. 18a and 18b are diagrams illustrating an example of federated learning applicable to the present disclosure.
  • Federated Learning is a machine learning technique in which multiple terminals or servers holding local data samples and information train an algorithm without terminals or servers exchanging data samples and information. This method allows terminals to build a common powerful machine learning model without sharing data and information.
  • federated learning technology can solve important issues such as data privacy, data security, data access rights, and heterogeneous data access.
  • Federated learning is performed in such a way that the terminal trains a local model for local data and information, the terminal passes parameters of the local model to the server so that the server can create a global model, and the terminal receives the global model from the server. It can be.
  • Parameters of the local model may include weights and information of the deep neural network.
  • Servers can contain global models.
  • Devices that communicate with the server may include a local model.
  • the global model may include information generated by the server based on information received from a plurality of terminals.
  • the local model may include information generated by the device based on information received from the server.
  • Servers and devices may communicate through a variety of methods to transfer models to each other. For example, a server and a device may communicate by being wired or wirelessly connected to transmit models to each other.
  • a server may include a base station.
  • the server 1808 may receive W 1 from the terminal 1 1802 .
  • a terminal may include a wireless communication device such as a vehicle, an autonomous vehicle, or an unmanned device.
  • W 1 may mean the weight of the neural network generated by terminal 1 through learning.
  • Terminal 1 (1802) can receive the W BS from the server (1808).
  • W BS may mean the weight of the neural network generated by the server through learning.
  • Server 1808 may receive W 2 from terminal 2 1804 .
  • W 2 may mean the weight of the neural network generated by terminal 2 through learning.
  • Terminal 2 (1804) can receive the W BS from the server (1808).
  • W BS may mean the weight of the neural network generated by the server through learning.
  • Terminal 3 (1806) may also operate in the same manner as described above.
  • the server 1808 may generate the W BS through learning based on weights received from a plurality of terminals as described above.
  • W BS generated by the server can be expressed as in Equation 1 below.
  • U may mean the number of terminals that provided weight information to the server.
  • a vehicle may include a central server 1902 and a sensor camera 1904 . Also, the vehicle may include a plurality of sensor cameras.
  • the central server 1902 can communicate with the sensor camera 1904.
  • the central server may communicate with the sensor camera by including an Integrated Access Backhaul-donor (IAB-donor) and an Integrated Access Backhaul-node (IAB-node).
  • IAB-donor Integrated Access Backhaul-donor
  • IAB-node Integrated Access Backhaul-node
  • the central server may include a central unit (CU) of the IAB donor, and the sensor camera may include a distributed unit (DU) of the IAB donor.
  • CU central unit
  • DU distributed unit
  • the central server may generate weights W BS through learning using artificial intelligence based on information received from a plurality of sensor cameras.
  • the sensor camera may generate weights through learning using artificial intelligence based on information received from the central server.
  • the sensor cameras may transmit the weights W each generated to the central server.
  • the device may update the local model using local data.
  • a device may receive a global model and perform training with stored local data.
  • the device may transmit the updated local model to the server.
  • the device may transmit the calculated parameters to the server.
  • the calculated parameters may include weights and information of the deep neural network.
  • the server may update the global model through the received local model.
  • the server may update parameters of the global model using parameters received from a plurality of devices.
  • the server may complete the parameter update and evaluate the cost function.
  • the server may transmit the updated global model to the device.
  • the server may transmit the global model to multiple devices to perform learning.
  • the device and the server may repeat the above-described procedures until the values obtained from the above-described evaluation converge. Through this process, the device and the server can derive an optimal weight value.
  • the cost function and the optimal weight value can be expressed as Equation 2 below.
  • d k may mean a value (trained information) measured by the base station.
  • x k (w) may mean a value measured by terminal k.
  • x k (w) can be expressed as f NN (s k ;).
  • J(w) may mean a value obtained by adding all squares of differences between d k and x k (w).
  • W * may mean an estimator that makes J(w) a minimum value.
  • a terminal may include a vehicle and a wireless communication device.
  • the terminal may include a sensor 2102 and a central server 2104 .
  • the terminal may include a plurality of sensors.
  • the central server 2104 may include an ISP 2108 and a neural network training unit (2110).
  • Sensor 2102 and central server 2104 may communicate.
  • the central server 2104 may communicate with a plurality of sensors.
  • the sensor may include a camera sensor.
  • a virtual neural network unit (2106) may be located inside or outside the sensor (2102).
  • the aforementioned central server 2104 may be replaced by a base station. That is, the ISP 2108 and the neural net learner 2110 may be located outside the terminal and may be included in the base station.
  • the sensor 2102 according to the present disclosure may not include an image signal processing (ISP) device.
  • the sensor 2102 according to the present disclosure may process an input image according to a specific purpose through the virtual neural net unit 2106.
  • the sensor 2102 may extract only a person from an image excluding other objects through the virtual neural net unit 2106 . That is, the virtual neural net unit 2106 may process images according to a specific purpose.
  • the virtual neural net unit may process an image according to a specific purpose based on artificial intelligence.
  • the sensor may process the image through the virtual neural net unit and transmit data to the central server 2104. The data transmitted by the sensor to the central server does not go through the ISP, so data loss can be reduced.
  • a plurality of sensors included in the terminal may transmit data to the central server without processing images through the ISP.
  • a plurality of sensors can minimize data loss by transmitting unprocessed data to the central server.
  • Central server 2104 may include ISP 2108 .
  • the central server can process the image through the ISP and compare it with the data output by the virtual neural net. The relevant procedures are described in detail below.
  • the sensor 2102 can send data output to the virtual neural net unit 2106.
  • the virtual neural net unit 2106 may receive the data output of the sensor 2102 as an input.
  • the virtual neural net unit 2106 may multiply data received as an input by a weight value and output the result.
  • the virtual neural net unit may output x k by multiplying data received as an input by a weight w BS value, which is a neural net learning result.
  • the central server 2104 may receive the result of the virtual neural net as an input.
  • the neural net learning unit 2110 may receive output data of the virtual neural net unit 2106 as an input.
  • ISP 2108 may also receive data from sensor 2102 .
  • the ISP may perform image processing on the input data.
  • the neural net learner 2110 may compare the output data of the ISP 2108 with the learning result. For example, the neural net learning unit may obtain a difference between an output d k of the ISP and a virtual neural net x k value. The neural net learning unit may generate weight values based on these differences. The neural net learning unit may transmit the generated weight value to the virtual neural net unit. The neural net learning unit and the virtual neural net unit may repeat the above-described procedure until the weight values converge. As the procedure is repeated, the weight values can become more and more accurate.
  • the terminal may include a sensor 2202 and a central server 2204 . Also, the terminal may include a plurality of sensors.
  • the central server 2204 may include an ISP 2208, a neural network training unit (2210) and a reverse virtual neural network unit (2112). Sensor 2202 and central server 2204 can communicate with each other. As an example, the central server 2204 may communicate with a plurality of sensors.
  • the sensor may include a camera sensor.
  • the virtual neural network unit 2206 may be located inside or outside the sensor 2202 .
  • the aforementioned central server 2204 may be replaced by a base station. That is, the reverse virtual neural net unit 2212, the ISP 2208, and the neural net learning unit 2210 may be located outside the terminal and may be included in the base station.
  • the central server 2204 may generate data having a specific purpose removed through the reverse virtual neural net unit 2212 .
  • the reverse virtual neural net unit may generate output data of a sensor. The relevant procedures are described in detail below.
  • the sensor 2202 can send data output to the virtual neural net unit 2206.
  • the virtual neural net unit 2206 may receive the data output of the sensor 2202 as an input.
  • the virtual neural net unit 2206 may multiply data received as an input by a weight value and output the result.
  • the virtual neural net unit may output x k by multiplying data received as an input by a weight w BS value, which is a neural net learning result.
  • the central server 2204 may receive the result of the virtual neural net as an input.
  • the neural net learning unit 2210 may receive output data of the virtual neural net unit 2206 as an input.
  • the reverse virtual neural net unit 2212 may receive output data of the virtual neural net unit 2206 .
  • the reverse virtual neural net unit may remove the specific purpose of the image processed by the virtual neural net unit according to the specific purpose. For example, the reverse virtual neural net unit may generate data with a specific purpose removed based on artificial intelligence. Also, the reverse virtual neural net unit may process the received data to generate output data of the sensor. The reverse virtual neural net unit may transmit the generated data to the ISP, and the ISP 2208 may receive data from the reverse neural net unit 2212. The ISP may perform image processing on the input data.
  • the neural net learner 2210 may compare the output data of the ISP 2208 with the learning result. For example, the neural net learning unit may obtain a difference between an output d k of the ISP and a virtual neural net x k value. The neural net learning unit may generate weight values based on these differences. The neural net learning unit may transmit the generated weight value to the virtual neural net unit. The neural net learning unit and the virtual neural net unit may repeat the above-described procedure until the weight values converge. As the procedure is repeated, the weight values can become more and more accurate.
  • the terminal may include a sensor 2302 and a central server 2304 . Also, the terminal may include a plurality of sensors.
  • the central server 2304 may include a reverse virtual neural network unit 2308 and a neural network training unit 2310. Sensor 2302 and central server 2304 can communicate with each other. As an example, the central server 2304 may communicate with a plurality of sensors.
  • the sensor may include a camera sensor.
  • the virtual neural network unit 2306 may be located inside or outside the sensor 2302.
  • the aforementioned central server 2304 may be replaced by a base station. That is, the reverse virtual neural net unit 2308 and the neural net learning unit 2310 may be located outside the terminal and may be included in the base station.
  • the central server 2304 may perform ISP through the reverse virtual neural net unit 2308.
  • ISP may perform ISP through the reverse virtual neural net unit 2308.
  • the sensor 2302 can send data output to the virtual neural net unit 2308.
  • the virtual neural net unit 2306 may receive the data output of the sensor 2302 as an input.
  • the virtual neural net unit 2306 may multiply data received as an input by a weight value and output the result.
  • the virtual neural net unit may output x k by multiplying data received as an input by a weight w BS value, which is a neural net learning result.
  • the central server 2304 may receive the result of the virtual neural net as an input.
  • the neural net learning unit 2310 may receive output data of the virtual neural net unit 2306 as an input.
  • the reverse virtual neural net unit 2308 may receive output data of the virtual neural net unit 2306.
  • the reverse virtual neural net unit may remove the specific purpose of the image processed by the virtual neural net unit according to the specific purpose. For example, the reverse virtual neural net unit may generate data with a specific purpose removed based on artificial intelligence. Also, the reverse virtual neural net unit may process the received data to generate output data of the sensor.
  • the reverse virtual neural network unit may perform image signal processing (ISP). Accordingly, the neural net learning unit 2310 may compare the output data of the reverse virtual neural net unit and the learning result. For example, the neural net learning unit may obtain a difference between an output d k value of the reverse virtual neural net unit and a virtual neural net x k value. The neural net learning unit may generate weight values based on these differences. The neural net learning unit may transmit the generated weight value to the virtual neural net unit. The neural net learning unit and the virtual neural net unit may repeat the above-described procedure until the weight values converge. As the procedure is repeated, the weight values can become more and more accurate.
  • ISP image signal processing
  • the terminal may include a first sensor 2402 and a second sensor 2404 .
  • the first sensor may include a radar.
  • the second sensor may include an ISP.
  • the central server may include a neural network training unit (2408).
  • another terminal may include the neural net learning unit 2408.
  • the base station may include a neural net learning unit 2408. That is, the neural net learning unit 2408 may be located in another terminal, a central server, or a base station. The location of the neural net learning unit is not limited to the above-described embodiment.
  • the first sensor 2402 and the central server may communicate with each other.
  • the second sensor 2404 and the central server can communicate with each other.
  • the virtual neural network unit 2406 may be located inside or outside the first sensor 2402 .
  • a terminal according to the present disclosure may include a first sensor 2402 that does not include an ISP and a second sensor 2404 that includes an ISP. The relevant procedures are described in detail below.
  • the first sensor 2402 may transmit data output to the virtual neural net unit 2406 .
  • the virtual neural net unit 2406 may receive the data output of the first sensor 2402 as an input.
  • the virtual neural net unit 2406 may multiply data received as an input by a weight value and output the result.
  • the virtual neural net unit may output x k by multiplying data received as an input by a weight w BS value, which is a neural net learning result.
  • the central server may receive the result of the virtual neural net as an input.
  • the neural net learning unit 2408 may receive output data of the virtual neural net unit 2406 as an input. Since the second sensor 2404 includes an ISP device, it can directly perform ISP.
  • the neural net learner 2408 may receive data that has undergone ISP processing from the second sensor.
  • the neural net learner may receive the ISP-processed d k value from the second sensor. Accordingly, the neural net learner may compare data received from the second sensor with a learning result. For example, the neural net learner may obtain a difference between an output d k value of the second sensor and an output x k value of the virtual neural net unit. The neural net learning unit may generate weight values based on these differences. The neural net learning unit may transmit the generated weight value to the virtual neural net unit. The neural net learning unit and the virtual neural net unit may repeat the above-described procedure until the weight values converge. As the procedure is repeated, the weight values can become more and more accurate.
  • the terminal may perform image sensing through a sensor. Also, the terminal may perform image sensing through a plurality of sensors.
  • the sensor may include a camera sensor and may not include an image signal processor (ISP). That is, the terminal can perform image sensing without performing ISP.
  • ISP image signal processor
  • the terminal may learn a first neural network based on image sensing.
  • the terminal may process the sensed image according to a specific purpose by learning the first neural network.
  • the terminal may include a virtual neural network unit.
  • the virtual neural net unit may learn the first neural network and process the sensed image according to a specific purpose.
  • the sensor of the terminal may transmit output data to the virtual neural net unit of the terminal.
  • the virtual neural network unit of the terminal may multiply input data by a weight value and output the result. That is, the terminal may output x k by multiplying the neural net learning result by the weight w BS value.
  • the terminal may transmit the first neural network learning result.
  • the terminal may transmit the first neural network learning result to the central server base station inside the terminal.
  • the central server inside the terminal may include a device capable of performing ISP.
  • the terminal may transmit the first neural network learning result to the base station.
  • the base station may include a device capable of performing ISP.
  • the terminal may transmit the first neural network learning result to another terminal.
  • another terminal may include a device capable of performing ISP.
  • Image signal processing may not be performed on data transmitted by a terminal to a central server, a base station, or another terminal.
  • the terminal can reduce data loss by transmitting data not performed by the ISP.
  • a plurality of sensors included in the terminal may transmit data for which ISP is not performed to the central server or the base station. Accordingly, data loss can be minimized.
  • some of the plurality of sensors included in the terminal may perform ISP.
  • the terminal may transmit ISP-performed data to a central server, a base station, or other terminals using sensors capable of performing the ISP.
  • the terminal may include a central server therein.
  • a central server may perform an ISP.
  • the central server may perform ISP using an ISP device.
  • the central server may perform ISP by learning a reverse virtual neural network.
  • the central server of the terminal may perform ISP through a reverse virtual neural network unit.
  • the central server of the terminal may receive data transmitted by the virtual neural net unit of the terminal.
  • the reverse virtual neural net unit of the central server may remove the specific purpose of the image processed by the virtual neural net unit according to the specific purpose. For example, the reverse virtual neural net unit may generate data with a specific purpose removed based on artificial intelligence. Also, the reverse virtual neural net unit may process the received data to generate output data of the sensor.
  • the reverse virtual neural network unit of the central server may perform image signal processing (ISP). If the reverse virtual neural network portion of the central server is capable of performing an ISP, the central server may not include an ISP device. In addition, the central server may additionally include an ISP device even when the reverse virtual neural network unit can perform ISP. If the central server additionally includes an ISP device, the ISP device of the central server may perform ISP on output data of the reverse virtual neural net unit. The ISP device may transmit output data of the reverse virtual neural net unit that performed the ISP to the neural net learning unit of the central server.
  • ISP image signal processing
  • the neural net learning unit of the central server may learn the second neural network. For example, the neural net learning unit of the central server may compare the output data of the reverse virtual neural net unit and the second neural network learning result. Specifically, the neural net learning unit of the central server may obtain a difference between an output d k value of the reverse virtual neural net unit and an output x k value of the virtual neural net learning unit. The neural net learning unit may generate weight values based on these differences. The neural net learning unit may transmit the generated weight value to the virtual neural net unit.
  • the neural net learning unit of the terminal and the virtual neural net unit of the terminal may repeat the above-described procedure until the weight values converge. As the procedure is repeated, the weight values can become more and more accurate.
  • the central server of the terminal may not include a reverse virtual neural net unit, but may include an ISP device and a neural net learning unit.
  • the central server may receive the result of the virtual neural net as an input.
  • the neural net learning unit may receive output data of the virtual neural net unit as an input.
  • the ISP device can also receive data from the terminal's sensor.
  • the ISP device may perform ISP on the input data.
  • the central server may learn the second neural network.
  • the neural net learning unit of the central server may compare the output data of the ISP and the second neural network learning result.
  • the neural net learning unit may obtain a difference between an output dk value of the ISP and an output x k value of the virtual neural net unit.
  • the neural net learning unit may generate weight values based on these differences.
  • the neural net learning unit may transmit the generated weight value to the virtual neural net unit.
  • the neural net learning unit of the terminal and the virtual neural net unit of the terminal may repeat the above-described procedure until the weight values converge. As the procedure is repeated, the weight values can become more and more accurate.
  • FIG. 26 is a diagram illustrating an example of a server, base station, or terminal procedure applicable to the present disclosure.
  • a terminal may transmit a first neural network learning result to a central server, a base station, or other terminals. Procedures related to FIG. 26 will be described below.
  • the base station may receive a first neural network training result.
  • the base station may receive the result of the virtual neural net unit of the terminal as an input. That is, the neural net learning unit of the base station may receive output data of the virtual neural net unit of the terminal as an input.
  • the reverse virtual neural net unit of the base station may receive output data of the virtual neural net unit.
  • the reverse virtual neural net unit may remove the specific purpose of the image processed by the virtual neural net unit according to the specific purpose.
  • the reverse virtual neural net unit may generate data with a specific purpose removed based on artificial intelligence.
  • the reverse virtual neural net unit may process the received data to generate output data of the sensor.
  • the reverse virtual neural network unit may perform image signal processing (ISP).
  • ISP image signal processing
  • the reverse virtual neural network unit of the base station may learn a second neural network based on a learning result of the first neural network. For example, the neural net learning unit of the base station may compare the output data of the reverse virtual neural net unit and the first neural network learning result. Specifically, the neural net learning unit of the base station may obtain a difference between an output dk value of the reverse virtual neural net unit and an output x k value of the virtual neural net unit. The neural net learning unit of the base station may generate a weight value based on this difference.
  • the base station may additionally include an ISP device.
  • ISP may be performed on the output data of the reverse virtual neural network unit by the ISP device.
  • the base station may transmit the second neural network learning result.
  • the neural net learning unit of the base station may transmit the generated weight value to the virtual neural net unit of the terminal.
  • the neural net learning unit of the base station and the virtual neural net unit of the terminal may repeat the above-described procedure until the weight values converge. As the procedure is repeated, the weight values can become more and more accurate.
  • the base station may include an ISP device and a neural network learning unit.
  • the base station may receive the result of the virtual neural net as an input.
  • the neural net learning unit of the base station may receive output data of the virtual neural net unit of the terminal as an input.
  • the ISP device of the base station can also receive data from the sensor of the terminal.
  • the ISP device may perform ISP on the input data.
  • the base station may learn a second neural network based on a learning result of the first neural network.
  • the neural net learning unit of the base station may compare the output data of the ISP and the first neural network learning result. For example, the neural net learning unit of the base station may obtain a difference between an output d k value of the ISP and an output x k value of the virtual neural net unit of the terminal. The neural net learning unit of the base station may generate a weight value based on this difference.
  • the base station may transmit the second neural network learning result. Specifically, the neural net learning unit of the base station may transmit the generated weight value to the virtual neural net unit of the terminal.
  • the neural net learning unit of the base station and the virtual neural net unit of the terminal may repeat the above-described procedure until the weight values converge. As the procedure is repeated, the weight values can become more and more accurate.
  • Embodiments of the present disclosure may be applied to various wireless access systems.
  • various wireless access systems there is a 3rd Generation Partnership Project (3GPP) or 3GPP2 system.
  • 3GPP 3rd Generation Partnership Project
  • 3GPP2 3rd Generation Partnership Project2
  • Embodiments of the present disclosure may be applied not only to the various wireless access systems, but also to all technical fields to which the various wireless access systems are applied. Furthermore, the proposed method can be applied to mmWave and THz communication systems using ultra-high frequency bands.
  • embodiments of the present disclosure may be applied to various applications such as free-running vehicles and drones.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 개시의 일 예로서, 무선 통신 시스템에서 단말의 동작 방법은 제1 센서를 통해 이미지 센싱을 수행하는 단계, 기지국으로부터 뉴럴 네트워크 관련 정보를 수신하는 단계, 상기 뉴럴 네트워크 관련 정보에 기초하여 제1 뉴럴 네트워크를 학습하는 단계 및 기지국에게 상기 제1 뉴럴 네트워크 학습 결과 데이터를 전송하는 단계를 포함할 수 있다. 상기 제1 센서는 ISP(image signal processing)를 수행하지 않되, 상기 뉴럴 네트워크 관련 정보는 상기 단말의 뉴럴 네트워크 학습 여부를 지시하는 정보를 포함할 수 있다. 상기 제1 뉴럴 네트워크의 학습은 인공지능에 기초하여 상기 이미지 센싱 결과 데이터를 처리하는 학습일 수 있다.

Description

무선 통신 시스템에서 신호 전송 방법 및 장치
이하의 설명은 무선 통신 시스템에 대한 것으로, 무선 통신 시스템에서 연합학습을 통한 인공지능기반 특정 목적 가상 카메라와 관련된 신호 전송 방법에 관한 것이다.
무선 접속 시스템이 음성이나 데이터 등과 같은 다양한 종류의 통신 서비스를 제공하기 위해 광범위하게 전개되고 있다. 일반적으로 무선 접속 시스템은 가용한 시스템 자원(대역폭, 전송 파워 등)을 공유하여 다중 사용자와의 통신을 지원할 수 있는 다중 접속(multiple access) 시스템이다. 다중 접속 시스템의 예들로는 CDMA(code division multiple access) 시스템, FDMA(frequency division multiple access) 시스템, TDMA(time division multiple access) 시스템, OFDMA(orthogonal frequency division multiple access) 시스템, SC-FDMA(single carrier frequency division multiple access) 시스템 등이 있다.
특히, 많은 통신 기기들이 큰 통신 용량을 요구하게 됨에 따라 기존 RAT(radio access technology)에 비해 향상된 모바일 브로드밴드(enhanced mobile broadband, eMBB) 통신 기술이 제안되고 있다. 또한 다수의 기기 및 사물들을 연결하여 언제 어디서나 다양한 서비스를 제공하는 mMTC(massive machine type communications) 뿐만 아니라 신뢰성 (reliability) 및 지연(latency) 민감한 서비스/UE(user equipment)를 고려한 통신 시스템이 제안되고 있다. 이를 위한 다양한 기술 구성들이 제안되고 있다.
본 개시는 무선 통신 시스템에서 단말 또는 기지국이 인공지능에 기초하여 ISP(image signal processing)를 수행하는 방법 및 장치를 제공할 수 있다.
본 개시에서 이루고자 하는 기술적 목적들은 이상에서 언급한 사항들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 이하 설명할 본 개시의 실시 예들로부터 본 개시의 기술 구성이 적용되는 기술분야에서 통상의 지식을 가진 자에 의해 고려될 수 있다.
본 개시의 일 예로서, 무선 통신 시스템에서 단말의 동작 방법은 제1 센서를 통해 이미지 센싱을 수행하는 단계, 기지국으로부터 뉴럴 네트워크 관련 정보를 수신하는 단계, 상기 뉴럴 네트워크 관련 정보에 기초하여 제1 뉴럴 네트워크를 학습하는 단계 및 기지국에게 상기 제1 뉴럴 네트워크 학습 결과 데이터를 전송하는 단계를 포함할 수 있다. 상기 제1 센서는 ISP(image signal processing)를 수행하지 않되, 상기 뉴럴 네트워크 관련 정보는 상기 단말의 뉴럴 네트워크 학습 여부를 지시하는 정보를 포함할 수 있다. 상기 제1 뉴럴 네트워크의 학습은 인공지능에 기초하여 상기 이미지 센싱 결과 데이터를 처리하는 학습일 수 있다. 상기 뉴럴 네트워크 관련 정보는 상기 제1 뉴럴 네트워크의 가중치 정보를 포함할 수 있다. 상기 단말은 뉴럴 네트워크 학습 여부를 지시하는 정보가 상기 제1 뉴럴 네트워크 학습을 지시하는 경우에만 상기 제1 뉴럴 네트워크 학습을 수행할 수 있다. 상기 단말은 상기 기지국으로부터 제2 뉴럴 네트워크 학습 결과 데이터를 수신할 수 있다. 상기 단말은 제2 센서를 통해 이미지 센싱을 수행하고, 상기 제2 센서는 ISP를 수행할 수 있다. 상기 단말은 상기 제2 센서의 ISP 출력 데이터를 상기 기지국에게 전송할 수 있다.
본 개시의 일 예로서, 무선 통신 시스템에서 기지국의 동작 방법은 단말에게 뉴럴 네트워크 관련 정보를 전송하는 단계, 상기 단말로부터 제1 뉴럴 네트워크 학습 결과 데이터를 수신하는 단계, 상기 제1 뉴럴 네트워크 학습 결과 데이터에 기초하여 리버스 제1 뉴럴 네트워크를 학습하는 단계 및 상기 리버스 제1 뉴럴 네트워크 학습 결과에 기초하여 제2 뉴럴 네트워크를 학습하는 단계를 포함할 수 있다. 상기 리버스 제1 뉴럴 네트워크 학습은 ISP(image signal processing)를 수행할 수 있다. 상기 뉴럴 네트워크 관련 정보는 상기 단말의 뉴럴 네트워크 학습 여부를 지시하는 정보를 포함할 수 있다. 상기 제1 뉴럴 네트워크의 학습은 인공지능에 기초하여 이미지 센싱 결과 데이터를 처리할 수 있다. 상기 제2 뉴럴 네트워크의 학습은 ISP 수행 결과와 상기 제1 뉴럴 네트워크 학습 결과 데이터를 비교할 수 있다. 상기 뉴럴 네트워크 관련 정보는 상기 제1 뉴럴 네트워크의 가중치 정보를 포함할 수 있다. 상기 기지국은 상기 단말에게 제2 뉴럴 네트워크 학습 결과 데이터를 전송할 수 있다. 상기 기지국은 ISP(Image signal processor)를 포함할 수 있다. 상기 ISP(image signal processor)는 상기 리버스 제1 뉴럴 네트워크 학습 결과 데이터에 기초하여 ISP(image signal processing)을 수행할 수 있다. 상기 기지국은 상기 단말로부터 ISP 출력 데이터를 수신하고, 상기 ISP 출력 데이터에 기초하여 상기 제2 뉴럴 네트워크를 학습할 수 있다.
본 개시의 일 예로서, 무선 통신 시스템에서 단말은 송수신기 및 상기 송수신기와 연결된 프로세서를 포함할 수 있다. 상기 프로세서는 상기 단말이 제1 센서를 통해 이미지 센싱을 수행하도록 제어할 수 있다. 상기 프로세서는 상기 송수신기가 기지국으로부터 뉴럴 네트워크 관련 정보를 수신하도록 제어할 수 있다. 상기 프로세서는 상기 단말이 상기 뉴럴 네트워크 관련 정보에 기초하여 제1 뉴럴 네트워크를 학습하도록 제어할 수 있다. 상기 프로세서는 상기 송수신기가 상기 기지국에게 상기 제1 뉴럴 네트워크 학습 결과 데이터를 전송하도록 제어할 수 있다. 여기서, 상기 제1 센서는 ISP(image signal processing)를 수행하지 않을 수 있다. 상기 뉴럴 네트워크 관련 정보는 상기 단말의 뉴럴 네트워크 학습 여부를 지시하는 정보를 포함할 수 있다. 상기 제1 뉴럴 네트워크의 학습은 인공지능에 기초하여 상기 이미지 센싱 결과 데이터를 처리할 수 있다.
본 개시의 일 예로서, 무선 통신 시스템에서 기지국은 송수신기 및 상기 송수신기와 연결된 프로세서를 포함할 수 있다. 상기 프로세서는 상기 송수신기가 단말에게 뉴럴 네트워크 관련 정보를 전송하도록 제어할 수 있다. 상기 프로세서는 상기 기지국이 상기 단말로부터 제1 뉴럴 네트워크 학습 결과 데이터를 수신하도록 제어할 수 있다. 상기 프로세서는 상기 기지국이 상기 제1 뉴럴 네트워크 학습 결과 데이터에 기초하여 리버스 제1 뉴럴 네트워크를 학습하도록 제어하되, 상기 리버스 제1 뉴럴 네트워크 학습 결과에 기초하여 제2 뉴럴 네트워크를 학습하도록 제어할 수 있다. 상기 리버스 제1 뉴럴 네트워크 학습은 ISP(image signal processing)를 수행할 수 있다. 상기 뉴럴 네트워크 관련 정보는 상기 단말의 뉴럴 네트워크 학습 여부를 지시하는 정보를 포함할 수 있다. 상기 제1 뉴럴 네트워크의 학습은 인공지능에 기초하여 이미지 센싱 결과 데이터를 처리할 수 있다. 상기 제2 뉴럴 네트워크의 학습은 ISP 수행 결과와 상기 제1 뉴럴 네트워크 학습 결과 데이터를 비교할 수 있다.
본 개시의 일 예로서, 장치는 적어도 하나의 메모리 및 상기 적어도 하나의 메모리들과 기능적으로 연결되어 있는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 장치가 제1 센서를 통해 이미지 센싱을 수행하도록 제어할 수 있다. 상기 적어도 하나의 프로세서는 상기 장치가 기지국으로부터 뉴럴 네트워크 관련 정보를 수신하도록 제어할 수 있다. 상기 적어도 하나의 프로세서는 상기 장치가 상기 뉴럴 네트워크 관련 정보에 기초하여 제1 뉴럴 네트워크를 학습하도록 제어할 수 있다. 상기 적어도 하나의 프로세서는 상기 장치가 상기 기지국에게 상기 제1 뉴럴 네트워크 학습 결과 데이터를 전송하도록 제어할 수 있다. 상기 제1 센서는 ISP(image signal processing)를 수행하지 않을 수 있다. 상기 뉴럴 네트워크 관련 정보는 상기 단말의 뉴럴 네트워크 학습 여부를 지시하는 정보를 포함할 수 있다. 상기 제1 뉴럴 네트워크의 학습은 인공지능에 기초하여 상기 이미지 센싱 결과 데이터를 처리할 수 있다.
본 개시의 일 예로서, 적어도 하나의 명령어(instructions)을 저장하는 비-일시적인(non-transitory) 컴퓨터 판독 가능 매체(computer-readable medium)는 프로세서에 의해 실행 가능한(executable) 상기 적어도 하나의 명령어를 포함할 수 있다. 상기 적어도 하나의 명령어는 상기 컴퓨터 판독 가능 매체가 제1 센서를 통해 이미지 센싱을 수행하도록 지시하되, 기지국으로부터 뉴럴 네트워크 관련 정보를 수신하도록 지시하고, 상기 뉴럴 네트워크 관련 정보에 기초하여 제1 뉴럴 네트워크를 학습하도록 지시하고, 상기 기지국에게 상기 제1 뉴럴 네트워크 학습 결과 데이터를 전송하도록 지시할 수 있다. 여기서, 상기 제1 센서는 ISP(image signal processing)를 수행하지 않을 수 있다. 상기 뉴럴 네트워크 관련 정보는 상기 단말의 뉴럴 네트워크 학습 여부를 지시하는 정보를 포함할 수 있다. 상기 제1 뉴럴 네트워크의 학습은 인공지능에 기초하여 상기 이미지 센싱 결과 데이터를 처리할 수 있다.
상술한 본 개시의 양태들은 본 개시의 바람직한 실시 예들 중 일부에 불과하며, 본 개시의 기술적 특징들이 반영된 다양한 실시 예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 개시의 상세한 설명을 기반으로 도출되고 이해될 수 있다.
본 개시에 기초한 실시 예들에 의해 하기와 같은 효과가 있을 수 있다.
본 개시에 따르면, 단말 또는 기지국이 인공지능에 기초하여 ISP(image signal processing)을 수행할 수 있다.
본 개시에 따르면, 장치 내부의 센서들 간 통신의 신뢰성을 제고할 수 있다.
본 개시에 따르면, 단말이 인공지능에 기초한 ISP 관련 데이터를 효율적으로 송수신할 수 있다.
본 개시의 실시 예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 이하의 본 개시의 실시 예들에 대한 기재로부터 본 개시의 기술 구성이 적용되는 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다. 즉, 본 개시에서 서술하는 구성을 실시함에 따른 의도하지 않은 효과들 역시 본 개시의 실시 예들로부터 당해 기술분야의 통상의 지식을 가진 자에 의해 도출될 수 있다.
이하에 첨부되는 도면들은 본 개시에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 개시에 대한 실시 예들을 제공할 수 있다. 다만, 본 개시의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다. 각 도면에서의 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미할 수 있다.
도 1은 본 개시에 적용 가능한 통신 시스템 예시를 나타낸 도면이다.
도 2는 본 개시에 적용 가능한 무선 기기의 예시를 나타낸 도면이다.
도 3은 본 개시에 적용 가능한 무선 기기의 다른 예시를 나타낸 도면이다.
도 4는 본 개시에 적용 가능한 휴대 기기의 예시를 나타낸 도면이다.
도 5는 본 개시에 적용 가능한 차량 또는 자율 주행 차량의 예시를 나타낸 도면이다.
도 6은 본 개시에 적용 가능한 AI(Artificial Intelligence)의 예시를 나타낸 도면이다.
도 7은 본 개시에 적용 가능한 전송 신호를 처리하는 방법을 나타낸 도면이다.
도 8은 본 개시에 적용 가능한 6G 시스템에서 제공 가능한 통신 구조의 일례를 나타낸 도면이다.
도 9는 본 개시에 적용 가능한 전자기 스펙트럼을 나타낸 도면이다.
도 10은 본 개시에 적용 가능한 THz 통신 방법을 나타낸 도면이다.
도 11은 본 개시에 적용 가능한 인공 신경망에 포함되는 퍼셉트론(perceptron)의 구조를 나타낸 도면이다.
도 12는 본 개시에 적용 가능한 인공 신경망 구조를 나타낸 도면이다.
도 13은 본 개시에 적용 가능한 심층 신경망을 나타낸 도면이다.
도 14는 본 개시에 적용 가능한 컨볼루션 신경망을 나타낸 도면이다.
도 15는 본 개시에 적용 가능한 컨볼루션 신경망의 필터 연산을 나타낸 도면이다.
도 16은 본 개시에 적용 가능한 순환 루프가 존재하는 신경망 구조를 나타낸 도면이다.
도 17은 본 개시에 적용 가능한 순환 신경망의 동작 구조를 나타낸 도면이다.
도 18a 및 도 18b는 본 개시에 적용 가능한 연합 학습의 일 예를 나타낸 도면이다.
도 19는 본 개시에 적용 가능한 연합 학습의 일 예를 나타낸 도면이다.
도 20은 본 개시에 적용 가능한 연합 학습 절차의 일 예를 나타낸 도면이다.
도 21은 본 개시에 적용 가능한 단말의 일 예를 나타낸 도면이다.
도 22는 본 개시에 적용 가능한 단말의 일 예를 나타낸 도면이다.
도 23은 본 개시에 적용 가능한 단말의 일 예를 나타낸 도면이다.
도 24는 본 개시에 적용 가능한 단말의 일 예를 나타낸 도면이다.
도 25는 본 개시에 적용 가능한 단말의 동작 절차의 일 예를 나타낸 도면이다.
도 26은 본 개시에 적용 가능한 서버, 기지국 또는 단말 절차의 일 예를 나타낸 도면이다.
이하의 실시 예들은 본 개시의 구성요소들과 특징들을 소정 형태로 결합한 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려될 수 있다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 개시의 실시 예를 구성할 수도 있다. 본 개시의 실시 예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시 예의 일부 구성이나 특징은 다른 실시 예에 포함될 수 있고, 또는 다른 실시 예의 대응하는 구성 또는 특징과 교체될 수 있다.
도면에 대한 설명에서, 본 개시의 요지를 흐릴 수 있는 절차 또는 단계 등은 기술하지 않았으며, 당업자의 수준에서 이해할 수 있을 정도의 절차 또는 단계는 또한 기술하지 아니하였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 개시를 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
본 명세서에서 본 개시의 실시 예들은 기지국과 이동국 간의 데이터 송수신 관계를 중심으로 설명되었다. 여기서, 기지국은 이동국과 직접적으로 통신을 수행하는 네트워크의 종단 노드(terminal node)로서의 의미가 있다. 본 문서에서 기지국에 의해 수행되는 것으로 설명된 특정 동작은 경우에 따라서는 기지국의 상위 노드(upper node)에 의해 수행될 수도 있다.
즉, 기지국을 포함하는 다수의 네트워크 노드들(network nodes)로 이루어지는 네트워크에서 이동국과의 통신을 위해 수행되는 다양한 동작들은 기지국 또는 기지국 이외의 다른 네트워크 노드들에 의해 수행될 수 있다. 이때, '기지국'은 고정국(fixed station), Node B, eNB(eNode B), gNB(gNode B), ng-eNB, 발전된 기지국(advanced base station, ABS) 또는 억세스 포인트(access point) 등의 용어에 의해 대체될 수 있다.
또한, 본 개시의 실시 예들에서 단말(terminal)은 사용자 기기(user equipment, UE), 이동국(mobile station, MS), 가입자국(subscriber station, SS), 이동 가입자 단말(mobile subscriber station, MSS), 이동 단말(mobile terminal) 또는 발전된 이동 단말(advanced mobile station, AMS) 등의 용어로 대체될 수 있다.
또한, 송신단은 데이터 서비스 또는 음성 서비스를 제공하는 고정 및/또는 이동 노드를 말하고, 수신단은 데이터 서비스 또는 음성 서비스를 수신하는 고정 및/또는 이동 노드를 의미한다. 따라서, 상향링크의 경우, 이동국이 송신단이 되고, 기지국이 수신단이 될 수 있다. 마찬가지로, 하향링크의 경우, 이동국이 수신단이 되고, 기지국이 송신단이 될 수 있다.
본 개시의 실시 예들은 무선 접속 시스템들인 IEEE 802.xx 시스템, 3GPP(3rd Generation Partnership Project) 시스템, 3GPP LTE(Long Term Evolution) 시스템, 3GPP 5G(5th generation) NR(New Radio) 시스템 및 3GPP2 시스템 중 적어도 하나에 개시된 표준 문서들에 의해 뒷받침될 수 있으며, 특히, 본 개시의 실시 예들은 3GPP TS(technical specification) 38.211, 3GPP TS 38.212, 3GPP TS 38.213, 3GPP TS 38.321 및 3GPP TS 38.331 문서들에 의해 뒷받침 될 수 있다.
또한, 본 개시의 실시 예들은 다른 무선 접속 시스템에도 적용될 수 있으며, 상술한 시스템으로 한정되는 것은 아니다. 일 예로, 3GPP 5G NR 시스템 이후에 적용되는 시스템에 대해서도 적용 가능할 수 있으며, 특정 시스템에 한정되지 않는다.
즉, 본 개시의 실시 예들 중 설명하지 않은 자명한 단계들 또는 부분들은 상기 문서들을 참조하여 설명될 수 있다. 또한, 본 문서에서 개시하고 있는 모든 용어들은 상기 표준 문서에 의해 설명될 수 있다.
이하, 본 개시에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 개시의 예시적인 실시 형태를 설명하고자 하는 것이며, 본 개시의 기술 구성이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.
또한, 본 개시의 실시 예들에서 사용되는 특정 용어들은 본 개시의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 개시의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
이하의 기술은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 등과 같은 다양한 무선 접속 시스템에 적용될 수 있다.
하기에서는 이하 설명을 명확하게 하기 위해, 3GPP 통신 시스템(e.g.(예, LTE, NR 등)을 기반으로 설명하지만 본 발명의 기술적 사상이 이에 제한되는 것은 아니다. LTE는 3GPP TS 36.xxx Release 8 이후의 기술을 의미할 수 있다. 세부적으로, 3GPP TS 36.xxx Release 10 이후의 LTE 기술은 LTE-A로 지칭되고, 3GPP TS 36.xxx Release 13 이후의 LTE 기술은 LTE-A pro로 지칭될 수 있다. 3GPP NR은 TS 38.xxx Release 15 이후의 기술을 의미할 수 있다. 3GPP 6G는 TS Release 17 및/또는 Release 18 이후의 기술을 의미할 수 있다. "xxx"는 표준 문서 세부 번호를 의미한다. LTE/NR/6G는 3GPP 시스템으로 통칭될 수 있다.
본 개시에 사용된 배경기술, 용어, 약어 등에 관해서는 본 발명 이전에 공개된 표준 문서에 기재된 사항을 참조할 수 있다. 일 예로, 36.xxx 및 38.xxx 표준 문서를 참조할 수 있다.
본 개시에 적용 가능한 통신 시스템
이로 제한되는 것은 아니지만, 본 문서에 개시된 본 개시의 다양한 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들은 기기들 간에 무선 통신/연결(예, 5G)을 필요로 하는 다양한 분야에 적용될 수 있다.
이하, 도면을 참조하여 보다 구체적으로 예시한다. 이하의 도면/설명에서 동일한 도면 부호는 다르게 기술하지 않는 한, 동일하거나 대응되는 하드웨어 블록, 소프트웨어 블록 또는 기능 블록을 예시할 수 있다.
도 1은 본 개시에 적용되는 통신 시스템 예시를 도시한 도면이다.
도 1을 참조하면, 본 개시에 적용되는 통신 시스템(100)은 무선 기기, 기지국 및 네트워크를 포함한다. 여기서, 무선 기기는 무선 접속 기술(예, 5G NR, LTE)을 이용하여 통신을 수행하는 기기를 의미하며, 통신/무선/5G 기기로 지칭될 수 있다. 이로 제한되는 것은 아니지만, 무선 기기는 로봇(100a), 차량(100b-1, 100b-2), XR(extended reality) 기기(100c), 휴대 기기(hand-held device)(100d), 가전(home appliance)(100e), IoT(Internet of Thing) 기기(100f), AI(artificial intelligence) 기기/서버(100g)를 포함할 수 있다. 예를 들어, 차량은 무선 통신 기능이 구비된 차량, 자율 주행 차량, 차량간 통신을 수행할 수 있는 차량 등을 포함할 수 있다. 여기서, 차량(100b-1, 100b-2)은 UAV(unmanned aerial vehicle)(예, 드론)를 포함할 수 있다. XR 기기(100c)는 AR(augmented reality)/VR(virtual reality)/MR(mixed reality) 기기를 포함하며, HMD(head-mounted device), 차량에 구비된 HUD(head-up display), 텔레비전, 스마트폰, 컴퓨터, 웨어러블 디바이스, 가전 기기, 디지털 사이니지(signage), 차량, 로봇 등의 형태로 구현될 수 있다. 휴대 기기(100d)는 스마트폰, 스마트패드, 웨어러블 기기(예, 스마트워치, 스마트글래스), 컴퓨터(예, 노트북 등) 등을 포함할 수 있다. 가전(100e)은 TV, 냉장고, 세탁기 등을 포함할 수 있다. IoT 기기(100f)는 센서, 스마트 미터 등을 포함할 수 있다. 예를 들어, 기지국(120), 네트워크(130)는 무선 기기로도 구현될 수 있으며, 특정 무선 기기(120a)는 다른 무선 기기에게 기지국/네트워크 노드로 동작할 수도 있다.
무선 기기(100a~100f)는 기지국(120)을 통해 네트워크(130)와 연결될 수 있다. 무선 기기(100a~100f)에는 AI 기술이 적용될 수 있으며, 무선 기기(100a~100f)는 네트워크(130)를 통해 AI 서버(100g)와 연결될 수 있다. 네트워크(130)는 3G 네트워크, 4G(예, LTE) 네트워크 또는 5G(예, NR) 네트워크 등을 이용하여 구성될 수 있다. 무선 기기(100a~100f)는 기지국(120)/네트워크(130)를 통해 서로 통신할 수도 있지만, 기지국(120)/네트워크(130)를 통하지 않고 직접 통신(예, 사이드링크 통신(sidelink communication))할 수도 있다. 예를 들어, 차량들(100b-1, 100b-2)은 직접 통신(예, V2V(vehicle to vehicle)/V2X(vehicle to everything) communication)을 할 수 있다. 또한, IoT 기기(100f)(예, 센서)는 다른 IoT 기기(예, 센서) 또는 다른 무선 기기(100a~100f)와 직접 통신을 할 수 있다.
무선 기기(100a~100f)/기지국(120), 기지국(120)/기지국(120) 간에는 무선 통신/연결(150a, 150b, 150c)이 이뤄질 수 있다. 여기서, 무선 통신/연결은 상향/하향링크 통신(150a)과 사이드링크 통신(150b)(또는, D2D 통신), 기지국간 통신(150c)(예, relay, IAB(integrated access backhaul))과 같은 다양한 무선 접속 기술(예, 5G NR)을 통해 이뤄질 수 있다. 무선 통신/연결(150a, 150b, 150c)을 통해 무선 기기와 기지국/무선 기기, 기지국과 기지국은 서로 무선 신호를 송신/수신할 수 있다. 예를 들어, 무선 통신/연결(150a, 150b, 150c)은 다양한 물리 채널을 통해 신호를 송신/수신할 수 있다. 이를 위해, 본 개시의 다양한 제안들에 기반하여, 무선 신호의 송신/수신을 위한 다양한 구성정보 설정 과정, 다양한 신호 처리 과정(예, 채널 인코딩/디코딩, 변조/복조, 자원 매핑/디매핑 등), 자원 할당 과정 등 중 적어도 일부가 수행될 수 있다.
본 개시에 적용 가능한 통신 시스템
도 2는 본 개시에 적용될 수 있는 무선 기기의 예시를 도시한 도면이다.
도 2를 참조하면, 제1 무선 기기(200a)와 제2 무선 기기(200b)는 다양한 무선 접속 기술(예, LTE, NR)을 통해 무선 신호를 송수신할 수 있다. 여기서, {제1 무선 기기(200a), 제2 무선 기기(200b)}은 도 1의 {무선 기기(100x), 기지국(120)} 및/또는 {무선 기기(100x), 무선 기기(100x)}에 대응할 수 있다.
제1 무선 기기(200a)는 하나 이상의 프로세서(202a) 및 하나 이상의 메모리(204a)를 포함하며, 추가적으로 하나 이상의 송수신기(206a) 및/또는 하나 이상의 안테나(208a)을 더 포함할 수 있다. 프로세서(202a)는 메모리(204a) 및/또는 송수신기(206a)를 제어하며, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(202a)는 메모리(204a) 내의 정보를 처리하여 제1 정보/신호를 생성한 뒤, 송수신기(206a)을 통해 제1 정보/신호를 포함하는 무선 신호를 전송할 수 있다. 또한, 프로세서(202a)는 송수신기(206a)를 통해 제2 정보/신호를 포함하는 무선 신호를 수신한 뒤, 제2 정보/신호의 신호 처리로부터 얻은 정보를 메모리(204a)에 저장할 수 있다. 메모리(204a)는 프로세서(202a)와 연결될 수 있고, 프로세서(202a)의 동작과 관련한 다양한 정보를 저장할 수 있다. 예를 들어, 메모리(204a)는 프로세서(202a)에 의해 제어되는 프로세스들 중 일부 또는 전부를 수행하거나, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 수행하기 위한 명령들을 포함하는 소프트웨어 코드를 저장할 수 있다. 여기서, 프로세서(202a)와 메모리(204a)는 무선 통신 기술(예, LTE, NR)을 구현하도록 설계된 통신 모뎀/회로/칩의 일부일 수 있다. 송수신기(206a)는 프로세서(202a)와 연결될 수 있고, 하나 이상의 안테나(208a)를 통해 무선 신호를 송신 및/또는 수신할 수 있다. 송수신기(206a)는 송신기 및/또는 수신기를 포함할 수 있다. 송수신기(206a)는 RF(radio frequency) 유닛과 혼용될 수 있다. 본 개시에서 무선 기기는 통신 모뎀/회로/칩을 의미할 수도 있다.
일 예로, 제1 무선기기는 송수신기 및 상기 송수신기와 연결된 프로세서를 포함할 수 있다. 상기 프로세서는 상기 제1 무선 기기가 제1 센서를 통해 이미지 센싱을 수행하도록 제어할 수 있다. 상기 프로세서는 상기 송수신기가 기지국으로부터 뉴럴 네트워크 관련 정보를 수신하도록 제어할 수 있다. 상기 프로세서는 상기 제1 무선 기기가 상기 뉴럴 네트워크 관련 정보에 기초하여 제1 뉴럴 네트워크를 학습하도록 제어할 수 있다. 상기 프로세서는 상기 송수신기가 상기 기지국에게 상기 제1 뉴럴 네트워크 학습 결과 데이터를 전송하도록 제어할 수 있다. 여기서, 상기 제1 센서는 ISP(image signal processing)를 수행하지 않을 수 있다. 상기 뉴럴 네트워크 관련 정보는 상기 단말의 뉴럴 네트워크 학습 여부를 지시하는 정보를 포함할 수 있다. 상기 제1 뉴럴 네트워크의 학습은 인공지능에 기초하여 상기 이미지 센싱 결과 데이터를 처리할 수 있다.
또 다른 예로, 제1 무선 기기는 송수신기 및 상기 송수신기와 연결된 프로세서를 포함할 수 있다. 상기 프로세서는 상기 송수신기가 단말에게 뉴럴 네트워크 관련 정보를 전송하도록 제어할 수 있다. 상기 프로세서는 상기 제1 무선 기기가 상기 단말로부터 제1 뉴럴 네트워크 학습 결과 데이터를 수신하도록 제어할 수 있다. 상기 프로세서는 상기 제1 무선 기기가 상기 제1 뉴럴 네트워크 학습 결과 데이터에 기초하여 리버스 제1 뉴럴 네트워크를 학습하도록 제어하되, 상기 리버스 제1 뉴럴 네트워크 학습 결과에 기초하여 제2 뉴럴 네트워크를 학습하도록 제어할 수 있다. 상기 리버스 제1 뉴럴 네트워크 학습은 ISP(image signal processing)를 수행할 수 있다. 상기 뉴럴 네트워크 관련 정보는 상기 단말의 뉴럴 네트워크 학습 여부를 지시하는 정보를 포함할 수 있다. 상기 제1 뉴럴 네트워크의 학습은 인공지능에 기초하여 이미지 센싱 결과 데이터를 처리할 수 있다. 상기 제2 뉴럴 네트워크의 학습은 ISP 수행 결과와 상기 제1 뉴럴 네트워크 학습 결과 데이터를 비교할 수 있다.
또 다른 예로, 제1 무선 기기는 적어도 하나의 메모리 및 상기 적어도 하나의 메모리들과 기능적으로 연결되어 있는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 제1 무선 기기가 제1 센서를 통해 이미지 센싱을 수행하도록 제어할 수 있다. 상기 적어도 하나의 프로세서는 상기 제1 무선 기기가 기지국으로부터 뉴럴 네트워크 관련 정보를 수신하도록 제어할 수 있다. 상기 적어도 하나의 프로세서는 상기 제1 무선 기기가 상기 뉴럴 네트워크 관련 정보에 기초하여 제1 뉴럴 네트워크를 학습하도록 제어할 수 있다. 상기 적어도 하나의 프로세서는 상기 제1 무선 기기가 상기 기지국에게 상기 제1 뉴럴 네트워크 학습 결과 데이터를 전송하도록 제어할 수 있다. 상기 제1 센서는 ISP(image signal processing)를 수행하지 않을 수 있다. 상기 뉴럴 네트워크 관련 정보는 상기 단말의 뉴럴 네트워크 학습 여부를 지시하는 정보를 포함할 수 있다. 상기 제1 뉴럴 네트워크의 학습은 인공지능에 기초하여 상기 이미지 센싱 결과 데이터를 처리할 수 있다.
제2 무선 기기(200b)는 하나 이상의 프로세서(202b), 하나 이상의 메모리(204b)를 포함하며, 추가적으로 하나 이상의 송수신기(206b) 및/또는 하나 이상의 안테나(208b)를 더 포함할 수 있다. 프로세서(202b)는 메모리(204b) 및/또는 송수신기(206b)를 제어하며, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(202b)는 메모리(204b) 내의 정보를 처리하여 제3 정보/신호를 생성한 뒤, 송수신기(206b)를 통해 제3 정보/신호를 포함하는 무선 신호를 전송할 수 있다. 또한, 프로세서(202b)는 송수신기(206b)를 통해 제4 정보/신호를 포함하는 무선 신호를 수신한 뒤, 제4 정보/신호의 신호 처리로부터 얻은 정보를 메모리(204b)에 저장할 수 있다. 메모리(204b)는 프로세서(202b)와 연결될 수 있고, 프로세서(202b)의 동작과 관련한 다양한 정보를 저장할 수 있다. 예를 들어, 메모리(204b)는 프로세서(202b)에 의해 제어되는 프로세스들 중 일부 또는 전부를 수행하거나, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 수행하기 위한 명령들을 포함하는 소프트웨어 코드를 저장할 수 있다. 여기서, 프로세서(202b)와 메모리(204b)는 무선 통신 기술(예, LTE, NR)을 구현하도록 설계된 통신 모뎀/회로/칩의 일부일 수 있다. 송수신기(206b)는 프로세서(202b)와 연결될 수 있고, 하나 이상의 안테나(208b)를 통해 무선 신호를 송신 및/또는 수신할 수 있다. 송수신기(206b)는 송신기 및/또는 수신기를 포함할 수 있다 송수신기(206b)는 RF 유닛과 혼용될 수 있다. 본 개시에서 무선 기기는 통신 모뎀/회로/칩을 의미할 수도 있다.
이하, 무선 기기(200a, 200b)의 하드웨어 요소에 대해 보다 구체적으로 설명한다. 이로 제한되는 것은 아니지만, 하나 이상의 프로토콜 계층이 하나 이상의 프로세서(202a, 202b)에 의해 구현될 수 있다. 예를 들어, 하나 이상의 프로세서(202a, 202b)는 하나 이상의 계층(예, PHY(physical), MAC(media access control), RLC(radio link control), PDCP(packet data convergence protocol), RRC(radio resource control), SDAP(service data adaptation protocol)와 같은 기능적 계층)을 구현할 수 있다. 하나 이상의 프로세서(202a, 202b)는 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들에 따라 하나 이상의 PDU(Protocol Data Unit) 및/또는 하나 이상의 SDU(service data unit)를 생성할 수 있다. 하나 이상의 프로세서(202a, 202b)는 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들에 따라 메시지, 제어정보, 데이터 또는 정보를 생성할 수 있다. 하나 이상의 프로세서(202a, 202b)는 본 문서에 개시된 기능, 절차, 제안 및/또는 방법에 따라 PDU, SDU, 메시지, 제어정보, 데이터 또는 정보를 포함하는 신호(예, 베이스밴드 신호)를 생성하여, 하나 이상의 송수신기(206a, 206b)에게 제공할 수 있다. 하나 이상의 프로세서(202a, 202b)는 하나 이상의 송수신기(206a, 206b)로부터 신호(예, 베이스밴드 신호)를 수신할 수 있고, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들에 따라 PDU, SDU, 메시지, 제어정보, 데이터 또는 정보를 획득할 수 있다.
하나 이상의 프로세서(202a, 202b)는 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 마이크로 컴퓨터로 지칭될 수 있다. 하나 이상의 프로세서(202a, 202b)는 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합에 의해 구현될 수 있다. 일 예로, 하나 이상의 ASIC(application specific integrated circuit), 하나 이상의 DSP(digital signal processor), 하나 이상의 DSPD(digital signal processing device), 하나 이상의 PLD(programmable logic device) 또는 하나 이상의 FPGA(field programmable gate arrays)가 하나 이상의 프로세서(202a, 202b)에 포함될 수 있다. 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들은 펌웨어 또는 소프트웨어를 사용하여 구현될 수 있고, 펌웨어 또는 소프트웨어는 모듈, 절차, 기능 등을 포함하도록 구현될 수 있다. 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들은 수행하도록 설정된 펌웨어 또는 소프트웨어는 하나 이상의 프로세서(202a, 202b)에 포함되거나, 하나 이상의 메모리(204a, 204b)에 저장되어 하나 이상의 프로세서(202a, 202b)에 의해 구동될 수 있다. 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들은 코드, 명령어 및/또는 명령어의 집합 형태로 펌웨어 또는 소프트웨어를 사용하여 구현될 수 있다.
일 예로, 제2 무선 기기는 적어도 하나의 명령어(instructions)을 저장하는 비-일시적인(non-transitory) 컴퓨터 판독 가능 매체(computer-readable medium)일 수 있다. 제2 무선 기기는 프로세서에 의해 실행 가능한(executable) 상기 적어도 하나의 명령어를 포함할 수 있다. 상기 적어도 하나의 명령어는 상기 제2 무선 기기가 제1 센서를 통해 이미지 센싱을 수행하도록 지시하되, 기지국으로부터 뉴럴 네트워크 관련 정보를 수신하도록 지시하고, 상기 뉴럴 네트워크 관련 정보에 기초하여 제1 뉴럴 네트워크를 학습하도록 지시하고, 상기 기지국에게 상기 제1 뉴럴 네트워크 학습 결과 데이터를 전송하도록 지시할 수 있다. 여기서, 상기 제1 센서는 ISP(image signal processing)를 수행하지 않을 수 있다. 상기 뉴럴 네트워크 관련 정보는 상기 제2 무선 기기의 뉴럴 네트워크 학습 여부를 지시하는 정보를 포함할 수 있다. 상기 제1 뉴럴 네트워크의 학습은 인공지능에 기초하여 상기 이미지 센싱 결과 데이터를 처리할 수 있다.
하나 이상의 메모리(204a, 204b)는 하나 이상의 프로세서(202a, 202b)와 연결될 수 있고, 다양한 형태의 데이터, 신호, 메시지, 정보, 프로그램, 코드, 지시 및/또는 명령을 저장할 수 있다. 하나 이상의 메모리(204a, 204b)는 ROM(read only memory), RAM(random access memory), EPROM(erasable programmable read only memory), 플래시 메모리, 하드 드라이브, 레지스터, 캐쉬 메모리, 컴퓨터 판독 저장 매체 및/또는 이들의 조합으로 구성될 수 있다. 하나 이상의 메모리(204a, 204b)는 하나 이상의 프로세서(202a, 202b)의 내부 및/또는 외부에 위치할 수 있다. 또한, 하나 이상의 메모리(204a, 204b)는 유선 또는 무선 연결과 같은 다양한 기술을 통해 하나 이상의 프로세서(202a, 202b)와 연결될 수 있다.
하나 이상의 송수신기(206a, 206b)는 하나 이상의 다른 장치에게 본 문서의 방법들 및/또는 동작 순서도 등에서 언급되는 사용자 데이터, 제어 정보, 무선 신호/채널 등을 전송할 수 있다. 하나 이상의 송수신기(206a, 206b)는 하나 이상의 다른 장치로부터 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도 등에서 언급되는 사용자 데이터, 제어 정보, 무선 신호/채널 등을 수신할 수 있다. 예를 들어, 하나 이상의 송수신기(206a, 206b)는 하나 이상의 프로세서(202a, 202b)와 연결될 수 있고, 무선 신호를 송수신할 수 있다. 예를 들어, 하나 이상의 프로세서(202a, 202b)는 하나 이상의 송수신기(206a, 206b)가 하나 이상의 다른 장치에게 사용자 데이터, 제어 정보 또는 무선 신호를 전송하도록 제어할 수 있다. 또한, 하나 이상의 프로세서(202a, 202b)는 하나 이상의 송수신기(206a, 206b)가 하나 이상의 다른 장치로부터 사용자 데이터, 제어 정보 또는 무선 신호를 수신하도록 제어할 수 있다. 또한, 하나 이상의 송수신기(206a, 206b)는 하나 이상의 안테나(208a, 208b)와 연결될 수 있고, 하나 이상의 송수신기(206a, 206b)는 하나 이상의 안테나(208a, 208b)를 통해 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도 등에서 언급되는 사용자 데이터, 제어 정보, 무선 신호/채널 등을 송수신하도록 설정될 수 있다. 본 문서에서, 하나 이상의 안테나는 복수의 물리 안테나이거나, 복수의 논리 안테나(예, 안테나 포트)일 수 있다. 하나 이상의 송수신기(206a, 206b)는 수신된 사용자 데이터, 제어 정보, 무선 신호/채널 등을 하나 이상의 프로세서(202a, 202b)를 이용하여 처리하기 위해, 수신된 무선 신호/채널 등을 RF 밴드 신호에서 베이스밴드 신호로 변환(Convert)할 수 있다. 하나 이상의 송수신기(206a, 206b)는 하나 이상의 프로세서(202a, 202b)를 이용하여 처리된 사용자 데이터, 제어 정보, 무선 신호/채널 등을 베이스밴드 신호에서 RF 밴드 신호로 변환할 수 있다. 이를 위하여, 하나 이상의 송수신기(206a, 206b)는 (아날로그) 오실레이터 및/또는 필터를 포함할 수 있다.
본 개시에 적용 가능한 무선 기기 구조
도 3은 본 개시에 적용되는 무선 기기의 다른 예시를 도시한 도면이다.
도 3을 참조하면, 무선 기기(300)는 도 2의 무선 기기(200a, 200b)에 대응하며, 다양한 요소(element), 성분(component), 유닛/부(unit), 및/또는 모듈(module)로 구성될 수 있다. 예를 들어, 무선 기기(300)는 통신부(310), 제어부(320), 메모리부(330) 및 추가 요소(340)를 포함할 수 있다. 통신부는 통신 회로(312) 및 송수신기(들)(314)을 포함할 수 있다. 예를 들어, 통신 회로(312)는 도 2의 하나 이상의 프로세서(202a, 202b) 및/또는 하나 이상의 메모리(204a, 204b)를 포함할 수 있다. 예를 들어, 송수신기(들)(314)는 도 2의 하나 이상의 송수신기(206a, 206b) 및/또는 하나 이상의 안테나(208a, 208b)을 포함할 수 있다. 제어부(320)는 통신부(310), 메모리부(330) 및 추가 요소(340)와 전기적으로 연결되며 무선 기기의 제반 동작을 제어한다. 예를 들어, 제어부(320)는 메모리부(330)에 저장된 프로그램/코드/명령/정보에 기반하여 무선 기기의 전기적/기계적 동작을 제어할 수 있다. 또한, 제어부(320)는 메모리부(330)에 저장된 정보를 통신부(310)을 통해 외부(예, 다른 통신 기기)로 무선/유선 인터페이스를 통해 전송하거나, 통신부(310)를 통해 외부(예, 다른 통신 기기)로부터 무선/유선 인터페이스를 통해 수신된 정보를 메모리부(330)에 저장할 수 있다.
추가 요소(340)는 무선 기기의 종류에 따라 다양하게 구성될 수 있다. 예를 들어, 추가 요소(340)는 파워 유닛/배터리, 입출력부(input/output unit), 구동부 및 컴퓨팅부 중 적어도 하나를 포함할 수 있다. 이로 제한되는 것은 아니지만, 무선 기기(300)는 로봇(도 1, 100a), 차량(도 1, 100b-1, 100b-2), XR 기기(도 1, 100c), 휴대 기기(도 1, 100d), 가전(도 1, 100e), IoT 기기(도 1, 100f), 디지털 방송용 단말, 홀로그램 장치, 공공 안전 장치, MTC 장치, 의료 장치, 핀테크 장치(또는 금융 장치), 보안 장치, 기후/환경 장치, AI 서버/기기(도 1, 140), 기지국(도 1, 120), 네트워크 노드 등의 형태로 구현될 수 있다. 무선 기기는 사용-예/서비스에 따라 이동 가능하거나 고정된 장소에서 사용될 수 있다.
도 3에서 무선 기기(300) 내의 다양한 요소, 성분, 유닛/부, 및/또는 모듈은 전체가 유선 인터페이스를 통해 상호 연결되거나, 적어도 일부가 통신부(310)를 통해 무선으로 연결될 수 있다. 예를 들어, 무선 기기(300) 내에서 제어부(320)와 통신부(310)는 유선으로 연결되며, 제어부(320)와 제1 유닛(예, 130, 140)은 통신부(310)를 통해 무선으로 연결될 수 있다. 또한, 무선 기기(300) 내의 각 요소, 성분, 유닛/부, 및/또는 모듈은 하나 이상의 요소를 더 포함할 수 있다. 예를 들어, 제어부(320)는 하나 이상의 프로세서 집합으로 구성될 수 있다. 예를 들어, 제어부(320)는 통신 제어 프로세서, 어플리케이션 프로세서(application processor), ECU(electronic control unit), 그래픽 처리 프로세서, 메모리 제어 프로세서 등의 집합으로 구성될 수 있다. 다른 예로, 메모리부(330)는 RAM, DRAM(dynamic RAM), ROM, 플래시 메모리(flash memory), 휘발성 메모리(volatile memory), 비-휘발성 메모리(non-volatile memory) 및/또는 이들의 조합으로 구성될 수 있다.
본 개시가 적용 가능한 휴대 기기
도 4는 본 개시에 적용되는 휴대 기기의 예시를 도시한 도면이다.
도 4는 본 개시에 적용되는 휴대 기기를 예시한다. 휴대 기기는 스마트폰, 스마트패드, 웨어러블 기기(예, 스마트 워치, 스마트 글래스), 휴대용 컴퓨터(예, 노트북 등)을 포함할 수 있다. 휴대 기기는 MS(mobile station), UT(user terminal), MSS(mobile subscriber station), SS(subscriber station), AMS(advanced mobile station) 또는 WT(wireless terminal)로 지칭될 수 있다.
도 4를 참조하면, 휴대 기기(400)는 안테나부(408), 통신부(410), 제어부(420), 메모리부(430), 전원공급부(440a), 인터페이스부(440b) 및 입출력부(440c)를 포함할 수 있다. 안테나부(408)는 통신부(410)의 일부로 구성될 수 있다. 블록 410~430/440a~440c는 각각 도 3의 블록 310~330/340에 대응한다.
통신부(410)는 다른 무선 기기, 기지국들과 신호(예, 데이터, 제어 신호 등)를 송수신할 수 있다. 제어부(420)는 휴대 기기(400)의 구성 요소들을 제어하여 다양한 동작을 수행할 수 있다. 제어부(420)는 AP(application processor)를 포함할 수 있다. 메모리부(430)는 휴대 기기(400)의 구동에 필요한 데이터/파라미터/프로그램/코드/명령을 저장할 수 있다. 또한, 메모리부(430)는 입/출력되는 데이터/정보 등을 저장할 수 있다. 전원공급부(440a)는 휴대 기기(400)에게 전원을 공급하며, 유/무선 충전 회로, 배터리 등을 포함할 수 있다. 인터페이스부(440b)는 휴대 기기(400)와 다른 외부 기기의 연결을 지원할 수 있다. 인터페이스부(440b)는 외부 기기와의 연결을 위한 다양한 포트(예, 오디오 입/출력 포트, 비디오 입/출력 포트)를 포함할 수 있다. 입출력부(440c)는 영상 정보/신호, 오디오 정보/신호, 데이터, 및/또는 사용자로부터 입력되는 정보를 입력 받거나 출력할 수 있다. 입출력부(440c)는 카메라, 마이크로폰, 사용자 입력부, 디스플레이부(440d), 스피커 및/또는 햅틱 모듈 등을 포함할 수 있다.
일 예로, 데이터 통신의 경우, 입출력부(440c)는 사용자로부터 입력된 정보/신호(예, 터치, 문자, 음성, 이미지, 비디오)를 획득하며, 획득된 정보/신호는 메모리부(430)에 저장될 수 있다. 통신부(410)는 메모리에 저장된 정보/신호를 무선 신호로 변환하고, 변환된 무선 신호를 다른 무선 기기에게 직접 전송하거나 기지국에게 전송할 수 있다. 또한, 통신부(410)는 다른 무선 기기 또는 기지국으로부터 무선 신호를 수신한 뒤, 수신된 무선 신호를 원래의 정보/신호로 복원할 수 있다. 복원된 정보/신호는 메모리부(430)에 저장된 뒤, 입출력부(440c)를 통해 다양한 형태(예, 문자, 음성, 이미지, 비디오, 햅틱)로 출력될 수 있다.
본 개시가 적용 가능한 무선 기기 종류
도 5는 본 개시에 적용되는 차량 또는 자율 주행 차량의 예시를 도시한 도면이다.
도 5는 본 개시에 적용되는 차량 또는 자율 주행 차량을 예시한다. 차량 또는 자율 주행 차량은 이동형 로봇, 차량, 기차, 유/무인 비행체(aerial vehicle, AV), 선박 등으로 구현될 수 있으며, 차량의 형태로 한정되는 것은 아니다.
도 5를 참조하면, 차량 또는 자율 주행 차량(500)은 안테나부(508), 통신부(510), 제어부(520), 구동부(540a), 전원공급부(540b), 센서부(540c) 및 자율 주행부(540d)를 포함할 수 있다. 안테나부(550)는 통신부(510)의 일부로 구성될 수 있다. 블록 510/530/540a~540d는 각각 도 4의 블록 410/430/440에 대응한다.
통신부(510)는 다른 차량, 기지국(예, 기지국, 노변 기지국(road side unit) 등), 서버 등의 외부 기기들과 신호(예, 데이터, 제어 신호 등)를 송수신할 수 있다. 제어부(520)는 차량 또는 자율 주행 차량(500)의 요소들을 제어하여 다양한 동작을 수행할 수 있다. 제어부(520)는 ECU(electronic control unit)를 포함할 수 있다.
도 6은 본 개시에 적용되는 AI 기기의 예시를 도시한 도면이다. 일 예로, AI 기기는 TV, 프로젝터, 스마트폰, PC, 노트북, 디지털방송용 단말기, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB), 라디오, 세탁기, 냉장고, 디지털 사이니지, 로봇, 차량 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다.
도 6을 참조하면, AI 기기(600)는 통신부(610), 제어부(620), 메모리부(630), 입/출력부(640a/640b), 러닝 프로세서부(640c) 및 센서부(640d)를 포함할 수 있다. 블록 610~630/640a~640d는 각각 도 3의 블록 310~330/340에 대응할 수 있다.
통신부(610)는 유무선 통신 기술을 이용하여 다른 AI 기기(예, 도 1, 100x, 120, 140)나 AI 서버(도 1, 140) 등의 외부 기기들과 유무선 신호(예, 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등)를 송수신할 수 있다. 이를 위해, 통신부(610)는 메모리부(630) 내의 정보를 외부 기기로 전송하거나, 외부 기기로부터 수신된 신호를 메모리부(630)로 전달할 수 있다.
제어부(620)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, AI 기기(600)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 제어부(620)는 AI 기기(600)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다. 예를 들어, 제어부(620)는 러닝 프로세서부(640c) 또는 메모리부(630)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 AI 기기(600)의 구성 요소들을 제어할 수 있다. 또한, 제어부(620)는 AI 장치(600)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리부(630) 또는 러닝 프로세서부(640c)에 저장하거나, AI 서버(도 1, 140) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
메모리부(630)는 AI 기기(600)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예를 들어, 메모리부(630)는 입력부(640a)로부터 얻은 데이터, 통신부(610)로부터 얻은 데이터, 러닝 프로세서부(640c)의 출력 데이터, 및 센싱부(640)로부터 얻은 데이터를 저장할 수 있다. 또한, 메모리부(630)는 제어부(620)의 동작/실행에 필요한 제어 정보 및/또는 소프트웨어 코드를 저장할 수 있다.
입력부(640a)는 AI 기기(600)의 외부로부터 다양한 종류의 데이터를 획득할 수 있다. 예를 들어, 입력부(620)는 모델 학습을 위한 학습 데이터, 및 학습 모델이 적용될 입력 데이터 등을 획득할 수 있다. 입력부(640a)는 카메라, 마이크로폰 및/또는 사용자 입력부 등을 포함할 수 있다. 출력부(640b)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다. 출력부(640b)는 디스플레이부, 스피커 및/또는 햅틱 모듈 등을 포함할 수 있다. 센싱부(640)는 다양한 센서들을 이용하여 AI 기기(600)의 내부 정보, AI 기기(600)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 얻을 수 있다. 센싱부(640)는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰 및/또는 레이더 등을 포함할 수 있다.
러닝 프로세서부(640c)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 러닝 프로세서부(640c)는 AI 서버(도 1, 140)의 러닝 프로세서부와 함께 AI 프로세싱을 수행할 수 있다. 러닝 프로세서부(640c)는 통신부(610)를 통해 외부 기기로부터 수신된 정보, 및/또는 메모리부(630)에 저장된 정보를 처리할 수 있다. 또한, 러닝 프로세서부(640c)의 출력 값은 통신부(610)를 통해 외부 기기로 전송되거나/되고, 메모리부(630)에 저장될 수 있다.
도 7은 본 개시에 적용되는 전송 신호를 처리하는 방법을 도시한 도면이다. 일 예로, 전송 신호는 신호 처리 회로에 의해 처리될 수 있다. 이때, 신호 처리 회로(700)는 스크램블러(710), 변조기(720), 레이어 매퍼(730), 프리코더(740), 자원 매퍼(750), 신호 생성기(760)를 포함할 수 있다. 이때, 일 예로, 도 7의 동작/기능은 도 2의 프로세서(202a, 202b) 및/또는 송수신기(206a, 206b)에서 수행될 수 있다. 또한, 일 예로, 도 7의 하드웨어 요소는 도 2의 프로세서(202a, 202b) 및/또는 송수신기(206a, 206b)에서 구현될 수 있다. 일 예로, 블록 710~760은 도 2의 프로세서(202a, 202b)에서 구현될 수 있다. 또한, 블록 710~750은 도 2의 프로세서(202a, 202b)에서 구현되고, 블록 760은 도 2의 송수신기(206a, 206b)에서 구현될 수 있으며, 상술한 실시 예로 한정되지 않는다.
코드워드는 도 7의 신호 처리 회로(700)를 거쳐 무선 신호로 변환될 수 있다. 여기서, 코드워드는 정보블록의 부호화된 비트 시퀀스이다. 정보블록은 전송블록(예, UL-SCH 전송블록, DL-SCH 전송블록)을 포함할 수 있다. 무선 신호는 다양한 물리 채널(예, PUSCH, PDSCH)을 통해 전송될 수 있다. 구체적으로, 코드워드는 스크램블러(710)에 의해 스크램블된 비트 시퀀스로 변환될 수 있다. 스크램블에 사용되는 스크램블 시퀀스는 초기화 값에 기반하여 생성되며, 초기화 값은 무선 기기의 ID 정보 등이 포함될 수 있다. 스크램블된 비트 시퀀스는 변조기(720)에 의해 변조 심볼 시퀀스로 변조될 수 있다. 변조 방식은 pi/2-BPSK(pi/2-binary phase shift keying), m-PSK(m-phase shift keying), m-QAM(m-quadrature amplitude modulation) 등을 포함할 수 있다.
복소 변조 심볼 시퀀스는 레이어 매퍼(730)에 의해 하나 이상의 전송 레이어로 매핑될 수 있다. 각 전송 레이어의 변조 심볼들은 프리코더(740)에 의해 해당 안테나 포트(들)로 매핑될 수 있다(프리코딩). 프리코더(740)의 출력 z는 레이어 매퍼(730)의 출력 y를 N*M의 프리코딩 행렬 W와 곱해 얻을 수 있다. 여기서, N은 안테나 포트의 개수, M은 전송 레이어의 개수이다. 여기서, 프리코더(740)는 복소 변조 심볼들에 대한 트랜스폼(transform) 프리코딩(예, DFT(discrete fourier transform) 변환)을 수행한 이후에 프리코딩을 수행할 수 있다. 또한, 프리코더(740)는 트랜스폼 프리코딩을 수행하지 않고 프리코딩을 수행할 수 있다.
자원 매퍼(750)는 각 안테나 포트의 변조 심볼들을 시간-주파수 자원에 매핑할 수 있다. 시간-주파수 자원은 시간 도메인에서 복수의 심볼(예, CP-OFDMA 심볼, DFT-s-OFDMA 심볼)을 포함하고, 주파수 도메인에서 복수의 부반송파를 포함할 수 있다. 신호 생성기(760)는 매핑된 변조 심볼들로부터 무선 신호를 생성하며, 생성된 무선 신호는 각 안테나를 통해 다른 기기로 전송될 수 있다. 이를 위해, 신호 생성기(760)는 IFFT(inverse fast fourier transform) 모듈 및 CP(cyclic prefix) 삽입기, DAC(digital-to-analog converter), 주파수 상향 변환기(frequency uplink converter) 등을 포함할 수 있다.
무선 기기에서 수신 신호를 위한 신호 처리 과정은 도 7의 신호 처리 과정(710~760)의 역으로 구성될 수 있다. 일 예로, 무선 기기(예, 도 2의 200a, 200b)는 안테나 포트/송수신기를 통해 외부로부터 무선 신호를 수신할 수 있다. 수신된 무선 신호는 신호 복원기를 통해 베이스밴드 신호로 변환될 수 있다. 이를 위해, 신호 복원기는 주파수 하향 변환기(frequency downlink converter), ADC(analog-to-digital converter), CP 제거기, FFT(fast fourier transform) 모듈을 포함할 수 있다. 이후, 베이스밴드 신호는 자원 디-매퍼 과정, 포스트코딩(postcoding) 과정, 복조 과정 및 디-스크램블 과정을 거쳐 코드워드로 복원될 수 있다. 코드워드는 복호(decoding)를 거쳐 원래의 정보블록으로 복원될 수 있다. 따라서, 수신 신호를 위한 신호 처리 회로(미도시)는 신호 복원기, 자원 디-매퍼, 포스트코더, 복조기, 디-스크램블러 및 복호기를 포함할 수 있다.
6G 통신 시스템
6G (무선통신) 시스템은 (i) 디바이스 당 매우 높은 데이터 속도, (ii) 매우 많은 수의 연결된 디바이스들, (iii) 글로벌 연결성(global connectivity), (iv) 매우 낮은 지연, (v) 배터리-프리(battery-free) IoT 디바이스들의 에너지 소비를 낮추고, (vi) 초고신뢰성 연결, (vii) 머신 러닝 능력을 가지는 연결된 지능 등에 목적이 있다. 6G 시스템의 비젼은 "intelligent connectivity", "deep connectivity", "holographic connectivity", "ubiquitous connectivity"와 같은 4가지 측면일 수 있으며, 6G 시스템은 하기 표 1과 같은 요구 사항을 만족시킬 수 있다. 즉, 표 1은 6G 시스템의 요구 사항을 나타낸 표이다.
Per device peak data rate 1 Tbps
E2E latency 1 ms
Maximum spectral efficiency 100 bps/Hz
Mobility support up to 1000 km/hr
Satellite integration Fully
AI Fully
Autonomous vehicle Fully
XR Fully
Haptic Communication Fully
이때, 6G 시스템은 향상된 모바일 브로드밴드(enhanced mobile broadband, eMBB), 초-저지연 통신(ultra-reliable low latency communications, URLLC), mMTC (massive machine type communications), AI 통합 통신(AI integrated communication), 촉각 인터넷(tactile internet), 높은 스루풋(high throughput), 높은 네트워크 능력(high network capacity), 높은 에너지 효율(high energy efficiency), 낮은 백홀 및 접근 네트워크 혼잡(low backhaul and access network congestion) 및 향상된 데이터 보안(enhanced data security)과 같은 핵심 요소(key factor)들을 가질 수 있다.
도 10은 본 개시에 적용 가능한 6G 시스템에서 제공 가능한 통신 구조의 일례를 도시한 도면이다.
도 10을 참조하면, 6G 시스템은 5G 무선통신 시스템보다 50배 더 높은 동시 무선통신 연결성을 가질 것으로 예상된다. 5G의 핵심 요소(key feature)인 URLLC는 6G 통신에서 1ms보다 적은 단-대-단(end-to-end) 지연을 제공함으로써 보다 더 주요한 기술이 될 것으로 예상된다. 이때, 6G 시스템은 자주 사용되는 영역 스펙트럼 효율과 달리 체적 스펙트럼 효율이 훨씬 우수할 것이다. 6G 시스템은 매우 긴 배터리 수명과 에너지 수확을 위한 고급 배터리 기술을 제공할 수 있어, 6G 시스템에서 모바일 디바이스들은 별도로 충전될 필요가 없을 수 있다.
6G 시스템의 핵심 구현 기술
- 인공 지능(artificial Intelligence, AI)
6G 시스템에 가장 중요하며, 새로 도입될 기술은 AI이다. 4G 시스템에는 AI가 관여하지 않았다. 5G 시스템은 부분 또는 매우 제한된 AI를 지원할 것이다. 그러나, 6G 시스템은 완전히 자동화를 위해 AI가 지원될 것이다. 머신 러닝의 발전은 6G에서 실시간 통신을 위해 보다 지능적인 네트워크를 만들 것이다. 통신에 AI를 도입하면 실시간 데이터 전송이 간소화되고 향상될 수 있다. AI는 수많은 분석을 사용하여 복잡한 대상 작업이 수행되는 방식을 결정할 수 있다. 즉, AI는 효율성을 높이고 처리 지연을 줄일 수 있다.
핸드 오버, 네트워크 선택, 자원 스케줄링과 같은 시간 소모적인 작업은 AI를 사용함으로써 즉시 수행될 수 있다. AI는 M2M, 기계-대-인간 및 인간-대-기계 통신에서도 중요한 역할을 할 수 있다. 또한, AI는 BCI(brain computer interface)에서 신속한 통신이 될 수 있다. AI 기반 통신 시스템은 메타 물질, 지능형 구조, 지능형 네트워크, 지능형 장치, 지능형 인지 라디오(radio), 자체 유지 무선 네트워크 및 머신 러닝에 의해 지원될 수 있다.
최근 AI를 무선 통신 시스템과 통합하려고 하는 시도들이 나타나고 있으나, 이는 어플리케이션 계층(application layer), 네트워크 계층(network layer) 특히, 딥 러닝은 무선 자원 관리 및 할당(wireless resource management and allocation) 분야에 집중되어 왔다. 그러나, 이러한 연구는 점점 MAC 계층 및 물리 계층으로 발전하고 있으며, 특히 물리계층에서 딥 러닝을 무선 전송(wireless transmission)과 결합하고자 하는 시도들이 나타나고 있다. AI 기반의 물리계층 전송은, 근본적인 신호 처리 및 통신 메커니즘에 있어서, 전통적인 통신 프레임워크가 아니라 AI 드라이버에 기초한 신호 처리 및 통신 메커니즘을 적용하는 것을 의미한다. 예를 들어, 딥러닝 기반의 채널 코딩 및 디코딩(channel coding and decoding), 딥러닝 기반의 신호 추정(estimation) 및 검출(detection), 딥러닝 기반의 MIMO(multiple input multiple output) 매커니즘(mechanism), AI 기반의 자원 스케줄링(scheduling) 및 할당(allocation) 등을 포함할 수 있다.
머신 러닝은 채널 추정 및 채널 트래킹을 위해 사용될 수 있으며, DL(downlink)의 물리 계층(physical layer)에서 전력 할당(power allocation), 간섭 제거(interference cancellation) 등에 사용될 수 있다. 또한, 머신 러닝은 MIMO 시스템에서 안테나 선택, 전력 제어(power control), 심볼 검출(symbol detection) 등에도 사용될 수 있다.
그러나 물리계층에서의 전송을 위한 DNN의 적용은 아래와 같은 문제점이 있을 수 있다.
딥러닝 기반의 AI 알고리즘은 훈련 파라미터를 최적화하기 위해 수많은 훈련 데이터가 필요하다. 그러나 특정 채널 환경에서의 데이터를 훈련 데이터로 획득하는데 있어서의 한계로 인해, 오프라인 상에서 많은 훈련 데이터를 사용한다. 이는 특정 채널 환경에서 훈련 데이터에 대한 정적 훈련(static training)은, 무선 채널의 동적 특성 및 다이버시티(diversity) 사이에 모순(contradiction)이 생길 수 있다.
또한, 현재 딥 러닝은 주로 실제 신호(real signal)을 대상으로 한다. 그러나, 무선 통신의 물리 계층의 신호들은 복소 신호(complex signal)이다. 무선 통신 신호의 특성을 매칭시키기 위해 복소(complex) 도메인 신호의 검출하는 신경망(neural network)에 대한 연구가 더 필요하다.
이하, 머신 러닝에 대해 보다 구체적으로 살펴본다.
머신 러닝은 사람이 할 수 있거나 혹은 하기 어려운 작업을 대신해낼 수 있는 기계를 만들어 내기 위해 기계를 학습시키는 일련의 동작을 의미한다. 머신 러닝을 위해서는 데이터와 러닝 모델이 필요하다. 머신 러닝에서 데이터의 학습 방법은 크게 3가지 즉, 지도 학습(supervised learning), 비지도 학습(unsupervised learning) 그리고 강화 학습(reinforcement learning)으로 구분될 수 있다.
신경망 학습은 출력의 오류를 최소화하기 위한 것이다. 신경망 학습은 반복적으로 학습 데이터를 신경망에 입력시키고 학습 데이터에 대한 신경망의 출력과 타겟의 에러를 계산하고, 에러를 줄이기 위한 방향으로 신경망의 에러를 신경망의 출력 레이어에서부터 입력 레이어 방향으로 역전파(backpropagation) 하여 신경망의 각 노드의 가중치를 업데이트하는 과정이다.
지도 학습은 학습 데이터에 정답이 라벨링된 학습 데이터를 사용하며 비지도 학습은 학습 데이터에 정답이 라벨링되어 있지 않을 수 있다. 즉, 예를 들어 데이터 분류에 관한 지도 학습의 경우의 학습 데이터는 학습 데이터 각각에 카테고리가 라벨링된 데이터 일 수 있다. 라벨링된 학습 데이터가 신경망에 입력되고 신경망의 출력(카테고리)과 학습 데이터의 라벨을 비교하여 오차(error)가 계산될 수 있다. 계산된 오차는 신경망에서 역방향(즉, 출력 레이어에서 입력 레이어 방향)으로 역전파 되며, 역전파에 따라 신경망의 각 레이어의 각 노드들의 연결 가중치가 업데이트 될 수 있다. 업데이트 되는 각 노드의 연결 가중치는 학습률(learning rate)에 따라 변화량이 결정될 수 있다. 입력 데이터에 대한 신경망의 계산과 에러의 역전파는 학습 사이클(epoch)을 구성할 수 있다. 학습률은 신경망의 학습 사이클의 반복 횟수에 따라 상이하게 적용될 수 있다. 예를 들어, 신경망의 학습 초기에는 높은 학습률을 사용하여 신경망이 빠르게 일정 수준의 성능을 확보하도록 하여 효율성을 높이고, 학습 후기에는 낮은 학습률을 사용하여 정확도를 높일 수 있다
데이터의 특징에 따라 학습 방법은 달라질 수 있다. 예를 들어, 통신 시스템 상에서 송신단에서 전송한 데이터를 수신단에서 정확하게 예측하는 것을 목적으로 하는 경우, 비지도 학습 또는 강화 학습 보다는 지도 학습을 이용하여 학습을 수행하는 것이 바람직하다.
러닝 모델은 인간의 뇌에 해당하는 것으로서, 가장 기본적인 선형 모델을 생각할 수 있으나, 인공 신경망(artificial neural networks)와 같은 복잡성이 높은 신경망 구조를 러닝 모델로 사용하는 머신 러닝의 패러다임을 딥러닝(deep learning)이라 한다.
학습(learning) 방식으로 사용하는 신경망 코어(neural network cord)는 크게 심층 신경망(deep neural networks, DNN), 합성곱 신경망(convolutional deep neural networks, CNN), 순환 신경망(recurrent boltzmann machine, RNN) 방식이 있으며, 이러한 러닝 모델이 적용될 수 있다.
THz(Terahertz) 통신
6G 시스템에서 THz 통신이 적용될 수 있다. 일 예로, 데이터 전송률은 대역폭을 늘려 높일 수 있다. 이것은 넓은 대역폭으로 sub-THz 통신을 사용하고, 진보된 대규모 MIMO 기술을 적용하여 수행될 수 있다.
도 9는 본 개시에 적용 가능한 전자기 스펙트럼을 도시한 도면이다. 일 예로, 도 9를 참조하면, 밀리미터 이하의 방사선으로도 알려진 THz파는 일반적으로 0.03mm-3mm 범위의 해당 파장을 가진 0.1THz와 10THz 사이의 주파수 대역을 나타낸다. 100GHz-300GHz 대역 범위(Sub THz 대역)는 셀룰러 통신을 위한 THz 대역의 주요 부분으로 간주된다. Sub-THz 대역 mmWave 대역에 추가하면 6G 셀룰러 통신 용량은 늘어난다. 정의된 THz 대역 중 300GHz-3THz는 원적외선 (IR) 주파수 대역에 있다. 300GHz-3THz 대역은 광 대역의 일부이지만 광 대역의 경계에 있으며, RF 대역 바로 뒤에 있다. 따라서, 이 300 GHz-3 THz 대역은 RF와 유사성을 나타낸다.
THz 통신의 주요 특성은 (i) 매우 높은 데이터 전송률을 지원하기 위해 광범위하게 사용 가능한 대역폭, (ii) 고주파에서 발생하는 높은 경로 손실 (고 지향성 안테나는 필수 불가결)을 포함한다. 높은 지향성 안테나에서 생성된 좁은 빔 폭은 간섭을 줄인다. THz 신호의 작은 파장은 훨씬 더 많은 수의 안테나 소자가 이 대역에서 동작하는 장치 및 BS에 통합될 수 있게 한다. 이를 통해 범위 제한을 극복할 수 있는 고급 적응형 배열 기술을 사용할 수 있다.
테라헤르츠(THz) 무선통신
도 10은 본 개시에 적용 가능한 THz 통신 방법을 도시한 도면이다.
도 10을 참조하면, THz 무선통신은 대략 0.1~10THz(1THz=1012Hz)의 진동수를 가지는 THz파를 이용하여 무선통신을 이용하는 것으로, 100GHz 이상의 매우 높은 캐리어 주파수를 사용하는 테라헤르츠(THz) 대역 무선통신을 의미할 수 있다. THz파는 RF(Radio Frequency)/밀리미터(mm)와 적외선 대역 사이에 위치하며, (i) 가시광/적외선에 비해 비금속/비분극성 물질을 잘 투과하며 RF/밀리미터파에 비해 파장이 짧아 높은 직진성을 가지며 빔 집속이 가능할 수 있다.
인공 지능(Artificial Intelligence) 시스템
도 11은 본 개시에 적용 가능한 인공 신경망에 포함되는 퍼셉트론(perceptron)의 구조를 나타낸 도면이다. 또한, 도 12는 본 개시에 적용 가능한 인공 신경망 구조를 나타낸 도면이다.
상술한 바와 같이, 6G 시스템에서 인공 지능 시스템이 적용될 수 있다. 이때, 일 예로, 인공 지능 시스템은 인간의 뇌에 해당하는 러닝 모델에 기초하여 동작할 수 있으며, 이는 상술한 바와 같다. 이때, 인공 신경망(artificial neural networks)와 같은 복잡성이 높은 신경망 구조를 러닝 모델로 사용하는 머신 러닝의 패러다임을 딥러닝(deep learning)이라 할 수 있다. 또한, 학습(learning) 방식으로 사용하는 신경망 코어(neural network cord)는 크게 심층 신경망(deep neural network, DNN), 합성곱 신경망(convolutional deep neural network, CNN), 순환 신경망(recurrent neural network, RNN) 방식이 있다. 이때, 일 예로, 도 11을 참조하면, 인공 신경망은 여러 개의 퍼셉트론들로 구성될 수 있다. 이때, 입력 벡터 x={x1, x2, …, xd}가 입력되면, 각 성분에 가중치 {W1, W2, …, Wd}가 곱해지고, 그 결과를 모두 합산한 후, 활성함수 σ(·)를 적용하는 전체 과정은 퍼셉트론이라 불리울 수 있다. 거대한 인공 신경망 구조는 도 11에 도시한 단순화된 퍼셉트론 구조를 확장하면, 입력벡터는 서로 다른 다 차원의 퍼셉트론에 적용될 수 있다. 설명의 편의를 위해 입력값 또는 출력값을 노드(node)라 칭한다.
한편, 도 11에 도시된 퍼셉트론 구조는 입력값, 출력값을 기준으로 총 3개의 층(layer)로 구성되는 것으로 설명될 수 있다. 1st layer와 2nd layer 사이에는 (d+1) 차원의 퍼셉트론 H개, 2nd layer와 3rd layer 사이에는 (H+1)차원 퍼셉트론이 K 개 존재하는 인공 신경망은 도 12와 같이 표현될 수 있다.
이때, 입력벡터가 위치하는 층을 입력층(input layer), 최종 출력값이 위치하는 층을 출력층(output layer), 입력층과 출력층 사이에 위치하는 모든 층을 은닉층(hidden layer)라 한다. 일 예로, 도 12에서 3개의 층이 개시되나, 실제 인공 신경망 층의 개수를 카운트할 때는 입력층을 제외하고 카운트하므로, 도 12에 예시된 인공 신경망은 총 2개의 층으로 이해될 수 있다. 인공 신경망은 기본 블록의 퍼셉트론을 2차원적으로 연결되어 구성된다.
전술한 입력층, 은닉층, 출력층은 다층 퍼셉트론 뿐 아니라 후술할 CNN, RNN 등 다양한 인공 신경망 구조에서 공동적으로 적용될 수 있다. 은닉층의 개수가 많아질수록 인공 신경망이 깊어진 것이며, 충분히 깊어진 인공 신경망을 러닝모델로 사용하는 머신러닝 패러다임을 딥러닝(deep learning)이라 할 수 있다. 또한 딥러닝을 위해 사용하는 인공 신경망을 심층 신경망(deep neural network, DNN)이라 할 수 있다.
도 13은 본 개시에 적용 가능한 심층 신경망을 나타낸 도면이다.
도 13을 참조하면, 심층 신경망은 은닉층+출력층이 8개로 구성된 다층 퍼셉트론일 수 있다. 이때, 다층 퍼셉트론 구조를 완전 연결 신경망(fully-connected neural network)이라 표현할 수 있다. 완전 연결 신경망은 서로 같은 층에 위치하는 노드 간에는 연결 관계가 존재하지 않으며, 인접한 층에 위치한 노드들 간에만 연결 관계가 존재할 수 있다. DNN은 완전 연결 신경망 구조를 가지고 다수의 은닉층과 활성함수들의 조합으로 구성되어 입력과 출력 사이의 상관관계 특성을 파악하는데 유용하게 적용될 수 있다. 여기서 상관관계 특성은 입출력의 결합 확률(joint probability)을 의미할 수 있다.
도 14는 본 개시에 적용 가능한 컨볼루션 신경망을 나타낸 도면이다. 또한, 도 15는 본 개시에 적용 가능한 컨볼루션 신경망의 필터 연산을 나타낸 도면이다.
일 예로, 복수의 퍼셉트론을 서로 어떻게 연결하느냐에 따라 전술한 DNN과 다른 다양한 인공 신경망 구조를 형성할 수 있다. 이때, DNN은 하나의 층 내부에 위치한 노드들이 1차원적의 세로 방향으로 배치되어 있다. 그러나, 도 14를 참조하면, 노드들이 2차원적으로 가로 w개, 세로 h개의 노드가 배치할 경우를 가정할 수 있다. (도 14의 컨볼루션 신경망 구조). 이 경우, 하나의 입력 노드에서 은닉층으로 이어지는 연결과정에서 연결 하나당 가중치가 부가되므로, 총 h×w 개의 가중치가 고려되어야 한다. 입력층에 h×w 개의 노드가 존재하므로, 인접한 두 층 사이에는 총 h2w2개의 가중치가 필요할 수 있다.
또한, 도 14의 컨볼루션 신경망은 연결개수에 따라 가중치의 개수가 기하급수적으로 증가하는 문제가 있어 인접한 층 간의 모든 모드의 연결을 고려하는 대신, 크기가 작은 필터(filter)가 존재하는 것으로 가정할 수 있다. 일 예로, 도 15에서와 같이 필터가 겹치는 부분에 대해서는 가중합 및 활성함수 연산을 수행하도록 할 수 있다.
이때, 하나의 필터는 그 크기만큼의 개수에 해당하는 가중치를 가지며, 이미지 상의 어느 특정한 특징을 요인으로 추출하여 출력할 수 있도록 가중치의 학습이 이루어질 수 있다. 도 15에서는 3×3 크기의 필터가 입력층의 가장 좌측 상단 3×3 영역에 적용되고, 해당 노드에 대한 가중합 및 활성함수 연산을 수행한 결과 출력값은 z22에 저장될 수 있다.
이때, 상술한 필터는 입력층을 스캔하면서 가로, 세로 일정 간격만큼 이동하면서 가중합 및 활성함수 연산이 수행되고, 그 출력값은 현재 필터의 위치에 배치될 수 있다. 이러한 연산 방식은 컴퓨터 비전(computer vision) 분야에서 이미지에 대한 컨볼루션(convolution) 연산과 유사하므로, 이러한 구조의 심층 신경망은 컨볼루션 신경망(CNN: convolutional neural network)라 불리고, 컨볼루션 연산 결과 생성되는 은닉층은 컨볼루션 층(convolutional layer)라 불릴 수 있다. 또한, 복수의 컨볼루션 층이 존재하는 신경망을 심층 컨볼루션 신경망(deep convolutional neural network, DCNN)이라 할 수 있다.
또한, 컨볼루션 층에서는 현재 필터가 위치한 노드에서, 상기 필터가 커버하는 영역에 위치한 노드만을 포괄하여 가중합을 계산함으로써, 가중치의 개수가 감소될 수 있다. 이로 인해, 하나의 필터가 로컬(local) 영역에 대한 특징에 집중하도록 이용될 수 있다. 이에 따라, CNN은 2차원 영역 상의 물리적 거리가 중요한 판단 기준이 되는 이미지 데이터 처리에 효과적으로 적용될 수 있다. 한편, CNN은 컨볼루션 층의 직전에 복수의 필터가 적용될 수 있으며, 각 필터의 컨볼루션 연산을 통해 복수의 출력 결과를 생성할 수도 있다.
한편, 데이터 속성에 따라 시퀀스(sequence) 특성이 중요한 데이터들이 있을 수 있다. 이러한 시퀀스 데이터들의 길이 가변성, 선후 관계를 고려하여 데이터 시퀀스 상의 원소를 매 시점(timestep) 마다 하나씩 입력하고, 특정 시점에 출력된 은닉층의 출력 벡터(은닉 벡터)를, 시퀀스 상의 바로 다음 원소와 함께 입력하는 방식을 인공 신경망에 적용한 구조를 순환 신경망 구조라 할 수 있다.
도 16은 본 개시에 적용 가능한 순환 루프가 존재하는 신경망 구조를 나타낸 도면이다. 도 17은 본 개시에 적용 가능한 순환 신경망의 동작 구조를 나타낸 도면이다.
도 16을 참조하면, 순환 신경망(recurrent neural network, RNN)은 데이터 시퀀스 상의 어느 시선 t의 원소 {x1 (t), x2 (t), …, xd (t)}를 완전 연결 신경망에 입력하는 과정에서, 바로 이전 시점 t-1은 은닉 벡터 {z1 (t-1), z2 (t-1), …, zH (t-1)}을 함께 입력하여 가중합 및 활성함수를 적용하는 구조를 가질 수 있다. 이와 같이 은닉 벡터를 다음 시점으로 전달하는 이유는 앞선 시점들에서의 입력 벡터속 정보들이 현재 시점의 은닉 벡터에 누적된 것으로 간주하기 때문이다.
또한, 도 17을 참조하면, 순환 신경망은 입력되는 데이터 시퀀스에 대하여 소정의 시점 순서대로 동작할 수 있다. 이때, 시점 1에서의 입력 벡터 {x1 (t), x2 (t), …, xd (t)}가 순환 신경망에 입력되었을 때의 은닉 벡터 {z1 (1), z2 (1), …, zH (1)}가 시점 2의 입력 벡터 {x1 (2), x2 (2), …, xd (2)}와 함께 입력되어, 가중합 및 활성 함수를 통해 은닉층의 벡터 {z1 (2), z2 (2), …, zH (2)}가 결정된다. 이러한 과정은 시점 2, 시점 3, …, 시점 T까지 반복적으로 수행된다.
한편, 순환 신경망 내에서 복수의 은닉층이 배치될 경우, 이를 심층 순환 신경망(deep recurrent neural network, DRNN)라 한다. 순환 신경망은 시퀀스 데이터(예, 자연어 처리(natural language processing)에 유용하게 적용되도록 설계되어 있다.
학습(learning) 방식으로 사용하는 신경망 코어로서 DNN, CNN, RNN 외에 제한 볼츠만 머신(restricted Boltzmann machine, RBM), 심층 신뢰 신경망(deep belief networks, DBN), 심층 Q-네트워크(deep Q-Network)와 같은 다양한 딥 러닝 기법들을 포함하며, 컴퓨터 비젼, 음성인식, 자연어처리, 음성/신호처리 등의 분야에 적용될 수 있다.
최근에는 AI를 무선 통신 시스템과 통합하려고 하는 시도들이 나타나고 있으나, 이는 어플리케이션 계층(application layer), 네트워크 계층(network layer), 특히, 딥러닝의 경우, 무선 자원 관리 및 할당(wireless resource management and allocation) 분야에 집중되어 왔다. 그러나, 이러한 연구는 점점 MAC 계층 및 물리 계층(physical layer)으로 발전하고 있으며, 특히 물리 계층에서 딥러닝을 무선 전송(wireless transmission)과 결합하고자 하는 시도들이 나타나고 있다. AI 기반의 물리 계층 전송은, 근본적인 신호 처리 및 통신 메커니즘에 있어서, 전통적인 통신 프레임워크가 아니라, AI 드라이버에 기초한 신호 처리 및 통신 메커니즘을 적용하는 것을 의미한다. 예를 들어, 딥러닝 기반의 채널 코딩 및 디코딩(channel coding and decoding), 딥러닝 기반의 신호 추정(estimation) 및 검출(detection), 딥러닝 기반의 MIMO 매커니즘(mechanism), AI 기반의 자원 스케줄링(scheduling) 및 할당(allocation) 등을 포함할 수 있다.
본 발명의 구체적인 실시 예
장치들이 정보를 서로 주고받는 방법은 서버와 장치 간 통신, 장치 내부의 센서들 간의 통신을 포함할 수 있다. 구체적으로, 자율 주행 장치, 무인 장치 또는 일반 장치들이 서로 정보를 주고받는 방법은 서버와 장치 간 통신 및 장치 내부의 센서들 간의 통신을 포함할 수 있다.
장치가 자율 주행 장치, 무인 드론, IoT 또는 로봇과 같이 동작하기 위해 장착한 센서가 많아지고 있다. 예를 들어, 장치가 자율 주행 동작을 수행하기 위해 레이더, 카메라 등의 센서를 점점 더 많이 장착하고 있다. 이에 따라, 장치가 처리하는 데이터 양도 늘어나며, 작업 처리가 복잡해지고, ISP(image signal processing)에 따른 데이터 손실도 늘어날 수 있다.
또한, 자율 주행 장치는 주변 물체를 식별할 수 있다. 예를 들어, 자율 주행 장치는 주변 물체가 사람인지, 모바일 장치인지 또는 사물인지 식별할 수 있다. 또한, 자율 주행 장치는 주행 환경을 파악할 수 있다. 예를 들어, 자율 주행 장치는 주변 환경 및 지역을 3D화하여 파악할 수 있다. 또한, 자율 주행 장치는 주변 물체를 감지하거나 주변 물체의 속도를 측정할 수 있다. 이에 따라 자율 주행 장치는 제동을 하거나 주변 물체와의 충돌을 방지할 수 있다. 자율 주행 장치가 상술한 기능들을 탑재할 필요가 있다. 그러나, 상술한 기능들은 매우 복잡한 연산 및 정확한 추정(reference)이 도출되어야 한다. 기존의 장치가 포함하는 센서는 성능 최적화 한계가 존재한다. 즉, 기존의 장치가 포함하는 카메라 렌즈, 이미지 센서 및 ISP는 성능 최적화 한계가 존재한다. 또한, 기존의 장치가 포함하는 레이더의 RF 주파수 및 처리 속도는 성능 최적화 한계가 존재한다. 또한, 기존의 장치가 포함하는 레이더의 레이저 신호 발생 및 디텍션(detection)은 성능 최적화가 존재한다.
또한, 장치의 제품 타겟에 따른 센서 스펙 변화는 장치에서 수집되는 정보량과 업무 처리 능력의 불균형을 초래할 수 있다. 여기서, 제품 타겟은 프리미엄, 하이티어, 노티어 등의 개념을 포함할 수 있다. 센서는 렌즈, 이미지 센서, ISP 처리, 레이더/라이다 등을 포함할 수 있다. 상술한 불균형은 장치가 주변 물체를 식별하고, 주행 환경을 파악하고, 물체를 감지하거나 속도를 측정하는 성능에 대한 열화를 발생시킬 수 있다.
또한, 기존의 자율 주행 장치 또는 무인 장치들은 ISP 처리한 데이터를 전송함으로써 인식 및 확인을 수행하기 때문에 ISP 처리에 따른 데이터 손실이 발생할 수 있다. 이러한 데이터 손실은 자율 주행 장치 또는 무인 장치들의 성능 열화를 가져올 수 있다.
또한, 장치들이 카메라로부터 얻은 정보는 일반적인 정보 중심일 수 있다. 이에 따라, 특정 목적을 가지는 장치들은 카메라로부터 얻은 정보를 다시 가공해야 한다. 따라서, 이러한 가공에 대한 추가적인 처리 비용이 발생할 수 있다.
본 개시는 장치와 서버 간 유기적인 운영 방법을 제안한다. 또한, 본 개시는 장치 내부의 센서들간 통신의 신뢰성을 증대하는 방법을 제안한다. 또한, 본 개시는 ISP 처리를 AI가 수행함으로써 자원의 효율화를 증대하는 방법을 제안한다.
도 18a 및 도 18b는 본 개시에 적용 가능한 연합 학습의 일 예를 나타낸 도면이다. FL(Federated Learning)은 단말 또는 서버가 데이터 샘플 및 정보를 교환하지 않고 로컬 데이터 샘플 및 정보를 보유하는 여러 단말 또는 서버가 알고리즘을 훈련시키는 기계 학습 기술이다. 이 방식은 단말이 데이터 및 정보를 공유하지 않고도 공통의 강력한 기계 학습 모델을 구축할 수 있다. 따라서, 연합 학습 기술은 데이터 개인 정보 보호, 데이터 보안, 데이터 액세스 권한 및 이기종 데이터 액세스와 같은 중요한 문제를 해결할 수 있다. 연합 학습은 단말이 로컬 데이터 및 정보에 대한 로컬 모델을 훈련시키고, 단말은 서버가 글로벌 모델을 생성할 수 있도록 로컬 모델의 파라미터를 서버에게 전달하고, 단말이 서버로부터 글로벌 모델을 수신하는 방식으로 수행될 수 있다. 로컬 모델의 파라미터는 딥 뉴럴 네트워크의 가중치 및 정보를 포함할 수 있다.
서버는 글로벌 모델을 포함할 수 있다. 서버와 통신을 수행하는 장치들은 로컬 모델을 포함할 수 있다. 글로벌 모델은 서버가 복수의 단말들로부터 수신한 정보에 기초하여 생성한 정보를 포함할 수 있다. 로컬 모델은 장치가 서버로부터 수신한 정보에 기초하여 생성한 정보를 포함할 수 있다. 서버와 장치가 서로 모델들을 전송하기 위해 다양한 방법을 통해 통신할 수 있다. 예를 들어, 서버와 장치는 서로 모델들을 전송하기 위해 유선 또는 무선으로 연결되어 통신을 수행할 수 있다.
도 18a 및 도 18b를 참고하면, 서버가 여러 단말들로부터 파라미터 정보를 수신하는 것을 나타낸 도면이다. 서버는 기지국을 포함할 수 있다. 서버(1808)는 단말 1(1802)로부터 W1를 수신할 수 있다. 본 명세서에서 단말은 차량, 자율 주행 차량, 무인 장치 등의 무선 통신 장치를 포함할 수 있다. 여기서, W1는 단말 1이 학습을 통해 생성한 뉴럴 네트워크의 가중치를 의미할 수 있다. 단말 1(1802)은 서버(1808)로부터 WBS를 수신할 수 있다. 여기서, WBS는 서버가 학습을 통해 생성한 뉴럴 네트워크의 가중치를 의미할 수 있다.
서버(1808)는 단말 2(1804)로부터 W2를 수신할 수 있다. 여기서, W2는 단말 2가 학습을 통해 생성한 뉴럴 네트워크의 가중치를 의미할 수 있다. 단말 2(1804)는 서버(1808)로부터 WBS를 수신할 수 있다. 여기서, WBS는 서버가 학습을 통해 생성한 뉴럴 네트워크의 가중치를 의미할 수 있다. 단말 3(1806)도 상술한 바와 동일한 방식으로 동작할 수 있다. 또한, 서버(1808)는 상술한 바와 같이 복수의 단말들로부터 수신한 가중치들에 기초하여 학습을 통해 WBS를 생성할 수 있다. 서버가 생성한 WBS는 다음 수학식 1과 같이 표현될 수 있다.
[수학식 1]
Figure PCTKR2021010969-appb-img-000001
여기서, U는 서버에게 가중치 정보를 제공한 단말의 수를 의미할 수 있다.
도 19는 본 개시에 적용 가능한 연합 학습의 일 예를 나타낸 도면이다. 도 19를 참고하면, 차량은 중앙 서버(1902) 및 센서 카메라(1904)를 포함할 수 있다. 또한, 차량은 복수의 센서 카메라들을 포함할 수 있다. 중앙 서버(1902)는 센서 카메라(1904)와 통신을 수행할 수 있다. 일 예로, 중앙 서버는 IAB-도너(Integrated Access Backhaul-donor), IAB-노드(Integrated Access Backhaul-node) 등을 포함함으로써 센서 카메라와 통신을 수행할 수 있다. 구체적인 일 예로, 중앙 서버는 IAB 도너의 CU(central unit)를 포함하되, 센서 카메라는 IAB 도너의 DU(distributed unit)를 포함할 수 있다. 도 18에서 상술한 바와 같이, 중앙 서버는 복수의 센서 카메라들로부터 수신한 정보에 기초하여 인공지능을 이용하는 학습을 통해 가중치 WBS를 생성할 수 있다. 센서 카메라는 중앙 서버로부터 수신한 정보에 기초하여 인공지능을 이용한 학습을 통해 가중치를 생성할 수 있다. 센서 카메라는 각각 생성한 가중치 W를 중앙 서버에게 전달할 수 있다.
도 20은 본 개시에 적용 가능한 연합 학습 절차의 일 예를 나타낸 도면이다. S2001 단계에서, 장치는 로컬 데이터를 이용해서 로컬 모델을 업데이트 할 수 있다. 예를 들어, 장치는 글로벌 모델을 수신하고 저장되어 있는 로컬 데이터로 학습을 수행할 수 있다. S2003 단계에서, 장치는 업데이트한 로컬 모델을 서버에게 전송할 수 있다. 예를 들어, 장치는 계산된 파라미터를 서버에게 전송할 수 있다. 계산된 파라미터는 딥 뉴럴 네트워크의 가중치 및 정보를 포함할 수 있다. S2005 단계에서, 서버는 수신한 로컬 모델을 통해 글로벌 모델을 업데이트 할 수 있다. 서버는 복수의 장치들로부터 수신한 파라미터를 이용하여 글로벌 모델의 파라미터를 업데이트 할 수 있다. 서버는 파라미터 업데이트를 완료하고 Cost Function에 대한 평가를 수행할 수 있다. S2007 단계에서, 서버는 장치에게 업데이트한 글로벌 모델을 전송할 수 있다. 예를 들어, 서버는 학습을 수행하기 위해 글로벌 모델을 다수의 장치들에게 전송할 수 있다. 상술한 평가의 결과 값이 수렴할 때까지 장치 및 서버는 상술한 절차들을 반복할 수 있다. 이러한 과정을 통해 장치 및 서버는 최적의 가중치(optimal weight) 값을 도출할 수 있다. Cost Function 및 최적의 가중치 값은 다음 수학식 2로 표현될 수 있다.
[수학식 2]
Figure PCTKR2021010969-appb-img-000002
dk는 기지국이 측정한 값(trained information)을 의미할 수 있다. xk(w)는 단말 k가 측정한 값을 의미할 수 있다. 예를 들어, xk(w)는 fNN(sk;)로 표현될 수 있다. J(w)는 dk와 xk(w)의 차이의 제곱을 모두 더한 값을 의미할 수 있다. W*는 J(w)를 최소값으로 만드는 추정량(estimator)을 의미할 수 있다.
도 21은 본 개시에 적용 가능한 단말의 일 예를 나타낸 도면이다. 본 명세서에서 단말은 차량 및 무선 통신 장치를 포함할 수 있다. 단말은 센서(2102) 및 중앙 서버(2104)를 포함할 수 있다. 또한, 단말은 복수의 센서를 포함할 수 있다. 중앙 서버(2104)는 ISP(2108) 및 뉴럴넷 학습부(neural network training unit, 2110)를 포함할 수 있다. 센서(2102)와 중앙 서버(2104)는 통신을 수행할 수 있다. 일 예로, 중앙 서버(2104)는 복수의 센서들과 통신을 수행할 수 있다. 센서는 카메라 센서를 포함할 수 있다. 가상 뉴럴넷부(virtual neural network unit, 2106)는 센서(2102) 내부 또는 외부에 위치할 수 있다.
또 다른 예로, 상술한 중앙 서버(2104)는 기지국으로 대체될 수 있다. 즉, ISP(2108) 및 뉴럴넷 학습부(2110)는 단말 외부에 위치할 수 있으며, 기지국에 포함될 수 있다.
본 개시에 따른 센서(2102)는 ISP(image signal processing) 장치를 포함하지 않을 수 있다. 또한, 본 개시에 따른 센서(2102)는 입력 받은 이미지를 가상 뉴럴넷부(2106)을 통해 특정 목적에 따라 처리할 수 있다. 예를 들어, 센서(2102)는 이미지에서 가상 뉴럴넷부(2106)를 통해 다른 사물들은 제외하고 사람만 추출할 수 있다. 즉, 가상 뉴럴넷부(2106)는 이미지를 특정 목적에 따라 처리할 수 있다. 일 예로, 가상 뉴럴넷부는 인공지능에 기초하여 이미지를 특정 목적에 따라 처리할 수 있다. 센서는 가상 뉴럴넷부를 통해 이미지를 처리하고 중앙 서버(2104)에게 데이터를 전송할 수 있다. 센서가 중앙 서버에게 전송한 데이터는 ISP를 거치지 않아 데이터 손실이 감소될 수 있다. 또한, 단말이 포함하는 복수의 센서들이 ISP를 통해 이미지를 처리하지 않고 중앙 서버에게 데이터를 전송할 수 있다. 복수의 센서들이 ISP 처리를 하지 않은 데이터를 중앙 서버에게 전송함으로써 데이터 손실을 최소화할 수 있다. 중앙 서버(2104)는 ISP(2108)를 포함할 수 있다. 중앙 서버는 ISP를 통해 이미지를 처리하고 가상 뉴럴넷부가 출력한 데이터와 비교할 수 있다. 이하 관련 절차를 구체적으로 설명한다.
센서(2102)는 데이터 출력을 가상 뉴럴넷부(2106)에게 전송할 수 있다. 가상 뉴럴넷부(2106)는 센서(2102)의 데이터 출력을 입력으로 받을 수 있다. 가상 뉴럴넷부(2106)는 입력으로 받은 데이터에 가중치 값을 곱하여 출력할 수 있다. 일 예로, 가상 뉴럴넷부는 입력으로 받은 데이터에 뉴럴넷 학습 결과인 가중치 wBS값을 곱하여 xk를 출력할 수 있다. 중앙 서버(2104)는 가상 뉴럴넷의 결과를 입력으로 받을 수 있다. 일 예로, 뉴럴넷 학습부(2110)는 가상 뉴럴넷부(2106)의 출력 데이터를 입력으로 받을 수 있다. ISP(2108)도 센서(2102)로부터 데이터를 받을 수 있다. ISP는 입력 받은 데이터에 대하여 이미지 프로세싱을 수행할 수 있다. 뉴럴넷 학습부(2110)는 ISP(2108)의 출력 데이터와 학습 결과를 비교할 수 있다. 일 예로, 뉴럴넷 학습부는 ISP의 출력 dk 값과 가상 뉴럴넷 xk 값의 차이를 구할 수 있다. 뉴럴넷 학습부는 이러한 차이에 기초하여 가중치 값을 생성할 수 있다. 뉴럴넷 학습부는 생성한 가중치 값을 가상 뉴럴넷부에게 전송할 수 있다. 뉴럴넷 학습부 및 가상 뉴럴넷부는 가중치 값이 수렴할 때까지 상술한 절차를 반복할 수 있다. 절차가 반복되면서 가중치 값이 점점 더 정확해질 수 있다.
도 22는 본 개시에 적용 가능한 단말의 일 예를 나타낸 도면이다. 단말은 센서(2202) 및 중앙 서버(2204)를 포함할 수 있다. 또한, 단말은 복수의 센서를 포함할 수 있다. 중앙 서버(2204)는 ISP(2208), 뉴럴넷 학습부(neural network training unit, 2210) 및 리버스 가상 뉴럴넷부(reverse virtual neural network unit, 2112)를 포함할 수 있다. 센서(2202)와 중앙 서버(2204)는 서로 통신할 수 있다. 일 예로, 중앙 서버(2204)는 복수의 센서들과 통신을 수행할 수 있다. 센서는 카메라 센서를 포함할 수 있다. 가상 뉴럴넷부(virtual neural network unit, 2206)는 센서(2202) 내부 또는 외부에 위치할 수 있다.
또 다른 예로, 상술한 중앙 서버(2204)는 기지국으로 대체될 수 있다. 즉, 리버스 가상 뉴럴넷부(2212), ISP(2208) 및 뉴럴넷 학습부(2210)는 단말 외부에 위치할 수 있으며, 기지국에 포함될 수 있다.
본 개시에 따른 중앙 서버(2204)는 센서(2202)로부터 직접 센서의 출력 데이터를 수신하지 않더라도 리버스 가상 뉴럴넷부(2212)를 통해 특정 목적이 제거된 데이터를 생성할 수 있다. 일 예로, 리버스 가상 뉴럴넷부는 센서의 출력 데이터를 생성할 수 있다. 이하 관련 절차를 구체적으로 설명한다.
센서(2202)는 데이터 출력을 가상 뉴럴넷부(2206)에게 전송할 수 있다. 가상 뉴럴넷부(2206)는 센서(2202)의 데이터 출력을 입력으로 받을 수 있다. 가상 뉴럴넷부(2206)는 입력으로 받은 데이터에 가중치 값을 곱하여 출력할 수 있다. 일 예로, 가상 뉴럴넷부는 입력으로 받은 데이터에 뉴럴넷 학습 결과인 가중치 wBS값을 곱하여 xk를 출력할 수 있다. 중앙 서버(2204)는 가상 뉴럴넷의 결과를 입력으로 받을 수 있다. 일 예로, 뉴럴넷 학습부(2210)는 가상 뉴럴넷부(2206)의 출력 데이터를 입력으로 받을 수 있다. 리버스 가상 뉴럴넷부(2212)는 가상 뉴럴넷부(2206)의 출력 데이터를 수신할 수 있다.
리버스 가상 뉴럴넷부는 특정 목적에 따라 가상 뉴럴넷부가 처리한 이미지의 특정 목적을 제거할 수 있다. 일 예로, 리버스 가상 뉴럴넷부는 인공지능에 기초하여 특정 목적을 제거한 데이터를 생성할 수 있다. 또한, 리버스 가상 뉴럴넷부는 수신한 데이터를 처리하여 센서의 출력 데이터를 생성할 수 있다. 리버스 가상 뉴럴넷부는 생성한 데이터를 ISP에게 전송할 수 있다, ISP(2208)는 리버스 뉴럴넷부(2212)로부터 데이터를 받을 수 있다. ISP는 입력 받은 데이터에 대하여 이미지 프로세싱을 수행할 수 있다.
뉴럴넷 학습부(2210)는 ISP(2208)의 출력 데이터와 학습 결과를 비교할 수 있다. 일 예로, 뉴럴넷 학습부는 ISP의 출력 dk 값과 가상 뉴럴넷 xk 값의 차이를 구할 수 있다. 뉴럴넷 학습부는 이러한 차이에 기초하여 가중치 값을 생성할 수 있다. 뉴럴넷 학습부는 생성한 가중치 값을 가상 뉴럴넷부에게 전송할 수 있다. 뉴럴넷 학습부 및 가상 뉴럴넷부는 가중치 값이 수렴할 때까지 상술한 절차를 반복할 수 있다. 절차가 반복되면서 가중치 값이 점점 더 정확해질 수 있다.
도 23은 본 개시에 적용 가능한 단말의 일 예를 나타낸 도면이다. 단말은 센서(2302) 및 중앙 서버(2304)를 포함할 수 있다. 또한, 단말은 복수의 센서를 포함할 수 있다. 중앙 서버(2304)는 리버스 가상 뉴럴넷부(reverse virtual neural network unit, 2308), 뉴럴넷 학습부(neural network training unit, 2310)를 포함할 수 있다. 센서(2302)와 중앙 서버(2304)는 서로 통신할 수 있다. 일 예로, 중앙 서버(2304)는 복수의 센서들과 통신을 수행할 수 있다. 센서는 카메라 센서를 포함할 수 있다. 가상 뉴럴넷부(virtual neural network unit, 2306)는 센서(2302) 내부 또는 외부에 위치할 수 있다.
또 다른 예로, 상술한 중앙 서버(2304)는 기지국으로 대체될 수 있다. 즉, 리버스 가상 뉴럴넷부(2308) 및 뉴럴넷 학습부(2310)는 단말 외부에 위치할 수 있으며, 기지국에 포함될 수 있다.
본 개시에 따른 중앙 서버(2304)는 리버스 가상 뉴럴넷부(2308)를 통해 ISP를 수행할 수 있다. 이하, 관련 절차를 구체적으로 설명한다.
센서(2302)는 데이터 출력을 가상 뉴럴넷부(2308)에게 전송할 수 있다. 가상 뉴럴넷부(2306)는 센서(2302)의 데이터 출력을 입력으로 받을 수 있다. 가상 뉴럴넷부(2306)는 입력으로 받은 데이터에 가중치 값을 곱하여 출력할 수 있다. 일 예로, 가상 뉴럴넷부는 입력으로 받은 데이터에 뉴럴넷 학습 결과인 가중치 wBS값을 곱하여 xk를 출력할 수 있다. 중앙 서버(2304)는 가상 뉴럴넷의 결과를 입력으로 받을 수 있다. 일 예로, 뉴럴넷 학습부(2310)는 가상 뉴럴넷부(2306)의 출력 데이터를 입력으로 받을 수 있다. 리버스 가상 뉴럴넷부(2308)는 가상 뉴럴넷부(2306)의 출력 데이터를 수신할 수 있다.
리버스 가상 뉴럴넷부는 특정 목적에 따라 가상 뉴럴넷부가 처리한 이미지의 특정 목적을 제거할 수 있다. 일 예로, 리버스 가상 뉴럴넷부는 인공지능에 기초하여 특정 목적을 제거한 데이터를 생성할 수 있다. 또한, 리버스 가상 뉴럴넷부는 수신한 데이터를 처리하여 센서의 출력 데이터를 생성할 수 있다.
또한, 리버스 가상 뉴럴넷부는 ISP(image signal processing)를 수행할 수 있다. 이에 따라, 뉴럴넷 학습부(2310)는 리버스 가상 뉴럴넷부의 출력 데이터와 학습 결과를 비교할 수 있다. 일 예로, 뉴럴넷 학습부는 리버스 가상 뉴럴넷부의 출력 dk 값과 가상 뉴럴넷 xk 값의 차이를 구할 수 있다. 뉴럴넷 학습부는 이러한 차이에 기초하여 가중치 값을 생성할 수 있다. 뉴럴넷 학습부는 생성한 가중치 값을 가상 뉴럴넷부에게 전송할 수 있다. 뉴럴넷 학습부 및 가상 뉴럴넷부는 가중치 값이 수렴할 때까지 상술한 절차를 반복할 수 있다. 절차가 반복됨에 따라 가중치 값이 점점 더 정확해질 수 있다.
도 24는 본 개시에 적용 가능한 단말의 일 예를 나타낸 도면이다. 단말은 제1 센서(2402) 및 제2 센서(2404)를 포함할 수 있다. 제1 센서는 레이더를 포함할 수 있다. 제2 센서는 ISP를 포함할 수 있다. 중앙 서버는 뉴럴넷 학습부(neural network training unit, 2408)를 포함할 수 있다. 또 다른 예로, 다른 단말이 뉴럴넷 학습부(2408)을 포함할 수 있다. 또 다른 예로, 기지국이 뉴럴넷 학습부(2408)을 포함할 수 있다. 즉, 뉴럴넷 학습부(2408)는 다른 단말, 중앙 서버 또는 기지국 등에 위치할 수 있다. 뉴럴넷 학습부의 위치는 상술한 실시예로 한정되지 않는다. 제1 센서(2402)와 중앙 서버는 서로 통신할 수 있다. 제2 센서(2404)와 중앙 서버는 서로 통신할 수 있다. 가상 뉴럴넷부(virtual neural network unit, 2406)는 제1 센서(2402)의 내부 또는 외부에 위치할 수 있다.
본 개시에 따른 단말은 ISP를 포함하지 않는 제1 센서(2402) 및 ISP를 포함하는 제2 센서(2404)를 포함할 수 있다. 이하 관련 절차를 구체적으로 설명한다.
제1 센서(2402)는 데이터 출력을 가상 뉴럴넷부(2406)에게 전송할 수 있다. 가상 뉴럴넷부(2406)는 제1 센서(2402)의 데이터 출력을 입력으로 받을 수 있다. 가상 뉴럴넷부(2406)는 입력으로 받은 데이터에 가중치 값을 곱하여 출력할 수 있다. 일 예로, 가상 뉴럴넷부는 입력으로 받은 데이터에 뉴럴넷 학습 결과인 가중치 wBS값을 곱하여 xk를 출력할 수 있다. 중앙 서버는 가상 뉴럴넷의 결과를 입력으로 받을 수 있다. 일 예로, 뉴럴넷 학습부(2408)는 가상 뉴럴넷부(2406)의 출력 데이터를 입력으로 받을 수 있다. 제2 센서(2404)는 ISP 장치를 포함하고 있으므로 직접 ISP를 수행할 수 있다. 뉴럴넷 학습부(2408)는 제2 센서로부터 ISP 처리를 거친 데이터를 수신할 수 있다. 일 예로, 뉴럴넷 학습부는 제2 센서로부터 ISP 처리된 dk 값을 수신할 수 있다. 이에 따라, 뉴럴넷 학습부는 제2 센서로부터 수신한 데이터와 학습 결과를 비교할 수 있다. 일 예로, 뉴럴넷 학습부는 제2 센서의 출력 dk 값과 가상 뉴럴넷부의 출력 xk 값의 차이를 구할 수 있다. 뉴럴넷 학습부는 이러한 차이에 기초하여 가중치 값을 생성할 수 있다. 뉴럴넷 학습부는 생성한 가중치 값을 가상 뉴럴넷부에게 전송할 수 있다. 뉴럴넷 학습부 및 가상 뉴럴넷부는 가중치 값이 수렴할 때까지 상술한 절차를 반복할 수 있다. 절차가 반복됨에 따라 가중치 값이 점점 더 정확해질 수 있다.
도 25는 본 개시에 적용 가능한 단말의 동작 절차의 일 예를 나타낸 도면이다. S2501 단계에서 단말은 센서를 통해 이미지 센싱을 수행할 수 있다. 또한, 단말은 복수의 센서들을 통해 이미지 센싱을 수행할 수 있다. 센서는 카메라 센서를 포함할 수 있으며, ISP(image signal processor)를 포함하지 않을 수 있다. 즉, 단말은 ISP를 수행하지 않고 이미지 센싱을 수행할 수 있다.
S2503 단계에서, 단말은 이미지 센싱에 기초하여 제1 뉴럴 네트워크를 학습할 수 있다. 단말은 제1 뉴럴 네트워크를 학습함으로써 센싱한 이미지를 특정 목적에 따라 처리할 수 있다. 예를 들어, 단말은 가상 뉴럴넷부를 포함할 수 있다. 또한, 가상 뉴럴넷부는 제1 뉴럴네트워크를 학습하여 센싱한 이미지를 특정 목적에 따라 처리할 수 있다.
일 예로, 단말의 센서는 출력 데이터를 단말의 가상 뉴럴넷부에게 전송할 수 있다. 단말의 가상 뉴럴넷부는 입력 데이터에 가중치 값을 곱하여 출력할 수 있다. 즉, 단말은 뉴럴넷 학습 결과에 가중치 wBS값을 곱하여 xk를 출력할 수 있다.
S2505 단계에서, 단말은 제1 뉴럴 네트워크 학습 결과를 전송할 수 있다. 일 예로, 단말은 제1 뉴럴 네트워크 학습 결과를 단말 내부의 중앙 서버 기지국에게 전송할 수 있다. 여기서, 단말 내부의 중앙 서버는 ISP를 수행할 수 있는 장치를 포함할 수 있다. 또 다른 예로, 단말은 제1 뉴럴 네트워크 학습 결과를 기지국에게 전송할 수 있다. 여기서, 기지국은 ISP를 수행할 수 있는 장치를 포함할 수 있다. 또 다른 예로, 단말은 제1 뉴럴 네트워크 학습 결과를 다른 단말에게 전송할 수 있다. 여기서, 다른 단말은 ISP를 수행할 수 있는 장치를 포함할 수 있다.
단말이 중앙 서버, 기지국 또는 다른 단말에게 전송한 데이터는 ISP(image signal processing)가 수행되지 않을 수 있다. 단말은 ISP를 수행하지 않은 데이터를 전송함으로써 데이터 손실을 감소시킬 수 있다. 또한, 단말이 포함하는 복수의 센서들은 ISP가 수행되지 않은 데이터를 중앙 서버 또는 기지국에게 데이터를 전송할 수 있다. 이에 따라, 데이터 손실이 최소화될 수 있다.
또한, 단말이 포함하는 복수의 센서들 중 일부 센서들은 ISP를 수행할 수 있다. 단말은 ISP를 수행할 수 있는 센서들을 이용하여 ISP가 수행된 데이터를 중앙 서버, 기지국 또는 다른 단말에게 전송할 수 있다.
단말은 내부에 중앙 서버를 포함할 수 있다. 중앙 서버는 ISP를 수행할 수 있다. 일 예로, 중앙 서버는 ISP 장치를 이용하여 ISP를 수행할 수 있다. 또 다른 예로, 중앙 서버는 리버스 가상 뉴럴 네트워크를 학습하여 ISP를 수행할 수 있다.
단말의 중앙 서버는 리버스 가상 뉴럴넷부를 통해 ISP를 수행할 수 있다. 이하, 관련 절차를 구체적으로 설명한다. 단말의 중앙 서버는 단말의 가상 뉴럴넷부가 전송한 데이터를 수신할 수 있다. 중앙 서버의 리버스 가상 뉴럴넷부는 특정 목적에 따라 가상 뉴럴넷부가 처리한 이미지의 특정 목적을 제거할 수 있다. 일 예로, 리버스 가상 뉴럴넷부는 인공지능에 기초하여 특정 목적을 제거한 데이터를 생성할 수 있다. 또한, 리버스 가상 뉴럴넷부는 수신한 데이터를 처리하여 센서의 출력 데이터를 생성할 수 있다.
또한, 중앙 서버의 리버스 가상 뉴럴넷부는 ISP(image signal processing)를 수행할 수 있다. 중앙 서버의 리버스 가상 뉴럴넷부가 ISP를 수행할 수 있는 경우, 중앙 서버는 ISP 장치를 포함하지 않을 수 있다. 또한, 중앙 서버는 리버스 가상 뉴럴넷부가 ISP를 수행할 수 있는 경우라도 추가적으로 ISP 장치를 포함할 수 있다. 중앙 서버가 추가적으로 ISP 장치를 포함하는 경우, 중앙 서버의 ISP 장치는 리버스 가상 뉴럴넷부의 출력 데이터에 대해 ISP를 수행할 수 있다. ISP 장치는 ISP를 수행한 리버스 가상 뉴럴넷부의 출력 데이터를 중앙 서버의 뉴럴넷 학습부에 전송할 수 있다.
중앙 서버의 뉴럴넷 학습부는 제2 뉴럴 네트워크를 학습할 수 있다. 일 예로, 중앙 서버의 뉴럴넷 학습부는 리버스 가상 뉴럴넷부의 출력 데이터와 제2 뉴럴 네트워크 학습 결과를 비교할 수 있다. 구체적으로, 중앙 서버의 뉴럴넷 학습부는 리버스 가상 뉴럴넷부의 출력 dk 값과 가상 뉴럴넷 학습부의 출력 xk 값의 차이를 구할 수 있다. 뉴럴넷 학습부는 이러한 차이에 기초하여 가중치 값을 생성할 수 있다. 뉴럴넷 학습부는 생성한 가중치 값을 가상 뉴럴넷부에게 전송할 수 있다. 단말의 뉴럴넷 학습부 및 단말의 가상 뉴럴넷부는 가중치 값이 수렴할 때까지 상술한 절차를 반복할 수 있다. 절차가 반복됨에 따라 가중치 값이 점점 더 정확해질 수 있다.
또 다른 예로, 단말의 중앙 서버는 리버스 가상 뉴럴넷부를 포함하지 않되, ISP 장치 및 뉴럴넷 학습부를 포함할 수 있다. 여기서, 중앙 서버는 가상 뉴럴넷의 결과를 입력으로 받을 수 있다. 일 예로, 뉴럴넷 학습부는 가상 뉴럴넷부의 출력 데이터를 입력으로 받을 수 있다. ISP 장치도 단말의 센서로부터 데이터를 받을 수 있다. ISP 장치는 입력 받은 데이터에 대하여 ISP를 수행할 수 있다. 중앙 서버는 제2 뉴럴 네트워크를 학습할 수 있다. 예를 들어, 중앙 서버의 뉴럴넷 학습부는 ISP의 출력 데이터와 제2 뉴럴 네트워크 학습 결과를 비교할 수 있다. 일 예로, 뉴럴넷 학습부는 ISP의 출력 dk 값과 가상 뉴럴넷부의 출력 xk 값의 차이를 구할 수 있다. 뉴럴넷 학습부는 이러한 차이에 기초하여 가중치 값을 생성할 수 있다. 뉴럴넷 학습부는 생성한 가중치 값을 가상 뉴럴넷부에게 전송할 수 있다. 단말의 뉴럴넷 학습부 및 단말의 가상 뉴럴넷부는 가중치 값이 수렴할 때까지 상술한 절차를 반복할 수 있다. 절차가 반복되면서 가중치 값이 점점 더 정확해질 수 있다.
도 26은 본 개시에 적용 가능한 서버, 기지국 또는 단말 절차의 일 예를 나타낸 도면이다. 도 25를 참고하면, 단말은 중앙 서버, 기지국 또는 다른 단말에게 제1 뉴럴 네트워크 학습 결과를 전송할 수 있다. 이하 도 26과 관련된 절차에 대해서 설명한다.
S2601 단계에서, 기지국은 제1 뉴럴 네트워크 학습 결과를 수신할 수 있다. 일 예로, 기지국은 단말의 가상 뉴럴넷부의 결과를 입력으로 받을 수 있다. 즉, 기지국의 뉴럴넷 학습부는 단말의 가상 뉴럴넷부의 출력 데이터를 입력으로 받을 수 있다. 또한, 기지국의 리버스 가상 뉴럴넷부는 가상 뉴럴넷부의 출력 데이터를 수신할 수 있다. 리버스 가상 뉴럴넷부는 특정 목적에 따라 가상 뉴럴넷부가 처리한 이미지의 특정 목적을 제거할 수 있다. 리버스 가상 뉴럴넷부는 인공지능에 기초하여 특정 목적을 제거한 데이터를 생성할 수 있다. 리버스 가상 뉴럴넷부는 수신한 데이터를 처리하여 센서의 출력 데이터를 생성할 수 있다. 또한, 리버스 가상 뉴럴넷부는 ISP(image signal processing)를 수행할 수 있다.
S2603 단계에서, 기지국의 리버스 가상 뉴럴넷부는 제1 뉴럴 네트워크 학습 결과에 기초하여 제2 뉴럴 네트워크를 학습할 수 있다. 일 예로, 기지국의 뉴럴넷 학습부는 리버스 가상 뉴럴넷부의 출력 데이터와 제1 뉴럴 네트워크 학습 결과를 비교할 수 있다. 구체적으로, 기지국의 뉴럴넷 학습부는 리버스 가상 뉴럴넷부의 출력 dk 값과 가상 뉴럴넷부의 출력 xk 값의 차이를 구할 수 있다. 기지국의 뉴럴넷 학습부는 이러한 차이에 기초하여 가중치 값을 생성할 수 있다.
또한, 기지국은 추가적으로 ISP 장치를 포함할 수 있다. 이러한 경우, 리버스 가상 뉴럴넷부의 출력 데이터는 ISP 장치에 의해 ISP가 수행될 수 있다.
S2605 단계에서, 기지국은 제2 뉴럴 네트워크 학습 결과를 전송할 수 있다. 일 예로, 기지국의 뉴럴넷 학습부는 생성한 가중치 값을 단말의 가상 뉴럴넷부에게 전송할 수 있다. 기지국의 뉴럴넷 학습부 및 단말의 가상 뉴럴넷부는 가중치 값이 수렴할 때까지 상술한 절차를 반복할 수 있다. 절차가 반복됨에 따라 가중치 값이 점점 더 정확해질 수 있다.
또 다른 예로, 기지국은 ISP 장치 및 뉴럴넷 학습부를 포함할 수 있다. 기지국은 가상 뉴럴넷의 결과를 입력으로 받을 수 있다. 기지국의 뉴럴넷 학습부는 단말의 가상 뉴럴넷부의 출력 데이터를 입력으로 받을 수 있다. 기지국의 ISP 장치도 단말의 센서로부터 데이터를 받을 수 있다. ISP 장치는 입력 받은 데이터에 대하여 ISP를 수행할 수 있다.
S2603 단계에서, 기지국은 제1 뉴럴 네트워크 학습 결과에 기초하여 제2 뉴럴 네트워크를 학습할 수 있다. 기지국의 뉴럴넷 학습부는 ISP의 출력 데이터와 제1 뉴럴 네트워크 학습 결과를 비교할 수 있다. 예를 들어, 기지국의 뉴럴넷 학습부는 ISP의 출력 dk 값과 단말의 가상 뉴럴넷부의 출력 xk 값의 차이를 구할 수 있다. 기지국의 뉴럴넷 학습부는 이러한 차이에 기초하여 가중치 값을 생성할 수 있다.
S2605 단계에서, 기지국은 제2 뉴럴 네트워크 학습 결과를 전송할 수 있다. 구체적으로, 기지국의 뉴럴넷 학습부는 생성한 가중치 값을 단말의 가상 뉴럴넷부에게 전송할 수 있다. 기지국의 뉴럴넷 학습부 및 단말의 가상 뉴럴넷부는 가중치 값이 수렴할 때까지 상술한 절차를 반복할 수 있다. 절차가 반복되면서 가중치 값이 점점 더 정확해질 수 있다.
상기 설명한 제안 방식에 대한 일례들 또한 본 개시의 구현 방법들 중 하나로 포함될 수 있으므로, 일종의 제안 방식들로 간주될 수 있음은 명백한 사실이다. 또한, 상기 설명한 제안 방식들은 독립적으로 구현될 수도 있지만, 일부 제안 방식들의 조합 (또는 병합) 형태로 구현될 수도 있다. 상기 제안 방법들의 적용 여부 정보 (또는 상기 제안 방법들의 규칙들에 대한 정보)는 기지국이 단말에게 사전에 정의된 시그널 (예: 물리 계층 시그널 또는 상위 계층 시그널)을 통해서 알려주도록 규칙이 정의될 수 있다.
본 개시는 본 개시에서 서술하는 기술적 아이디어 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 개시의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 개시의 등가적 범위 내에서의 모든 변경은 본 개시의 범위에 포함된다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시 예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.
본 개시의 실시 예들은 다양한 무선접속 시스템에 적용될 수 있다. 다양한 무선접속 시스템들의 일례로서, 3GPP(3rd Generation Partnership Project) 또는 3GPP2 시스템 등이 있다.
본 개시의 실시 예들은 상기 다양한 무선접속 시스템뿐 아니라, 상기 다양한 무선접속 시스템을 응용한 모든 기술 분야에 적용될 수 있다. 나아가, 제안한 방법은 초고주파 대역을 이용하는 mmWave, THz 통신 시스템에도 적용될 수 있다.
추가적으로, 본 개시의 실시 예들은 자유 주행 차량, 드론 등 다양한 애플리케이션에도 적용될 수 있다.

Claims (16)

  1. 무선 통신 시스템에서 단말의 동작 방법에 있어서,
    제1 센서를 통해 이미지 센싱을 수행하는 단계;
    기지국으로부터 뉴럴 네트워크 관련 정보를 수신하는 단계;
    상기 뉴럴 네트워크 관련 정보에 기초하여 제1 뉴럴 네트워크를 학습하는 단계; 및
    기지국에게 상기 제1 뉴럴 네트워크 학습 결과 데이터를 전송하는 단계;를 포함하고,
    상기 제1 센서는 ISP(image signal processing)를 수행하지 않되,
    상기 뉴럴 네트워크 관련 정보는 상기 단말의 뉴럴 네트워크 학습 여부를 지시하는 정보를 포함하고,
    상기 제1 뉴럴 네트워크의 학습은 인공지능에 기초하여 상기 이미지 센싱 결과 데이터를 처리하는, 방법.
  2. 제1항에 있어서,
    상기 뉴럴 네트워크 관련 정보는 상기 제1 뉴럴 네트워크의 가중치 정보를 포함하는, 방법.
  3. 제1항에 있어서,
    상기 뉴럴 네트워크 학습 여부를 지시하는 정보가 상기 제1 뉴럴 네트워크 학습을 지시하는 경우에만 상기 제1 뉴럴 네트워크 학습을 수행하는, 방법.
  4. 제1항에 있어서,
    상기 기지국으로부터 제2 뉴럴 네트워크 학습 결과 데이터를 수신하는, 방법.
  5. 제1항에 있어서,
    제2 센서를 통해 이미지 센싱을 수행하고, 상기 제2 센서는 ISP를 수행하는, 방법.
  6. 제5항에 있어서,
    상기 제2 센서의 ISP 출력 데이터를 상기 기지국에게 전송하는, 방법.
  7. 무선 통신 시스템에서 기지국의 동작 방법에 있어서,
    단말에게 뉴럴 네트워크 관련 정보를 전송하는 단계;
    상기 단말로부터 제1 뉴럴 네트워크 학습 결과 데이터를 수신하는 단계;
    상기 제1 뉴럴 네트워크 학습 결과 데이터에 기초하여 리버스 제1 뉴럴 네트워크를 학습하는 단계; 및
    상기 리버스 제1 뉴럴 네트워크 학습 결과에 기초하여 제2 뉴럴 네트워크를 학습하는 단계;를 포함하고,
    상기 리버스 제1 뉴럴 네트워크 학습은 ISP(image signal processing)를 수행하되, 상기 뉴럴 네트워크 관련 정보는 상기 단말의 뉴럴 네트워크 학습 여부를 지시하는 정보를 포함하고,
    상기 제1 뉴럴 네트워크의 학습은 인공지능에 기초하여 이미지 센싱 결과 데이터를 처리하고, 상기 제2 뉴럴 네트워크의 학습은 ISP 수행 결과와 상기 제1 뉴럴 네트워크 학습 결과 데이터를 비교하는, 방법.
  8. 제7항에 있어서,
    상기 뉴럴 네트워크 관련 정보는 상기 제1 뉴럴 네트워크의 가중치 정보를 포함하는, 방법.
  9. 제7항에 있어서,
    상기 단말에게 제2 뉴럴 네트워크 학습 결과 데이터를 전송하는, 방법.
  10. 제7항에 있어서,
    상기 기지국은 ISP(Image signal processor)를 포함하는, 방법.
  11. 제10항에 있어서,
    상기 ISP(image signal processor)는 상기 리버스 제1 뉴럴 네트워크 학습 결과 데이터에 기초하여 ISP(image signal processing)을 수행하는, 방법.
  12. 제7항에 있어서,
    상기 단말로부터 ISP 출력 데이터를 수신하고, 상기 ISP 출력 데이터에 기초하여 상기 제2 뉴럴 네트워크를 학습하는, 방법.
  13. 무선 통신 시스템에서 단말에 있어서,
    송수신기; 및
    상기 송수신기와 연결된 프로세서를 포함하며,
    상기 프로세서는,
    상기 단말이 제1 센서를 통해 이미지 센싱을 수행하도록 제어하되,
    상기 송수신기가 기지국으로부터 뉴럴 네트워크 관련 정보를 수신하도록 제어하고,
    상기 단말이 상기 뉴럴 네트워크 관련 정보에 기초하여 제1 뉴럴 네트워크를 학습하도록 제어하고,
    상기 송수신기가 상기 기지국에게 상기 제1 뉴럴 네트워크 학습 결과 데이터를 전송하도록 제어하고,
    상기 제1 센서는 ISP(image signal processing)를 수행하지 않되,
    상기 뉴럴 네트워크 관련 정보는 상기 단말의 뉴럴 네트워크 학습 여부를 지시하는 정보를 포함하고,
    상기 제1 뉴럴 네트워크의 학습은 인공지능에 기초하여 상기 이미지 센싱 결과 데이터를 처리하는, 단말.
  14. 무선 통신 시스템에서 기지국에 있어서,
    송수신기; 및
    상기 송수신기와 연결된 프로세서를 포함하며,
    상기 프로세서는,
    상기 송수신기가 단말에게 뉴럴 네트워크 관련 정보를 전송하도록 제어하되, 상기 단말로부터 제1 뉴럴 네트워크 학습 결과 데이터를 수신하도록 제어하고,
    상기 기지국이 상기 제1 뉴럴 네트워크 학습 결과 데이터에 기초하여 리버스 제1 뉴럴 네트워크를 학습하도록 제어하되, 상기 리버스 제1 뉴럴 네트워크 학습 결과에 기초하여 제2 뉴럴 네트워크를 학습하도록 제어하고,
    상기 리버스 제1 뉴럴 네트워크 학습은 ISP(image signal processing)를 수행하되, 상기 뉴럴 네트워크 관련 정보는 상기 단말의 뉴럴 네트워크 학습 여부를 지시하는 정보를 포함하고,
    상기 제1 뉴럴 네트워크의 학습은 인공지능에 기초하여 이미지 센싱 결과 데이터를 처리하고, 상기 제2 뉴럴 네트워크의 학습은 ISP 수행 결과와 상기 제1 뉴럴 네트워크 학습 결과 데이터를 비교하는, 기지국.
  15. 적어도 하나의 메모리 및 상기 적어도 하나의 메모리들과 기능적으로 연결되어 있는 적어도 하나의 프로세서를 포함하는 장치에 있어서,
    상기 적어도 하나의 프로세서는 상기 장치가,
    제1 센서를 통해 이미지 센싱을 수행하도록 제어하되,
    기지국으로부터 뉴럴 네트워크 관련 정보를 수신하도록 제어하고,
    상기 뉴럴 네트워크 관련 정보에 기초하여 제1 뉴럴 네트워크를 학습하도록 제어하고,
    상기 기지국에게 상기 제1 뉴럴 네트워크 학습 결과 데이터를 전송하도록 제어하고,
    상기 제1 센서는 ISP(image signal processing)를 수행하지 않되,
    상기 뉴럴 네트워크 관련 정보는 상기 단말의 뉴럴 네트워크 학습 여부를 지시하는 정보를 포함하고,
    상기 제1 뉴럴 네트워크의 학습은 인공지능에 기초하여 상기 이미지 센싱 결과 데이터를 처리하는, 장치.
  16. 적어도 하나의 명령어(instructions)을 저장하는 비-일시적인(non-transitory) 컴퓨터 판독 가능 매체(computer-readable medium)에 있어서,
    프로세서에 의해 실행 가능한(executable) 상기 적어도 하나의 명령어를 포함하며,
    상기 적어도 하나의 명령어는, 장치가,
    제1 센서를 통해 이미지 센싱을 수행하도록 지시하되,
    기지국으로부터 뉴럴 네트워크 관련 정보를 수신하도록 지시하고,
    상기 뉴럴 네트워크 관련 정보에 기초하여 제1 뉴럴 네트워크를 학습하도록 지시하고,
    상기 기지국에게 상기 제1 뉴럴 네트워크 학습 결과 데이터를 전송하도록 지시하고,
    상기 제1 센서는 ISP(image signal processing)를 수행하지 않되,
    상기 뉴럴 네트워크 관련 정보는 상기 단말의 뉴럴 네트워크 학습 여부를 지시하는 정보를 포함하고,
    상기 제1 뉴럴 네트워크의 학습은 인공지능에 기초하여 상기 이미지 센싱 결과 데이터를 처리하는, 컴퓨터 판독 가능 매체.
PCT/KR2021/010969 2021-08-18 2021-08-18 무선 통신 시스템에서 신호 전송 방법 및 장치 WO2023022251A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020237043173A KR20240047337A (ko) 2021-08-18 2021-08-18 무선 통신 시스템에서 신호 전송 방법 및 장치
PCT/KR2021/010969 WO2023022251A1 (ko) 2021-08-18 2021-08-18 무선 통신 시스템에서 신호 전송 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2021/010969 WO2023022251A1 (ko) 2021-08-18 2021-08-18 무선 통신 시스템에서 신호 전송 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2023022251A1 true WO2023022251A1 (ko) 2023-02-23

Family

ID=85239865

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/010969 WO2023022251A1 (ko) 2021-08-18 2021-08-18 무선 통신 시스템에서 신호 전송 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20240047337A (ko)
WO (1) WO2023022251A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018125777A (ja) * 2017-02-02 2018-08-09 パナソニックＩｐマネジメント株式会社 撮像装置、学習サーバ、撮像システム
KR20190107107A (ko) * 2017-05-15 2019-09-18 구글 엘엘씨 구성가능하고 프로그래밍가능한 이미지 프로세서 유닛
US20190340534A1 (en) * 2016-09-26 2019-11-07 Google Llc Communication Efficient Federated Learning
KR20210066754A (ko) * 2019-11-28 2021-06-07 경희대학교 산학협력단 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법
CN113159329A (zh) * 2021-04-27 2021-07-23 Oppo广东移动通信有限公司 模型训练方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190340534A1 (en) * 2016-09-26 2019-11-07 Google Llc Communication Efficient Federated Learning
JP2018125777A (ja) * 2017-02-02 2018-08-09 パナソニックＩｐマネジメント株式会社 撮像装置、学習サーバ、撮像システム
KR20190107107A (ko) * 2017-05-15 2019-09-18 구글 엘엘씨 구성가능하고 프로그래밍가능한 이미지 프로세서 유닛
KR20210066754A (ko) * 2019-11-28 2021-06-07 경희대학교 산학협력단 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법
CN113159329A (zh) * 2021-04-27 2021-07-23 Oppo广东移动通信有限公司 模型训练方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR20240047337A (ko) 2024-04-12

Similar Documents

Publication Publication Date Title
WO2022039295A1 (ko) 무선 통신 시스템에서 하향링크를 전처리하는 방법 및 이를 위한 장치
WO2022250221A1 (ko) 무선 통신 시스템에서 신호 전송 방법 및 장치
WO2022050468A1 (ko) 무선 통신 시스템에서 연합학습을 수행하는 방법 및 이를 위한 장치
WO2022050565A1 (ko) 무선 통신 시스템에서 핸드오버를 위한 장치 및 방법
WO2022092859A1 (ko) 무선 통신 시스템에서 스플릿 포인트 조정을 위한 장치 및 방법
WO2023017881A1 (ko) 무선 통신 시스템에서 측정 갭을 이용한 측정 결과에 기반하여 핸드오버를 수행하기 위한 장치 및 방법
WO2023022251A1 (ko) 무선 통신 시스템에서 신호 전송 방법 및 장치
WO2022050444A1 (ko) 연합학습을 위한 통신방법 및 이를 수행하는 디바이스
WO2024117296A1 (ko) 무선 통신 시스템에서 조절 가능한 파라미터를 가지는 송수신기를 이용하여 신호를 송수신하기 위한 방법 및 장치
WO2024122667A1 (ko) 무선 통신 시스템에서 앙상블 모델 기반의 수신기에 대한 학습을 수행하기 위한 장치 및 방법
WO2023113282A1 (ko) 무선 통신 시스템에서 송수신기 모델에 대한 온라인 학습을 수행하기 위한 장치 및 방법
WO2022119424A1 (ko) 무선 통신 시스템에서 신호 전송을 위한 장치 및 방법
WO2024048816A1 (ko) 무선 통신 시스템에서 신호를 송수신하기 위한 장치 및 방법
WO2022260200A1 (ko) 무선 통신 시스템에서 배터리 효율을 고려하여 핸드오버를 수행하기 위한 장치 및 방법
WO2022231084A1 (ko) 무선 통신 시스템에서 신호 전송 방법 및 장치
WO2022270649A1 (ko) 무선 통신 시스템에서 음성 통신을 수행하기 위한 장치 및 방법
WO2023042941A1 (ko) 무선 통신 시스템에서 신호 전송 방법 및 장치
WO2024019184A1 (ko) 무선 통신 시스템에서 송수신기 모델에 대한 학습을 수행하기 위한 장치 및 방법
WO2023120781A1 (ko) 무선 통신 시스템에서 신호 전송을 위한 장치 및 방법
WO2022092905A1 (ko) 무선 통신 시스템에서 신호 전송을 위한 장치 및 방법
WO2024038926A1 (ko) 무선 통신 시스템에서 신호를 송수신하기 위한 장치 및 방법
WO2024111693A1 (ko) 무선 통신 시스템에서 가상 수신 배열을 이용하여 레이다-통신을 수행하기 위한 장치 및 방법
WO2024122694A1 (ko) 무선 통신 시스템에서 수신기에 대한 학습을 수행하기 위한 장치 및 방법
WO2023017882A1 (ko) 무선 통신 시스템에서 배터리 효율을 고려하여 무선 접속 기술을 선택하기 위한 장치 및 방법
WO2023120768A1 (ko) 무선 통신 시스템에서 신호 전송을 위한 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21954298

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE