WO2024111682A1 - Artificial intelligence apparatus and control method thereof - Google Patents

Abstract

Disclosed are an artificial intelligence apparatus and a control method thereof. The method for controlling an operation of the artificial intelligence apparatus, according to at least one of various embodiments of the present disclosure, may comprise the steps of: monitoring first data regarding an operation of an electrical system; on the basis of artificial intelligence-based pre-learned data, generating prediction data regarding an operation state transition of the electrical system according to the first data that is monitored; backing up preset second data based on the generated prediction data regarding the operation state transition of the electrical system; and controlling the operation state transition of the electrical system based on the prediction data.

Description

인공지능 장치 및 그 제어 방법Artificial intelligence device and its control method

본 개시는 자동차 전장 시스템과 관련된 인공지능 장치 및 그 제어 방법에 관한 것이다.This disclosure relates to an artificial intelligence device related to an automobile electronic system and a control method thereof.

디지털 기술 또는 통신 기술의 발전과 함께 ICT(Information and Communica-tions Technology) 기술의 발전이 눈부시다.Along with the development of digital or communication technology, the development of ICT (Information and Communication Technology) technology is remarkable.

특히, 인공지능 기술에 대한 연구가 많이 이루어지고 있으며, 다양한 분야에 접목하기 위한 시도가 이루어지고 있는데, 그 중 한 분야가 자동차 분야이다.In particular, a lot of research is being done on artificial intelligence technology, and attempts are being made to apply it to various fields, one of which is the automobile field.

관련하여, 자동차 전장 부품은 MCU(Microcontroller unit)를 이용하여 자동차 전장 시스템의 안정적인 동작 환경을 확보하기 위해 전원, 온도 등을 모니터링하여 문제가 발생할 경우, 시스템 오류를 방지하고 안전 상태로 전환하기 위해 시스템 리셋(system reset)을 수행한다.In relation to this, automotive electrical components use MCU (Microcontroller unit) to monitor power, temperature, etc. to ensure a stable operating environment for the automotive electrical system, and when a problem occurs, the system is used to prevent system errors and transition to a safe state. Perform a system reset.

다만, 문제가 발생하는 순간에 바로 안전 상태로 전환하기 위해 시스템 리셋을 수행하게 되는 경우, 처리 중이던 중요 데이터에 손상 또는 상실하게 되거나 아예 안전 상태로 전환 자체가 불가능하게 되어 시스템의 심각한 오류를 야기할 수 있다.However, if a system reset is performed to immediately switch to a safe state at the moment a problem occurs, important data being processed may be damaged or lost, or switching to a safe state may become impossible, causing serious errors in the system. You can.

본 개시가 해결하고자 하는 과제는, 자동차 전장 시스템을 위한 인공지능 장치 및 그 제어 방법을 제공하는 것이다.The problem that this disclosure aims to solve is to provide an artificial intelligence device and a control method for an automobile electronic system.

본 개시가 해결하고자 하는 다른 과제는, 인공지능 기반으로 자동차 전장 시스템의 동작을 모니터링하여 그 상태를 진단 및 예측하여, 상태 전환에 따른 데이터 손상이나 상실뿐만 아니라 적절한 시점에서의 시스템 상태 전환 불가를 방지하여, 시스템 운용에 중요한 데이터뿐만 아니라 시스템 자체를 보호하면서 안정적인 동작을 보장하는 것이다.Another problem that the present disclosure aims to solve is to monitor the operation of the automotive electrical system based on artificial intelligence to diagnose and predict its state, thereby preventing not only data damage or loss due to state transition, but also the inability to change the system state at an appropriate time. This ensures stable operation while protecting not only data important to system operation but also the system itself.

본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present disclosure are not limited to the problems mentioned above, and other problems not mentioned can be clearly understood by those skilled in the art from the description below.

상술한 과제를 해결하기 위한 본 개시의 다양한 실시예들 중 적어도 하나에 따른 인공지능 장치의 동작 제어 방법은, 전장 시스템 동작에 관한 제1 데이터를 모니터링하는 단계; 인공지능 기반 미리 학습한 데이터에 기초하여 상기 모니터링하는 제1 데이터에 따른 전장 시스템의 동작 상태 전환에 관한 예측 데이터를 생성하는 단계; 상기 생성된 전장 시스템의 동작 상태 전환 예측 데이터 기반 미리 설정된 제2 데이터를 백업하는 단계; 및 상기 예측 데이터 기반 전장 시스템의 동작 상태 전환을 제어하는 단계를 포함할 수 있다.A method for controlling the operation of an artificial intelligence device according to at least one of the various embodiments of the present disclosure for solving the above-described problem includes monitoring first data regarding the operation of an electronic system; Generating predicted data regarding a change in the operational state of the battlefield system according to the monitored first data based on artificial intelligence-based pre-learned data; Backing up preset second data based on the generated operation state transition prediction data of the battlefield system; And it may include controlling a transition to an operating state of the predicted data-based battlefield system.

본 개시의 다양한 실시예들 중 적어도 하나에 따른 인공지능 동작 제어 시스템은, 차량; 및 상기 차량을 제어하는 전장 시스템을 포함하되, 상기 전장 시스템은, 시스템 동작에 관한 제1 데이터를 모니터링하고, 인공지능 기반 미리 학습한 데이터에 기초하여 상기 모니터링하는 제1 데이터에 따른 시스템의 동작 상태 전환에 관한 예측 데이터를 생성하며, 상기 생성된 시스템의 동작 상태 전환 예측 데이터 기반 미리 설정된 제2 데이터를 백업하고, 상기 예측 데이터 기반 시스템의 동작 상태 전환을 제어하는 MCU를 포함할 수 있다.An artificial intelligence motion control system according to at least one of various embodiments of the present disclosure includes: a vehicle; and an electrical system that controls the vehicle, wherein the electrical system monitors first data related to system operation, and the operating state of the system according to the monitored first data based on artificial intelligence-based pre-learned data. It may include an MCU that generates prediction data regarding the transition, backs up preset second data based on the generated operation state transition prediction data of the system, and controls the operation state transition of the system based on the prediction data.

본 개시의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the present disclosure are included in the detailed description and drawings.

본 개시의 다양한 실시 예들 중 적어도 하나에 따르면, 인공지능 기반으로 자동차 전장 시스템의 동작을 모니터링하여 그 상태를 진단 및 예측할 수 있는 효과가 있다.According to at least one of the various embodiments of the present disclosure, it is possible to monitor the operation of an automobile electrical system based on artificial intelligence and diagnose and predict its state.

본 개시의 다양한 실시 예들 중 적어도 하나에 따르면, 시스템의 동작 상태 전환을 미리 예측함으로써 그로 인한 데이터 로스를 방지할 수 있어, 시스템 운용에 중요한 데이터를 미리 보호할 수 있는 효과가 있다.According to at least one of the various embodiments of the present disclosure, it is possible to prevent data loss resulting from a change in the operating state of the system by predicting it in advance, which has the effect of protecting data important for system operation in advance.

본 개시의 다양한 실시 예들 중 적어도 하나에 따르면, 시스템의 동작 상태 전환에 정확하게 미리 대응을 할 수 있어, 과대응 또는 미흡대응으로 인한 시스템의 불안정성을 최소화할 수 있는 효과가 있다.According to at least one of the various embodiments of the present disclosure, it is possible to accurately respond in advance to a change in the operating state of the system, thereby minimizing system instability due to over- or under-response.

도 1은 본 개시의 일 실시 예에 따른 AI 장치를 나타낸다.1 shows an AI device according to an embodiment of the present disclosure.

도 2는 본 개시의 일 실시 예에 따른 AI 서버를 나타낸다.Figure 2 shows an AI server according to an embodiment of the present disclosure.

도 3은 본 개시의 일 실시 예에 따른 AI 시스템을 나타낸다.Figure 3 shows an AI system according to an embodiment of the present disclosure.

도 4는 본 개시의 또 다른 실시 예에 따른 AI 장치를 나타낸다.Figure 4 shows an AI device according to another embodiment of the present disclosure.

도 5는 본 개시의 일실시예에 따른 인공지능 기반 자동차 전장 시스템을 설명하기 위해 도시한 도면이다.FIG. 5 is a diagram illustrating an artificial intelligence-based automotive electronic system according to an embodiment of the present disclosure.

도 6은 도 5의 MCU와 AP 사이의 인공지능 기반 동작 제어 방법을 설명하기 위해 도시한 블록도이다.FIG. 6 is a block diagram illustrating an artificial intelligence-based operation control method between the MCU and AP of FIG. 5.

도 7은 도 6의 MCU 내 인공지능 기반 동작 제어 방법을 설명하기 위해 도시한 블록도이다.FIG. 7 is a block diagram illustrating an artificial intelligence-based operation control method within the MCU of FIG. 6.

도 8은 본 개시의 일실시예에 따른 동작 모니터링을 설명하기 위해 도시한 도면이다.FIG. 8 is a diagram illustrating operation monitoring according to an embodiment of the present disclosure.

도 9 내지 10은 본 개시의 일실시예에 따른 인공지능 기반 동작 제어 방법을 설명하기 위해 도시한 순서도이다.9 to 10 are flowcharts illustrating an artificial intelligence-based operation control method according to an embodiment of the present disclosure.

이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. Hereinafter, embodiments related to the present invention will be described in more detail with reference to the drawings. The suffixes “module” and “part” for components used in the following description are given or used interchangeably only for the ease of preparing the specification, and do not have distinct meanings or roles in themselves.

인공 지능(AI: Artificial Intelligence)은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.Artificial Intelligence (AI) refers to the field of research into artificial intelligence or methodologies that can create it, and machine learning (Machine Learning) is a methodology that defines and solves various problems dealt with in the field of artificial intelligence. refers to the field of research. Machine learning is also defined as an algorithm that improves the performance of a task through consistent experience.

인공 신경망(Artificial Neural Network)은 머신 러닝에서 사용되는 모델로서, 시냅스(synapse)의 결합으로 네트워크를 형성한 인공 뉴런(artificial neurons)(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.Artificial Neural Network is a model used in machine learning. It refers to an overall model with problem-solving capabilities consisting of artificial neurons (nodes) that form a network through the combination of synapses. can do. Artificial neural networks can be defined by connection patterns between neurons in different layers, a learning process that updates model parameters, and an activation function that generates output values.

인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)를 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치(weight), 편향(bias)에 대한 활성 함수의 함수값을 출력할 수 있다. An artificial neural network may include an input layer, an output layer, and optionally one or more hidden layers. Each layer includes one or more neurons, and the artificial neural network may include synapses connecting neurons. In an artificial neural network, each neuron can output the function value of the activation function for the input signals, weight, and bias input through the synapse.

모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼 파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.Model parameters refer to parameters determined through learning and include the weight of synaptic connections and the bias of neurons. Hyperparameters refer to parameters that must be set before learning in a machine learning algorithm, and include learning rate, number of repetitions, mini-batch size, initialization function, etc.

인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.The purpose of artificial neural network learning can be seen as determining model parameters that minimize the loss function. The loss function can be used as an indicator to determine optimal model parameters in the learning process of an artificial neural network.

머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.Machine learning can be classified into supervised learning, unsupervised learning, and reinforcement learning depending on the learning method.

지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.Supervised learning refers to a method of training an artificial neural network with a label for the learning data given. A label is the correct answer (or result value) that the artificial neural network must infer when learning data is input to the artificial neural network. It can mean. Unsupervised learning can refer to a method of training an artificial neural network in a state where no labels for training data are given. Reinforcement learning can refer to a learning method in which an agent defined within an environment learns to select an action or action sequence that maximizes the cumulative reward in each state.

인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(Deep Neural Net-work)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.Among artificial neural networks, machine learning implemented with a deep neural network that includes multiple hidden layers is also called deep learning, and deep learning is a part of machine learning. Hereinafter, machine learning is used to include deep learning.

기계 학습을 이용한 객체 감지 모델은 단일 단계 방식의 YOLO(you Only Look Once) 모델, 이단계 방식의 Faster R-CNN(Regions with Convolution Neural Networks) 모델 등이 있다.Object detection models using machine learning include the single-step YOLO (you Only Look Once) model and the two-step Faster R-CNN (Regions with Convolution Neural Networks) model.

YOLO 모델은 이미지 내에 존재하는 객체와 해당 객체의 위치가 이미지를 한번만 보고 예측할 수 있는 모델이다.The YOLO model is a model in which objects that exist in an image and their locations can be predicted by looking at the image only once.

YOLO 모델은 원본 이미지를 동일한 크기의 그리드(grid)로 나눈다. 그리고, 각 그리드에 대해 그리드 중앙을 중심으로 미리 정의된 형태로 지정된 경계 박스의 개수를 예측하고 이를 기반으로 신뢰도가 계산된다.The YOLO model divides the original image into grids of equal size. Then, for each grid, the number of bounding boxes designated in a predefined form centered on the center of the grid is predicted, and reliability is calculated based on this.

그 후, 이미지에 객체가 포함되어 있는지, 또는 배경만 단독으로 있는지에 대한 여부가 포함되며, 높은 객체 신뢰도를 가진 위치가 선택되어 객체 카테고리가 파악될 수 있다.Afterwards, whether the image contains an object or only the background is included, and a location with high object confidence is selected to determine the object category.

Faster R-CNN 모델은 RCNN 모델 및 Fast RCNN 모델보다 더 빨리 객체를 감지할 수 있는 모델이다.The Faster R-CNN model is a model that can detect objects faster than the RCNN model and Fast RCNN model.

Faster R-CNN 모델에 대해 구체적으로 설명한다.The Faster R-CNN model is explained in detail.

먼저, CNN 모델을 통해 이미지로부터 특징 맵이 추출된다. 추출된 특징 맵에 기초하여, 복수의 관심 영역(RoI: Region of Interest)들이 추출된다. 각 관심 영역에 대해 RoI 풀링(pooling)이 수행된다. First, a feature map is extracted from the image through a CNN model. Based on the extracted feature map, a plurality of regions of interest (RoI) are extracted. RoI pooling is performed for each region of interest.

RoI 풀링은 관심 영역이 투사된 피쳐 맵(feature map)을 미리 정해 놓은 H x W 크기에 맞게 끔 그리드를 설정하고, 각 그리드에 포함된 칸 별로, 가장 큰 값을 추출하여, H x W 크기를 갖는 피쳐 맵을 추출하는 과정이다.RoI pooling sets the grid to fit the predetermined H This is the process of extracting a feature map.

H x W 크기를 갖는 피쳐 맵로부터 특징 벡터가 추출되고, 특징 벡터로부터 객체의 식별 정보가 얻어질 수 있다.A feature vector is extracted from a feature map having a size of H x W, and identification information of the object can be obtained from the feature vector.

확장 현실(XR: eXtended Reality)은 가상 현실(VR: Virtual Reality), 증강 현실(AR: Augmented Reality), 혼합 현실(MR: Mixed Reality)을 총칭한다. VR 기술은 현실 세계의 객체나 배경 등을 CG 영상으로만 제공하고, AR 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다. MR 기술은 현실 객체와 가상 객체를 함께 보여준다는 점에서 AR 기술과 유사하다. 그러나, AR 기술에서는 가상 객체가 현실 객체를 보완하는 형태로 사용되는 반면, MR 기술에서는 가상 객체와 현실 객체가 동등한 성격으로 사용된다는 점에서 차이점이 있다. XR 기술은 HMD(Head-Mounted Display), HUD(Head-Up Display), 휴대폰, 태블릿 PC, 랩탑, 데스크탑, TV, 디지털 사이니지(Digital Signage) 등에 적용될 수 있고, XR 기술이 적용된 장치를 XR 장치(XR Device)라 칭할 수 있다.Extended Reality (XR: eXtended Reality) refers collectively to Virtual Reality (VR), Augmented Reality (AR), and Mixed Reality (MR). VR technology provides objects and backgrounds in the real world only as CG images, AR technology provides virtual CG images on top of images of real objects, and MR technology provides computer technology that mixes and combines virtual objects in the real world. It is a graphic technology. MR technology is similar to AR technology in that it shows real objects and virtual objects together. However, in AR technology, virtual objects are used to complement real objects, whereas in MR technology, virtual objects and real objects are used equally. XR technology can be applied to HMD (Head-Mounted Display), HUD (Head-Up Display), mobile phones, tablet PCs, laptops, desktops, TVs, digital signage, etc., and devices to which XR technology is applied can be called XR devices. It can be called (XR Device).

도 1은 본 개시의 일실시예에 따른 AI 장치(100)를 나타낸다.Figure 1 shows an AI device 100 according to an embodiment of the present disclosure.

AI 장치(100)는 TV, 프로젝터, 휴대폰, 스마트폰, 데스크탑 컴퓨터, 노트북, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB: Set-top Box), DMB 수신기, 라디오, 세탁기, 냉장고, 데스크탑 컴퓨터, 디지털 사이니지, 로봇, 차량 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다. The AI device 100 includes TVs, projectors, mobile phones, smartphones, desktop computers, laptops, digital broadcasting terminals, PDAs (personal digital assistants), PMPs (portable multimedia players), navigation, tablet PCs, wearable devices, and set-top boxes (STBs). : Set-top Box), DMB receiver, radio, washing machine, refrigerator, desktop computer, digital signage, robot, vehicle, etc. It can be implemented as a fixed or movable device.

도 1을 참조하면, AI 장치(100)는 통신부(110), 입력부(120), 러닝 프로세서(130), 센싱부(140), 출력부(150), 메모리(170), 프로세서(180) 등을 포함할 수 있다.Referring to FIG. 1, the AI device 100 includes a communication unit 110, an input unit 120, a learning processor 130, a sensing unit 140, an output unit 150, a memory 170, a processor 180, etc. may include.

통신부(110)는 유무선 통신 기술을 이용하여 다른 AI 장치(도 3의 100a 내지 100e)나 AI 서버(200) 등의 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(110)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.The communication unit 110 can transmit and receive data with external devices such as other AI devices (100a to 100e in FIG. 3) or the AI server 200 using wired or wireless communication technology. For example, the communication unit 110 may transmit and receive sensor information, user input, learning models, and control signals with external devices.

이 때, 통신부(110)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, 6G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth™), RFID(Radio Fre-quency Identification), 적외선 통신(Infrared Data Association; IrDA), 지그비(ZigBee), NFC(Near Field Communication) 등이 있다.At this time, the communication technologies used by the communication unit 110 include GSM (Global System for Mobile communication), CDMA (Code Division Multi Access), LTE (Long Term Evolution), 5G, 6G, WLAN (Wireless LAN), and Wi-Fi ( Wireless-Fidelity), Bluetooth™, RFID (Radio Frequency Identification), Infrared Data Association (IrDA), ZigBee, and NFC (Near Field Communication).

입력부(120)는 다양한 종류의 데이터를 획득할 수 있다.The input unit 120 can acquire various types of data.

이 때, 입력부(120)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다. 여기서, 카메라나 마이크로폰을 센서로 취급하여, 카메라나 마이크로폰으로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.At this time, the input unit 120 may include a camera for inputting video signals, a microphone for receiving audio signals, and a user input unit for receiving information from the user. Here, the camera or microphone may be treated as a sensor, and the signal obtained from the camera or microphone may be referred to as sensing data or sensor information.

입력부(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력부(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(180) 또는 러닝 프로세서(130)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.The input unit 120 may acquire training data for model learning and input data to be used when obtaining an output using the learning model. The input unit 120 may acquire unprocessed input data, and in this case, the processor 180 or the learning processor 130 may extract input features by preprocessing the input data.

러닝 프로세서(130)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.The learning processor 130 can train a model composed of an artificial neural network using training data. Here, the learned artificial neural network may be referred to as a learning model. A learning model can be used to infer a result value for new input data other than learning data, and the inferred value can be used as the basis for a decision to perform an operation.

이 때, 러닝 프로세서(130)는 AI 서버(200)의 러닝 프로세서(240)과 함께 AI 프로세싱을 수행할 수 있다.At this time, the learning processor 130 may perform AI processing together with the learning processor 240 of the AI server 200.

이 때, 러닝 프로세서(130)는 AI 장치(100)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(130)는 메모리(170), AI 장치(100)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.At this time, the learning processor 130 may include memory integrated or implemented in the AI device 100. Alternatively, the learning processor 130 may be implemented using the memory 170, an external memory directly coupled to the AI device 100, or a memory maintained in an external device.

센싱부(140)는 다양한 센서들을 이용하여 AI 장치(100) 내부 정보, AI 장치(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.The sensing unit 140 may use various sensors to obtain at least one of internal information of the AI device 100, information about the surrounding environment of the AI device 100, and user information.

이 때, 센싱부(140)에 포함되는 센서에는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다, 레이더 등이 있다.At this time, the sensors included in the sensing unit 140 include a proximity sensor, illuminance sensor, acceleration sensor, magnetic sensor, gyro sensor, inertial sensor, RGB sensor, IR sensor, fingerprint recognition sensor, ultrasonic sensor, light sensor, microphone, and There is Ida, Radar, etc.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다. The output unit 150 may generate output related to vision, hearing, or tactile sensation.

이 때, 출력부(150)에는 시각 정보를 출력하는 디스플레이부, 청각 정보를 출력하는 스피커, 촉각 정보를 출력하는 햅틱 모듈 등이 포함될 수 있다.At this time, the output unit 150 may include a display unit that outputs visual information, a speaker that outputs auditory information, and a haptic module that outputs tactile information.

메모리(170)는 AI 장치(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(170)는 입력부(120)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다.The memory 170 may store data supporting various functions of the AI device 100. For example, the memory 170 may store input data, learning data, learning models, learning history, etc. obtained from the input unit 120.

프로세서(180)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, AI 장치(100)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(180)는 AI 장치(100)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다.The processor 180 may determine at least one executable operation of the AI device 100 based on information determined or generated using a data analysis algorithm or a machine learning algorithm. Additionally, the processor 180 may control the components of the AI device 100 to perform the determined operation.

이를 위해, 프로세서(180)는 러닝 프로세서(130) 또는 메모리(170)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 AI 장치(100)의 구성 요소들을 제어할 수 있다.To this end, the processor 180 may request, retrieve, receive, or utilize data from the learning processor 130 or the memory 170, and may perform an operation that is predicted or an operation that is determined to be desirable among the at least one executable operation. Components of the AI device 100 can be controlled to execute.

이 때, 프로세서(180)는 결정된 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.At this time, if linkage with an external device is necessary to perform the determined operation, the processor 180 may generate a control signal to control the external device and transmit the generated control signal to the external device.

프로세서(180)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.The processor 180 may obtain intent information for user input and determine the user's request based on the obtained intent information.

이 때, 프로세서(180)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Lan-guage Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다. At this time, the processor 180 uses at least one of a STT (Speech To Text) engine for converting voice input into a string or a Natural Language Processing (NLP) engine for acquiring intent information of natural language. Thus, intention information corresponding to the user input can be obtained.

이 때, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(130)에 의해 학습된 것이나, AI 서버(200)의 러닝 프로세서(240)에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.At this time, at least one of the STT engine or the NLP engine may be composed of at least a portion of an artificial neural network learned according to a machine learning algorithm. And, at least one of the STT engine or the NLP engine is learned by the learning processor 130, learned by the learning processor 240 of the AI server 200, or learned by distributed processing thereof. It could be.

프로세서(180)는 AI 장치(100)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(170) 또는 러닝 프로세서(130)에 저장하거나, AI 서버(200) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.The processor 180 collects history information including the user's feedback on the operation or operation of the AI device 100 and stores it in the memory 170 or the learning processor 130, or in the AI server 200, etc. Can be transmitted to an external device. The collected historical information can be used to update the learning model.

프로세서(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, AI 장치(100)의 구성 요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(180)는 상기 응용 프로그램의 구동을 위하여, AI 장치(100)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작 시킬 수 있다.The processor 180 may control at least some of the components of the AI device 100 to run an application program stored in the memory 170. Furthermore, the processor 180 may operate by combining two or more of the components included in the AI device 100 to run the application program.

도 2는 본 개시의 일실시예에 따른 AI 서버(200)를 나타낸다.Figure 2 shows an AI server 200 according to an embodiment of the present disclosure.

도 2를 참조하면, AI 서버(200)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, AI 서버(200)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다. 이 때, AI 서버(200)는 AI 장치(100)의 일부의 구성으로 포함되어, AI 프로세싱 중 적어도 일부를 함께 수행할 수도 있다.Referring to FIG. 2, the AI server 200 may refer to a device that trains an artificial neural network using a machine learning algorithm or uses a learned artificial neural network. Here, the AI server 200 may be composed of a plurality of servers to perform distributed processing, and may be defined as a 5G network. At this time, the AI server 200 may be included as a part of the AI device 100 and may perform at least part of the AI processing.

AI 서버(200)는 통신부(210), 메모리(230), 러닝 프로세서(240) 및 프로세서(260) 등을 포함할 수 있다.The AI server 200 may include a communication unit 210, a memory 230, a learning processor 240, and a processor 260.

통신부(210)는 AI 장치(100) 등의 외부 장치와 데이터를 송수신할 수 있다.The communication unit 210 can transmit and receive data with an external device such as the AI device 100.

메모리(230)는 모델 저장부(231)를 포함할 수 있다. 모델 저장부(231)는 러닝 프로세서(240)을 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 231a)을 저장할 수 있다. Memory 230 may include a model storage unit 231. The model storage unit 231 may store a model (or artificial neural network, 231a) that is being trained or has been learned through the learning processor 240.

러닝 프로세서(240)는 학습 데이터를 이용하여 인공 신경망(231a)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 AI 서버(200)에 탑재된 상태에서 이용되거나, AI 장치(100) 등의 외부 장치에 탑재되어 이용될 수도 있다.The learning processor 240 can train the artificial neural network 231a using training data. The learning model may be used while mounted on the AI server 200 of the artificial neural network, or may be mounted and used on an external device such as the AI device 100.

학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(230)에 저장될 수 있다.Learning models can be implemented in hardware, software, or a combination of hardware and software. When part or all of the learning model is implemented as software, one or more instructions constituting the learning model may be stored in the memory 230.

프로세서(260)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.The processor 260 may infer a result value for new input data using a learning model and generate a response or control command based on the inferred result value.

도 3은 본 개시의 일실시예에 따른 AI 시스템(1)을 나타낸다.Figure 3 shows an AI system 1 according to an embodiment of the present disclosure.

도 3을 참조하면, AI 시스템(1)은 AI 서버(200), 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상이 클라우드 네트워크(10)와 연결된다. 여기서, AI 기술이 적용된 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 등을 AI 장치(100a 내지 100e)라 칭할 수 있다.Referring to FIG. 3, the AI system 1 includes at least one of an AI server 200, a robot 100a, an autonomous vehicle 100b, an XR device 100c, a smartphone 100d, or a home appliance 100e. It is connected to this cloud network (10). Here, a robot 100a, an autonomous vehicle 100b, an XR device 100c, a smartphone 100d, or a home appliance 100e to which AI technology is applied may be referred to as AI devices 100a to 100e.

클라우드 네트워크(10)는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 여기서, 클라우드 네트워크(10)는 3G 네트워크, 4G 또는 LTE 네트워크 또는 5G 네트워크 등을 이용하여 구성될 수 있다.The cloud network 10 may constitute part of a cloud computing infrastructure or may refer to a network that exists within the cloud computing infrastructure. Here, the cloud network 10 may be configured using a 3G network, 4G or LTE network, or 5G network.

즉, AI 시스템(1)을 구성하는 각 장치들(100a 내지 100e, 200)은 클라우드 네트워크(10)를 통해 서로 연결될 수 있다. 특히, 각 장치들(100a 내지 100e, 200)은 기지국을 통해서 서로 통신할 수도 있지만, 기지국을 통하지 않고 직접 서로 통신할 수도 있다.That is, each device (100a to 100e, 200) constituting the AI system 1 may be connected to each other through the cloud network 10. In particular, the devices 100a to 100e and 200 may communicate with each other through a base station, but may also communicate directly with each other without going through the base station.

AI 서버(200)는 AI 프로세싱을 수행하는 서버와 빅 데이터에 대한 연산을 수행하는 서버를 포함할 수 있다.The AI server 200 may include a server that performs AI processing and a server that performs calculations on big data.

AI 서버(200)는 AI 시스템(1)을 구성하는 AI 장치들인 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상과 클라우드 네트워크(10)을 통하여 연결되고, 연결된 AI 장치들(100a 내지 100e)의 AI 프로세싱을 적어도 일부를 도울 수 있다.The AI server 200 is connected to at least one of the AI devices constituting the AI system 1: a robot 100a, an autonomous vehicle 100b, an XR device 100c, a smartphone 100d, or a home appliance 100e. It is connected through the cloud network 10 and can assist at least some of the AI processing of the connected AI devices 100a to 100e.

이 때, AI 서버(200)는 AI 장치(100a 내지 100e)를 대신하여 머신 러닝 알고리즘에 따라 인공 신경망을 학습시킬 수 있고, 학습 모델을 직접 저장하거나 AI 장치(100a 내지 100e)에 전송할 수 있다. At this time, the AI server 200 can train an artificial neural network according to a machine learning algorithm on behalf of the AI devices 100a to 100e, and directly store or transmit the learning model to the AI devices 100a to 100e.

이 때, AI 서버(200)는 AI 장치(100a 내지 100e)로부터 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 AI 장치(100a 내지 100e)로 전송할 수 있다.At this time, the AI server 200 receives input data from the AI devices 100a to 100e, infers a result value for the received input data using a learning model, and provides a response or control command based on the inferred result value. Can be generated and transmitted to AI devices (100a to 100e).

또는, AI 장치(100a 내지 100e)는 직접 학습 모델을 이용하여 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수도 있다.Alternatively, the AI devices 100a to 100e may infer a result value for input data using a direct learning model and generate a response or control command based on the inferred result value.

이하에서는, 상술한 기술이 적용되는 AI 장치(100a 내지 100e)의 다양한 실시 예들을 설명한다. 여기서, 도 3에 도시된 AI 장치(100a 내지 100e)는 도 1에 도시된 AI 장치(100)의 구체적인 실시 예로 볼 수 있다.Below, various embodiments of AI devices 100a to 100e to which the above-described technology is applied will be described. Here, the AI devices 100a to 100e shown in FIG. 3 can be viewed as specific examples of the AI device 100 shown in FIG. 1.

XR 장치(100c)는 AI 기술이 적용되어, HMD, 차량에 구비된 HUD, 텔레비전, 휴대폰, 스마트 폰, 컴퓨터, 웨어러블 디바이스, 가전 기기, 디지털 사이니지, 차량, 고정형 로봇이나 이동형 로봇 등으로 구현될 수 있다.The XR device (100c) applies AI technology and can be implemented as HMD, HUD provided in a vehicle, television, mobile phone, smart phone, computer, wearable device, home appliance, digital signage, vehicle, fixed robot, or mobile robot. You can.

XR 장치(100c)는 다양한 센서들을 통해 또는 외부 장치로부터 획득한 3차원 포인트 클라우드 데이터 또는 이미지 데이터를 분석하여 3차원 포인트들에 대한 위치 데이터 및 속성 데이터를 생성함으로써 주변 공간 또는 현실 객체에 대한 정보를 획득하고, 출력할 XR 객체를 렌더링하여 출력할 수 있다. 예컨대, XR 장치(100c)는 인식된 물체에 대한 추가 정보를 포함하는 XR 객체를 해당 인식된 물체에 대응시켜 출력할 수 있다.The XR device 100c analyzes 3D point cloud data or image data acquired through various sensors or from external devices to generate location data and attribute data for 3D points, thereby providing information about surrounding space or real objects. The XR object to be acquired and output can be rendered and output. For example, the XR device 100c may output an XR object containing additional information about the recognized object in correspondence to the recognized object.

XR 장치(100c)는 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, XR 장치(100c)는 학습 모델을 이용하여 3차원 포인트 클라우드 데이터 또는 이미지 데이터에서 현실 객체를 인식할 수 있고, 인식한 현실 객체에 상응하는 정보를 제공할 수 있다. 여기서, 학습 모델은 XR 장치(100c)에서 직접 학습되거나, AI 서버(200) 등의 외부 장치에서 학습된 것일 수 있다. The XR device 100c may perform the above operations using a learning model composed of at least one artificial neural network. For example, the XR device 100c can recognize a real-world object from 3D point cloud data or image data using a learning model, and provide information corresponding to the recognized real-world object. Here, the learning model may be learned directly from the XR device 100c or may be learned from an external device such as the AI server 200.

이때, XR 장치(100c)는 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버(200) 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.At this time, the XR device 100c may perform an operation by generating a result using a direct learning model, but may perform the operation by transmitting sensor information to an external device such as the AI server 200 and receiving the result generated accordingly. It can also be done.

도 4는 본 개시의 일 실시 예에 따른 AI 장치(100)를 나타낸다.Figure 4 shows an AI device 100 according to an embodiment of the present disclosure.

도 1과 중복되는 설명은 생략한다.Descriptions overlapping with FIG. 1 are omitted.

도 4를 참조하면, 입력부(120)는 영상 신호 입력을 위한 카메라(Camera, 121), 오디오 신호를 수신하기 위한 마이크로폰(Microphone, 122), 사용자로부터 정보를 입력 받기 위한 사용자 입력부(User Input Unit, 123)를 포함할 수 있다. Referring to FIG. 4, the input unit 120 includes a camera 121 for inputting video signals, a microphone 122 for receiving audio signals, and a user input unit for receiving information from the user. 123) may be included.

입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어 명령으로 처리될 수 있다.Voice data or image data collected by the input unit 120 may be analyzed and processed as a user's control command.

입력부(120)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 영상 정보의 입력을 위하여, AI 장치(100)는 하나 또는 복수의 카메라(121)들을 구비할 수 있다.The input unit 120 is for inputting image information (or signal), audio information (or signal), data, or information input from the user. For input of image information, the AI device 100 includes one or more Cameras 121 may be provided.

카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(Display Unit, 151)에 표시되거나 메모리(170)에 저장될 수 있다.The camera 121 processes image frames such as still images or moving images obtained by an image sensor in video call mode or shooting mode. The processed image frame may be displayed on the display unit (151) or stored in the memory (170).

마이크로폰(122)은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 AI 장치(100)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. 한편, 마이크로폰(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 적용될 수 있다.The microphone 122 processes external acoustic signals into electrical voice data. Processed voice data can be utilized in various ways depending on the function (or application being executed) being performed by the AI device 100. Meanwhile, various noise removal algorithms may be applied to the microphone 122 to remove noise generated in the process of receiving an external acoustic signal.

사용자 입력부(123)는 사용자로부터 정보를 입력 받기 위한 것으로서, 사용자 입력부(123)를 통해 정보가 입력되면, 프로세서(180)는 입력된 정보에 대응되도록 AI 장치(100)의 동작을 제어할 수 있다. The user input unit 123 is for receiving information from the user. When information is input through the user input unit 123, the processor 180 can control the operation of the AI device 100 to correspond to the input information. .

사용자 입력부(123)는 기계식(mechanical) 입력수단(또는, 메커니컬 키, 예컨대, 단말기(100)의 전/후면 또는 측면에 위치하는 버튼, 돔 스위치(dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다. 일 예로서, 터치식 입력수단은, 소프트웨어적인 처리를 통해 터치스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다.The user input unit 123 is a mechanical input means (or a mechanical key, such as a button, dome switch, jog wheel, jog switch, etc. located on the front/rear or side of the terminal 100) and It may include a touch input means. As an example, the touch input means consists of a virtual key, soft key, or visual key displayed on the touch screen through software processing, or a part other than the touch screen. It can be done with a touch key placed in .

출력부(150)는 디스플레이부(Display Unit, 151), 음향 출력부(Sound Output Unit, 152), 햅틱 모듈(Haptic Module, 153), 광 출력부(Optical Output Unit, 154) 중 적어도 하나를 포함할 수 있다. The output unit 150 includes at least one of a display unit (151), a sound output unit (152), a haptic module (153), and an optical output unit (154). can do.

디스플레이부(151)는 AI 장치(100)에서 처리되는 정보를 표시(출력)한다. 예컨대, 디스플레이부(151)는 AI 장치(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다. The display unit 151 displays (outputs) information processed by the AI device 100. For example, the display unit 151 may display execution screen information of an application running on the AI device 100, or UI (User Interface) and GUI (Graphic User Interface) information according to this execution screen information.

디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, AI 장치(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.The display unit 151 can implement a touch screen by forming a layered structure or being integrated with the touch sensor. This touch screen functions as a user input unit 123 that provides an input interface between the AI device 100 and the user, and can simultaneously provide an output interface between the terminal 100 and the user.

음향 출력부(152)는 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 통신부(110)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력할 수 있다. The audio output unit 152 may output audio data received from the communication unit 110 or stored in the memory 170 in call signal reception, call mode or recording mode, voice recognition mode, broadcast reception mode, etc.

음향 출력부(152)는 리시버(receiver), 스피커(speaker), 버저(buzzer) 중 적어도 하나 이상을 포함할 수 있다.The sound output unit 152 may include at least one of a receiver, a speaker, and a buzzer.

햅틱 모듈(haptic module)(153)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(153)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다.The haptic module 153 generates various tactile effects that the user can feel. A representative example of a tactile effect generated by the haptic module 153 may be vibration.

광출력부(154)는 AI 장치(100)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. AI 장치(100)에서 발생되는 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등이 될 수 있다.The optical output unit 154 uses light from the light source of the AI device 100 to output a signal to notify that an event has occurred. Examples of events that occur in the AI device 100 may include receiving a message, receiving a call signal, missed call, alarm, schedule notification, receiving email, receiving information through an application, etc.

이하에서는 특히, 자동차 전장 시스템 관련 인공지능 장치 및 그 제어 방법에 대해 기술한다.Below, in particular, artificial intelligence devices and their control methods related to automotive electrical systems are described.

도 5는 본 개시의 일실시예에 따른 인공지능 기반 자동차 전장 시스템을 설명하기 위해 도시한 도면이다.FIG. 5 is a diagram illustrating an artificial intelligence-based automotive electronic system according to an embodiment of the present disclosure.

도 6은 도 5의 MCU(510)와 AP(550) 사이의 인공지능 기반 동작 제어 방법을 설명하기 위해 도시한 블록도이다.FIG. 6 is a block diagram illustrating an artificial intelligence-based operation control method between the MCU 510 and AP 550 of FIG. 5.

도 7은 도 6의 MCU(510) 내 인공지능 기반 동작 제어 방법을 설명하기 위해 도시한 블록도이다.FIG. 7 is a block diagram illustrating an artificial intelligence-based operation control method within the MCU 510 of FIG. 6.

도 8은 본 개시의 일실시예에 따른 동작 모니터링을 설명하기 위해 도시한 도면이다.FIG. 8 is a diagram illustrating operation monitoring according to an embodiment of the present disclosure.

먼저, 도 5를 참조하면, 본 개시의 일실시예에 따른 인공지능 기반 자동차 전장 시스템은, 통신모듈, MCU(510), AP(550), 디스플레이(150), 전원모듈, 메모리 등을 포함할 수 있다.First, referring to FIG. 5, the artificial intelligence-based automotive electronic system according to an embodiment of the present disclosure may include a communication module, MCU 510, AP 550, display 150, power module, memory, etc. You can.

다만, 본 개시는 이에 한정되는 것은 아니며, 도 5에 도시되지 않은 적어도 하나 이상의 구성요소가 더 포함되어 자동차 전장 시스템을 구성할 수도 있고, 그 반대일 수도 있다. 한편, 도 5에서는 비록 독립 구성요소로 표현되었다고 할지라도 다른 구성요소와 결합되어 모듈 형태로 구현될 수도 있고, 그 반대일 수도 있다.However, the present disclosure is not limited to this, and at least one or more components not shown in FIG. 5 may be further included to form an automobile electrical system, and vice versa. Meanwhile, in FIG. 5, although it is expressed as an independent component, it may be combined with other components and implemented in a module form, or vice versa.

도 5를 참조하여, 자동차 전장 시스템의 구성요소를 설명하면, 다음과 같다. 다만, 본 명세서에서는 본 개시와 관련된 구성요소를 위주로 설명하고, 나머지 구성요소는 공지기술을 따르거나 간략히 언급만 함을 미리 밝혀둔다.With reference to FIG. 5, the components of the automotive electrical system are described as follows. However, it should be noted in advance that this specification mainly describes components related to the present disclosure, and that the remaining components follow known techniques or are only briefly mentioned.

라디오 튜너(Radio Tuner)는 라디오 신호를 튜닝하여 수신할 수 있다.Radio Tuner can tune and receive radio signals.

사운드 DSP(Digital Signal Processing)은 사운드 신호를 처리하여 스피커를 통해 출력되도록 할 수 있다.Sound DSP (Digital Signal Processing) can process sound signals and output them through speakers.

통신모듈은 이더넷 기반의 A-ETH PHY와 CAN 통신 기반의 CAN 트랜시버(transceiver) 중 적어도 하나를 포함할 수 있으며, 외부 및/또는 내부 통신을 담당할 수 있다.The communication module may include at least one of an Ethernet-based A-ETH PHY and a CAN communication-based CAN transceiver, and may be responsible for external and/or internal communication.

외부 입력 수신부는 차량 내 디스플레이뿐만 아니라 각종 전장 기기를 통한 터치 입력, 버튼 입력, 키 입력 등의 외부 입력을 수신할 수 있다. 이렇게 수신된 외부 입력은 ADC 처리될 수 있다.The external input receiver can receive external inputs such as touch input, button input, and key input through various electronic devices as well as the in-vehicle display. The external input received in this way can be ADC processed.

외부 출력부는 차량 내 발생된 이벤트에 따른 신호(예를 들어, LED, Telltale 등)를 출력할 수 있다.The external output unit may output signals (e.g., LED, Telltale, etc.) according to events that occur within the vehicle.

전원 모듈(PMU: Power Monitoring Unit)은 자동차 전장 시스템, MCU(510) 등에 공급되는 전원을 모니터링하고 관리할 수 있다. The power module (PMU: Power Monitoring Unit) can monitor and manage the power supplied to the automotive electronic system, MCU (510), etc.

디스플레이(150)는 디스플레이 컨트롤러의 제어를 받아 MCU(510), AP(550) 등에서 처리된 신호를 출력할 수 있다.The display 150 can output signals processed by the MCU 510, AP 550, etc. under the control of the display controller.

그 밖에, 메모리(EEPROM), 와치독(Watchdog) 등의 구성이 포함될 수 있다.Additionally, components such as memory (EEPROM) and watchdog may be included.

이하에서는, 본 개시와 관련하여 주로 MCU(510)와 AP(550)의 동작에 대하여, 첨부된 도면을 참조하여 보다 상세하게 설명한다.Hereinafter, the operations of the MCU 510 and the AP 550 will be described in more detail with reference to the attached drawings in relation to the present disclosure.

MCU(510)는 차량의 메인 처리부로서, 전장 데이터를 수집, 가공, 처리, 관리 등 전장 시스템의 모든 동작에 관여될 수 있다.The MCU 510 is the main processing unit of the vehicle and may be involved in all operations of the electronic system, such as collecting, processing, processing, and managing electronic data.

AP(550)는 차량 내 각종 어플리케이션 데이터를 실질적으로 처리하는 구성요소로서, 차량의 메인 처리부인 MCU(510)와 데이터 커뮤니케이션을 수행할 수 있다. AP(550)는 MCU(510)의 동작을 모니터링할 수 있다.The AP 550 is a component that actually processes various application data within the vehicle, and can perform data communication with the MCU 510, the main processing unit of the vehicle. AP 550 can monitor the operation of MCU 510.

도 6을 참조하면, MCU(510)는 제1 처리유닛(511), Peri(512), ADC(513,514), 제1 메모리(515), 제2 메모리(516), 제2 처리유닛(517) 등을 포함하여 구성될 수 있다.Referring to FIG. 6, the MCU 510 includes a first processing unit 511, Peri 512, ADC 513, 514, first memory 515, second memory 516, and second processing unit 517. It may be configured to include, etc.

다만, 도 6은 본 개시와 관련한 일 예시일 뿐 본 개시에 따른 MCU(510)의 구성이 그에 한정되는 것은 아니다. 예를 들어, MCU(510)는, 도 6에 도시되지 않은 적어도 하나 이상의 구성요소를 더 포함하여 구현되거나 그 반대일 수도 있다. 도 6에 도시된 각 구성요소가 반드시 독립된 개체로 구현될 필요는 없으며, 시스템 설계 등에 따라서 복수의 구성요소들이 모듈화될 수도 있다. 그 밖에, 도 6에서 각 구성요소는 반드시 1개만 포함되는 것이 아니라 복수 개가 포함될 수도 있다.However, Figure 6 is only an example related to the present disclosure and the configuration of the MCU 510 according to the present disclosure is not limited thereto. For example, the MCU 510 may be implemented by further including at least one component not shown in FIG. 6, or vice versa. Each component shown in FIG. 6 does not necessarily need to be implemented as an independent entity, and a plurality of components may be modularized depending on system design, etc. In addition, in FIG. 6, each component does not necessarily include only one, but may include multiple elements.

도 6을 참조하여, MCU(510)의 각 구성요소를 설명하면, 다음과 같다.With reference to FIG. 6, each component of the MCU 510 is described as follows.

제1 처리유닛(511)은 MCU(510)의 메인 처리유닛으로서, MCU(510)의 동작을 실질적으로 처리하거나 제어할 수 있다. 제1 처리유닛(511)은 CPU(Central Processing Unit)을 예로 하나, 이에 한정되는 것은 아니다.The first processing unit 511 is the main processing unit of the MCU 510 and can substantially process or control the operation of the MCU 510. The first processing unit 511 is an example of a CPU (Central Processing Unit), but is not limited thereto.

Peri(Peripheral)(512)는 제1 처리유닛(511)의 제어에 따라 시스템 전체 또는 일부에 대한 리셋 동작을 처리 또는 제어할 수 있다.Peripheral (Peripheral) 512 may process or control a reset operation for the entire or part of the system according to the control of the first processing unit 511.

Peri(512)는 제1 처리유닛(511)의 다양한 외부 인터페이스를 제공하며, 외부 리셋은 GPIO를 이용해 전체 또는 일부 시스템(보드)의 리셋 IC 구동에 이용할 수 있다. Peri 512 provides various external interfaces of the first processing unit 511, and external reset can be used to drive the reset IC of the entire or partial system (board) using GPIO.

ADC(513,514)는 외부 동작 환경 요소인 전압, 온도 등의 아날로그(Analog) 신호를 획득할 수 있으며, 이렇게 획득한 아날로그 신호를 디지털 신호로 변환할 수 있다. ADC(513)는 시스템의 동작 전압(또는 전원 모듈에서 공급되는 전압)에 관한 아날로그 신호를 디지털 신호로 변환할 수 있다. ADC(514)는 시스템의 동작 온도에 관한 아날로그 신호를 디지털 신호로 변환할 수 있다.The ADCs 513 and 514 can acquire analog signals such as voltage and temperature, which are external operating environment factors, and can convert the analog signals obtained in this way into digital signals. The ADC 513 can convert an analog signal related to the operating voltage of the system (or the voltage supplied from the power module) into a digital signal. The ADC 514 can convert an analog signal regarding the operating temperature of the system into a digital signal.

제1 메모리(515)는 ADC(513,514)를 통해 획득한 환경 요소 데이터(즉, 동작 전압, 동작 온도, 동작 클록 등)를 저장하거나 제1 처리유닛(511)을 위한 메모리로 사용될 수 있다.The first memory 515 may store environmental factor data (i.e., operating voltage, operating temperature, operating clock, etc.) obtained through the ADCs 513 and 514 or may be used as a memory for the first processing unit 511.

제1 메모리(515)는 휘발성 메모리 예를 들어, SRAM(Static Random Access Memory)를 예로 할 수 있으나, 이에 한정되는 것은 아니다.The first memory 515 may be a volatile memory, for example, SRAM (Static Random Access Memory), but is not limited thereto.

제2 메모리(516)는 비휘발성 메모리로써 프로그램 코드 보관, 중요 데이터 보관 등에 사용 가능하며, 불안정한 동작에서 중요한 시스템 변수를 저장하는 용도로 사용될 수 있다. The second memory 516 is a non-volatile memory that can be used to store program code, store important data, etc., and can be used to store important system variables in unstable operations.

제2 메모리(516)는 제1 처리유닛(511)에서 전송된 데이터를 저장할 수 있다. 이러한 제2 메모리(516)은 비휘발성 메모리 예를 들어, eFlash를 예로 하나, 이에 한정되는 것은 아니다. 본 개시와 관련하여, 제2 메모리(516)는 후술하는 바와 같이, 본 개시에 따라 미리 설정된 주요 데이터를 백업(backup)용으로 저장할 수 있다.The second memory 516 may store data transmitted from the first processing unit 511. This second memory 516 is a non-volatile memory, for example, eFlash, but is not limited thereto. In relation to the present disclosure, the second memory 516 may store key data preset according to the present disclosure for backup, as will be described later.

제2 처리유닛(517)은 코어(518)와 프레드 컨트롤(Pred Control)(519)를 포함하여, 자동차 전장 시스템의 인공지능 기반 동작에 관한 데이터를 처리할 수 있다. 제2 처리유닛(517)은 NPU(Neural Processing Unit)을 예로 하거나 NPU로 명명할 수 있으나, 이에 한정되는 것은 아니다. The second processing unit 517 includes the core 518 and the Pred Control (Pred Control) 519, and can process data related to artificial intelligence-based operation of the automotive electronic system. The second processing unit 517 may be an example of a Neural Processing Unit (NPU) or may be named as an NPU, but is not limited thereto.

도 7을 참조하여, 본 개시와 관련하여 제1 처리유닛(511), 제1 메모리(515), 및 제2 처리유닛(517) 사이의 동작을 설명하면, 다음과 같다.Referring to FIG. 7, the operation between the first processing unit 511, the first memory 515, and the second processing unit 517 in relation to the present disclosure will be described as follows.

한편, 출원인은 설명의 편의상 시스템의 동작 온도 데이터를 예로 하나, 반드시 이에 한정되는 것은 아니다. 예컨대, 시스템의 동작 온도 데이터뿐만 아니라 도 8에 도시된 바와 같이, 시스템의 동작 전압, 시스템의 동작 클록 등이 개별적으로 또는 결합되어 본 개시에 이용될 수 있다.Meanwhile, for convenience of explanation, the applicant uses the operating temperature data of the system as an example, but it is not necessarily limited thereto. For example, as shown in FIG. 8, the operating temperature data of the system, the operating voltage of the system, the operating clock of the system, etc. may be used individually or in combination in the present disclosure.

제1 처리유닛(511)은 제2 처리유닛(517)의 동작에 관한 설정 신호, 제어 신호 등을 전송할 수 있으며, 제2 처리유닛(517)는 대응하는 신호를 리턴할 수 있고, 리턴된 내용은 레지스터(register)에 기록될 수 있다.The first processing unit 511 may transmit a setting signal, a control signal, etc. related to the operation of the second processing unit 517, and the second processing unit 517 may return a corresponding signal, and the returned content. can be written to a register.

제1 메모리(515)는 시스템 동작 온도를 수신하여 일시 저장할 수 있다. 한편, 본 개시와 관련하여, 제1 메모리(515)는 시스템 동작 온도의 로 데이터(raw data)를 제2 처리유닛(517)으로 전달할 수 있다. The first memory 515 can receive the system operating temperature and temporarily store it. Meanwhile, in relation to the present disclosure, the first memory 515 may transmit raw data of the system operating temperature to the second processing unit 517.

제1 메모리(515)는 제2 처리유닛(517)에서 인공지능 기반 학습 모델을 이용하는 경우에 필요한 데이터를 저장할 수 있으며, 이를 제2 처리유닛(517)에 전달할 수 있다.The first memory 515 can store data necessary when the second processing unit 517 uses an artificial intelligence-based learning model, and can transmit this to the second processing unit 517.

제1 메모리(515)는 제2 처리유닛(517)의 인공지능 기반 학습 모델의 동작 활성화/비활성화 데이터를 저장할 수 있으며, 이를 제2 처리유닛(517)에 전달할 수 있다.The first memory 515 may store operation activation/deactivation data of the artificial intelligence-based learning model of the second processing unit 517, and may transmit this to the second processing unit 517.

제2 처리유닛(517)은 예를 들어, 제1 메모리(515)의 환경 요소 데이터를 입력으로 받아서 미리 학습한 데이터 기반으로 일정 시간 이후의 값을 예측할 수 있다. For example, the second processing unit 517 may receive environmental element data from the first memory 515 as input and predict a value after a certain time based on data learned in advance.

제2 처리유닛(517)은 도 6에 도시된 바와 같이, 코어(NPU Core)(518)와 프레드 컨트롤(519)를 포함하여 구성될 수 있다. As shown in FIG. 6, the second processing unit 517 may include a core (NPU Core) 518 and a Fred control 519.

코어(518)는 LSTM(Long-Short-Term-Memory) 학습 모델을 이용하여 연산하고 예측 값 결정에 이용될 수 있다.The core 518 operates using a Long-Short-Term-Memory (LSTM) learning model and may be used to determine the prediction value.

한편, 프레드 컨트롤(519)는, 환경 요소별로 이벤트 인터럽트(Event Interrupt)를 발생할 조건을 설정하고, 실제 인터럽트 신호를 발생시켜 제1 처리유닛(511)의 불안정 상태에 대해 대응 동작을 수행할 수 있다. 이 때, 이벤트 인터럽트의 조건 설정은 예를 들어, 예측할 시간, 인터럽트 발생시킬 환경 요소의 기준 값 등을 제1 처리유닛(511)의 레지스터에 설정할 수 있다. Meanwhile, the Fred control 519 sets conditions for generating an event interrupt for each environmental element and generates an actual interrupt signal to perform a response operation to the unstable state of the first processing unit 511. . At this time, the conditions for the event interrupt can be set, for example, a time to be predicted, a standard value of an environmental element to generate an interrupt, etc., in the register of the first processing unit 511.

시스템 동작 온도를 예로 하면, 시스템의 동작 조건은 외부 온도 ‘125도’까지 보장할 때 설정값을 예측 시간을 100ms, 기준 온도를 ‘110도’로 설정하게 되면 코어(518)에서 예측한 값을 계속 모니터링 하여 예를 들어, ‘110도’ 이상 높아질 것으로 예측될 경우, 100ms 전에 이벤트 인터럽트 신호를 발생시킬 수 있다.Taking the system operating temperature as an example, when the operating conditions of the system are guaranteed to reach an external temperature of '125 degrees', the prediction time is set to 100 ms, and the reference temperature is set to '110 degrees', the value predicted by the core 518 is set to 100 ms. By continuously monitoring, for example, if it is predicted to rise above '110 degrees', an event interrupt signal can be generated 100ms in advance.

도 7에 도시된 바와 같이, 본 개시에는 딥러닝 예측 모델은 연속 속성의 시계열 데이터 예측에 적합한 LSTM 모델을 이용할 수 있으나, 이에 한정되는 것은 아니다. As shown in FIG. 7, in the present disclosure, the deep learning prediction model may use an LSTM model suitable for predicting time series data of continuous attributes, but is not limited thereto.

제2 처리유닛(517)은 딥러닝 예측 모델 즉, LSTM 모델을 포함할 수 있다.The second processing unit 517 may include a deep learning prediction model, that is, an LSTM model.

LSTM 모델은, 입력 로 데이터(Raw Data)에 대해 몇 개의 시퀀스(sequence)를 고려하는 지와 출력 데이터의 동시 출력 시퀀스는 알고리즘 설계에 따라 달라질 수 있다. The LSTM model considers how many sequences of input raw data and the simultaneous output sequence of output data may vary depending on the algorithm design.

도 7에서는 설명의 편의상 예를 들어, 입력 4개(x) 데이터를 이용하고, 학습한 가중치 파라미터(weight parameter, w)는 8개를 이용하여 출력 3개(y) 데이터를 만들어 내는 LSTM 모델 예시가 도시되었다. For convenience of explanation, Figure 7 shows an example of an LSTM model that uses 4 input data (x) and 8 learned weight parameters (w) to generate 3 output data (y). has been shown.

도 7의 모델을 참조하면, 입력과 출력의 연속 데이터는 최초 입력으로부터 출력까지의 레이턴시(latency)를 결정하게 되므로 응용 분야에 따라 모델 선택을 달리 하는 것이 바람직하다.Referring to the model in FIG. 7, continuous data of input and output determines the latency from the initial input to the output, so it is desirable to select a different model depending on the application field.

제2 처리유닛(517)의 설정과 제어는 제1 처리유닛(511)에 의해 레지스터 인터페이스를 통해 이루어질 수 있으며, 인터럽트를 발생시킬 특정 조건을 설정하여 그 조건에 맞는 경우 인터럽트를 발생시켜 제1 처리유닛(511)를 통해 처리하게 된다.Setting and control of the second processing unit 517 can be done by the first processing unit 511 through a register interface, and by setting a specific condition to generate an interrupt and generating an interrupt when the condition is met, the first processing is performed. It is processed through unit 511.

본 개시와 관련하여, 인터럽트를 발생시킬 조건은 MCU(510) 동작 환경 요소의 발견 시간, 발견 기준 값 등을 설정하여 조정될 수 있다. 예를 들어, 인터럽트를 발생시킬 예측 시간이 100ms로 그리고 예측 온도 값이 110도로 설정된 경우에는, 100ms 해당하는 y-n 구간에서 그 온도 값이 110도에 도달하면, 인터럽트를 발생시키도록 동작 제어될 수 있다.In relation to the present disclosure, conditions for generating an interrupt can be adjusted by setting the discovery time, discovery reference value, etc. of the MCU 510 operation environment elements. For example, if the predicted time to generate an interrupt is set to 100ms and the predicted temperature value is set to 110 degrees, the operation can be controlled to generate an interrupt when the temperature value reaches 110 degrees in the y-n section corresponding to 100ms. .

한편, 제1 처리유닛(511)은 제2 처리유닛(517)에서 발생시킨 이벤트 인터럽트를 확인한 후, 현재 처리 중인 어플리케이션, 프로그램 등 소프트웨어의 중요 데이터를 제2 메모리(516)에 저장하도록 제어할 수 있으며, 이벤트의 심각도 등에 상응하는 동작을 제어할 수 있다. 이러한 동작 제어와 관련하여, 제1 처리유닛(511)은 MCU(510) 내부 리셋 또한 특정 주변 부품에 대한 리셋을 통해 부분적으로 시스템 안정화를 도모할 수도 있고, 외부로 전체 시스템 리셋 신호를 보내 전체 시스템을 리셋시켜 시스템을 안전 상태로 전환시킬 수 있다. 다만, 반드시 상술한 동작 제어 내용 전체에만 한정되는 것은 아니다.Meanwhile, after checking the event interrupt generated by the second processing unit 517, the first processing unit 511 can be controlled to store important data of software such as applications and programs currently being processed in the second memory 516. It is possible to control actions corresponding to the severity of the event. In relation to this operation control, the first processing unit 511 may partially stabilize the system through internal reset of the MCU 510 and reset of specific peripheral components, or may send an entire system reset signal to the outside to reset the entire system. You can reset the system to put it in a safe state. However, it is not necessarily limited to the entire motion control content described above.

도 8에서는, 본 개시와 관련하여, 동작 환경 요소 데이터(또는 시스템 동작에 관한 모니터링의 대상이 되는 데이터)의 예시가 도시되었다.In Figure 8, in connection with the present disclosure, an example of operating environment element data (or data subject to monitoring regarding system operation) is shown.

도 8의 (a)에서는 전술한 시스템의 동작 온도에 대한 그래프가 도시되었다. 도 8의 (a)를 참조하면, 시스템 동작 상태 전환 대비 설정 온도(Tj)를 120도로 가정한 것이다. 다시 말해, 모니터링 결과 t2 시점(또는 그 이후)에서는 동작 온도가 120도를 넘어서기 때문에 예를 들어, 즉각적으로 동작 상태 전환(즉, 시스템 리셋)이 발생할 수 있다. 본 개시에서는, 상기 t2 시점을 예측함으로써, t2의 임의의 시간 전인 t1 시점에 미리 설정된 데이터를 제2 메모리(516)에 백업(또는 백업을 시작)하도록 제어할 수 있다.In Figure 8 (a), a graph of the operating temperature of the above-described system is shown. Referring to (a) of FIG. 8, the set temperature (Tj) compared to the system operating state transition is assumed to be 120 degrees. In other words, because the operating temperature exceeds 120 degrees at time t2 (or later) as a result of the monitoring, for example, an immediate operating state transition (i.e., system reset) may occur. In the present disclosure, by predicting the time point t2, it is possible to control to back up (or start the backup) preset data to the second memory 516 at time t1, which is an arbitrary time before t2.

도 8의 (b)에서는 시스템 동작 전압에 대한 그래프가 도시되었다. 도 8의 (b)를 참조하면, 1.1v가 기준 전압이 되며, 0.95v는 시스템의 동작 상태 전환을 유발할 수 있는 전압으로 설정될 수 있다. 따라서, 모니터링 결과 t2 시점에서는 즉각적인 동작 상태 전환(예를 들어, 시스템 리셋)이 발생할 수 있는바, t2 시점을 예측하고, 미리 t2의 임의의 시간 전인 t1 시점에 미리 설정된 데이터를 제2 메모리(516)에 백업하도록 제어하는 것이다.In Figure 8(b), a graph of system operating voltage is shown. Referring to (b) of FIG. 8, 1.1v is the reference voltage, and 0.95v can be set as a voltage that can cause a change in the operating state of the system. Therefore, as a result of monitoring, an immediate operation state transition (e.g., system reset) may occur at time t2, so the time t2 is predicted and data preset at time t1, which is a random time before t2, is stored in the second memory 516. ) is controlled to back up.

도 8의 (c)에서는 시스템 동작 클록에 대한 그래프가 도시되었다. 도 8의 (c)를 참조하면, clk1이 기준 클록의 밴드위쓰(bandwidth)가 되나, 그 보다 낮은 클록 밴드위쓰가 계속되면, 시스템의 동작 상태 전환을 유발할 수 있다. 따라서, 모니터링 결과 t2 시점에서 clk1보다 적은 밴드위쓰를 가진 클록이 반복되어 동작 상태 전환 시작을 예측함으로써, 미리 t2의 임의의 시간 전인 t1 시점에 미리 설정된 데이터를 제2 메모리(516)에 백업하도록 제어하는 것이다.In Figure 8(c), a graph of the system operation clock is shown. Referring to (c) of FIG. 8, clk1 becomes the bandwidth of the reference clock, but if the lower clock bandwidth continues, it may cause a change in the operating state of the system. Accordingly, as a result of monitoring, a clock with a bandwidth less than clk1 is repeated at time t2, thereby predicting the start of an operation state transition, thereby controlling the backup of preset data to the second memory 516 at time t1, which is an arbitrary time before t2. It is done.

전술한 도 8에서 도시된 수치는 일 예시일 뿐, 그에 의해 제한되는 것은 아니다.The numerical values shown in FIG. 8 described above are only examples and are not limited thereto.

도 9 내지 10은 본 개시의 일실시예에 따른 인공지능 기반 동작 제어 방법을 설명하기 위해 도시한 순서도이다.9 to 10 are flowcharts illustrating an artificial intelligence-based operation control method according to an embodiment of the present disclosure.

먼저, 도 9를 참조하면, MCU(510)는, 시스템 동작에 관한 제1 데이터를 모니터링할 수 있다(S101). 여기서, 제1 데이터는 전술한 시스템 동작 전압, 동작 온도, 동작 클록과 같이 시스템의 상태 전환을 일으킬 수 있는 데이터를 나타낼 수 있다.First, referring to FIG. 9, the MCU 510 may monitor first data regarding system operation (S101). Here, the first data may represent data that can cause a state transition of the system, such as the above-described system operating voltage, operating temperature, and operating clock.

MCU(510)는, 인공지능 기반 미리 학습한 데이터에 기초하여 상기 모니터링하는 제1 데이터에 따른 시스템의 동작 상태 전환에 관한 예측 데이터를 생성할 수 있다(103).The MCU 510 may generate predicted data regarding the transition of the operating state of the system according to the monitored first data based on artificial intelligence-based pre-learned data (103).

MCU(510)는, 상기 생성된 시스템의 동작 상태 전환 예측 데이터 기반 미리 설정된 제2 데이터를 백업할 수 있다(S105). 여기서, 제2 데이터는 상기 시스템 동작 상태 전환에 따라 제2 메모리(516)에 저장할 데이터로 미리 설정된 주요 데이터를 나타낼 수 있다.The MCU 510 may back up preset second data based on the generated operation state transition prediction data of the system (S105). Here, the second data may represent key data that is preset as data to be stored in the second memory 516 according to the system operation state transition.

MCU(510)는, 상기 예측 데이터 기반 시스템의 동작 상태 전환을 제어할 수 있다(S107).The MCU 510 may control the operation state transition of the prediction data-based system (S107).

다음으로, 도 10은 예컨대, 전술한 도 9의 S103 단계와 S105 단계 사이의 동작을 설명하는 것일 수 있다.Next, FIG. 10 may explain, for example, the operation between steps S103 and S105 of FIG. 9 described above.

도 10을 참조하면, MCU(510)는, 시스템 동작 상태 전환까지 남은 시간을 산출할 수 있다(S201).Referring to FIG. 10, the MCU 510 can calculate the time remaining until the system operation state is changed (S201).

MCU(510)는, 백업 대상 데이터의 양 및 백업에 예상 소요 시간을 산출할 수 있다(S203). 이 경우, 백업 대상 데이터는 미리 설정될 수 있으므로, 그 양과 백업에 예상 소요 시간이 이미 산출되어 함께 저장된 경우에는, 그것을 호출하는 동작으로 대체될 수 있다.The MCU 510 can calculate the amount of data to be backed up and the expected time required for backup (S203). In this case, the backup target data can be set in advance, so if the amount and the expected time required for backup have already been calculated and stored together, it can be replaced with an operation to call it.

MCU(510)는, S201 단계에서 산출한 시스템 동작 상태 전환까지 남은 시간이 S203 단계에서의 백업 예상 소요 시간보다 큰지 판단할 수 있다(S205).The MCU 510 may determine whether the time remaining until the system operation state transition calculated in step S201 is greater than the expected backup time in step S203 (S205).

MCU(510)는, S205 단계 판단 결과, S201 단계에서 산출한 시스템 동작 상태 전환까지 남은 시간이 S203 단계에서 산출한 백업 예상 소요 시간보다 큰 경우에는, 그대로 백업을 진행하고, 이후 시스템의 동작 상태 전환을 제어하는 전술한 도 9의 S105 단계로 돌아가면 된다. 상기 백업 진행 시점과 관련하여, 임의의 시점이 결정되어 제공될 수 있다.As a result of the determination in step S205, if the remaining time until the system operation state transition calculated in step S201 is greater than the expected backup time calculated in step S203, the MCU 510 proceeds with the backup as is and then switches the system operating state. You can return to step S105 of FIG. 9 described above to control . In relation to the backup progress time, an arbitrary time point may be determined and provided.

그러나 MCU(510)는, S205 단계 판단 결과, S201 단계에서 산출한 시스템 동작 상태 전환까지 남은 시간이 S203 단계에서 산출한 백업 예상 소요 시간보다 작은 경우에는, 미리 정의된 모든 중요 데이터를 백업하기에 충분하지 않기에 이에 대한 대응 동작을 수행하여야 할 것이다. 이 경우에는, 상기 백업 진행과 관련된 임의의 시점이 전술한 바와 다르게 결정되어 제공될 수 있다.However, as a result of the determination in step S205, the MCU 510 determines that if the remaining time until the system operation state transition calculated in step S201 is less than the expected backup time calculated in step S203, it is sufficient to back up all predefined important data. Since it does not, you will have to take action in response. In this case, an arbitrary point in time related to the backup progress may be determined and provided differently from what was described above.

만약 MCU(510)에서 미리 결정된 임의의 시점(동작 상태 전환 전 임의의 시점임)을 변경하지 않는 경우, 일실시예에 따르면, MCU(510)는 백업 대상 데이터를 다시 우선순위나 가중치에 따라 분류하고, 우선순위나 가중치에 따라 분류된 데이터 중 일부만을 백업하도록 제어할 수 있다(S205). 예컨대, MCU(510)는 최우선순위를 가지거나 가중치가 임계치 이상인 백업 대상 데이터만 백업할 수 있다. 다른 실시예에 따를 경우, MCU(510)는 상기 분류된 데이터에 대하여 상기 S201 단계에서 산출한 시스템의 동작 상태 전환까지 남은 시간과 비교하여, 해당 시간 내에 백업 가능한 데이터 즉, 우선순위나 가중치에 따라 순차로 백업되도록 제어할 수 있다.According to one embodiment, if the MCU 510 does not change a predetermined arbitrary point in time (an arbitrary point in time before the operation state transition), the MCU 510 classifies the backup target data again according to priority or weight. And, it can be controlled to back up only some of the data classified according to priority or weight (S205). For example, the MCU 510 can only back up backup target data that has the highest priority or whose weight is equal to or greater than a threshold. According to another embodiment, the MCU 510 compares the classified data with the time remaining until the operation state transition of the system calculated in step S201, and data that can be backed up within that time, that is, according to priority or weight. You can control backups to occur sequentially.

또 다른 실시예에 따르면, MCU(510)는 백업을 위하여 데이터 전송 속도를 개선하도록 다른 구성요소 예를 들어, 데이터 버스(data bus)나 더 빠른 네트워크 속도를 보장하는 네트워크를 이용 또는 전환 등의 방법을 통해 전체 백업 대상 데이터(또는 가능한한 많은 데이터)의 백업을 시도할 수도 있다.According to another embodiment, the MCU 510 uses other components, such as using or switching to a data bus or a network that ensures faster network speed, to improve data transfer speed for backup. You can also try to back up the entire backup target data (or as much data as possible).

또 다른 실시예에 따르면, MCU(510)는 상기에서 시스템 동작 상태 전환까지 남은 시간에 따라 이벤트 인터럽트를 미리 설정된 시간보다 빨리 발생하도록 제어할 수 있다. 추후, MCU(510)는 피드백을 통해 상기 이벤트 인터럽트 설정 시간을 갱신할 수도 있다.According to another embodiment, the MCU 510 may control the event interrupt to occur earlier than a preset time according to the time remaining until the system operation state transition. Later, the MCU 510 may update the event interrupt setting time through feedback.

또 다른 실시예에 따르면, MCU(510)는 백업 대상 데이터를 복수의 제2 메모리(516)에 분산하여 병렬적으로 백업을 시도하여, 백업 소요 시간을 줄여 모든 대상 데이터가 백업되도록 처리할 수도 있다.According to another embodiment, the MCU 510 may distribute the backup target data to a plurality of second memories 516 and attempt backup in parallel, thereby reducing the backup time and ensuring that all target data is backed up. .

한편, MCU(510)는 시스템 동작 상태 전환과 관련하여, 이를 더욱 세분화하여 관리할 수도 있다. 예컨대, MCU(510)는 시스템 동작 상태가 안정 또는 불안정 두 단계가 아니라, 1차 불안정 상태, 2차 불안정 상태 등과 같이 더 세분화하여 관리할 수 있다.Meanwhile, the MCU 510 may manage system operation state transitions in more detail. For example, the MCU 510 may manage the system operation state in more detail, such as a first unstable state, a second unstable state, etc., rather than two stages, stable or unstable.

설명의 편의상, MCU(510)는 시스템 동작 상태를 안정-1차 불안정-2차 불안정-3차 불안정과 같이, 4단계로 구분하여 관리하는 경우, MCU(510)는 각 상태에 대한 예측 시간 데이터를 획득할 수 있으며, 특히 1차 및/또는 2차 불안정 상태 예측 시간에 이벤트 인터럽트가 발생 또는 데이터 백업이 시작되도록 제어할 수 있다. 이 경우에도 전술한 백업 데이터의 양 또는 백업 소요 시간 등을 참조할 수 있다.For convenience of explanation, when the MCU 510 manages the system operation state by dividing it into 4 stages, such as stable - 1st unstable - 2nd unstable - 3rd unstable, the MCU 510 provides predicted time data for each state. can be obtained, and in particular, it can be controlled so that an event interrupt occurs or data backup starts at the first and/or second instability state prediction time. In this case as well, the amount of backup data or backup time described above can be referred to.

MCU(510)는 1차 불안정 상태 예측 시간에 제1 이벤트 인터럽트를 발생시키고, 제1 이벤트 인터럽트가 발생하면 백업 대상 데이터 중 최우선 순위 또는 가중치가 임계치 이상인 데이터만 먼저 백업할 수 있다.The MCU 510 generates a first event interrupt at the first instability state prediction time, and when the first event interrupt occurs, only data with the highest priority or weight greater than the threshold among backup target data can be backed up first.

이후, MCU(510)는 2차 불안정 상태 예측 시간에 제2 이벤트 인터럽트를 발생시키고, 제2 이벤트 인터럽트가 발생하면 나머지 백업 대상 데이터를 순차로 백업할 수 있다.Thereafter, the MCU 510 generates a second event interrupt at the second instability state prediction time, and when the second event interrupt occurs, the remaining backup target data can be sequentially backed up.

이러한 방식은 백업 대상 데이터의 양이 많은 경우에 보다 효율적으로 활용될 수 있다.This method can be used more efficiently when the amount of data to be backed up is large.

한편, 본 개시에서는 백업 대상 데이터에 대해 동작 상태 전환 예측 시점과 무관하게 소정 주기로 백업 대상 데이터를 저장하여, 본 개시에 따른 동작 상태 전환 예측 시점에는 데이터의 백업이 업데이트 위주로 이루어지도록 함으로써, 데이터 백업의 속도를 높일 수도 있다. Meanwhile, in the present disclosure, the backup target data is stored at a predetermined period regardless of the operation state transition predicted time for the backup target data, and the data backup is centered on updates at the operation state transition predicted time according to the present disclosure, thereby ensuring data backup. You can also speed it up.

본 개시에서는 또한, 비록 동작 상태 전환 시점이 예측되었다고 하더라도, 해당 시점 이전에 동작 상태 전환이 이루어질 수도 있는바, 가능한한 동작 상태 전환 예측 시점으로부터 미리 마진을 두어 데이터 백업이 완료될 수 있도록 시기를 결정하는 것이 바람직하다.In the present disclosure, even if the operating state transition time is predicted, the operating state transition may occur before that point, so the timing is determined so that data backup can be completed by setting a margin in advance from the predicted operating state transition time if possible. It is desirable to do so.

한편, 백업 데이터의 양이나 속도를 개선하면, 시스템의 동작 상태 전환 기준을 결정함에 있어서, 종래에 비해 더욱 마진을 가질 수 있으므로, 시스템에 대한 부담을 줄일 수도 있다. On the other hand, if the amount or speed of backup data is improved, a greater margin can be obtained compared to the past when determining the standard for switching the operating state of the system, thereby reducing the burden on the system.

본 개시에서 제2 데이터 또는 백업 대상 데이터 내지 중요 데이터라 함은, 시스템의 운용에 기본적으로 가장 중요하다고 설정된 데이터, 임의로 지정된 데이터, 시스템 안정성이나 업그레이드에 필수 데이터, 시스템 사용자에게 보고하여야 할 데이터 등 중 적어도 하나 이상이 포함될 수 있다. 또는, 상기 제2 데이터에는, 상기 자동차 전장 시스템의 구동과 관련하여 데이터 백업에 대해 미리 정의된 데이터, 현재 처리 중인 데이터, 상기 현재 처리 중이되 상기 상태 전환 발생 전에 처리 완료가 불가능한 데이터, 및 상기 상태 전환 발생에 따라 삭제되는 데이터 중 적어도 하나가 포함될 수도 있다.In this disclosure, secondary data, data subject to backup, or important data refers to data set as fundamentally most important for system operation, arbitrarily designated data, data essential for system stability or upgrade, data to be reported to system users, etc. At least one or more may be included. Alternatively, the second data includes predefined data for data backup in relation to the operation of the automotive electronic system, data currently being processed, data that is currently being processed but cannot be completed before the state transition occurs, and the state. At least one of the data deleted depending on the occurrence of the conversion may be included.

본 개시와 관련하여, 도 5 내지 10에서 MCU(510)의 동작으로 설명한 것들 중 적어도 하나 또는 전부는 NPU나 AP(550)에 의해 수행될 수도 있다.In relation to the present disclosure, at least one or all of the operations of the MCU 510 described in FIGS. 5 to 10 may be performed by the NPU or the AP 550.

본 개시에서 기술하는 동작 순서는 반드시 도면에 기재되거나 명세서에서 기술하는 순서에 구속되는 것은 아니며, 실시예에 따라서 일부 동작은 함께 수행되거나 도시된 바와 다른 순서로 동작할 수도 있다.The operation sequence described in the present disclosure is not necessarily bound to the sequence depicted in the drawings or in the specification, and depending on the embodiment, some operations may be performed together or may be operated in a different order than shown.

이상 상술한 본 개시의 다양한 실시 예들 중 적어도 하나에 따르면, 인공지능 기반으로 자동차 전장 시스템의 동작을 모니터링하여 그 상태를 진단 및 예측할 수 있어, 상태 전환에 따른 데이터 로스를 방지하여 시스템 운용에 중요한 데이터를 보호하여 시스템 보호 및 안정적인 동작을 보장할 수 있을 뿐만 아니라, 상태 전환에 대해 정확하게 대응할 수 있어, 과대응 또는 미흡대응으로 인한 시스템의 불안정성을 최소화할 수 있다.According to at least one of the various embodiments of the present disclosure described above, the operation of the automotive electrical system can be monitored based on artificial intelligence to diagnose and predict the state, thereby preventing data loss due to state transition and data important for system operation. Not only can it protect the system and ensure stable operation, but it can also respond accurately to state transitions, minimizing system instability due to over- or under-response.

본 발명의 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다.According to an embodiment of the present invention, the above-described method can be implemented as processor-readable code on a program-recorded medium. Examples of media that the processor can read include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices.

상기와 같이 설명된 디스플레이 장치는 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The display device described above is not limited to the configuration and method of the above-described embodiments, and the embodiments may be configured by selectively combining all or part of each embodiment so that various modifications can be made. It may be possible.

본 개시에 따른 인공지능 장치 및 그 제어 방법에 의하면, 자동차 전장 시스템의 예기치 못한 동작 상태 변화에 미리 예측하여 대응 동작을 결정하고 수행함으로써, 그러한 변화에 따른 시스템 동작을 위해 중요한 데이터의 로스를 방지하고 시스템의 효율 및 안정성을 현저히 높일 수 있는바, 산업상 이용가능성이 있다.According to the artificial intelligence device and its control method according to the present disclosure, by predicting unexpected changes in the operating state of the automotive electrical system in advance and determining and performing response actions, the loss of important data for system operation according to such changes is prevented. It can significantly increase the efficiency and stability of the system, so it has industrial applicability.

Claims (15)

1. 전장 시스템 동작에 관한 제1 데이터를 모니터링하는 단계;monitoring first data regarding battlefield system operation;

   인공지능 기반 미리 학습한 데이터에 기초하여 상기 모니터링하는 제1 데이터에 따른 전장 시스템의 동작 상태 전환에 관한 예측 데이터를 생성하는 단계;Generating predicted data regarding a change in the operational state of the battlefield system according to the monitored first data based on artificial intelligence-based pre-learned data;

   상기 생성된 전장 시스템의 동작 상태 전환 예측 데이터 기반 미리 설정된 제2 데이터를 백업하는 단계; 및Backing up preset second data based on the generated operation state transition prediction data of the battlefield system; and

   상기 예측 데이터 기반 전장 시스템의 동작 상태 전환을 제어하는 단계를 포함하는,Comprising the step of controlling the operational state transition of the predicted data-based battlefield system,

   인공지능 장치의 동작 제어 방법.Method for controlling the operation of artificial intelligence devices.
2. 제1항에 있어서,According to paragraph 1,

   상기 제1 데이터에는,In the first data,

   상기 전장 시스템 동작 전원 데이터, 전장 시스템 동작 온도 데이터 및 전장 시스템 동작 클록 데이터가 포함되는,Containing the electrical system operation power data, electrical system operation temperature data, and electrical system operation clock data,

   인공지능 장치의 동작 제어 방법.Method for controlling the operation of artificial intelligence devices.
3. 제1항에 있어서,According to paragraph 1,

   상기 제2 데이터에는,In the second data,

   상기 전장 시스템의 구동과 관련하여 데이터 백업에 대해 미리 정의된 데이터, 현재 처리 중인 데이터, 상기 현재 처리 중이되 상기 상태 전환 발생 전에 처리 완료가 불가능한 데이터, 및 상기 상태 전환 발생에 따라 삭제되는 데이터 중 적어도 하나가 포함되는,At least one of data predefined for data backup in relation to the operation of the electronic system, data currently being processed, data that is currently being processed but cannot be completed before the state transition occurs, and data deleted according to the state transition. Containing one,

   인공지능 장치의 동작 제어 방법.Method for controlling the operation of artificial intelligence devices.
4. 제1항에 있어서,According to paragraph 1,

   상기 생성된 제1 데이터의 동작 상태 전환 예측 데이터 기반 미리 설정된 제2 데이터를 백업하는 단계는,The step of backing up preset second data based on operation state transition prediction data of the generated first data,

   상기 생성된 제1 데이터의 동작 상태 전환 예측 데이터 기반 상태 전환 발생 시간의 미리 정의된 시간 이전에 발생되는 이벤트 인터럽트 신호 감지에 따라 수행되는,The operation state transition prediction data of the generated first data is performed according to detection of an event interrupt signal that occurs before a predefined time of the state transition occurrence time,

   인공지능 장치의 동작 제어 방법.Method for controlling the operation of artificial intelligence devices.
5. 제1항에 있어서,According to paragraph 1,

   상기 예측 데이터 기반 제1 데이터의 동작 상태 전환에 따른 전장 시스템의 동작을 제어하는 단계는,The step of controlling the operation of the electronic system according to the operation state transition of the first data based on the prediction data,

   상기 전장 시스템의 처리 유닛 내부 리셋 또는 상태 전환을 유발하는 대상 제1 데이터를 발생시키는 구성 및 상기 구성과 세트를 구성하는 적어도 하나의 구성을 리셋하도록 제어하는 제어 커맨드를 발생시키는,Generating a control command for controlling to reset a configuration that generates target first data that causes an internal reset or state transition of the processing unit of the electronic system and at least one configuration constituting the configuration and set,

   인공지능 장치의 동작 제어 방법.Method for controlling the operation of artificial intelligence devices.
6. 제1항에 있어서,According to paragraph 1,

   상기 인공지능 기반 미리 학습한 데이터에 기초하여 상기 모니터링하는 제1 데이터에 따른 전장 시스템의 동작 상태 전환에 관한 예측 데이터를 생성하는 단계는,The step of generating predicted data regarding the operational state transition of the battlefield system according to the monitored first data based on the artificial intelligence-based pre-learned data,

   전장 시스템 동작 상태 전환까지 남은 시간을 산출하는 단계; Calculating the time remaining until the battlefield system operation state is changed;

   백업 대상 데이터의 양 및 백업에 예상 소요 시간을 산출하는 단계; 및Calculating the amount of data to be backed up and the estimated time required for backup; and

   상기 산출한 전장 시스템 동작 상태 전환까지 남은 시간과 백업 예상 소요 시간을 비교하는 단계를 포함하는,Comprising the step of comparing the calculated time remaining until the battlefield system operation state transition and the expected backup time,

   인공지능 장치의 동작 제어 방법.Method for controlling the operation of artificial intelligence devices.
7. 제6항에 있어서,According to clause 6,

   상기 비교 결과, 상기 산출한 전장 시스템 동작 상태 전환까지 남은 시간이 백업 예상 소요 시간보다 크면, 상기 제2 데이터 백업을 시작하도록 제어되는,As a result of the comparison, if the calculated time remaining until the battlefield system operation state transition is greater than the expected backup time, the second data backup is controlled to start,

   인공지능 장치의 동작 제어 방법.Method for controlling the operation of artificial intelligence devices.
8. 제6항에 있어서,According to clause 6,

   상기 비교 결과, 상기 산출한 전장 시스템 동작 상태 전환까지 남은 시간이 백업 예상 소요 시간보다 작으면, 상기 제2 데이터를 분류하여 분류된 데이터 중 일부만 백업되도록 제어되는,As a result of the comparison, if the calculated time remaining until the battlefield system operation state transition is less than the expected backup time, the second data is classified and controlled so that only a portion of the classified data is backed up.

   인공지능 장치의 동작 제어 방법.Method for controlling the operation of artificial intelligence devices.
9. 인공지능 동작 제어 시스템에 있어서,In an artificial intelligence motion control system,

   차량; 및vehicle; and

   상기 차량을 제어하는 전장 시스템을 포함하되, 상기 전장 시스템은,Including an electrical system that controls the vehicle, wherein the electrical system includes:

   시스템 동작에 관한 제1 데이터를 모니터링하고, 인공지능 기반 미리 학습한 데이터에 기초하여 상기 모니터링하는 제1 데이터에 따른 시스템의 동작 상태 전환에 관한 예측 데이터를 생성하며, 상기 생성된 시스템의 동작 상태 전환 예측 데이터 기반 미리 설정된 제2 데이터를 백업하고, 상기 예측 데이터 기반 시스템의 동작 상태 전환을 제어하는 MCU를 포함하는,Monitors first data regarding system operation, generates predicted data regarding transition of the operating state of the system according to the monitored first data based on artificial intelligence-based pre-learned data, and transitions the operating state of the generated system. Comprising an MCU that backs up preset second data based on prediction data and controls operation state transitions of the prediction data-based system,

   인공지능 동작 제어 시스템.Artificial intelligence motion control system.
10. 제9항에 있어서,According to clause 9,

    상기 제1 데이터에는, 전장 시스템 동작 전원 데이터, 전장 시스템 동작 온도 데이터 및 전장 시스템 동작 클록 데이터가 포함되고, 상기 제2 데이터에는, 상기 자동차 전장 시스템의 구동과 관련하여 데이터 백업에 대해 미리 정의된 데이터, 현재 처리 중인 데이터, 상기 현재 처리 중이되 상기 상태 전환 발생 전에 처리 완료가 불가능한 데이터, 및 상기 상태 전환 발생에 따라 삭제되는 데이터 중 적어도 하나가 포함되는,The first data includes electrical system operation power data, electrical system operation temperature data, and electrical system operation clock data, and the second data includes predefined data for data backup in relation to the operation of the automotive electrical system. , Data that is currently being processed, data that is currently being processed but cannot be completed before the state transition occurs, and data that is deleted according to the state transition, including at least one of the following.

    인공지능 동작 제어 시스템.Artificial intelligence motion control system.
11. 제9항에 있어서,According to clause 9,

    상기 MCU는,The MCU is,

    상기 생성된 제1 데이터의 동작 상태 전환 예측 데이터 기반 미리 설정된 제2 데이터를 백업하되, 상기 생성된 제1 데이터의 동작 상태 전환 예측 데이터 기반 상태 전환 발생 시간의 미리 정의된 시간 이전에 발생되는 이벤트 인터럽트 신호 감지에 따라 수행하도록 제어하는,Backing up preset second data based on the operation state transition prediction data of the generated first data, wherein an event interrupt occurs before a predefined time of the state transition occurrence time based on the operation state transition prediction data of the generated first data Controlled to perform according to signal detection,

    인공지능 동작 제어 시스템.Artificial intelligence motion control system.
12. 제9항에 있어서,According to clause 9,

    상기 MCU는,The MCU is,

    상기 예측 데이터 기반 제1 데이터의 동작 상태 전환에 따른 전장 시스템의 동작을 제어하되, 내부 리셋 또는 상태 전환을 유발하는 대상 제1 데이터를 발생시키는 구성 및 상기 구성과 세트를 구성하는 적어도 하나의 구성을 리셋하도록 제어하는 제어 커맨드를 발생시키는,A configuration that controls the operation of the electrical system according to the operation state transition of the first data based on the predicted data, and generates target first data that causes an internal reset or state transition, and at least one configuration that constitutes the configuration and the set. Generating a control command to control to reset,

    인공지능 동작 제어 시스템.Artificial intelligence motion control system.
13. 제9항에 있어서,According to clause 9,

    상기 MCU는,The MCU is,

    상기 인공지능 기반 미리 학습한 데이터에 기초하여 상기 모니터링하는 제1 데이터에 따른 전장 시스템의 동작 상태 전환에 관한 예측 데이터를 생성하되, 전장 시스템 동작 상태 전환까지 남은 시간과 백업 대상 데이터의 양 및 백업에 예상 소요 시간을 산출하고, 상기 산출한 전장 시스템 동작 상태 전환까지 남은 시간과 백업 예상 소요 시간을 비교하는,Based on the artificial intelligence-based pre-learned data, generate predicted data regarding the transition of the operational state of the battlefield system according to the monitored first data, and determine the time remaining until the operation state transition of the battlefield system, the amount of data to be backed up, and the backup. Calculating the expected time required, and comparing the time remaining until the calculated battlefield system operation state transition and the expected time required for backup,

    인공지능 동작 제어 시스템.Artificial intelligence motion control system.
14. 제13항에 있어서,According to clause 13,

    상기 MCU는,The MCU is,

    상기 비교 결과, 상기 산출한 전장 시스템 동작 상태 전환까지 남은 시간이 백업 예상 소요 시간보다 크면, 상기 제2 데이터 백업을 시작하도록 제어하는,As a result of the comparison, if the calculated time remaining until the battlefield system operation state transition is greater than the expected backup time, controlling to start the second data backup,

    인공지능 동작 제어 시스템.Artificial intelligence motion control system.
15. 제13항에 있어서,According to clause 13,

    상기 MCU는,The MCU is,

    상기 비교 결과, 상기 산출한 전장 시스템 동작 상태 전환까지 남은 시간이 백업 예상 소요 시간보다 작으면, 상기 제2 데이터를 분류하여 분류된 데이터 중 일부만 백업하도록 제어하는,As a result of the comparison, if the calculated time remaining until the battlefield system operation state transition is less than the expected backup time, classifying the second data and controlling to back up only a portion of the classified data,

    인공지능 동작 제어 시스템.Artificial intelligence motion control system.

Images