CN112744220A - 利用脑波生成图像的装置和方法 - Google Patents

利用脑波生成图像的装置和方法 Download PDF

Info

Publication number
CN112744220A
CN112744220A CN202011183434.1A CN202011183434A CN112744220A CN 112744220 A CN112744220 A CN 112744220A CN 202011183434 A CN202011183434 A CN 202011183434A CN 112744220 A CN112744220 A CN 112744220A
Authority
CN
China
Prior art keywords
image
service point
passenger
service
brain wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011183434.1A
Other languages
English (en)
Inventor
姜贞寿
董瑞妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shuming Women's University School Industry Cooperation
Hyundai Motor Co
Kia Corp
Industry Academic Cooperation Foundation of SWU
Original Assignee
Shuming Women's University School Industry Cooperation
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shuming Women's University School Industry Cooperation, Hyundai Motor Co, Kia Motors Corp filed Critical Shuming Women's University School Industry Cooperation
Publication of CN112744220A publication Critical patent/CN112744220A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本公开涉及一种利用脑波信号生成图像的装置。该装置包括：传感器，被配置为在预定时间内从多个通道收集移动体中的至少一名乘客的脑波信号；以及控制器，被配置为利用人工智能模型，根据从多个通道收集的脑波信号生成第一图像，基于所生成的第一图像来选择预定列表中包括的至少一个第二图像，以及作为对所选择的第二图像的响应，控制移动体。

Description

利用脑波生成图像的装置和方法
相关申请的交叉引用
本申请要求于2019年10月29日提交的申请号为10-2019-0135834的韩国专利申请的权益，该韩国专利申请通过引用并入本文。
技术领域
本公开涉及一种移动体控制方法和装置。
背景技术
该部分中的陈述仅提供与本公开有关的背景信息，并且可能不构成现有技术。
车辆(或移动体)作为一种交通工具，是现代生活中非常重要的手段和工具。此外，对于某些人来说，移动体本身可以被视为赋予了某种意义的特殊事物。
随着技术的进步，由移动体提供的功能也逐渐发展。例如，近年来，移动体不仅将乘客运送到目的地，还满足了乘客对于更快且更安全地到达目的地的需求。此外，为了满足乘客的审美感和舒适度等，向移动体***添加了新的装置。另外，正在开发诸如方向盘、变速器和加速/减速装置的现有装置，以便可以向用户提供更多功能。
同时，脑-计算机接口或脑机接口是通过利用脑波信号根据人的意图来控制计算机或机器的领域。ERP(事件相关电位(Event-Related Potential))与认知功能(cognitivefunction)密切相关。
另外，近来，对利用人工智能模型识别和分类图像中包括的对象并生成新图像的研究趋势越来越多。
发明内容
本公开涉及一种移动体控制方法和装置。特定实施例涉及一种基于错误监测的移动体控制方法和装置。
本公开的一个实施例提供一种用于基于乘客的脑波信号生成图像的装置和方法。
本公开的另一实施例提供一种用于利用人工智能模型根据乘客的脑波信号生成图像并基于所生成的图像控制移动体的装置和方法。
本公开的实施例不限于上述实施例，并且本领域技术人员通过以下描述将清楚地理解未提及的其它实施例。
根据本公开的实施例，一种利用脑波信号生成图像的装置包括：传感器，被配置为在预定时间内从多个通道收集移动体中的至少一名乘客的脑波信号；以及控制器，被配置为利用人工智能模型，根据从多个通道收集的脑波信号生成第一图像，基于所生成的第一图像来选择预定列表中包括的至少一个第二图像，以及作为对所选择的第二图像的响应控制移动体。
从多个通道收集的脑波信号可以为在时域、频域和空间域中的至少一个中的脑波信号。
人工智能模型可以为生成式对抗神经网络(GAN)模型。
第一图像可以为表示服务点的服务点图像和商品图像中的至少一个，服务点图像可以为表示服务点的图像，并且商品图像可以为表示由服务点提供的商品的图像。
预定列表可以包括至少一个服务点图像或至少一个商品图像。
服务点可以为在距移动体预定范围内的得来速(DT)服务提供场所。
当基于短距离通信网络在移动体和服务点之间进行发送和接收时，预定范围可以是可以通过短距离通信网络进行发送和接收的范围。
商品为由服务点提供的物品、由服务点提供的服务和关于服务点的信息中的至少一种。
控制器可以基于第一图像与预定列表中包括的图像之间的相似性判断来选择第二图像。
当第二图像为服务点图像时，控制器可以执行以下过程中的至少一种：将移动体的行驶路线改变为服务点，将要改变的行驶路线的通知提供给乘客，和将要改变的行驶路线提供给乘客以引导乘客选择路线。
当第二图像为商品图像时，控制器可以执行以下过程中的至少一种：将移动体的行驶路线改变为用于提供商品的服务点，将要改变的行驶路线的通知提供给乘客，将要改变的行驶路线提供给乘客以引导乘客选择路线，和发送商品的订购信号。
控制器可以进一步被配置为判断所选择的第二图像是否符合乘客的期望。
根据本公开的实施例，一种利用脑波信号生成图像的方法包括：在预定时间内从多个通道收集移动体中的至少一名乘客的脑波信号；利用人工智能模型，根据从多个通道收集的脑波信号生成第一图像；基于所生成的第一图像来选择预定列表中包括的至少一个第二图像；以及作为对所选择的第二图像的响应，控制移动体。
从多个通道收集的脑波信号可以为在时域、频域和空间域中的至少一个中的脑波信号。
人工智能模型可以为生成式对抗神经网络(GAN)模型。
第一图像可以为表示服务点的服务点图像和商品图像中的至少一个，服务点图像可以为表示服务点的图像，并且商品图像可以为表示由服务点提供的商品的图像。
预定列表可以包括至少一个服务点图像或至少一个商品图像。
服务点可以为在距移动体预定范围内的得来速(DT)服务提供场所。
当基于短距离通信网络在移动体和服务点之间进行发送和接收时，预定范围可以是可以通过短距离通信网络进行发送和接收的范围。
商品可以为由服务点提供的物品、由服务点提供的服务和关于服务点的信息中的至少一种。
选择至少一个第二图像可以包括基于第一图像与预定列表中包括的图像之间的相似性判断来选择第二图像。
当第二图像为服务点图像时，控制移动体可以包括执行以下过程中的至少一种：将移动体的行驶路线改变为服务点，将要改变的行驶路线的通知提供给乘客，和将要改变的行驶路线提供给乘客以引导乘客选择路线。
当第二图像为商品图像时，控制移动体可以包括执行以下过程中的至少一种：将移动体的行驶路线改变为用于提供商品的服务点，将要改变的行驶路线的通知提供给乘客，将要改变的行驶路线提供给乘客以引导乘客选择路线，和发送商品的订购信号。
该方法可以进一步包括判断所选择的第二图像是否符合乘客的期望。
以上针对本公开的实施例简要概述的特征仅仅是本公开的实施例的以下具体实施方式的示例性方面，并且不限制本公开的范围。
附图说明
为了可以更好地理解本公开，现在将通过示例的方式并参照附图来描述本公开的各种实施例，其中：
图1是示出根据本公开的一个实施例的ERN的一般波形的视图；
图2是示出根据本公开的一个实施例的ERN和Pe的一般波形的视图；
图3是示出根据本公开的另一实施例的Pe的偏转特性(deflectioncharacteristic)的视图；
图4A和图4B是分别示出根据本公开的一个实施例的ERP和Pe的测量区域的视图；
图5是示出根据本公开的一个实施例的ERN和CRN的一般波形的视图；
图6是示出在根据本公开的一个实施例的与脑皮层区域相对应的EEG测量通道的视图；
图7是示出根据本公开的实施例的基于乘客的脑波信号生成图像的装置的配置的框图；
图8是示出根据本公开的实施例的相互之间进行发送和接收的移动体和服务点之间的范围的视图；
图9是示出根据本公开的实施例的图像生成装置的操作方法的流程图；以及
图10是示出根据本公开的实施例的图像生成装置的操作方法的流程图。
具体实施方式
以下描述本质上仅是示例性的，并且不旨在限制本公开、应用或用途。应理解的是，在整个附图中，相应的附图标记表示相同或相应的部件和特征。
将详细描述本公开的示例性实施例，使得本领域的普通技术人员将结合附图容易地理解和实现由本公开的实施例提供的装置和方法。然而，本公开可以以各种形式来实施，并且本公开的范围不应被解释为限于示例性实施例。
在描述本公开的实施例时，当公知的功能或构造可能模糊本公开的宗旨时，将不对公知的功能或构造进行详细描述。
在本公开的实施例中，将理解的是，当元件被称为“连接到”、“联接到”或“结合到”另一元件时，该元件可以直接连接到或联接到或结合到另一元件，或者这两个元件之间可以存在中间元件。将进一步理解的是，当在本公开的实施例中使用时，术语“包括”、“包含”、“具有”等指明所陈述的特征、整数、步骤、操作、元件、组件和/或其组合的存在，但不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其组合的存在或增加。
将理解的是，尽管在本文中可以使用术语“第一”、“第二”等来描述各种元件，但是这些元件不应受这些术语的限制。这些术语仅用于区分一个元件与另一元件，并且不用于表示元件之间的顺序或优先级。例如，在不脱离本公开的教导的情况下，下面讨论的第一元件可以被称为第二元件。类似地，第二元件也可以被称为第一元件。
在本公开的实施例中，不同的元件被命名以清楚地描述各种元件的特征，但不意味着这些元件在物理上彼此分离。即，多个不同的元件可以被组合成单个硬件单元或单个软件单元，相反，一个元件可以由多个硬件单元或软件单元实现。因此，尽管没有具体说明，但是各种元件的集成形式或一个元件的分离形式可以落入本公开的范围内。而且，诸如“单元”或“模块”等的术语应被理解为处理至少一个功能或操作的单元并且可以以硬件方式(例如，处理器)、软件方式或硬件方式和软件方式的组合来实施。
在本公开的实施例中，以各种形式描述的所有构成元件不应被解释为必要元件，而是一些构成元件可以是可选元件。因此，由构成元件的各个子集以某种形式配置的实施例也可以落入本公开的范围内。另外，通过添加一个或多个元件到各种元件而配置的实施例也可以落入本公开的范围内。
在下文中，参照附图描述本公开的实施例。
脑波信号(或脑信号、脑波)是构成大脑的神经细胞的电活动，是指直接或间接反映人的有意识或无意识状态的生物信号。可以在人头皮的所有区域中测量脑波信号，脑波信号的波长的频率主要为30Hz以下，并且脑波信号的波长的电位差为几十微伏。根据大脑活动和状态可能出现各种波形。正在进行利用根据人的意图的脑波信号进行接口控制的研究。可以通过使用利用由大脑活动引发的电信号的EEG(Electro Encephalo Graphy，脑电图)、利用与电信号一起引发的磁信号的MEG(Magneto Encephalo Graphy，脑磁图)以及利用血液中氧饱和度的变化的fMRI(functional Magnetic Resonance Imaging，功能磁共振成像)或fNIRS(functional Near-Infrared Spectroscopy，近红外光谱)来获得脑波信号。尽管fMRI和fNIRS是用于测量大脑活动的有用技术，但通常fMRI的时间分辨率(timeresolution)低，并且fNIRS的空间分辨率(spatial resolution)低。由于这些限制，EEG信号由于具有优异的便携性和时间分辨率而被广泛利用。
脑波信号根据大脑活动在空间上和时间上变化。由于脑波信号通常难以分析并且脑波信号的波形不易于进行视觉上分析，因此提出了各种处理方法。
例如，根据振荡的次数(频率)，可以基于频带对脑波信号进行分类(功率谱分类)。该分类将测量的脑波信号视为每个特定频率的简单信号的线性总和，将信号分解为每个频率分量并指示相应的振幅。可以通过利用通常用于消除噪声的预处理、变换为频域的傅立叶变换以及带通滤波器(band-pass filter，BPF)来获得每个频率的脑波信号。
更具体地，根据频带，脑波可以被分类为δ(delta)波、θ(theta)波、α(alpha)波、β(beta)波和γ(gamma)波。δ波是频率为3.5Hz以下并且振幅为20～200μV的脑波，主要出现在正常人的深度睡眠状态或新生儿中。另外，δ波可以随着我们对物理世界的意识减少而增加。通常，θ波是频率为3.5～7Hz的脑波，主要出现在情绪稳定状态或睡眠状态中。
另外，θ波主要在顶叶皮层(parietal cortex)和枕叶皮层(occipital cortex)中产生，并且可能在回忆或冥想的平静专注状态出现。通常，α波是频率为8～12Hz的脑波，主要出现在放松和舒适状态。另外，α波通常在休息状态的枕叶皮层中产生，并且可能在睡眠状态减少。通常，β波是频率为13～30Hz的脑波，主要在足以忍受的紧张状态下或者引起一定程度的关注时出现。另外，β波主要在额叶皮层(frontal cortex)中产生，并且与唤醒状态或专注大脑活动、病理现象和药物作用相关。β波可能出现在整个大脑的广泛区域中。另外，具体地，β波可以分为频率为13～15Hz的SMR波、频率为15～18Hz的中β波和频率为20Hz以上的高β波。由于β波在诸如焦虑和紧张等的压力下出现得更强，因此β波被称为压力波。γ波通常是频率为30～50Hz的脑波，主要出现在强烈兴奋状态或高级认知信息处理过程中。另外，γ波可能在意识觉醒状态和REM睡眠期间出现，并且也可能与β波重叠。
根据频带的脑波信号中的每一个与特定认知功能相关。例如，δ波与睡眠功能相关，θ波与工作记忆(working memory)相关，α波与注意力(attention)功能或抑制(inhibition)功能相关。因此，每个频带的脑波信号的特征选择性地显示特定认知功能。另外，每个频带的脑波信号在头部表面上的每个测量部位中可能显示一些不同的方面。脑皮层(cerebral cortex)可以分为额叶皮层、顶叶皮层、颞叶皮层(temporal cortex)和枕叶皮层。这些部分的作用可能略有不同。例如，与后脑勺相对应的枕叶皮层具有主要视觉皮层，因此可以主要负责处理视觉信息。位于头顶附近的顶叶皮层具有体感皮层，因此可以负责处理运动/感觉信息。另外，额叶皮层可以处理与记忆和思维相关的信息，颞叶皮层可以处理与听觉和嗅觉相关的信息。
同时，对于另一示例，可以通过利用ERP(事件相关电位)来分析脑波信号。ERP是与外部刺激或内部心理过程相关的大脑中的电变化。ERP是指包括由刺激引发的大脑的电活动的信号，该刺激包括自出现刺激后的一定时间后的特定信息(例如，图像、语音、声音、执行命令等)。
为了分析ERP，需要一种将信号与噪声分离的过程。可以主要利用平均化(averaging)方法。具体地，通过平均基于刺激出现时间测量的脑波，可以去除与刺激无关的脑波，并且可以仅挑选出作为共同参与刺激处理的大脑活动的相关电位。
由于ERP的时间分辨率高，因此ERP与认知功能的研究密切相关。ERP是由外部刺激引发(evoke)或与内部状态相关的电现象。根据刺激的类型，ERP可以被分类为听觉相关电位、视觉相关电位、体感相关电位和嗅觉相关电位。根据刺激的性质，ERP可以被分类为外源性(exogenous)ERP和内源性(endogenous)ERP。外源性ERP具有通过外部刺激确定的波形，与自动过程(automatic processing)相关，并且主要出现在受到刺激的初始阶段。例如，外源性ERP是脑干电位(brainstem potential)等。另一方面，内源性ERP通过内部认知过程或者心理过程或状态来确定，与刺激无关，并且与“受控处理(controlled processing)”相关。例如，内源性ERP是P300、N400、P600、CNV(Contingent Negative Variation，关联性负变)等。
ERP峰值的名称通常包括极性和潜伏期，并且每个信号的峰值具有各自的定义和含义。例如，正电位为P，负电位为N，P300表示刺激出现后约300ms测量的正峰值。另外，根据出现的顺序应用1、2、3或a、b、c等。例如，P3表示刺激出现后波形中的第三正电位。
在下文中，将描述各种ERP。
作为一个例子，N100与对不可预测的刺激的响应相关。
MMN(失匹配负电位(Mismatch Negativity))不仅可以由关注的刺激产生，而且可以由非关注的刺激产生。MMN可以用作在最初关注前感觉记忆(声像记忆(echoic memory))是否运行的指示符。下文将描述的P300出现在进行关注并做出判断的过程中，而MMN被分析为是在进行关注前在大脑中发生的过程。
作为另一例子，N200(或N2)主要根据视觉刺激和听觉刺激而产生，并且与下文描述的P300一起与作为关注后的记忆形式的短期记忆(short-term memory)或长期记忆(long-term memory)相关。
作为又一例子，P300(或P3)主要反映对刺激的关注、刺激认知、记忆搜索和不确定感消除等，并且与区分外部刺激的知觉决定(perceptual decision)相关。由于P300的产生与认知功能相关，因此无论出现的刺激的类型如何，都会产生P300。例如，P300可以在听觉刺激、视觉刺激和体感刺激中产生。P300被广泛应用于脑-计算机接口的研究。
作为又一例子，N400与语言处理相关，并且在出现具有语义错误的句子或具有语义错误的听觉刺激时引发。另外，N400与记忆过程相关，并且可以反映从长期记忆中检索或搜索信息的过程。
作为又一例子，P600作为表示重建(reconstruction)或回忆过程(recollectiveprocess)的指示符，与基于存储在长期记忆中的信息更准确地处理刺激的过程相关。
作为又一例子，CNV是出现200～300ms甚至几秒的后半段的电位。CNV也被称为慢电位(slow potential，SP)，并且与预期(expectancy)、准备、精神启动(mental priming)、联想、关注和运动功能(motor activity)相关。
作为又一例子，错误相关负电位(ERN)或错误负电位(error negativity，Ne)是由失误或错误产生的事件相关电位(ERP)。当对象在感觉运动任务或类似任务中犯错误时可能引发ERN或Ne。更具体地，当对象认知到失误或错误时，产生ERN，并且ERN的负峰值主要发生在额叶(frontal)区域和中央(central)区域中约50～150ms。特别地，ERN可能出现在可能发生与动作响应(motor response)相关的失误的情况下，也可能用于指示否定的自我判断。
在下文中，将更详细地描述ERN的主要特征。
图1是示出根据本公开的一个实施例的ERN的一般波形的视图。
参照图1，在横轴上方描绘了负电位值，并且在横轴下方描绘了正电位值。另外，可以确认在针对任意动作的响应发生(response onset)后的预定时间范围内产生具有负峰值的ERP。在此，响应可以表示发生失误或错误的情况(错误响应(Error Response))。另外，预定时间范围可以是约50～150ms。可选地，预定时间范围可以是约0～100ms。同时，在正确响应(correct response)的情况下，产生的ERP的负峰值比ERN相对较小。
作为初始负电位的ERP，ERN被锁时(time-locked)，直到发生响应错误为止。另外，已知ERN反映与行为监测相关的多巴胺能***的强化活动。ERN包括额叶纹状体环路(fronto-striatal loop)，额叶纹状体环路包括喙状扣带回(rostral cingulate)区域。同时，多巴胺与通常形成特定行为并激励人从而提供愉悦感和强化的感觉的大脑奖励***相关。当重复获得适当奖励的行为时，该行为被学习为习惯。另外，通过情绪学习释放更多的多巴胺，并且由于多巴胺的释放而尝试新的行为。因此，奖励驱动的学习称为强化学习。
另外，ERN可以通过额叶皮层导联在执行干扰任务(例如，Go-noGo任务、Stroop任务、Flanker任务和Simon任务)期间引发的错误响应发生后的0～100ms之间产生。
另外，已知ERN与以下描述的CRN一起反映可以区分正确行为和错误行为的一般行为监测***的活动。
另外，已知ERN在额叶皮层电极处达到最大振幅的事实反映脑内发生器位于喙状扣带回区域或背侧前扣带回皮层(dorsal anterior cingulate cortex，dACC)区域中。
另外，ERN可以显示根据负面情绪状态的振幅的变化。
另外，甚至在基于不同于内部动作表现的外部评价反馈处理而进行行为监测的情况下，也可以报告ERN，并且ERN可以被分类为以下描述的FRN。
另外，不仅可以在认知到失误或错误时产生ERN，而且可以在认知到失误或错误前产生ERN。
另外，不仅可以作为对自己的失误或错误的响应来产生ERN，而且可以作为对他人的失误或错误的响应来产生ERN。
另外，不仅可以作为对失误或错误的响应来产生ERN，而且可以作为对预定执行任务或对象的焦虑或压力的响应来产生ERN。
另外，当获得较大的ERN峰值时，该ERN峰值可以被认为反映更严重的失误或错误。
同时，作为又一例子，错误正电位(Pe)是在ERN之后产生的事件相关电位(ERP)，并且是主要在失误或错误后约150～300ms之间在额叶皮层电极处产生的具有正值的ERP。已知Pe为意识到失误或错误并更加关注的反应。换言之，Pe与错误检测后的有意识的错误信息处理过程的指示符相关。已知ERN和Pe为与错误监测相关的ERP。
在下文中，将更详细地描述Pe的主要特征。
图2是示出根据本公开的另一实施例的ERN和Pe的一般波形的视图。
参照图2，负电位值显示在正电位值上方。另外，可以确认在针对任意动作的响应发生后的第一预定时间范围内产生具有负峰值的ERP，即ERN。在此，响应可以表示发生失误或错误的情况(错误响应)。另外，第一预定时间范围可以是约50～150ms。可选地，第一预定时间范围可以是约0～200ms。
另外，可以确认在ERN发生后的第二预定时间范围内产生具有正峰值的ERP，即Pe。另外，第二预定时间范围可以为错误发生后约150～300ms。可选地，第二预定时间范围可以表示约200～400ms。
图3是示出根据本公开的一个实施例的Pe的偏转特性的视图。
参照图3，类似于P3，Pe具有大的偏转特性，并且神经丛发生器不仅包括后扣带回皮层和岛叶皮层的区域，而且还包括更多的前扣带回皮层。
另外，Pe可以反映对错误的情绪评价以及对诸如P300的刺激的关注。另外，ERN表示正确响应与错误响应之间的冲突，已知Pe是意识到错误并更加关注的响应。换言之，可以在检测刺激的过程中产生ERN，并且可以在处理刺激的过程中根据注意产生Pe。当ERN和/或Pe分别具有相对较大的值时，已知这些值与旨在在错误后更慢且更准确地响应的自适应行为相关。
图4A和图4B是示出根据本公开的一个实施例的ERN和Pe的测量区域的视图。
已知ERN和Pe为与错误监测相关的ERP。关于ERN和Pe的测量区域，通常可以在中央区域中分别测量最大负值和最大正值。但是，根据测量条件可能有一些差异。例如，图4A是测量ERN的主要区域，通常可以在中线额叶(midline frontal)或中央区域(即，FCZ)中测量ERN的最大负值。另外，图4B是测量Pe的主要区域，与ERN相比，通常可以在后中线区域中测量Pe的较大正值。
同时，作为又一例子，反馈相关负电位(Feedback-Related Negativity，FRN)是与基于外部评估反馈获得的错误检测相关的事件相关电位(ERP)。ERN和/或Pe基于内部监测过程来检测错误。但是，在FRN的情况下，当基于外部评估反馈获得FRN时，可以与ERN的过程类似地操作。
另外，FRN和ERN可以共享许多电生理特性。例如，FRN在负反馈发生后约250～300ms之间在额叶皮层电极处具有负峰值，并且可以像ERN一样在背侧前扣带回皮层(dACC)区域中产生。
另外，类似于ERN，FRN可以反映多巴胺能***的强化学习活动。另外，FRN通常具有比正反馈更大的负值，并且对于不可预见的情况可以具有比可预测的结果更大的值。
作为又一例子，正确相关负电位(CRN)是由正确的响应(correct trial)产生的ERP，并且是小于ERN的负值。像ERN一样，CRN可以在初始潜伏期(例如，0～100ms)之间产生。图5是示出根据本公开的一个实施例的ERN和CRN的一般波形的视图。
作为又一例子，正确正电位(Pc)是紧随CRN之后产生的事件相关电位，并且是在正确响应发生后约150～300ms之间产生的事件相关电位。CRN和Pc之间的关系可以类似于ERN和Pe之间的关系。
同时，ERP可以被分类为刺激锁定(stimulus-locked)ERP和响应锁定(response-locked)ERP。刺激锁定ERP和响应锁定ERP可以根据诸如ERP的引发原因和响应时间的标准来划分。例如，从外部向用户呈现文本或图片的时刻起引发的ERP可以被称为刺激锁定ERP。另外，例如，从用户说话或按下按钮的时刻起引发的ERP可以被称为响应锁定ERP。因此，基于上述标准，通常，刺激锁定ERP为N100、N200、P2、P3等，响应锁定ERP为ERN、Pe、CRN、Pc、FRN等。
同时，可以根据表现的动机对脑波进行分类。脑波可以被分类为通过用户意愿表现的自发性脑波(自发性电位)和根据与用户意愿无关的外部刺激自然表现的诱发性脑波(诱发性电位)。当用户自己运动或想象运动时，可以表现自发性脑波，而诱发性脑波可以通过例如视觉、听觉、嗅觉和触觉刺激来表现。
同时，可以根据国际10-20***测量脑波信号。国际10-20***基于电极位置与脑皮层区域之间的关系来确定脑波信号的测量点。
图6是示出根据本公开的一个实施例的与脑皮层区域相对应的EEG测量通道的视图。
参照图6，大脑区域(前额叶皮层FP1、FP2；额叶皮层F3、F4、F7、F8、FZ、FC3、FC4、FT7、FT8、FCZ；顶叶皮层C3、C4、CZ、CP3、CP4、CPZ、P3、P4、PZ；颞叶皮层T7、T8、TP7、TP8、P7、P8；枕叶皮层O1、O2、OZ)对应于32个脑波测量通道。对于每个通道，可以获得数据并且可以通过利用数据对每个脑皮层区域执行分析。
图7是示出根据本公开的实施例的用于基于乘客的脑波信号生成图像的装置的配置的框图。
得来速(drive-through，DT)服务是指一种允许顾客乘坐在移动体中而不停车的状态下订购、付款和提取特定产品的服务。由于无需停车或排队等候，因此DT服务作为一种高效便捷服务而吸引顾客。最近，DT服务逐渐变得流行。例如，在日常生活中移动体中的乘客可以在市区和高速公路上方便容易地使用快餐店和咖啡店提供的DT服务。移动体可以包括车辆、移动/运输装置等。
同时，在当前的DT服务中，乘客通常在到达提供DT服务的场所或位置(以下称为DT点)后订购所需物品。在本公开的实施例中，可以提供一种图像生成装置和方法，该图像生成装置和方法能够在到达DT点之前在移动体中选择和订购由DT点提供的物品(以下称为DT商品)。
在此，DT点可以是位于距移动体预定范围内的DT服务提供场所。
另外，本公开的实施例的DT点不仅可以包括用于提供DT服务的场所，而且可以包括能够向移动体提供DT商品并接收关于由该移动体选择和订购的商品的信息而不提供DT服务的营业所。例如，本公开的实施例的DT点可以指移动体中的顾客可以选择和订购由DT点提供的商品但是需要将移动体停放/停止在单独场所以提取订购的商品的营业所。即，本公开的实施例的DT点可以包括驶入(drive-in)营业所，而没有得来速通道。
本公开的实施例的图像生成装置可以利用人工智能模型从乘客的脑波信号生成与DT点有关的图像。例如，可以生成与由DT点提供的菜单或产品有关的图像。另外，本公开的实施例的图像生成装置可以基于所生成的图像来选择预定列表中包括的图像。例如，可以选择由DT点提供的产品列表中或预定菜单中包括的图像。另外，本公开的实施例的图像生成装置可以基于所选择的图像来控制移动体或将乘客选择的预定信息提供给DT点。
同时，人工智能技术能够使计算机像人类一样学习数据并自动做出决策。人工神经网络是受生物神经网络启发的数学模型，并且可以表示通过允许通过突触结合形成网络的人工神经元通过学习来改变突触结合强度而具有解决问题能力的整体模型。人工神经网络可以包括输入层、隐藏层和输出层。包括在每一层中的神经元通过权重连接，并且人工神经网络可以通过权重和神经元值的线性组合以及非线性激活函数而具有近似复杂函数的形式。人工神经网络的学习目的是找到使在输出层计算的输出值与实际输出值之间的差最小化的权重。
深度神经网络是由输入层和输出层之间的多个隐藏层构成的人工神经网络，并且可以通过许多隐藏层来建模复杂非线性关系。能够通过增加层的数量来进行高级抽象的神经网络结构称为深度学习。在深度学习中，由于学习大量数据，并且在输入新数据时根据学习结果选择概率最大的答案，因此可以根据图像执行自适应操作，并且可以基于数据在学习模型的过程中自动找到特征因子。
本公开的实施例的基于深度学习的模型可以包括完全卷积神经网络(fullyconvolutional neural network)、卷积神经网络(Convolutional Neural Network,CNN)、递归神经网络(Recurrent Neural Network,RNN)、受限玻尔兹曼机器(restrictedBoltzmann machine,RBM)和深度信念神经网络(deep belief neural network,DBN)中的至少一种，但不限于此。可选地，除了深度学习之外，还可以包括机器学习方法，或者可以包括组合了深度学习和机器学习的混合模型。例如，可以通过应用基于深度学习的模型来提取图像的特征，并且基于通过应用基于机器学习的模型而提取的特征来分类和识别图像。基于机器学习的模型可以包括支持向量机(Support Vector Machine,SVM)、AdaBoost等，但不限于此。在此，RNN可以包括长短期记忆(Long Short-Term Memory,LSTM)。
另外，本公开的实施例的基于深度学习的模型的学习方法可以包括监督学习、非监督学习或强化学习中的至少一种，但不限于此。利用一系列学习数据和与其对应的标签(label)(目标输出值)来执行监督学习，并且基于监督学习的神经网络模型可以是用于从训练数据推断函数的模型。在监督学习中，接收一系列学习数据和与其对应的目标输出值，通过学习以将输入数据的实际输出值与目标输出值进行比较来发现误差，然后根据相应结果校正模型。根据结果的形式，监督学习可以分为回归、分类、检测或语义分割。通过监督学习得出的函数可以再次用于预测新的结果值。基于监督学习的神经网络模型通过学习大量的训练数据来优化神经网络模型的参数。
与监督学习不同，非监督学习是一种在数据没有标签的情况下执行学习的方法。即，非监督学习是指在没有已知输出值或信息的情况下教导学习算法的学习方法，并且学习算法应仅利用输入数据从数据中提取知识。例如，非监督变换可以指一种新表示数据以使得人类或其它机器学习算法比原始数据更容易解释新数据的方法。例如，降维(dimensionality reduction)可以被变化为仅包括必要特征，同时从许多高维数据中减少特征的数量。作为另一示例，聚类(clustering)可以指将具有相似特征的数据进行分组的方法，即，指在没有标签的情况下利用图片上出现的共同特征进行分组。
作为另一个示例，存在一种生成式对抗神经网络(Generative AdversarialNetwork,GAN)模型，该模型已在创建或还原图像的领域或模仿动作的领域中进行了积极研究。GAN模型可以指一种类型的彼此对立的两个***以相互竞争的方式执行学习的人工神经网络或深度学习，并且可以指一种用于利用对抗学习方法学习通过深度学习创建的模型以解决生成问题的算法。GAN模型可以通过生成器(generator)和判别器(discriminator)相互竞争的过程来学习信息。具体地，生成器可以用于生成类似于现有数据的模仿数据，并且如果发生器的模仿数据接近实际数据，则判别器可能失去判别功能。另外，判别器可用于判断输入数据是实际数据还是模仿数据，并且如果判别器判断由生成器计算出的模仿数据有50％的概率为真，则学习可以结束。同时，本公开的实施例的GAN模型可以包括能够进行更稳定学习的深度卷积GAN(DCGAN)模型。
参照图7，图像生成装置700可以包括传感器710和/或控制器720。然而，应当注意，仅示出了用于说明本实施例所必需的一些组件，图像生成装置700中包括的组件不限于上述示例。例如，可以在一个构成单元中实施两个或更多个构成单元，并且可以在两个以上的构成单元中划分并执行在一个构成单元中执行的操作。另外，可以省略一些构成单元，或者可以添加附加的构成单元。
本公开的实施例的图像生成装置700可以在预定时间内从多个通道收集移动体中至少一名乘客的脑波信号。另外，传感器710可以执行上述操作。
在此，从多个通道收集的脑波信号可以表示在时域、频域和空间域中的至少一个中的脑波信号。在此，空间域可以表示脑波信号测量通道。
本公开的实施例的图像生成装置700可以利用人工智能模型，根据从多个通道收集的脑波信号生成与服务点有关的第一图像。另外，控制器720可以执行上述操作。
在此，服务点可以指DT点。
例如，服务点可以是距移动体预定范围内的DT服务提供场所。可选地，当移动体在距服务点的预定范围内时，移动体可以接收关于商品的信息。服务点的数量或类型可以根据移动体的位置而变化。本公开的实施例的图像生成装置700可以进一步包括接收器(未示出)。接收器可以执行上述操作。
图8是示出根据本公开的实施例的相互之间进行发送和接收的移动体和服务点之间的范围的视图。
参照图8，第一服务点800可以将关于由第一服务点800提供的商品的信息发送到距第一服务点800第一范围802内的移动体820。另一方面，第二服务点810在距第二服务点810第二范围812内不具有可以发送关于商品的信息的移动体。可选地，移动体820可以从在距移动体820第三范围822内的第一服务点800和第二服务点810接收关于商品的信息。
作为另一示例，服务点可以指由用户输入的场所或在移动体中预定的场所。可选地，服务点可以指根据移动体的导航装置中的预定条件自动检测到的场所。可以根据移动体中的用户来不同地设置服务点。例如，可以通过输入用户喜欢的服务点来设置服务点。
作为另一示例，可以根据服务提供场所的性质对服务点进行分组。例如，可以根据所提供的商品和服务的性质或类型将服务点分组为快餐店、咖啡店、面包店、便利店、银行或售票处等，并且可以根据移动体的乘客的选择来选择分组列表中的至少一个。另外，例如，可以在移动体的显示器上显示分组列表，并且作为对显示的响应，可以根据移动体的乘客的选择来选择分组列表中的至少一个。
在此，预定范围可以指沿径向方向距移动体和/或服务点几公里或几十公里的距离。另外，可以基于通信网络来设置预定范围。例如，当基于短距离通信网络在移动体和服务点之间进行发送和接收时，预定范围可以是可以通过短距离通信网络进行发送和接收的范围。此时，可以在短距离通信网络中使用信标。
在此，商品可以指DT商品。例如，商品可以指诸如汉堡包、咖啡和面包的物品。即，商品可以指将由乘客购买的物品。
另外，商品可以包括由服务点提供的服务。
另外，商品可以包括服务点的名称、图像、徽标等。
在此，关于商品的信息可以指关于DT商品的信息。
例如，关于DT商品的信息可以包括商品的图像、类型、价格、数量和/或名称信息。
作为另一示例，关于DT商品的信息可以包括由服务点提供的预定信息。例如，关于DT商品的信息可以包括由服务点提供的新菜单、事件、折扣事件等。
作为另一示例，可以基于乘客的偏好来设置关于DT商品的信息。为此，关于DT商品的信息可以是根据乘客预先学习的结果。另外，关于DT商品的信息可以实时更新。
同时，人工智能模型可以指生成式对抗神经网络(GAN)模型。GAN模型可以包括深度卷积GAN(Deep Convolutional GAN,DCGAN)模型。另外，人工智能模型可以指通过组合基于RNN的模型与GAN模型而获得的模型，以处理脑波信号。
可以利用GAN模型针对用户的脑波信号和与其对应的服务点的图像对人工智能模型进行预先训练。在此，服务点的图像可以指表示DT点的图像或表示由DT点提供的商品的图像。
在此，第一图像是表示服务点的服务点图像和商品图像中的至少一个。服务点图像可以指表示服务点的图像，并且商品图像可以指表示由服务点提供的商品的图像。在此，商品图像可以指由DT点提供的产品、菜单、物品等的图像。
例如，当第一图像是服务点图像时，第一图像可以指快餐店、咖啡店、面包店、便利店、银行或售票处的徽标或商店图像。
作为另一示例，当第一图像是商品图像时，第一图像可以指由快餐店提供的汉堡包或饮料等的图像。
作为另一示例，当第一图像是商品图像时，第一图像可以指由面包店提供的产品的图像。
同时，在生成第一图像的过程中，从多个通道收集的脑波信号可以通过预定的编码器来生成EEG特征向量。在此，预定的编码器可以包括LSTM层和非线性层(例如，包括ReLU非线性激活函数的全连接(fully-connected)层)。
再次参照图7，本公开的实施例的图像生成装置700可以基于第一图像选择预定列表中包括的第二图像。另外，控制器720可以执行以上操作。
在此，预定列表可以包括至少一个服务点图像。可选地，预定列表可以包括至少一个商品图像。另外，第二图像可以指服务点图像或商品图像。
例如，本公开的实施例的图像生成装置700可以基于第一图像与预定列表中包括的图像之间的相似性判断来选择第二图像。即，本公开的实施例的图像生成装置700可以从预定列表中选择与第一图像最相似的第二图像。
在此，为了判断相似性，可以应用通常在图像识别或分类领域中使用的各种相似性判断方法，诸如提取输入图像的特征点以判断相似性的方法。
即，本公开的实施例的图像生成装置700可以通过选择第二图像来选择被判断为乘客期望的服务点。可选地，本公开的实施例的图像生成装置700可以通过选择第二图像来选择被判断为乘客期望的商品。
另外，作为对所选择的第二图像的响应，本公开的实施例的图像生成装置700可以控制移动体或将预定信息提供给服务点。另外，控制器720可以执行上述操作。
即，如上所述，本公开的实施例的图像生成装置700可以通过利用相似性判断来判断乘客期望或想到的信息是什么。另外，根据该判断，可以根据目的控制移动体或者可以将预定信息发送到服务点。
例如，可以将行驶路线改变为与所选择的第二图像相对应的服务点，或者可以将行驶路线提供给乘客以引导乘客选择该路线。可选地，可以将改变后的行驶路线的通知提供给乘客。
作为另一示例，可以将与所选择的第二图像相对应的商品的订购信号发送到服务点。例如，当选择“咖啡”为第二图像时，咖啡的订购信号可以发送到与咖啡相对应的咖啡店。可选地，可以将行驶路线改变为与咖啡相对应的咖啡店，或者可以将行驶路线提供给乘客以引导乘客选择路线。可选地，可以将改变后的行驶路线的通知提供给乘客。
图9是示出根据本公开的实施例的图像生成装置的操作方法的流程图。
在步骤S901中，可以在预定时间内从多个通道收集移动体中的至少一名乘客的脑波信号。
在此，从多个通道收集的脑波信号可以指在时域、频域和空间域中的至少一个中的脑波信号。
在步骤S902中，可以利用人工智能模型，根据从多个通道收集的脑波信号来生成第一图像。
在此，人工智能模型可以指生成式对抗神经网络(GAN)模型。GAN模型可以包括深度卷积GAN(DCGAN)模型。另外，人工智能模型可以表示通过组合基于RNN的模型与GAN模型而获得的模型，以处理脑波信号。
在此，第一图像是表示服务点的服务点图像和商品图像中的至少一个。服务点图像可以指表示服务点的图像，并且商品图像可以指表示由服务点提供的商品的图像。
同时，可以利用GAN模型针对用户的脑波信号和与其对应的服务点的图像对人工智能模型进行预先训练。在此，服务点的图像可以指表示DT点的图像或表示由DT点提供的商品的图像。
同时，在生成第一图像的过程中，从多个通道收集的脑波信号可以通过预定的编码器来生成EEG特征向量。在此，预定的编码器可以包括LSTM层和非线性层(例如，包括ReLU非线性激活函数的全连接层)。
在步骤S903中，可以基于所生成的第一图像来选择预定列表中包括的至少一个第二图像。
在此，预定列表可以包括至少一个服务点图像。可选地，预定列表可以包括至少一个商品图像。另外，第二图像可以指服务点图像或商品图像。
例如，可以基于第一图像与预定列表中包括的图像之间的相似性判断来选择第二图像。即，可以从预定列表中选择与第一图像最相似的第二图像。
在此，为了判断相似性，可以应用通常在图像识别或分类领域中使用的各种相似性判断方法，诸如提取输入图像的特征点以判断相似性的方法。
在步骤S904中，作为对所选择的第二图像的响应，可以控制移动体或可以将预定信息提供给服务点。
即，可以通过利用相似性判断来判断乘客期望或想到的信息是什么。另外，根据该判断，可以根据目的控制移动体或者可以将预定信息发送到服务点。
图10是示出根据本公开的实施例的图像生成装置的操作方法的流程图。
同时，本公开的实施例的图像生成装置可以通过以下过程来更新人工智能模型：从乘客的脑波信号生成第一图像，并基于所生成的第一图像来选择第二图像。即，可以添加乘客的脑波信号和/或第一图像作为人工智能模型的学习数据。
例如，本公开的实施例的图像生成装置可以进一步执行判断所选择的第二图像是否符合乘客的期望的过程。另外，可以根据第二图像是否符合乘客的期望来增大或减小人工智能模型中生成第一图像的概率。
步骤S1001至S1003可以分别对应于图9的步骤S901至S903，因此上面已经参照图9描述了其详细过程。
在步骤S1004中，可以执行判断所选择的第二图像是否符合乘客的期望的过程。例如，可以在移动体的预定显示器上显示所选择的第二图像或与第二图像相对应的名称，并且作为对显示的响应，可以接收选择“是”或“否”的用户输入。
在步骤S1005中，可以根据第二图像是否符合乘客的期望来更新人工智能模型。
例如，当选择的第二图像符合乘客的期望时，人工智能模型中生成第一图像的概率增大预定数值，并且当选择的第二图像不符合乘客的期望时，在人工智能模型中生成第一图像的概率减小预定数值。
根据本公开的实施例，可以提供一种用于基于乘客的脑波信号生成图像的装置和方法。
根据本公开的实施例，可以提供一种用于利用人工智能模型从乘客的脑波信号生成图像并基于所生成的图像控制移动体的装置和方法。
本公开的实施例获得的效果不限于上述效果，并且本领域技术人员从以上描述中可以清楚地理解以上未提及的其它效果。
尽管为了清楚起见，将本公开的实施例的示例性方法描述为一系列操作步骤，但是本公开不限于上述操作步骤的顺序或次序。操作步骤可以同时执行，或者可以以不同顺序执行。为了实现本公开的实施例的方法，可以添加附加的操作步骤和/或可以去除或替代现有的操作步骤。
本公开的各种实施例不旨在描述所有可能组合，而是旨在仅描述代表性组合。各种形式中的步骤或元件可以单独使用或可以组合使用。
另外，本公开的各种实施例可以以硬件、固件、软件或其组合的形式来实施。当本公开的实施例以硬件组件实施时，可以是例如专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器等。
本公开的范围包括能够在设备或计算机上执行各种形式的方法的软件或机器可运行指令(例如，操作***(OS)、应用、固件、程序)以及存储该软件或机器可运行指令以便可以在设备或计算机上运行该软件或指令的非暂时性计算机可读介质。
本公开的实施例的描述本质上仅是示例性的，因此，不脱离本公开的实质的变形旨在在本公开的范围内。这样的变形不被视为脱离本公开的宗旨和范围。

Claims (20)

1.一种利用脑波信号生成图像的装置，包括：
传感器，在预定时间内从多个通道收集移动体中的至少一名乘客的脑波信号；以及
控制器，利用人工智能模型，根据从所述多个通道收集的所述脑波信号生成第一图像，基于所生成的所述第一图像来选择预定列表中包括的至少一个第二图像，以及作为对所选择的所述第二图像的响应，控制所述移动体。
2.根据权利要求1所述的装置，其中，
从所述多个通道收集的所述脑波信号为在时域、频域和空间域中的至少一个中的脑波信号。
3.根据权利要求1所述的装置，其中，
所述人工智能模型为生成式对抗神经网络模型即GAN模型。
4.根据权利要求1所述的装置，其中，
所述第一图像为表示服务点的服务点图像和商品图像中的至少一个；
所述服务点图像为表示服务点的图像，并且所述商品图像为表示由所述服务点提供的商品的图像；并且
所述服务点为在距所述移动体预定范围内的得来速服务即DT服务提供场所。
5.根据权利要求4所述的装置，其中，
所述预定列表包括至少一个服务点图像或至少一个商品图像。
6.根据权利要求4所述的装置，其中，
所述商品为由所述服务点提供的物品、由所述服务点提供的服务和关于所述服务点的信息中的至少一种。
7.根据权利要求4所述的装置，其中，
当所述第二图像为服务点图像时，所述控制器执行以下过程中的至少一种：将所述移动体的行驶路线改变为服务点，将要改变的行驶路线的通知提供给所述乘客，和将所述要改变的行驶路线提供给所述乘客以引导所述乘客选择路线。
8.根据权利要求4所述的装置，其中，
当所述第二图像为商品图像时，所述控制器执行以下过程中的至少一种：将所述移动体的行驶路线改变为用于提供所述商品的服务点，将要改变的行驶路线的通知提供给所述乘客，将所述要改变的行驶路线提供给所述乘客以引导所述乘客选择路线，和发送所述商品的订购信号。
9.根据权利要求1所述的装置，其中，
所述控制器基于所述第一图像与所述预定列表中包括的图像之间的相似性判断来选择所述第二图像。
10.根据权利要求1所述的装置，其中，
所述控制器进一步判断所选择的所述第二图像是否符合所述乘客的期望。
11.一种利用脑波信号生成图像的方法，包括：
在预定时间内从多个通道收集移动体中的至少一名乘客的脑波信号；
利用人工智能模型，根据从所述多个通道收集的所述脑波信号生成第一图像；
基于所生成的所述第一图像来选择预定列表中包括的至少一个第二图像；以及
作为对所选择的所述第二图像的响应，控制所述移动体。
12.根据权利要求11所述的方法，其中，
从所述多个通道收集的所述脑波信号为在时域、频域和空间域中的至少一个中的脑波信号。
13.根据权利要求11所述的方法，其中，
所述人工智能模型为生成式对抗神经网络模型即GAN模型。
14.根据权利要求11所述的方法，其中，
所述第一图像为表示服务点的服务点图像和商品图像中的至少一个；
所述服务点图像为表示服务点的图像，并且所述商品图像为表示由所述服务点提供的商品的图像；并且
所述服务点为在距所述移动体预定范围内的得来速服务即DT服务提供场所。
15.根据权利要求14所述的方法，其中，
所述预定列表包括至少一个服务点图像或至少一个商品图像。
16.根据权利要求14所述的方法，其中，
所述商品为由所述服务点提供的物品、由所述服务点提供的服务和关于所述服务点的信息中的至少一种。
17.根据权利要求14所述的方法，其中，
当所述第二图像为服务点图像时，控制所述移动体包括执行以下过程中的至少一种：将所述移动体的行驶路线改变为服务点，将要改变的行驶路线的通知提供给所述乘客，和将所述要改变的行驶路线提供给所述乘客以引导所述乘客选择路线。
18.根据权利要求14所述的方法，其中，
当所述第二图像为商品图像时，控制所述移动体包括执行以下过程中的至少一种：将所述移动体的行驶路线改变为用于提供所述商品的服务点，将要改变的行驶路线的通知提供给所述乘客，将所述要改变的行驶路线提供给所述乘客以引导所述乘客选择路线，和发送所述商品的订购信号。
19.根据权利要求11所述的方法，其中，
选择所述至少一个第二图像包括基于所述第一图像与所述预定列表中包括的图像之间的相似性判断来选择所述第二图像。
20.根据权利要求11所述的方法，进一步包括：
判断所选择的所述第二图像是否符合所述乘客的期望。
CN202011183434.1A 2019-10-29 2020-10-29 利用脑波生成图像的装置和方法 Pending CN112744220A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190135834A KR20210051055A (ko) 2019-10-29 2019-10-29 뇌파 신호를 이용한 이미지 생성 장치 및 방법
KR10-2019-0135834 2019-10-29

Publications (1)

Publication Number Publication Date
CN112744220A true CN112744220A (zh) 2021-05-04

Family

ID=75379006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011183434.1A Pending CN112744220A (zh) 2019-10-29 2020-10-29 利用脑波生成图像的装置和方法

Country Status (4)

Country Link
US (1) US11449142B2 (zh)
KR (1) KR20210051055A (zh)
CN (1) CN112744220A (zh)
DE (1) DE102020213503A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024031203A1 (es) * 2022-08-09 2024-02-15 Borquez Steinfort Christian Método de aprendizaje que utiliza inteligencia artificial, basado en un modelo de captura de movimiento/sonido y entrega de retroalimentación
JP7297342B1 (ja) * 2022-09-26 2023-06-26 株式会社Creator’s NEXT 脳情報の分析によるレコメンデーション

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI446297B (zh) * 2007-12-28 2014-07-21 私立中原大學 睡意辨識系統
JP2010019708A (ja) * 2008-07-11 2010-01-28 Hitachi Ltd 車載装置
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US10783507B1 (en) * 2019-07-03 2020-09-22 Spellbound Development Group, Inc. Consumables dispensing system and method

Also Published As

Publication number Publication date
US11449142B2 (en) 2022-09-20
KR20210051055A (ko) 2021-05-10
DE102020213503A1 (de) 2021-04-29
US20210124420A1 (en) 2021-04-29

Similar Documents

Publication Publication Date Title
Zhang et al. Emotion recognition using multi-modal data and machine learning techniques: A tutorial and review
Halim et al. On identification of driving-induced stress using electroencephalogram signals: A framework based on wearable safety-critical scheme and machine learning
Gao et al. EEG based emotion recognition using fusion feature extraction method
Akcakaya et al. Noninvasive brain–computer interfaces for augmentative and alternative communication
Chuang et al. Independent component ensemble of EEG for brain–computer interface
Ko et al. Emotion recognition using EEG signals with relative power values and Bayesian network
US20090062679A1 (en) Categorizing perceptual stimuli by detecting subconcious responses
JP2017074356A (ja) 感性評価方法
Lahane et al. A review of recent trends in EEG based Brain-Computer Interface
US20190357792A1 (en) Sensibility evaluation apparatus, sensibility evaluation method and method for configuring multi-axis sensibility model
US11983255B2 (en) Mobility user authentication apparatus and method using brain wave
US20210114599A1 (en) Apparatus and method for generating driver skilled driving model using error monitoring
CN112744220A (zh) 利用脑波生成图像的装置和方法
US11320905B2 (en) Apparatus and method for generating image using brain wave
Gill et al. A Proposed LSTM‐Based Neuromarketing Model for Consumer Emotional State Evaluation Using EEG
Shah et al. ETSNet: A deep neural network for EEG-based temporal–spatial pattern recognition in psychiatric disorder and emotional distress classification
Yang et al. Multimodal sensing and computational intelligence for situation awareness classification in autonomous driving
CN112141116B (zh) 利用错误监测的移动体控制方法和装置
KR20220060976A (ko) 효율적인 멀티모달 특징그룹과 모델 선택 기반 감정인식을 위한 딥러닝 방법 및 장치
Deng et al. An analysis of physiological responses as indicators of driver takeover readiness in conditionally automated driving
Jiao et al. Detecting slow eye movements with bimodal-LSTM for recognizing drivers’ sleep onset period
CN112447043B (zh) 错误监视装置和方法、交通控制服务器及事故分析***
CN112216098A (zh) 错误监测设备及方法、交通控制服务器、交通监控***
US11402908B2 (en) Apparatus and method for selecting item using brain wave
Tiwari et al. A deep learning approach to detect sustained attention in real-time using eeg signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination