CN111077873B - 用于控制对信息-物理***的访问的***和方法 - Google Patents
用于控制对信息-物理***的访问的***和方法 Download PDFInfo
- Publication number
- CN111077873B CN111077873B CN201911049833.6A CN201911049833A CN111077873B CN 111077873 B CN111077873 B CN 111077873B CN 201911049833 A CN201911049833 A CN 201911049833A CN 111077873 B CN111077873 B CN 111077873B
- Authority
- CN
- China
- Prior art keywords
- cps
- vehicle
- access
- ecu
- tool
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/46—Interconnection of networks
- H04L12/4604—LAN interconnection over a backbone network, e.g. Internet, Frame Relay
- H04L12/462—LAN interconnection over a bridge based backbone
- H04L12/4625—Single bridge functionality, e.g. connection of two networks over a single bridge
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
- H04L63/0245—Filtering by information in the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/12—Detection or prevention of fraud
- H04W12/121—Wireless intrusion detection systems [WIDS]; Wireless intrusion prevention systems [WIPS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/40—Bus networks
- H04L2012/40208—Bus networks characterized by the use of a particular bus standard
- H04L2012/40215—Controller Area Network CAN
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/40—Bus networks
- H04L2012/40267—Bus for use in transportation systems
- H04L2012/40273—Bus for use in transportation systems the transportation system being a vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Small-Scale Networks (AREA)
Abstract
本发明公开了一种用于控制对信息‑物理***(CPS)的访问的***和方法。安全工具可以通过以下步骤来执行访问授权:分析通过CPS发送的消息,创建多个虚构消息,通过CPS发送多个虚构消息,以及检查被分析的消息中是否包括正确的授权数据,以确定对CPS的授权访问或未授权访问。访问监控工具可以检测与对CPS的未授权访问相关的功能CPS模块的变化,并且响应于检测到与对CPS的未授权访问相关的功能CPS模块的变化,使用监控规则改变功能CPS模块的状态。
Description
相关申请
本申请要求2019年2月7日提交的俄罗斯联邦专利申请No.RU2019103370的权益,该申请通过引用全部并入本文。
技术领域
实施例总地涉及计算机安全领域,更具体地,涉及信息-物理***的安全性。
背景技术
对信息-物理***(CPS)的未授权访问是一种快速增长的威胁。信息-物理***是将计算资源集成到物理过程中的***。CPS的示例包括工业控制***(ICS)、物联网和工业物联网***、车辆电子***和其他电子***。与此同时,对信息-物理***的未授权访问通常不仅与网络攻击有关,而且与违规者(offender)的恶意行为有关。作为未授权访问的结果,信息-物理***可能会发生故障,这可能导致停机,财务损失,甚至对环境和人口构成真正的威胁。
对CPS的未授权访问所造成的威胁的另一个典型示例是车辆被盗。出于这个原因,车辆具有许多安全特征,从使用机械钥匙以防止对车辆内部的物理访问和启动发动机的可能性的基本保护,到复杂的防盗设备(例如防盗器)。防盗器是通常基于汽车电路中断原理的车辆访问监控***(例如,参见俄罗斯专利No.2440902),其例如向点火线圈、燃料泵、燃料喷射器和启动器马达等供电。这种设备隐藏在汽车中并连接到相关电路。而且,防盗设备可以具有无线通信单元,用于与由车辆用户控制的发射器/应答器交换数据。在未授权访问车辆或试图启动发动机的情况下,防盗器锁定车辆的发动机或其他功能模块。连接到车辆的数据总线(例如,多路复用数据总线)并执行用户授权(例如,参见俄罗斯专利No.2613927)的防盗器也是已知的。在用户授权不成功的情况下,防盗器通过数据总线发送发动机锁定命令。然而,上述防盗设备具有许多缺点。它们安装起来很昂贵,并且可以被违规者找到并随后禁用。此外,知道防盗器操作逻辑的违规者可以连接到数据总线(例如,通过ODB-II端口或通过移除连接到数据总线的大灯,并在该点连接到数据总线)并阻止防盗器关闭汽车的命令。
车辆示例说明了采用已知的CPS访问监控***存在的技术问题,其使得违规者能够绕过这样的***并获得对CPS的未授权访问。
发明内容
本文描述的实施例基本上满足了工业的上述需求。例如,第一个技术结果包括改进信息-物理***访问监控工具的特性,例如锁定程度、可靠性和故障安全性。第二个技术结果包括防止违规者获得授权访问信息-物理***所需的数据。
在一个实施例中,一种用于控制对信息-物理***(CPS)的访问的***包括:至少一个电子控制单元(ECU),其包括至少一个处理器和可操作地耦合到所述至少一个处理器的存储器;指令,当在至少一个ECU上执行时,使至少一个ECU实现:安全工具,其被配置为通过以下步骤执行访问授权:分析通过CPS发送的多个消息,创建多个虚构消息,多个虚构消息寻址到多个消息被寻址到的ECU中的至少一个,通过CPS以随机顺序和随机延迟发送多个虚构消息,并检查被分析的消息中是否包括正确的授权数据以确定对CPS的授权访问或未授权访问;访问监控工具,被配置为检测与对CPS的未授权访问相关的至少一个功能CPS模块的变化,并且响应于检测到与对CPS的未授权访问相关的至少一个功能CPS模块的变化,使用至少一个监控规则改变至少一个功能CPS模块的状态。
在一个实施例中,一种用于控制对信息-物理***(CPS)的访问的方法,该***包括至少一个电子控制单元(ECU),其包括至少一个处理器和可操作地耦合到至少一个处理器的存储器,该方法包括通过以下步骤执行访问授权:分析通过CPS发送的多个消息,创建多个虚构消息,多个虚构消息寻址到多个消息被寻址到的ECU中的至少一个,通过CPS以随机顺序和随机延迟发送多个虚构消息,检查被分析的消息中是否包括正确的授权数据,以确定对CPS的授权访问或未授权访问;检测与对CPS的未授权访问相关的至少一个功能CPS模块的变化;以及响应于检测到与对CPS的未授权访问相关的至少一个功能CPS模块的变化,使用至少一个监控规则改变至少一个功能CPS模块的状态。
在一个实施例中,车辆包括动力传动(drivetrain)网关,被配置为向车轮传递动力;多媒体网关,被配置为控制车辆的多媒体;变速器(transmission)网关,被配置为通过动力传动网关控制车轮,其中动力传动网关、多媒体网关和变速器网关中的每一个包括至少一个电子控制单元(ECU),至少一个安全工具,其被配置为通过以下步骤执行访问授权:分析通过车辆发送的多个消息,创建多个虚构消息,通过车辆发送多个虚构消息,并检查被分析的消息中是否包括正确的授权数据,以确定对车辆的授权访问或未授权访问;以及至少一个访问监控工具,其被配置为:检测与对CPS的未授权访问相关的至少一个功能CPS模块的变化,以及响应于检测到与对CPS的未授权访问相关的至少一个功能CPS模块的变化,使用至少一个监控规则来改变至少一个功能CPS模块的状态。
以上发明内容不旨在描述每个所示实施例或其主题的每个实现。下面的附图和具体实施方式更具体地举例说明了各个实施例。
附图说明
考虑到以下结合附图对各个实施例的详细描述,可以更全面地理解其主题,其中:
图1a是根据实施例的技术***的示例的框图。
图1b是图1a的技术***的特定实现的示例的框图。
图1c是根据实施例的利用便携式设备的物联网的示例性***的图示和框图。
图1d是根据实施例的一组可能的设备传感器的框图。
图1e是根据实施例的车辆网络架构的框图。
图1f是根据另一实施例的车辆网络架构的框图。
图2是根据实施例的CPS访问监控***的框图。
图3是根据实施例的用于CPS访问监控的方法的流程图。
图4是根据实施例的包括防止拦截授权数据的CPS访问监控***的框图。
图5是根据实施例的用于包括防止拦截授权数据的CPS访问监控的方法的流程图。
图6是根据实施例的车辆中的CPS访问监控***的框图。
图7是根据实施例的车辆中的另一CPS访问监控***的框图。
图8是根据实施例的数据帧的框图。
图9是被配置为实现本文描述的实施例的计算机***的框图。
虽然各种实施例可以进行各种修改和修改为替换形式,但是其细节已经通过附图中的示例示出并且将被详细描述。然而,应该理解,意图并非将要求保护的发明限制于所描述的特定实施例。相反,其目的是涵盖落入由权利要求限定的主题的精神和范围内的所有修改、等同物和替代物。
具体实施方式
在特定实施例中贯穿说明书使用以下定义和概念。
例如,受控对象是外部影响(控制和/或干扰)指向的过程对象,以便改变其状态。在一个实施例中,这样的对象可以是设备(例如,电动机)或过程(或其一部分)。
在一个实施例中,工艺过程(TP)可以是材料生产的过程,其包括材料物质(工作对象)的状态的连续变化。
在一个实施例中,过程控制可以是用于在制造最终产品时控制技术参数的一组方法。
在一个实施例中,控制回路可以由材料物质和控制功能组成,用于将测量的技术参数的值朝向所需设定点的值自动控制。控制回路包括传感器、控制器和致动器。
在一个实施例中,过程变量(PV)可以是被监控或控制的TP的特定部分的当前测量值。过程变量可以是例如传感器测量量。
在一个实施例中,设定点可以是被维持的过程变量值。
在一个实施例中,操纵变量(MV)可以是被调节的变量,以便将过程变量值保持在设定点水平。
在一个实施例中,外部影响可以是在确定的方向上改变影响所针对的元件的状态(例如,技术***(TS)的元件)的方法。例如,可以以信号的形式发送从TS元件到另一个TS元件的影响。
在一个实施例中,受控对象的状态可以是由状态变量(其在外部影响下被修改或维持)表达的其实质性质的组合,包括控制来自控制子***的影响。状态变量可以是表征对象的实质性质的一个或更多个数值。在一个实施例中,状态变量是物理量的数值。
在一个实施例中,受控对象的形式状态可以是对应于过程调度和其他技术文档(在TP的情况下)或移动调度(在设备的情况下)的受控对象的状态。
在一个实施例中,控制影响可以是受控对象上控制子***的控制主体的有目的的(影响的目的是影响对象的状态)、合法的(由TP规定)外部影响,其改变或维持受控对象的状态。
在一个实施例中,干扰可以是对受控对象的状态的有目的或无目的的非法的(由TP未规定)外部影响,包括由控制主体造成的。
在一个实施例中,控制主体可以是在直接发送到对象之前将控制影响引导到受控对象或将控制影响转移给另一个控制主体以进行转换的设备。
在一个实施例中,多级控制子***可以是包括多个级别、控制主体的组合的***。
在一个实施例中,信息-物理***可以是涉及将计算资源集成到物理过程中的信息技术概念。在这样的***中,传感器、装备和信息***在价值创造链中连接,这超出了单个企业或公司的限制。这些***使用标准互联网协议彼此交互以进行预测、自我调整和适应变化。信息-物理***的示例包括技术***、物联网(包括便携式设备)或工业物联网。
在一个实施例中,物联网(IoT)是物理对象(“物体”)的计算机网络,其配备有用于彼此或与外部环境交互的内置技术。物联网包括便携式设备、车辆电子***、智能汽车、智能城市或工业***等技术。
在一个实施例中,工业物联网(IIoT)是物联网的子类别,其还包括面向消费者的应用,例如便携式设备、“智能家居”技术和自动驾驶汽车。IoT和IIoT设备的显着特征是具有内置传感器、机器和基础设施,其通过互联网发送数据并由软件控制。
在一个实施例中,技术***(TS)可以是多级控制子***和受控对象(TP或设备)的控制主体的功能相互关联的组合,其通过控制主体的状态的改变来执行改变受控对象的状态。技术***的结构由技术***的主要元件(多级控制子***和受控对象的相互关联的控制主体)以及这些元件之间的关系形成。在技术过程是技术***中的受控对象的情况下,控制的最终目标是通过受控对象的状态中的变化来改变工作对象(原材料、空白等)的状态。在设备是技术***中的受控对象的情况下,控制的最终目标是改变设备(车辆、空间物体)的状态。TS的元件之间的功能性相互关系可以是这些元件的状态之间的相互关系。在这种情况下,元件之间可能没有直接的物理连接。在一个示例中,在致动器和过程操作之间没有物理连接,但是,例如,切割速度可以在功能上与主轴旋转速率相关,尽管事实上这些状态变量不是物理连接的。
在一个实施例中,控制主体的状态可以是由状态变量表达的其实质性质的组合,其在外部影响下被修改或维持。
在一个实施例中,控制主体的实质性质(以及相应的实质状态变量)可以是直接影响受控对象状态的实质性质的性质。在这种情况下,受控对象的实质性质是直接影响TS操作的受控因素(准确性、安全性、效率)的性质。具体示例包括匹配正式预设模式的切割模式,根据时间表移动的列车,或者保持在可接受限度内的反应器温度。根据受控因素,选择受控对象状态的变量。随后,可以选择与这些变量相关并且对受控对象施加控制影响的控制主体的状态的变量。
在一个实施例中,技术***元件的状态可以是控制主体和/或受控对象的状态。
在一个实施例中,技术***元件的真实状态可以是在对受控对象影响的某个时刻的技术***元件的状态,如通过测量状态参数和拦截TS元件之间的信号(流量)所确定的。例如,可以使用安装在TS中的传感器来测量状态变量。
在一个实施例中,技术***的真实状态可以是技术***元件的相互关联的真实状态的组合。
在一个实施例中,控制论单元可以是监控技术***的元件的操作过程的信息-物理监控***的元件。
在一个实施例中,状态空间可以是用于形式化动态***(技术***或信息-物理***)的状态的变化的方法。
在一个实施例中,计算机攻击或网络攻击可以是对使用软件/技术手段的信息***和信息/电信网络的有目的的影响,以便破坏这种***和网络中的信息安全。
在一个实施例中,车辆是配置用于人员、货物或装备的公路运输的设备。
信息-物理***还可以包括电子***,例如:受控对象、传感器和设定点发生器,以及控制主体,例如电子控制单元。例如,传感器和设定点发生器可以确定操作条件(例如,车辆中的发动机RPM)和设定点(例如,开关的位置)。传感器和设定点发生器将物理变量转换为电信号。在另一个示例中,电子控制单元(ECU)是电子设备的用于处理由已建立形式的电信号呈现的信息的结构上分离且功能完整的部分,包括任何复杂程度的电子电路。在一个实施例中,ECU在计算过程中处理来自传感器和设定点发生器的信息(开环和闭环控制算法)。例如,在车辆中,ECU控制致动器,将电信号发送到致动器,此外,ECU是用于其他***和车辆诊断***的接口。在另一个示例中,致动器将来自ECU的电信号转换成机械变量(例如,升高电磁阀的针)。
在一个实施例中,总线可以是数据传输网络的拓扑,其中所有节点通过无源通信线路连接,允许在两个方向上进行数据传输。
在一个实施例中,帧(或消息)是通信信道协议的数据分组。该帧可以定义通信信道上的传输序列中的比特或比特字段的顺序和含义。例如,图8中描绘了根据实施例的用于CAN总线帧的数据帧的框图。
在一个实施例中,防盗器是用于通过其自身发动机的牵引来防止车辆使用的设备。防盗器可以与车辆的其他***组合或者内置在那些***中(例如,发动机控制***、警报***)。因此,防盗器通过以下至少一个来防止车辆的独立操作(使车辆固定):锁定车辆独立操作所需的各个车辆电路(例如,起动机、点火设备、燃料供应、发动机、车轮、转向设备等),或者通过基于代码的干预进入车辆操作所需的至少一个控制单元的操作,例如,发动机ECU、车轮ECU、转向ECU等)。
应当注意,本文描述的实施例可以应用于所有类型的信息-物理***,尤其是自动过程控制***(APCS)、物联网和工业物联网、使用发动机(内燃机、氢发动机、电动机)的所有类型的机械车辆和包括至少一个ECU的那些车辆。
参照图1a,描绘了根据实施例的技术***100的示例的框图。技术***100通常包括元件110a和110b,其中TS的元件是:受控对象110a;控制主体110b,其形成多级控制子***120;水平链接130a和垂直链接130b。控制主体110b按级别140分组。
参考图1b,描绘了图1a的技术***100'的特定实现的示例的框图。受控对象110a'是TP或设备。控制影响被发送到受控对象110a'。控制影响可以由自动控制***(ACS)120'产生和执行。在ACS中,如图所示,分为三个级别140'。三个级别140'由控制主体110b'组成,其水平地使用水平链接(级别内的链接,图1b中未示出)并垂直地使用垂直链接130b'(级别之间的链接)二者相互关联。互连可以起作用,使得控制主体110b'在一个级别上的状态的改变导致在该级别和其他级别上与其链接的控制主体110b'的状态的改变。关于控制主体状态的变化的信息可以使用在控制主体之间建立的水平链接和垂直链接以信号的形式发送,即关于所讨论的控制主体的状态的变化的信息是与其他控制主体110b'相关的外部影响。基于控制主体110b'的目的来区分ACS 120'中的级别140'。级别的数量可以根据自动控制***120'的复杂性而变化。简单***可以包括一个或更多个较低级别。对于TS元件(110a,110b)和TS子***100的物理连接,使用有线网络、无线网络或集成电路。对于TS元件(110a,110b)和TS子***100之间的逻辑连接,使用以太网、工业以太网和工业网络。使用工业网络和协议或各种类型和标准:Profibus、FIP、ControlNet、Interbus-S、DeviceNet、P-NET、WorldFIP、LongWork、Modbus等。
上等级别(监督控制和数据采集(SCADA)级别)是调度员/操作员控制级别。在一个实施例中,上等级别包括至少以下控制主体110b':控制器、控制计算机、人机界面(HMI)(图1b中示出为单个SCADA控制主体的一部分)。上等级别被配置用于跟踪TS元件(110a',110b')的状态,接收和累积关于TS元件(110a',110b')的状态,以及何时需要对TS元件进行校正的信息。
中等级别(CONTROL级别)是控制器级别;它至少包括以下控制主体:可编程逻辑控制器(PLC)、计数器、继电器、调节器。PLC类型的控制主体110b'从“测量仪器”类型的控制主体接收信息,并从“传感器”类型的控制主体110b'接收关于受控对象110a'的状态的信息。“PLC”类型控制主体根据编程控制算法对“致动器”类型控制主体产生(创建)控制影响。致动器直接在最低(输入/输出)级别上施加控制影响(应用于受控对象)。致动器是执行设备(装备)的元件。控制器,例如PID(比例积分微分)控制器,是具有反馈的控制回路中的设备。
最低(输入/输出)级别是这样的控制主体的级别:传感器、仪器,其监测受控对象110a'的状态,以及致动器。致动器直接影响受控对象110a'的状态,以使其符合正式状态,即状态匹配过程任务、过程进度表或其他技术文档(在TP的情况下),或者与移动时间表(在设备的情况下)匹配。在该级别上,来自“传感器”类型控制主体110b'的信号与中等级别控制主体的输入协调,并且控制主体110b'产生的“PLC”类型控制影响与携带指令的“致动器”类型控制主体110b'协调。致动器是执行设备的元件。执行设备使调节单元根据来自控制器或控制设备的信号移动。执行设备是自动控制链的最后一环,通常可以包括:放大设备(接触器、频率调制器、放大器等);带有反馈元件(输出轴位置传感器、末端位置报警传感器、手动驱动传感器等)的致动器(电动、气动或液压驱动);或调节单元(旋塞、阀门、快门、阻尼器等)。
根据应用环境,执行设备可以具有不同的配置或设计。致动器和调节单元通常被认为是执行设备的主要组件。在一个实施例中,作为整体的执行设备被称为致动器。
在一个实施例中,ABCS 120a'是自动化业务控制***。
参考图1c,描绘了根据实施例的利用具有便携式设备的物联网的示例性***的图示和框图。在一个实施例中,该***包括多个各种用户计算机设备151。用户设备151可以包括例如:智能手机152、平板电脑153、笔记本电脑154、便携式设备(例如增强现实护目镜155)、健身追踪器和/或智能手表156等。用户设备151包括多个各种传感器157a-157n,例如,心率监测器2001和计步器2003。
应当注意,传感器157a-157n可以位于单个或多个用户设备151上。此外,一些传感器可以同时位于多个设备上。一些传感器可以在多个副本中提供。例如,蓝牙模块可以位于所有设备上,而智能手机可以包括两个或更多个麦克风以抑制噪声并确定到声源的距离。
参考图1d,描绘了根据实施例的一组可能的设备传感器的框图。更具体地,图1d描绘了设备151的一组可能的传感器。传感器157a-157n可包括例如以下内容:
·心率监测器(心跳传感器)2001,用于确定用户的脉搏率。在一个实施例中,心率监测器可包括电极并采集心电图;
·血氧饱和度传感器2002;
·计步器2003;
·指纹识别传感器2004;
·手势传感器2005,用于识别用户手势;
·针对用户眼睛的相机2006,用于识别用户的眼睛运动以及用眼睛的虹膜或视网膜验证用户的身份;
·用户体温传感器2007(例如,直接接触用户身体的传感器或非接触式传感器);
·麦克风2008;
·紫外线辐射传感器2009;
·地理定位***接收器2010,例如GPS、GLONASS、北斗、伽利略、DORIS、IRNSS、QZSS接收器等;
·GSM模块2011;
·蓝牙模块2012;
·Wi-Fi模块2013;
·相机2014,针对用户设备周围的环境;
·环境温度传感器2015;
·气压计2016,用于测量大气压,并根据大气压确定海拔高度;
·地磁传感器2017(例如电子罗盘),用于确定基本方向和方位角;
·空气湿度传感器2018;
·照明水平传感器2019,用于确定色温和照度;
·近距离传感器2020,用于确定到位于附近的各种物体的距离;
·图像深度传感器2021,用于获得空间的三维图像;
·加速度计2022,用于测量空间加速度;
·陀螺仪2023,用于确定空间位置;
·霍尔传感器2024(磁场传感器),用于确定磁场密度;
·剂量计/辐射计2025,用于确定辐射水平;
·NFC模块2026;
·LTE模块2027。
参考图1e,描绘了根据实施例的车辆网络架构的框图。如图所示,车辆可以用许多特定总线(以下也称为TS数据总线)来实现。例如,CAN(控制器区域网络)是车辆网络标准(ISO 11898-1)。CAN总线分为高速CAN-C(ISO 11898-2)总线,数据传输速度为125Kbit/s至1Mbit/s,低速CAN-B(ISO 11898-3)总线,数据传输速度为5至125Kbit/s。此外,在2012年,引入了CAN FD总线作为原始CAN总线的扩展。FlexRay是ISO 17458-1-17458-5标准,发展为CAN的高速可靠替代品。LIN(本地互连网络)是意图用于控制低责任汽车***的工业网络的ISO 17987标准。MOST(面向媒体的***传输)事实上是汽车行业多媒体、信息和娱乐网络的标准。以太网是用于计算机网络和工业网络的设备之间的批量数据传输的技术,由802.3组的IEEE标准描述。
应该注意的是,上述标准不断得到改进,并且车辆中使用的新标准和技术也正在出现。因此,要求保护的发明不受本文提到的标准的限制,而是可以应用于可以在车辆中使用的任何技术。
TS网络包括中央网关1101,使用FlexRay 1151总线连接到中央网关1101的ECU1111-1113,使用CAN-B 1152总线连接到中央网关1101的ECU 1121-1123,使用CAN-C 1153总线连接到中央网关1101的ECU 1131-1133,以及使用MOST 1154总线连接到中央网关1101的ECU
1141-1143。中央网关1101也是电子控制单元(ECU)并且具有用于诊断总线1155、LIN 1156和以太网1157的输出。在该示例中,TS网络架构包括使用总线1151-1157连接所有TS子***的单个中央网关1101。
参考图1f,描绘了根据另一实施例的车辆网络架构的框图。
特别地,车辆网络包括多个互连的网关1201-1204。每个互连网关1201-1204负责特定子网(即,一个TS数据总线和连接到网关的ECU)。因此,ECU 1111-1113(负责车辆的动力传动***)使用FlexRay总线1151连接到网关1(1201)。ECU 1121-1123(负责车辆的多媒体子***)使用CAN-B总线1152连接到网关2(1202)。ECU 1131-1133(负责变速器)使用CAN-C总线1153连接到网关3(1203)。ECU 1141-1143(负责远程信息处理)使用MOST总线1154连接到网关4(1204)。
现在参照图2,描绘了根据实施例的CPS访问监控***的框图。
特别地,图2示出了包括通过网络230互连的ECU 201-206的示例性CPS访问监控***。***200包括安装在来自受信ECU列表1103的CPS的电子控制单元(ECU)上的至少两个保护工具(在所讨论的示例中,保护工具1102a-1102b)。受信ECU列表1103包括至少两个ECU,并且可以例如由车辆制造商或经销商预先构建。受信ECU列表1103包括在受信ECU数据库1103a中。在一个实施例中,保护工具1102a-1102b和监控工具1104安装在CPS ECU 201-206之一上或者安装在各个CPS ECU上或者它们本身是单独的CPS ECU。
保护工具1102a-1102b被配置用于ECU的相互完整性检查,如果ECU的完整性没有受到损害则授权访问CPS,确定对CPS的访问是未授权的,或者ECU的完整性是否受到损害,检测与未授权访问CPS相关的至少一个功能CPS模块的状态的变化,以及向监控工具1104发送命令以改变CPS的至少一个功能模块的状态。监控工具1104被配置为使用监控规则来改变CPS 201的至少一个功能模块的状态。
为便于解释,在图2中以简化版本示出了信息-物理***。本领域技术人员将理解,信息-物理***可以包括上述技术***100(图1a-1b)、物联网(图1c-1d)、工业物联网或者车辆(图1e-1f)。以下将车辆作为CPS 200的主要示例进行讨论。
因此,应该注意的是,在不同的实施例中,CPS尤其是以下之一:车辆、自动过程控制***(APCS)、物联网或工业物联网,而功能模块由至少一个CPS ECU表示,用于监控对CPS的访问。在另一个实施例中,车辆的功能模块是以下之一的ECU:发动机、车轮或转向,并且功能模块的状态的变化包括以下中的至少一个:车辆发动机的起动或车辆的固定。继续该示例,监控规则可以包括以下中的至少一个:如果检测到发动机的启动,则固定车辆。其他实施例在下面呈现,例如在图6的描述中。
参考图3,描绘了根据实施例的用于CPS访问监控的方法的流程图。在301处,执行ECU的相互完整性检查。在一个实施例中,相互完整性检查可以利用安装在来自受信ECU列表的CPS电子控制单元(ECU)上的至少两个保护工具。在302处,对ECU的完整性进行评估。如果完整性没有受到损害,则方法前进到304,其执行对CPS的访问的授权。如果ECU的完整性受到损害,则在303,该方法将对CPS的访问限定为未授权。此外,对CPS的访问被限定为未授权是用户未在304执行授权。然而,如果授权成功,则在305,该方法将访问限定为被授权。另外,303处的方法检测与未授权访问CPS相关的至少一个功能CPS模块的状态的变化。之后,在306,向监控工具发送命令以改变至少一个CPS功能模块的状态。在一个实施例中,可以使用至少一个保护工具来发送命令。最后,在307,该方法使用监控规则通过监控工具改变至少一个CPS功能模块的状态。
参照图4,描绘了根据实施例的包括防止拦截授权数据的CPS访问监控***400的框图。***400包括安全工具1105和访问监控工具1106。在一个实施例中,安全工具1105和访问监控工具1106安装在CPS ECU 401-406之一上或者安装在CPS ECU上或者它们本身是单独的CPS ECU。
在一个实施例中,访问监控工具1106是至少一个ECU上的应用程序;例如,对于车辆,为发动机ECU、自动变速器ECU、转向ECU或停车***ECU中的一个。在一个实施例中,固定命令是来自访问监控工具1106的命令。在另一个实施例中,访问监控工具1106是标准ECU之一,尤其是针对车辆、发动机ECU、自动变速器ECU、转向ECU或停车***ECU的。在一个实施例中,固定命令是用于这些ECU的标准命令。在一个实施例中,安全工具1105作为至少一个ECU上的应用程序或作为连接到网络的单独ECU的应用程序提供。
安全工具1105被配置为在授权访问CPS期间分析在网络上发送的消息,创建虚构消息,该虚构消息又被引导到被分析的消息被引导到的相同的ECU,以随机顺序和随机时间延迟发送虚构消息,并且如果被分析的消息不包含正确的授权数据,则将对CPS的访问限定为未授权。访问监控工具1106被配置为检测与未授权访问CPS相关的至少一个CPS功能模块411的状态的变化,并使用监控规则来改变至少一个CPS功能模块411的状态。以下呈现各个实施例,例如在图7的描述中。
参照图5,根据实施例描述了用于CPS访问监控(包括防止拦截授权数据)的方法的流程图。在501处,该方法执行对CPS的访问的授权。在CPS访问授权期间,在502处,使用安全工具,该方法分析通过网络发送的消息。在503处,使用安全工具,该方法创建虚构消息,该虚构消息又被引导到被分析的消息被寻址到的相同ECU。在504处,使用安全工具,该方法以随机顺序和随机延迟通过网络发送虚构消息。在505处,该方法检查被分析的消息中是否包括正确的授权数据,并且如果包括正确的授权数据,则在509处对CPS的访问被限定为未授权。然后,在510处,该方法使用访问监控工具检测与未授权访问CPS相关的至少一个功能CPS模块的变化。并且,如果检测到这种改变,则该方法在511处使用访问监控工具通过监控规则改变至少一个CPS功能模块的状态。否则,在501处重复该方法。
如果在505处,所分析的消息包括正确的授权数据,则该方法在506处将对CPS的访问限定为被授权。然后,在507处安全工具可以向访问监控工具发送关于成功授权的命令。结果,访问监控工具将保持功能模块的状态不变(508)。以下呈现各个实施例,例如在图7的描述中。
参考图6,根据实施例描绘了车辆中的CPS访问监控***的框图。在一个实施例中,CPS访问监控***是车辆固定***,并且车辆是CPS。该***包括至少两个保护工具1102(在所提供的示例中,有三个保护工具1102a-1102c),其安装在来自受信ECU列表1103的ECU上并且在网络230中互连(对于车辆CPS,其包括数据总线1151-1157)。保护工具1102a-1102c被配置用于ECU的相互完整性检查(在所提供的示例中,ECU 1101、1122、1131)。受信ECU列表1103包括至少两个ECU,并且可以例如由CPS的制造商或经销商预先构建。受信ECU列表1103包括在受信ECU数据库1103a中。
ECU完整性意味着安装在ECU上的保护工具1102的正确操作。例如,如果违规者将其中一个ECU从网络230(其包括用于车辆的数据总线1151-1157)断开连接,则安装在断开连接的ECU上的保护工具1102将停止运行,因此,ECU完整性将受到损害。此外,违规者可以将恶意软件安装到上述ECU之一。在这种情况下,保护工具1102可以停止正确运行。因此,ECU的完整性也会受到损害。
在图6的示例中,受信ECU列表1103包括中央网关101、ECU3-1 1131和ECU2-21122,其中分别安装有保护工具1102a-1102c。在另一种个别情况下,保护工具1102可以作为连接到网络230的单独ECU提供。
在一个实施例中,来自受信ECU列表的ECU的完整性检查是通过在保护工具1102之间发送消息来进行的。例如,在保护工具1102之间发送的消息可以包括标识数据,并且如果至少一个保护工具1102没有向至少一个其他保护工具发送消息(基于标识数据),则认为ECU完整性受到损害。
如果上述ECU的完整性未被损害,则保护工具1102被配置用于授权访问CPS(用户1180的访问)。如果上述ECU的完整性受到损害,则保护工具1102将对CPS的访问限定为未授权(例如,在违规者1170而不是用户1180进行的授权尝试时)。另外,如果检测到由于对CPS的未授权访问而发生的至少一个CPS功能模块的状态的变化,则保护工具1102用于向监控工具1104发送命令以改变至少一个CPS功能模块的状态。例如,在车辆CPS中,可能已经检测到车辆发动机的启动,并且未授权对车辆的访问。当发动机启动时,例如,通过打开点火设备,在接收到命令后启动发动机的发动机ECU通过网络(车辆数据总线)发送消息。因此,监控工具1104可以检测发动机启动,例如,已经通过网络230(车辆数据总线)接收到这样的消息。
在一个实施例中,通过输入密码来进行对CPS的访问的授权,该密码是标准按钮的用户预设(顺序)组合。例如,当按下每个按钮时,将通过网络向消息的预期ECU发送消息。在另一实施例中,使用通过无线通信信道发送授权数据预先与保护工具1102之一连接的发送器/应答器来进行用户1180对CPS的访问的授权。在另一实施例中,使用具有安装的应用程序的移动用户设备进行授权。在一个实施例中,通过例如在应用程序中输入密码或使用生物识别授权来授权访问,该应用程序或生物识别授权通过经由无线通信信道(诸如蓝牙)发送授权数据预先与保护工具1102之一连接。在这些示例中,无线通***接收的授权数据然后通过网络230发送到上述消息所预期的ECU。
应当注意,对于车辆,用于车辆固定的命令是通过车辆数据总线发送的消息。在一个实施例中,固定命令是以下之一:关闭发动机的命令,锁定车轮的命令,向车主(合法用户)设备发送消息的命令,或关闭转向的命令。
监控工具1104(以及在车辆的情况下的固定工具)被配置用于使用监控规则来改变CPS的至少一个功能模块的状态。在车辆示例中,监控工具1104使车辆固定不动,从而防止车辆的独立运行。例如,监控工具1104可以根据所接收到的命令禁用发动机、锁定车轮、禁用转向或向车主的设备发送消息。
在一个实施例中,监控工具1104是标准ECU之一,其是能够阻止车辆独立运行的功能车辆模块,例如发动机ECU、自动变速器ECU、转向ECU、停车***ECU等。在另一个实施例中,监控工具1104被提供为车辆ECU中的至少一个上的应用程序(即微程序),例如在发动机ECU、自动变速器ECU、转向ECU或停车***ECU之一上的应用程序。
在一个实施例中,保护工具1102a-1102c被配置为用于安装它们的ECU的应用程序(即微程序)。在这种情况下,应用程序可以由车辆制造商或ECU制造商预先安装。
另外,在一个实施例中,CPS用户可以激活CPS访问监控***(在车辆示例中,为车辆固定***),例如,使用CPS制造商的特殊服务,或者在CPS经销商处。通过云服务进行远程激活以及通过物理访问CPS和ECU进行激活都是可能的。在一个实施例中,创建受信ECU1103的列表,其上将安装保护工具1102,或者将激活预先安装在ECU上的应用程序/保护工具1102。在一个示例中,受信ECU 1103的列表由CPS制造商或ECU制造商构建。CPS访问监控***的激活包括在CPS中创建受信ECU 1103的列表,在CPS上安装保护工具1102(或者如果它预先安装在CPS上则启动),由用户创建CPS用户授权数据(例如,密码)和将授权数据发送到保护工具1102a-1102c。在一个实施例中,CPS访问监控***的激活还包括在CPS上安装监控工具1104(或者如果它预先安装在CPS上则启动它)。
在另一个实施例中,至少一个保护工具1102另外检查作为CPS访问授权数据的发送者的至少一个ECU,并且如果发送者是未授权的发送者,则认为对CPS的访问是未授权的。
在一个实施例中,在车辆示例中,至少一个保护工具1102a-1102c另外确定固定命令未被传递到预期组件,或者确定固定工具1104没有执行车辆固定。例如,发动机关闭命令可能尚未传递。随后,至少一个保护工具1102a-1102c发送第二车辆固定命令。例如,如果发动机关闭命令被违规者1170阻止,则可以发送另一个命令,例如转向关闭命令。
在这种情况下,由于违规者1170阻止该命令,该命令可能无法传递给预期的接收者。然后,保护工具1102可以重复传递车辆固定命令的尝试。但是,例如,根据CAN协议规范,在128次尝试传递消息(命令)失败后,ECU暂停传递消息的尝试并稍后尝试再次发送消息。但是,在256次尝试传递消息失败后,ECU会暂停进一步尝试发送消息,直到重新启动ECU本身。另外,保护工具1102可以通过用已知的传输地址或掩码收听通过车辆的数据总线发送的消息来确认违规者1170阻止车辆固定命令。因此,传统的ECU不具有阻止来自其他ECU的命令的功能。因此,保护工具1170可以检测来自违规者1170的命令,从而阻塞来自保护工具1102的车辆固定命令。
例如,如果违规者1170阻止了意图关闭车辆发动机的第一命令,则可以发送用于锁定车辆车轮的第二命令。在这种情况下,违规者1170没有阻止第二命令。但是如果违规者也阻止了第二命令,则会发送下一个命令-例如,关闭转向等。
在另一个实施例中,制造受信ECU 1103的列表,使得至少两个ECU连接到不同的车辆总线(例如,连接到CAN-C 1153总线和CAN-B 1152总线)。在另一示例中,至少一个保护工具1102另外拦截通过车辆总线发送的违规者1170的命令,具有上述保护工具的ECU连接到的该车辆总线。例如,所拦截的违规者1170的命令可用于阻止车辆固定命令。随后,安装在另一ECU(其连接到车辆的另一数据总线)上的另一保护工具通过车辆的另一数据总线发送固定命令(例如,将发送第二命令以禁用转向)。
在一个实施例中,至少一个保护工具1102拦截通过车辆数据总线发送的违规者1170的命令,具有保护工具1102的ECU安装在该数据总线上。例如,违规者的拦截命令用于阻止车辆固定命令。随后,使用保护工具1102修改车辆固定命令,并再次发送经修改的车辆固定命令。在这种情况下,命令的接收者(例如,发动机ECU)能够接收上述两个车辆固定命令。
在一个实施例中,通过编码的通信信道发送命令。例如,通过编码信道发送在ECU完整性检查期间发送的保护工具1102之间的消息和改变CPS功能模块的状态的命令。例如,可以通过网络230在数据传输协议上在保护工具1102之间提供编码,特别是通过车辆示例中的数据总线提供编码。
应该注意的是,即使点火关闭,也会从车辆的电池向车辆的数据总线和ECU供应微小的电力。例如,这对于诸如无线电、车窗电动机、前灯等车辆***的操作是必要的。保护工具1102a-1102c和固定工具1104也可以利用该动力操作。这也适用于其他CPS。
因此,根据图2-3和图6,用于监控对CPS的访问的***和方法解决了上述技术问题,例如CPS访问监控***中的缺陷,使违规者能够绕过这种***,并获得对CPS的未授权访问,包括在示例车辆中,其中防盗***具有缺陷,使得违规者能够绕过这种防盗***并偷车。本文描述的***和方法还允许改进信息-物理***访问监控工具的特性,例如锁定程度、可靠性和故障安全性。在实施例中,使用保护工具1102a-1102c进行完整性检查,并且即使当安装有保护工具1102a-1102c的所有ECU除了一个之外其他均被违规者1170发现并损害(或禁用),则剩余的一个ECU上的保护工具1102可以发送命令至监控工具1104以改变至少一个CPS功能模块的状态。监控工具1104又将使用监控规则改变CPS功能模块的状态,并且不允许对CPS的未授权访问,从而改进现有的信息-物理***访问监控工具。另外,使用车辆示例,由于保护工具1102可以是安装在车辆的标准ECU上的应用程序,因此禁用一些ECU对于驾驶车辆可能是至关重要的,因此,违规者1170将不能够禁用或损害这样的ECU。结果,安装在这种ECU上的保护工具1102a-1102c将在试图未经授权的启动车辆发动机的情况下使车辆固定不动。这也改善了现有的车辆防盗器。
参考图7,描绘了根据实施例的车辆中的另一CPS访问监控***的框图。该***包括至少一个安全工具1105,配置用于分析在授权CPS用户期间通过网络430发送的消息,在该示例中,网络430包括安全工具1105所连接的车辆数据总线1151-1157。在一个实施例中,安全工具1105仅分析发送到某些ECU的消息,对于这些ECU,消息参与车辆用户的授权也是预期的。
在另一个实施例中,通过输入密码来授权对CPS的访问,该密码是按下标准CPS按钮的用户预设(顺序)组合。在这种情况下,当按下每个按钮时,通过网络430向消息的ECU接收者发送消息,因此,授权数据包括在上述密码中。在车辆示例中,用户可以使用车辆的多媒体***1162输入密码,因此,当输入密码时,通过CAN-B 1152总线发送意图给参与车辆用户授权的ECU(例如,ECU2-2 1122)的消息。在另一实施例中,通过经由无线通信信道发送授权数据,使用预先与安全工具1105之一连接的发送器/应答器来进行对用户1180的访问的授权。在另一实施例中,使用具有安装的应用程序(其中用户被授权,例如通过在应用程序中输入密码或使用生物识别授权)的移动用户设备进行授权,该应用程序通过无线通信信道(诸如蓝牙)发送授权数据预先与安全工具1105之一连接。在这些示例中,无线通***接收的授权数据然后通过车辆数据总线发送到上述消息所预期的ECU。
安全工具1105还被配置用于创建虚构消息,该虚构消息也将被发送到被分析的消息被发送到的ECU(例如,ECU 1122)。虚构消息可以包括例如相同ECU 1122可以接收并且可以用作用户密码字符的随机命令。然后,安全工具1105通过网络230以随机顺序和随机延迟发送所创建的虚构消息(在所讨论的示例中,这是CAN-B 1152数据总线)。在这种情况下,如果由安全工具1105分析的消息的序列包括正确的授权数据(即,用户1180输入了正确的密码),则用户1180对CPS的访问被认为是被授权的。在这种情况下,安全工具1105向至少一个访问监控工具1106发送成功的CPS访问授权命令。然而,如果被分析的消息不包括正确的授权数据,则安全工具1105认为对CPS的访问是未被授权的。当访问监控工具1106检测到与未授权访问CPS相关的至少一个CPS功能模块的状态的变化时(在车辆示例中,这可以是车辆发动机的启动),访问监控工具1106使用监控规则改变至少一个CPS功能模块的状态(在车辆示例中,如果未授权访问车辆,则访问监控工具1106使车辆固定)。在成功授权用户1180的情况下,访问监控工具1106不阻止CPS的操作,因为访问监控工具1106已经从安全工具1105接收到成功授权的命令。
在一个实施例中,CPS尤其是以下之一:车辆、自动过程控制***(APCS)、物联网或工业物联网,而功能模块由用于监控对CPS的访问的至少一个CPS ECU表示。在另一个实施例中,车辆的功能模块是包括以下之一的ECU:发动机、车轮或转向器。在这样的实施例中,功能模块的状态的改变包括以下中的至少一个:车辆发动机的启动或车辆的固定,而监控规则包括以下中的至少一个:如果检测到发动机启动,则固定车辆。
当发动机启动时,例如,通过打开点火设备,在接收到命令后启动发动机的发动机ECU通过车辆数据总线发送消息。因此,访问监控工具1106可以检测发动机启动,例如,已经通过车辆数据总线接收到这样的消息。
在一个实施例中,安全工具1105被提供为ECU中的至少一个上的应用程序(即,微程序)或者提供为连接到网络230的单独ECU。在一个实施例中,访问监控工具1106被提供为ECU中的至少一个上的应用程序(即,微程序)。对于车辆,访问监控工具1106设置在发动机ECU、自动变速器ECU、转向ECU、停车***ECU之一上。因此,固定命令是访问监控工具1106应用程序的命令。
在另一个实施例中,固定工具1106是标准ECU之一。对于车辆,ECU可包括发动机ECU、自动变速器ECU、转向ECU或停车***ECU。因此,固定命令是上述ECU的标准命令。
另外,在一个实施例中,CPS用户可以使用CPS制造商的特殊服务或在CPS的经销商处来激活访问监控***,以防止授权数据拦截。在这种情况下,通过CPS制造商的云服务进行远程激活以及通过物理访问CPS和ECU进行激活都是可能的。具有针对授权数据拦截进行保护的CPS访问监控***的激活包括安装安全工具1105和对CPS的访问监控工具1106(或者如果它们预先安装在CPS中则启动这些工具),用户创建CPS访问授权数据(例如,用户密码),以及将授权数据以经处理的形式(例如,以加密形式或以散列函数的形式)发送到安全工具1105。
在一个实施例中,在安全工具1105对消息进行分析时,车辆数据总线被锁定一段时间,在此期间,正在分析的消息的校验和被发送,因此被分析的消息的校验和将不会通过车辆数据总线发送。在随后的虚构消息传输过程中,车辆的数据总线也被锁定。在此示例中,CAN-B 1152总线或CAN-C 1153总线也被锁定(无论哪个都用于发送要被分析的消息)。
在另一个实施例中,在通过车辆数据总线传送消息期间,分析消息的地址。根据分析,如果消息的地址表明该消息是针对某些ECU的,则在发送消息的校验和时,车辆的数据总线被锁定,这样消息校验和就会失真并且消息不会被接收设备处理。在又一个实施例中,在虚构消息的传送期间,还在这种消息的校验和字段中设置了不正确的值,使得不可能通过校验和损坏的性质将设备生成的虚构消息与车辆数据总线上的其他失真消息区分开。例如,如果将两种类型的消息的校验和字段设置为等于0的值(如应用于CAN总线),则可以实现这一点。
应该注意的是,即使点火设备关闭,也会从车辆电池向车辆的数据总线(并且在一般情况下,向用于CPS的网络430)和ECU提供微小的电力。例如,这对于诸如无线电、车窗电动机、前灯等的这种车辆***的操作是必要的。安全工具1105和访问监控工具1106也可以利用该电力操作。
例如,在图4-5和图7中描述的***和方法以及它们各自的实施例可以用于确保对如图2-3和图6作为各自实施例的***和方法中用户固定的用户授权数据拦截的额外保护。
作为在图4-5和图7中描述的要求保护的***和方法的操作的示例,与传统***相比,现在讨论了违规者1170获得车辆授权数据的可能情况。例如,为了获得车辆授权数据,违规者1170可以提前获得对车辆的数据总线(通过其发送用户授权消息,例如通过CAN-B1152总线)的访问。安全专家Charlie Miller和Chris Valasek发表了许多关于车辆安全的文章。研究人员描述了一种方法,通过影响对ECU的网络攻击,包括通过控制器局域网(CAN)总线传输数据包,使用笔记本电脑和Nintendo游戏手柄获得对2010Toyota Prius和2010Ford Escape的控制权。Miller和Valasek还通过使用Wi-Fi从而利用车载多媒体***中的漏洞进入车辆网络来破解2014Jeep Cherokee。另一个入口点是Spirit单元操作员的通信端口中的漏洞。为了获得对车辆电子***的控制,研究人员通过实施特殊程序代码修改CAN总线控制器的固件,对CAN总线进行了网络攻击。作为网络攻击的结果,研究人员能够远程控制方向盘、制动***和车辆的其他电子***。
车辆的用户(所有者)1180通过在多媒体***1162中输入预设密码来进行车辆的授权。输入的字符然后由ECU 1122处理。当输入每个密码字符时,ECU 1122通过CAN-B 1152总线发送消息。在成功授权的情况下,传统***随后将允许车辆在不固定它的情况下启动。然而,获得对CAN-B1152总线的访问的违规者1170可以拦截由车辆用户1180输入的密码。并且,在所有者1180离开车辆无人看管之后,然后违规者1170能够通过输入所拦截的密码并绕过车辆固定***来窃取车辆。
相反,例如在图4-5和图7中描述的***和方法,即使违规者1170获得对车辆数据总线的访问权,也不允许违规者拦截包括授权数据的消息。这是因为在传输包括授权数据的消息期间,123安全工具1105创建虚构消息并以随机顺序和随机延迟发送它们。因此,违规者1170无法确定车主的密码,因为违规者截获的消息还将包括虚构消息以及密码。此外,违规者1170无法确定车辆用户的密码,即使他/她拦截车辆用户的两个或更多成功授权也无法确定,因为在每个后续车辆用户授权时,新的随机虚构消息被创建并以与车辆用户先前授权相关的新的随机顺序以及新的随机延迟发送。
另外,为了额外的保护,安全工具1105可以在传输包括密码字符的消息期间锁定车辆数据总线,使得被分析的消息的校验和不通过车辆的数据总线发送。因此,消息的校验和将被破坏,并且将与消息内容的校验和不匹配,消息的内容将由接收消息的ECU计算。因此,违规者获得对其的访问权的ECU也可以忽略该消息。这将确保防止拦截用户密码的额外保护。
因此,本文描述的***和方法,例如图4-5和图7中所示,解决了CPS访问监控***中的缺陷的上述技术问题,该缺陷允许违规者绕过这样的***并获得对CPS的未授权访问。具有传统防盗***的车辆的被进一步解决的技术问题是使得违规者能够绕过防盗***来窃取车辆的缺陷。此外,***和方法改进了信息-物理***访问监控工具,例如锁定程度、可靠性和故障安全性,并防止违规者获得授权访问CPS所需的数据。
参考图9,附图更详细地示出了计算机***1300,在其上可以实现根据所描述的各种实施例的如本文所述的本发明的各方面。
计算机***1300可以包括计算设备,例如个人计算机1320(其包括一个或更多个处理单元1321、***存储器1322和***总线1323),其包括各种***组件,包括与一个或更多个处理单元1321连接的存储器。在各种实施例中,处理单元1321可包括多个逻辑核,其能够处理存储在计算机可读介质上的信息。***总线1323被实现为在相关技术级别已知的任何总线结构,该总线结构又包括总线存储器或总线存储器控制器、***总线和本地总线,能够与任何其他总线架构交互。***存储器可以包括非易失性存储器(诸如只读存储器(ROM)1324)或易失性存储器(诸如随机存取存储器(RAM)1325)。基本输入/输出***(BIOS)1326包括确保在个人计算机1320的元件之间传输信息的基本过程,例如,在使用ROM 1324的操作***引导期间。
个人计算机1320又具有用于数据读取和写入的硬盘驱动器1327,用于在可移除磁盘1329上读取和写入的磁盘驱动器1328,以及用于在可移除光盘1331上读取和写入的光盘驱动器1330,例如CD-ROM、DVD-ROM和其他光学媒体。硬盘驱动器1327、磁盘驱动器1328和光盘驱动器1330分别通过硬盘驱动器接口1332、磁盘驱动器接口1333和光盘驱动器接口1334与***总线1323连接。驱动器和相应的计算机信息介质表示用于在个人计算机1320上存储计算机指令、数据结构、程序模块和其他数据的能量独立的手段。
所描述的***包括硬盘驱动器1327、可移除磁盘驱动器1329和可移除光盘驱动器1330,但是应该理解,可以使用能够以计算机可读形式存储数据的其他类型的计算机介质(固态驱动器、闪存卡、数字盘、随机存取存储器(RAM)等),其通过控制器1355连接到***总线1323。
计算机1320包括文件***1336,其中存储记录的操作***1335,以及附加程序应用程序1337,其他程序引擎1338和程序数据1339。用户可以使用输入设备(键盘1340、鼠标1342)将命令和信息输入到个人计算机1320中。也可以使用其他输入设备(未示出),例如:麦克风、操纵杆、游戏机、扫描仪等。这种输入设备通常通过串行端口1346连接到计算机***1320,串行端口1346又连接到***总线,但它们也可以以不同的方式连接-例如,使用并行端口、游戏端口或通用串行总线(USB)。监控器1347或其他类型的显示设备也通过接口(诸如视频适配器1348)连接到***总线1323。除了监控器1347之外,个人计算机1320还可以配备有其他***输出设备(未示出),例如扬声器、打印机等。
个人计算机1320能够在网络环境中工作;在这种情况下,它使用与一个或更多个其他远程计算机1349的网络连接。一个或更多个远程计算机1349是类似的个人计算机或服务器,其具有上述元件中的大部分或全部,在描述图9所示的个人计算机1320的内容时已在前面提到过。计算网络还可以具有其他设备,例如路由器、网站、对等设备或其他网络节点。
网络连接可以构成局域网(LAN)1350和广域网(WAN)。这种网络用于公司计算机网络或公司内部网,并且通常可以访问因特网。在LAN或WAN网络中,个人计算机1320通过网络适配器或网络接口1351连接到局域网1350。当使用网络时,个人计算机1320可以使用调制解调器1354或其他设备连接到广域网,如互联网。调制解调器1354(其是内部或外部设备)通过串行端口1346连接到***总线1323。应该澄清的是,这些网络连接仅是示例,并不一定反映精确的网络配置,即,实际上还有其他使用计算机之间的通信技术手段建立连接的手段。
本文已经描述了***、设备和方法的各种实施例。这些实施例仅作为示例给出,并不旨在限制要求保护的发明的范围。此外,应当理解,已经描述的实施例的各种特征可以以各种方式组合以产生许多另外的实施例。此外,虽然已经描述了各种材料、尺寸、形状、配置和位置等以用于所公开的实施例,但是可以使用除了所公开的那些之外的其他,而不超出所要求保护的发明的范围。
相关领域的普通技术人员将认识到,本文的主题可包括比上述任何单独实施例中所示的更少的特征。本文描述的实施例并不意味着可以组合本主题的各种特征的方式的详尽表示。因此,实施例不是相互排斥的特征组合;相反,如本领域普通技术人员所理解的,各种实施例可包括选自不同单独实施例的不同单独特征的组合。此外,除非另有说明,否则即使在这些实施例中没有描述,也可以在其他实施例中实现关于一个实施例描述的元件。
虽然从属权利要求在权利要求书中可以指代与一个或更多个其他权利要求的特定组合,但是其他实施例还可以包括从属权利要求与每个其他从属权利要求的主题的组合或者与其他从属或独立权利要求的一个或更多个特征的组合。除非声明不意图特定组合,否则本文提出了这样的组合。
引用上述文献的任何并入是受限的,使得不包含与本文的明确公开相反的主题。通过引用上述文献的任何并入进一步受制,使得文献中包括的任何权利要求均不通过引用并入本文。通过参考上述文献的任何并入进一步受制,使得除非明确包括在本文中,否则文献中提供的任何定义不通过引用并入本文。
出于解释权利要求的目的明确意图,除非在权利要求中记载具体术语“用于......的手段”或“用于……的步骤”,否则不应援引第35U.S.C.§112(f)条的规定。
Claims (20)
1.一种用于控制对信息-物理***(CPS)的访问的***,所述***包括:
至少一个电子控制单元(ECU),其包括至少一个处理器和可操作地耦合到所述至少一个处理器的存储器;
指令,当在所述至少一个ECU上执行时,使所述至少一个ECU实现:
安全工具,配置为:
通过以下步骤执行访问授权:
分析通过所述CPS发送的多个消息,
创建多个虚构消息,所述多个虚构消息寻址到所述多个消息被寻址到的所述ECU中的至少一个,
通过所述CPS以随机顺序和随机延迟发送所述多个虚构消息,以及
检查所述分析的消息中是否包括正确的授权数据,以确定对所述CPS的授权访问或未授权访问;
访问监控工具,配置为:
检测与对所述CPS的未授权访问相关的至少一个功能CPS模块的变化,以及
响应于检测到与对所述CPS的未授权访问相关的至少一个功能CPS模块的变化,使用至少一个监控规则改变至少一个功能
CPS模块的状态。
2.如权利要求1所述的***,还包括受信ECU的数据库,其包括受信ECU列表,其中所述安全工具安装在第一ECU上,并且所述访问监控工具安装在第二ECU上,并且其中所述第一ECU和所述第二ECU包括在所述受信ECU列表中。
3.如权利要求1所述的***,其中,所述访问监控工具还被配置为向所述安全工具发送第一完整性校验消息,
其中,所述安全工具还被配置为:向所述访问监控工具发送第二完整性校验消息,并且当所述访问监控工具未能发送所述第一完整性消息时,确定对所述CPS的未授权访问,以及
其中,所述访问监控工具还被配置为:当所述安全工具未能发送所述第二完整性消息时,确定对所述CPS的未授权访问。
4.如权利要求3所述的***,其中,通过经编码的通信信道发送所述第一完整性校验消息和所述第二完整性校验消息。
5.如权利要求1所述的***,其中,当所述安全工具确定授权访问时,所述安全工具还被配置为向所述访问监控工具发送成功的CPS授权消息。
6.如权利要求1所述的***,其中,所述CPS是包括多个数据总线的车辆,所述数据总线连接动力传动子***、多媒体子***、传输子***和远程信息处理子***。
7.如权利要求6所述的***,其中,所述至少一个功能CPS模块是包括在所述动力传动子***中的车辆发动机ECU,包括在所述传输子***中的车轮ECU,或者包括在所述传输子***中的车辆转向ECU中的至少一个,并且其中所述至少一个监控规则包括通过所述车辆发动机ECU、所述车轮ECU或所述车辆转向ECU中的至少一个来禁用所述车辆。
8.如权利要求6所述的***,其中,检测至少一个功能CPS模块的所述变化包括启动所述车辆的发动机或固定所述车辆。
9.如权利要求6所述的***,其中,所述安全工具安装在耦合所述动力传动子***、所述多媒体子***、所述传输子***和所述远程信息处理子***的中央网关上。
10.如权利要求6所述的***,其中,所述安全工具被配置为通过忽略与所述车辆的用户的授权无关的消息来选择性地分析所述多个消息。
11.如权利要求1所述的***,其中,所述安全工具由制造商预安装在所述ECU上,并且其中所述安全工具还被配置为从用户接收访问授权数据,所述访问授权数据确定对所述CPS的访问。
12.一种用于控制对信息-物理***(CPS)的访问的方法,所述***包括至少一个电子控制单元(ECU),其包括至少一个处理器和可操作地耦合到所述至少一个处理器的存储器,所述方法包括:
通过以下步骤执行访问授权:
分析通过所述CPS发送的多个消息,
创建多个虚构消息,所述多个虚构消息寻址到所述多个消息被寻址到的所述ECU中的至少一个,
通过所述CPS以随机顺序和随机延迟发送所述多个虚构消息,以及
检查所述分析的消息中是否包括正确的授权数据,以确定对所述CPS的授权访问或未授权访问;
检测与对所述CPS的未授权访问相关的至少一个功能CPS模块的变化;以及
响应于检测到与对所述CPS的未授权访问相关的至少一个功能CPS模块的变化,使用至少一个监控规则改变至少一个功能CPS模块的状态。
13.如权利要求12所述的方法,其中,所述执行访问授权由安全工具实现,检测所述至少一个功能CPS模块的变化以及改变所述至少一个功能CPS模块的所述状态是通过访问监控工具来实现的,所述方法还包括:
从所述访问监控工具向所述安全工具发送第一完整性校验消息;
从所述安全工具向所述访问监控工具发送第二完整性校验消息;
当所述访问监控工具未能发送所述第一完整性消息时,确定对所述CPS的未授权访问;以及
当所述安全工具未能发送所述第二完整性消息时,确定对所述CPS的未授权访问。
14.如权利要求13所述的方法,其中,通过经编码的通信信道发送所述第一完整性校验消息和所述第二完整性校验消息。
15.如权利要求12所述的方法,还包括:当确定授权访问时,生成成功的CPS授权消息。
16.如权利要求13所述的方法,还包括:
在所述ECU上预安装所述安全工具;以及
接收来自用户的访问授权数据,所述访问授权数据确定对所述CPS的访问。
17.一种车辆,包括:
动力传动网关,配置为向车轮输送动力;
多媒体网关,配置为控制所述车辆的多媒体;
传输网关,被配置为通过所述动力传动网关控制所述车轮,其中所述动力传动网关、所述多媒体网关和所述传输网关中的每一个包括至少一个电子控制单元(ECU);
至少一个安全工具,配置为通过以下步骤执行访问授权:
分析通过所述车辆发送的多个消息,
创建多个虚构消息,
通过所述车辆发送所述多个虚构消息,以及
检查所述分析的消息中是否包括正确的授权数据,以确定对所述车辆的授权访问或未授权访问;以及
至少一个访问监控工具,配置为:
检测与对所述车辆的未授权访问相关的至少一个功能CPS模块的变化,以及
响应于检测到与对所述车辆的未授权访问相关的至少一个功能
CPS模块的变化,使用至少一个监控规则改变至少一个功能CPS模块的状态。
18.如权利要求17所述的车辆,其中,所述至少一个功能CPS模块是包括在所述动力传动子***中的车辆发动机ECU,包括在所述传输子***中的车轮ECU,或者包括在所述传输子***中的车辆转向ECU中的至少一个,并且其中所述至少一个监控规则包括通过所述车辆发动机ECU、所述车轮ECU或所述车辆转向ECU中的至少一个来禁用所述车辆。
19.如权利要求17所述的车辆,其中,检测至少一个功能CPS模块的所述变化包括启动所述车辆发动机或固定所述车辆。
20.如权利要求17所述的车辆,其中,所述安全工具被配置为通过忽略与所述车辆的用户的授权无关的消息来选择性地分析所述多个消息。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2019103370 | 2019-02-07 | ||
RU2019103370A RU2726884C1 (ru) | 2019-02-07 | 2019-02-07 | Система и способ контроля доступа к кибер-физической системе |
US16/441,893 US10870412B2 (en) | 2019-02-07 | 2019-06-14 | System and method for controlling access to a cyber-physical system |
US16/441,893 | 2019-06-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111077873A CN111077873A (zh) | 2020-04-28 |
CN111077873B true CN111077873B (zh) | 2023-09-22 |
Family
ID=67438466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911049833.6A Active CN111077873B (zh) | 2019-02-07 | 2019-10-31 | 用于控制对信息-物理***的访问的***和方法 |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP3694172B1 (zh) |
CN (1) | CN111077873B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113335226A (zh) * | 2021-04-27 | 2021-09-03 | 江铃汽车股份有限公司 | 一种混合动力汽车防盗匹配方法及*** |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101051399A (zh) * | 2006-04-05 | 2007-10-10 | 株式会社电装 | 车辆安全设备与*** |
CN102594807A (zh) * | 2012-02-02 | 2012-07-18 | 江苏南亿迪纳数字科技发展有限公司 | 信息空间中基于实体自身特征的网络基因识别方法 |
CN105818783A (zh) * | 2015-01-28 | 2016-08-03 | 通用汽车环球科技运作有限责任公司 | 对电子车载入侵做出响应 |
CN106127015A (zh) * | 2015-05-07 | 2016-11-16 | 罗伯特·博世有限公司 | 在信息物理***中实施计算单元的安全关键函数的方法 |
CN106249641A (zh) * | 2016-07-25 | 2016-12-21 | 江苏奇安易联智能科技有限公司 | 基于物联网和云计算的新能源汽车行车电脑及应用*** |
WO2017024078A1 (en) * | 2015-08-03 | 2017-02-09 | Icon Labs | A method for detecting, blocking and reporting cyber-attacks against automotive electronic control units |
CN106533655A (zh) * | 2016-10-27 | 2017-03-22 | 江苏大学 | 一种车内网ecu安全通信的方法 |
CN107422717A (zh) * | 2016-04-26 | 2017-12-01 | 霍尼韦尔国际公司 | 运载工具安全模块*** |
CN206865493U (zh) * | 2016-12-15 | 2018-01-09 | 北京梆梆安全科技有限公司 | 车辆信息安全报警设备 |
CN108632801A (zh) * | 2018-05-11 | 2018-10-09 | 铠龙东方汽车有限公司 | 一种共享电动汽车的网络*** |
CN109196840A (zh) * | 2016-06-12 | 2019-01-11 | 苹果公司 | 通过安全范围检测修改安全状态 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6166653A (en) * | 1998-08-13 | 2000-12-26 | Motorola Inc | System for address initialization of generic nodes in a distributed command and control system and method therefor |
RU2440902C2 (ru) | 2010-10-11 | 2012-01-27 | Виктор Анатольевич Кузнецов | Устройство для блокировки функциональных органов автомобиля |
US9088514B2 (en) * | 2012-07-23 | 2015-07-21 | Broadcom Corporation | Flexray communications using ethernet |
US9367683B2 (en) * | 2013-03-15 | 2016-06-14 | Cyberricade, Inc. | Cyber security |
EP3852313B1 (en) * | 2014-04-03 | 2022-06-08 | Panasonic Intellectual Property Corporation of America | Network communication system, fraud detection electronic control unit and anti-fraud handling method |
RU2613927C2 (ru) | 2014-04-17 | 2017-03-22 | Максим Викторович Чекуров | Способ защиты транспортного средства от угона и устройство для его применения |
US10417425B2 (en) * | 2016-06-13 | 2019-09-17 | The Trustees Of Columbia University In The City Of New York | Secured cyber-physical systems |
US10516683B2 (en) * | 2017-02-15 | 2019-12-24 | Ford Global Technologies, Llc | Systems and methods for security breach detection in vehicle communication systems |
-
2019
- 2019-07-23 EP EP19187685.3A patent/EP3694172B1/en active Active
- 2019-10-31 CN CN201911049833.6A patent/CN111077873B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101051399A (zh) * | 2006-04-05 | 2007-10-10 | 株式会社电装 | 车辆安全设备与*** |
CN102594807A (zh) * | 2012-02-02 | 2012-07-18 | 江苏南亿迪纳数字科技发展有限公司 | 信息空间中基于实体自身特征的网络基因识别方法 |
CN105818783A (zh) * | 2015-01-28 | 2016-08-03 | 通用汽车环球科技运作有限责任公司 | 对电子车载入侵做出响应 |
CN106127015A (zh) * | 2015-05-07 | 2016-11-16 | 罗伯特·博世有限公司 | 在信息物理***中实施计算单元的安全关键函数的方法 |
WO2017024078A1 (en) * | 2015-08-03 | 2017-02-09 | Icon Labs | A method for detecting, blocking and reporting cyber-attacks against automotive electronic control units |
CN107422717A (zh) * | 2016-04-26 | 2017-12-01 | 霍尼韦尔国际公司 | 运载工具安全模块*** |
CN109196840A (zh) * | 2016-06-12 | 2019-01-11 | 苹果公司 | 通过安全范围检测修改安全状态 |
CN106249641A (zh) * | 2016-07-25 | 2016-12-21 | 江苏奇安易联智能科技有限公司 | 基于物联网和云计算的新能源汽车行车电脑及应用*** |
CN106533655A (zh) * | 2016-10-27 | 2017-03-22 | 江苏大学 | 一种车内网ecu安全通信的方法 |
CN206865493U (zh) * | 2016-12-15 | 2018-01-09 | 北京梆梆安全科技有限公司 | 车辆信息安全报警设备 |
CN108632801A (zh) * | 2018-05-11 | 2018-10-09 | 铠龙东方汽车有限公司 | 一种共享电动汽车的网络*** |
Non-Patent Citations (2)
Title |
---|
信息物理融合***;刘祥志;刘晓建;王知学;成巍;李建新;;山东科学(03);全文 * |
汽车防盗报警***的发展;危风江等;《实用汽车技术》;20091015(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
EP3694172B1 (en) | 2021-10-27 |
CN111077873A (zh) | 2020-04-28 |
EP3694172A1 (en) | 2020-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11755713B2 (en) | System and method for controlling access to an in-vehicle communication network | |
US11618394B2 (en) | Vehicle secure messages based on a vehicle private key | |
US20220070159A1 (en) | Secure vehicle control unit update | |
JP6807906B2 (ja) | 車両へのコンピュータ攻撃を阻止するためのルールを生成するシステムおよび方法 | |
Jafarnejad et al. | A car hacking experiment: When connectivity meets vulnerability | |
EP2786543B1 (en) | Secure message filtering to vehicle electronic control units with secure provisioning of message filtering rules | |
US10101738B2 (en) | Secure control of automotive systems using mobile devices | |
US11938897B2 (en) | On-vehicle device, management method, and management program | |
JP6782444B2 (ja) | 監視装置、監視方法およびコンピュータプログラム | |
CN111077883A (zh) | 一种基于can总线的车载网络安全防护方法及装置 | |
Hartzell et al. | Security analysis of an automobile controller area network bus | |
CN111077873B (zh) | 用于控制对信息-物理***的访问的***和方法 | |
US10870412B2 (en) | System and method for controlling access to a cyber-physical system | |
Sharma et al. | Review of the security of backward-compatible automotive inter-ECU communication | |
US11259179B2 (en) | Systems and methods for enabling transmission of data and commands between a mobile device and a vehicle | |
CN111464969B (zh) | 车载联网电子***的控制方法 | |
TWI699987B (zh) | 車載聯網電子系統的控制方法 | |
Bertschy | Vehicle computer and network security: Vulnerabilities and recommendations | |
US20220126787A1 (en) | Autonomous vehicle security | |
Khan | Automotive Cyber Security Challenges | |
Chugg et al. | Impacts of Vehicle (In) Security |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |