JP6400255B2 - 侵入検知装置および侵入検知プログラム - Google Patents
侵入検知装置および侵入検知プログラム Download PDFInfo
- Publication number
- JP6400255B2 JP6400255B2 JP2018523229A JP2018523229A JP6400255B2 JP 6400255 B2 JP6400255 B2 JP 6400255B2 JP 2018523229 A JP2018523229 A JP 2018523229A JP 2018523229 A JP2018523229 A JP 2018523229A JP 6400255 B2 JP6400255 B2 JP 6400255B2
- Authority
- JP
- Japan
- Prior art keywords
- state
- state transition
- packet
- permission
- periodic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/06—Generation of reports
- H04L43/067—Generation of reports using time frame reporting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/18—Network architectures or network communication protocols for network security using different networks or channels, e.g. using out of band channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
- H04L63/101—Access control lists [ACL]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
産業制御システムは、一般的な情報システムと比較して、運用形態が固定的であり、送受信されるパケットが固定的である。そのため、産業制御システムにおいて、許可するパケットをあらかじめホワイトリストに定義する事が可能であると考えられており、サイバー攻撃対策としてホワイトリスト型侵入検知技術に対する期待が高まっている。
したがって、ホワイトリストの定義に関する技術が求められる。特に、産業制御システムにおいて、特徴的な周期パケットに対する検知を正確に行うための技術が求められる。
たとえば、プログラムをコントローラに書き込むための通信は、システムの保守時にのみ行われ、システムの稼働中は行われない、と考えられる。したがって、プログラム書き込みの通信が保守の状態では許可されて稼働中の状態では許可されないようにホワイトリストを切り替える事で、許可すべきパケットを細かく制御し、複雑な攻撃を検知できる可能性がある。
この技術を利用して、許可する周期パケットをシステムの運用状態によって変更することで、周期パケットの受信の開始および終了を判定する事が可能となる。
しかし、特許文献1に記載の技術では、パケットを継続的に受信している事は判定できるが、パケットの受信がいつ開始されていつ終了されるかといった詳細な判定はできない。また、パケットの受信の開始時または終了時の前後の時間帯において厳密な判定ができない。
しかし、非特許文献1に記載の技術では、状態遷移図で定められた任意の状態遷移が許されるため、複数回の状態遷移から成る状態遷移パターンがシステムの運用で起こるべき状態遷移パターンに合致しているかどうかは判定されない。
運用システムの状態を特定する状態特定部と、
特定された状態に基づいて前記運用システムの状態遷移の有無を判定する状態遷移判定部と、
前記運用システムの状態遷移が有った場合に、状態遷移の遷移パターンを示す状態遷移シナリオを用いて、前記運用システムの状態遷移が前記状態遷移シナリオに示される遷移パターンに合致するか判定する遷移パターン判定部とを備える。
不正な状態遷移を検出する形態について、図1から図8に基づいて説明する。
図1に基づいて、運用システム100の構成を説明する。
運用システム100は、侵入検知の対象となるシステムである。具体的には、運用システム100は、産業制御システムである。産業制御システムは、運用が固定的なシステムである。
運用システム100は、監視制御端末102と、複数のコントローラ(103A、103B)と、侵入検知装置200と、保守ネットワーク104とを備える。複数のコントローラを総称してコントローラ103という。
監視制御端末102、コントローラ103および侵入検知装置200は、保守ネットワーク104に接続されている。保守ネットワーク104は、監視制御端末102、コントローラ103および侵入検知装置200が接続するネットワークである。
監視制御端末102は、さらに、情報系ネットワーク101に接続されている。情報系ネットワーク101は、監視制御端末102およびサーバ等が接続するネットワークである。
コントローラ103は、機器を制御するコンピュータである。
侵入検知装置200は、運用システム100への不正なアクセスを検知するコンピュータである。侵入検知装置200は、保守ネットワーク104に後付けされる。
侵入検知装置200は、プロセッサ901とメモリ902と補助記憶装置903と通信装置904といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
メモリ902は揮発性の記憶装置である。メモリ902は、主記憶装置またはメインメモリとも呼ばれる。具体的には、メモリ902はRAM(Random Access Memory)である。
補助記憶装置903は不揮発性の記憶装置である。具体的には、補助記憶装置903は、ROM、HDDまたはフラッシュメモリである。ROMはRead Only Memoryの略称であり、HDDはHard Disk Driveの略称である。
プロセッサ901とメモリ902と補助記憶装置903とをまとめたハードウェアを「プロセッシングサーキットリ」という。
さらに、補助記憶装置903にはOS(Operating System)が記憶されている。OSの少なくとも一部は、メモリ902にロードされて、プロセッサ901によって実行される。
つまり、プロセッサ901は、OSを実行しながら、「部」の機能を実現するプログラムを実行する。
「部」の機能を実現するプログラムを実行して得られるデータは、メモリ902、補助記憶装置903、プロセッサ901内のレジスタまたはプロセッサ901内のキャッシュメモリといった記憶装置に記憶される。
通信装置904はデータを通信する通信部として機能する。通信装置904において、レシーバはデータを受信する受信部および後述するパケット検出部292として機能し、トランスミッタはデータを送信する送信部および後述するアラート出力部293として機能する。
「部」の機能を実現するプログラムは、磁気ディスク、光ディスクまたはフラッシュメモリ等の不揮発性の記憶媒体にコンピュータ読み取り可能に記憶することができる。不揮発性の記憶媒体は、一時的でない有形の媒体である。
「部」は「処理」または「工程」に読み替えてもよい。「部」の機能はファームウェアで実現してもよい。
状態管理部210は、状態特定部211と状態遷移判定部212と遷移パターン判定部213とを機能構成の要素として備える。これら要素の機能については後述する。
記憶部291は、運用状態データ310、状態遷移シナリオ320、状態遷移図330および複数のホワイトリスト340等を記憶する。
ホワイトリスト340は、以降に記載されるホワイトリスト1、ホワイトリスト2またはホワイトリスト3などの総称である。
具体的には、運用状態データ310は、状態番号と、順序番号と、パターン番号とを含む。
状態番号は、運用システム100の状態を識別する番号である。
順序番号は、運用システム100の状態遷移において運用システム100が状態番号で識別される状態になった順番である。
パターン番号は、運用システム100の状態遷移に合致する遷移パターンを識別する番号である。
行の番号はパターン番号であり、列の番号は順序番号である。
遷移パターン1は、状態1、状態2、状態1の順番で運用状態が遷移する遷移パターンである。
遷移パターン2は、状態1、状態3、状態1、状態2の順番で運用状態が遷移する遷移パターンである。
遷移パターン3は、状態1、状態2、状態3の順番で運用状態が遷移する遷移パターンである。
状態番号の初期値は1である。
順序番号の初期値は1である。
パターン番号の初期値は1、2および3である。
状態遷移図330は、予め決められた状態遷移を示すデータであり、且つ、運用状態とホワイトリスト340とが互いに対応付けられたデータである。
ホワイトリスト340は、運用システム100で通信されることが許可されるパケットを示すデータである。
運用システム100で通信されるパケットを通信パケットという。
運用システム100で通信されることが許可されるパケットを許可パケットという。
運用システム100で通信されることが許可されないパケットを不可パケットという。
状態遷移図330は、状態1から状態2または状態3への遷移と、状態2から状態1または状態3への遷移と、状態3から状態1への遷移とを示している。
状態遷移図330において、ホワイトリスト1が状態1に対応付けられ、ホワイトリスト2が状態2に対応付けられ、ホワイトリスト3が状態3に対応付けられている。
侵入検知装置200の動作は侵入検知方法に相当する。また、侵入検知方法の手順は侵入検知プログラムの手順に相当する。
ステップS101からステップS130までの処理は、侵入検知装置200の侵入検知機能が動作している間、繰り返し実行される。
ステップS101において、パケット検出部292は、通信パケットを検出する。
具体的には、パケット検出部292は、保守ネットワーク104に流れる通信パケットを受信する。
ステップS111において、状態特定部211は、運用システム100の状態を特定する。
具体的には、状態特定部211は、ステップS101で検出された通信パケットの内容を解析する。そして、状態特定部211は、解析結果に基づいて、運用システム100の状態を識別する状態番号を特定する。
ステップS112において、状態遷移判定部212は、ステップS111で特定された状態に基づいて、運用システム100の状態遷移の有無を判定する。
具体的には、状態遷移判定部212は、ステップS111で特定された状態番号を、運用状態データ310に示される状態番号と比較する。そして、状態番号が異なる場合に、状態遷移判定部212は、運用システム100の状態遷移が有ったと判定する。
運用システム100の状態遷移が無かった場合、処理はステップS130に進む。
ステップS113において、遷移パターン判定部213は、運用システム100の状態遷移が状態遷移シナリオ320に示される遷移パターンに合致するか判定する。
遷移パターン判定部213は、運用状態データ310に含まれるパターン番号毎に、以下の(1)から(4)を実行する。
(1)遷移パターン判定部213は、パターン番号で識別される遷移パターンを状態遷移シナリオ320から選択する。
(2)遷移パターン判定部213は、選択された遷移パターンから、運用状態データ310に示される順序番号に対応する状態番号を取得する。
(3)遷移パターン判定部213は、取得された状態番号を、運用状態データ310に示される状態番号と比較する。
(4)状態番号が一致しない場合、遷移パターン判定部213は、パターン番号を運用状態データ310から削除する。
運用状態データ310に少なくともいずれかのパターン番号が残った場合、遷移パターン判定部213は、運用システム100の状態遷移が状態遷移シナリオ320に示される遷移パターンに合致すると判定する。
運用システム100の状態遷移が正しい場合、処理はステップS120に進む。
運用システム100の状態遷移が正しくない場合、処理はステップS114に進む。
まず、最初の運用状態が状態1であるとする。状態遷移シナリオ320において、順序番号1の運用状態が状態1である遷移パターンは、遷移パターン1、遷移パターン2および遷移パターン3である。そのため、運用状態データ310にはパターン番号1、パターン番号2およびパターン番号3が登録される。
次に、運用状態が状態2に遷移したものとする。遷移パターン1〜3のうち、順序番号2の運用状態が状態2である遷移パターンは、遷移パターン1および遷移パターン3である。遷移パターン2は該当しない。そのため、運用状態データ310からパターン番号2が削除される。
このように、運用システム100の状態遷移に合致しない遷移パターンのパターン番号が運用状態データ310から削除され、運用システム100の状態遷移に合致する遷移パターンが絞り込まれる。
ある順序において、運用システム100の状態遷移に合致する遷移パターンが無くなった場合、運用システム100の状態遷移は不正である。
ステップS114はアラート出力処理である。
ステップS114において、アラート出力部293は、アラートを出力する。このアラートは、不正な状態遷移が発生したことを知らせるメッセージである。
具体的には、遷移パターン判定部213がアラートを含んだ通報パケットを生成し、アラート出力部293が通報パケットを監視制御端末102に送信する。
ステップS114の後、処理はステップS101に進む。
ステップS120において、ホワイトリスト管理部220は、侵入検知処理(S130)で使用するホワイトリスト340を、運用システム100の状態に対応するホワイトリスト340に切り替える。
具体的には、ホワイトリスト管理部220は、状態遷移図330を用いて、複数のホワイトリスト340から、運用システム100の状態に対応付けられたホワイトリスト340を選択する。選択されたホワイトリスト340は、以後の侵入検知処理(S130)で使用される。
図6の状態遷移図330において、運用システム100の状態が状態2である場合、選択されるホワイトリスト340はホワイトリスト2である。
ステップS130において、侵入検知部230は、ホワイトリスト型侵入検知を行う。
まず、侵入検知部230は、ステップS101で検出された通信パケットから送信元アドレスおよび宛先アドレスなどの情報を取得する。
次に、侵入検知部230は、取得された情報に基づいて、ステップS101で検出された通信パケットが、ホワイトリスト340に示される許可パケットであるか判定する。
通信パケットが許可パケットでない場合、侵入検知部230は、アラートを含んだ通報パケットを生成する。このアラートは、不可パケットが検出されたことを知らせるメッセージである。そして、アラート出力部293は、通報パケットを監視制御端末102に送信する。
不正な状態遷移を検出することが可能となる。
具体的には、産業制御システムのように固定的な運用形態をとる運用システム100において、運用システム100で許可される遷移パターンが登録された状態遷移シナリオ320を用いることにより、許可すべき通信パターンをより正確に判定できる効果が得られる。
一方、図5の状態遷移シナリオ320では、状態1と状態2とが交互に繰り返される状態遷移は、いずれの遷移パターンにも定義されていないため、不正な状態遷移である。
つまり、状態遷移シナリオ320を用いて不正な状態遷移を検知することにより、状態遷移図330を用いて検知することができない不正な状態遷移を検知することが可能となる。
図8に示すように、侵入検知装置200は、コントローラ103に内蔵されてもよい。
具体的には、状態特定部211は、運用システム100の状態を監視制御端末102に問い合わせてもよい。
具体的には、運用状態とホワイトリストとが互いに対応付けられたテーブル形式のデータが、状態遷移図330の代わりに用いられてもよい。
具体的には、アラートは、ディスプレイに表示されてもよいし、音声で出力されてもよい。
不正な周期通信を検知する形態について、主に実施の形態1と異なる点を、図9から図17に基づいて説明する。
運用システム100の構成は、実施の形態1と同じである。
侵入検知装置200は、状態管理部210とホワイトリスト管理部220と侵入検知部230と周期通信判定部240とを機能構成の要素として備える。
状態管理部210は、状態特定部211と状態遷移判定部212とを機能構成の要素として備える。
周期通信判定部240は、許否特定部241と検出間隔算出部242とアラート判定部243とを機能構成の要素として備える。
記憶部291は、運用状態データ310、状態遷移図330、複数のホワイトリスト340、周期通信データ350およびアラート条件テーブル360等を記憶する。
状態番号は、実施の形態1で説明した通りである。
遷移時刻は、運用システム100の状態が状態番号で識別される状態に遷移した時刻である。
ホワイトリスト1は、状態1に対応付けられたホワイトリスト340である。
ホワイトリスト1において、パケットAおよびパケットBは許可パケットであり、パケットCは不可パケットである。
ホワイトリスト2は、状態2に対応付けられたホワイトリスト340である。
ホワイトリスト2において、パケットBおよびパケットCは許可パケットであり、パケットAは不可パケットである。
つまり、運用システム100の状態が状態1から状態2に遷移した場合、許可パケットであったパケットAは不可パケットになり、不可パケットであったパケットCは許可パケットになる。
周期通信データ350は、周期パケットの通信状況を示す。
周期パケットは、定期的に通信される通信パケットである。周期パケットは通信周期毎に通信される。通信周期が1分である場合、周期パケットは1分毎に通信される。
具体的には、周期通信データ350は、周期パケットの種類毎に通信周期と前回時刻とを含む。前回時刻は、周期パケットが前回検出された時刻である。前回時刻の初期値は、未検出を示す値である。
アラート条件テーブル360は、アラート条件レコード(361A〜361G)を含んでいる。アラート条件レコード361Aからアラート条件レコード361Gを総称してアラート条件レコード361という。
アラート条件レコード361には、状態遷移前の許否と、状態遷移後の許否と、通信間隔と、アラートの要否とが互いに対応付けられる。
通信間隔の欄において、ハイフンは通信間隔の条件が無いことを意味する。
図15に基づいて、侵入検知方法を説明する。
ステップS201からステップS250までの処理は、侵入検知装置200の侵入検知機能が動作している間、繰り返し実行される。
運用システム100の状態遷移が有った場合、状態遷移判定部212は、運用状態データ310に含まれる状態番号を、ステップS211で特定された状態番号に更新する。さらに、状態遷移判定部212は、運用状態データ310に含まれる遷移時刻を更新する。具体的には、状態遷移判定部212は、現在時刻またはステップS201で通信パケットが検出された時刻に遷移時刻を更新する。その後、処理はステップS220に進む。
運用システム100の状態遷移が無かった場合、処理はステップS250に進む。
ステップS220の後、処理はステップS230に進む。
具体的には、周期パケットには、周期パケットであることを示す周期フラグが設定される。ステップS201で検出された通信パケットに周期フラグが設定されている場合、周期通信判定部240は、ステップS201で検出された通信パケットが周期パケットであると判定する。
ステップS201で検出された通信パケットが周期パケットである場合、処理はステップS240に進む。
ステップS201で検出された通信パケットが周期パケットでない場合、処理はステップS250に進む。
ステップS240において、周期通信判定部240は、周期通信判定処理を行う。
周期通信判定処理(S240)については後述する。
ステップS240の後、処理はステップS201に進む。
ステップS250の後、処理はステップS201に進む。
ステップS241−1およびステップS241−2は許否特定処理である。
ステップS241−1において、許否特定部241は、状態遷移前の状態に対応付けられたホワイトリスト340を用いて、状態遷移前の周期パケットの許否を特定する。
状態遷移前の状態とは、運用システム100の前回の状態である。
状態遷移前の状態に対応付けられたホワイトリスト340とは、ステップS220で切り替えられる前のホワイトリスト340である。このホワイトリスト340を状態遷移前のホワイトリスト340という。
状態遷移前の周期パケットの許否とは、状態遷移前のホワイトリスト340を用いて特定される周期パケットの許否である。
まず、許否特定部241は、ステップS201で検出された周期パケットから送信元アドレスおよび宛先アドレスなどの情報を取得する。
そして、許否特定部241は、取得された情報に基づいて、ステップS201で検出された周期パケットが、ホワイトリスト340に示される許可パケットであるか判定する。
図13において、状態遷移前のホワイトリスト340がホワイトリスト1であり、検出された周期パケットがパケットCである場合、状態遷移前の周期パケットは、不可パケットである。
ステップS241−2において、許否特定部241は、状態遷移後の状態に対応付けられたホワイトリスト340を用いて、状態遷移後の周期パケットの許否を特定する。
状態遷移後の状態とは、運用システム100の現在の状態である。
状態遷移後の状態に対応付けられたホワイトリスト340とは、ステップS220で切り替えられた後のホワイトリスト340である。このホワイトリスト340を状態遷移後のホワイトリスト340という。
状態遷移後の周期パケットの許否とは、状態遷移後のホワイトリスト340を用いて特定される周期パケットの許否である。
周期パケットの許否を特定する方法は、ステップS241−1と同じである。
図13において、状態遷移後のホワイトリスト340がホワイトリスト2であり、検出された周期パケットがパケットCである場合、状態遷移後の周期パケットは、許可パケットである。
ステップS242は検出間隔算出処理である。
ステップS242において、検出間隔算出部242は、周期パケットが検出された検出間隔を算出する。
検出間隔は、今回検出された周期パケットと同じ種類の周期パケットが前回検出された時刻から、周期パケットが今回検出された時刻までの時間である。
但し、周期パケットが初めて検出された場合、検出間隔算出部242は、運用システム100の状態が周期パケットが検出されたときの状態になった時刻から経過した時間を、検出間隔として算出する。
まず、周期通信判定部240は、周期パケットから送信元アドレスおよび宛先アドレスなどの情報を取得し、取得された情報に基づいて周期パケットの種類を特定する。
次に、周期通信判定部240は、周期通信データ350から、特定された種類の前回時刻を取得する。
取得された前回時刻が未検出を示す値でない場合、周期通信判定部240は、取得された前回時刻から今回時刻までの時間を算出する。算出される時間が検出間隔である。具体的には、今回時刻は、現在時刻またはステップS201で周期パケットが検出された時刻である。
取得された前回時刻が未検出を示す値である場合、周期通信判定部240は、運用状態データ310から遷移時刻を取得し、取得された遷移時刻から今回時刻までの時間を算出する。算出される時間が検出間隔である。
ステップS243において、アラート判定部243は、アラート条件テーブル360と、状態遷移前の周期パケットの許否と、状態遷移後の周期パケットの許否と、周期パケットの検出間隔とに基づいて、アラートの要否を判定する。
まず、アラート判定部243は、ステップS241−1で特定された許否と、ステップS241−2で特定された許否と、ステップS242で算出された検出間隔とに対応するアラート条件レコード361をアラート条件テーブル360から選択する。
そして、アラート判定部243は、選択されたアラート条件レコード361に含まれるアラートの要否を参照する。
ステップS241−1で特定された許否が許可であり、ステップS241−2で特定された許否が不可であり、ステップS242で算出された検出間隔が通信周期以上である場合、図14のアラート条件テーブル360から、アラート条件レコード361Cまたはアラート条件レコード361Dが選択される。この場合、アラートが不要である。
検出間隔と比較される通信周期は、周期通信データ350に含まれる通信周期のうち、周期パケットの種類に対応する通信周期である。
ステップS241−1で特定された許否が不可であり、ステップS241−2で特定された許否が許可であり、ステップS242で算出された検出間隔が待機時間より長い場合、図14のアラート条件テーブル360から、アラート条件レコード361Fが選択される。この場合、アラートが必要である。
待機時間は、予め決められた時間である。待機時間は、通信周期より短い。
アラートが不要である場合、処理は終了する。
ステップS244において、アラート出力部293は、アラートを出力する。このアラートは、正しく周期通信が行われていないことを知らせるメッセージである。
具体的には、アラート判定部243がアラートを含んだ通報パケットを生成し、アラート出力部293が通報パケットを監視制御端末102に送信する。
ステップS244の後、処理は終了する。
第1種類の周期パケットをパケットA111といい、第2種類の周期パケットをパケットB112といい、第3種類の周期パケットをパケットC113という。周期パケットの通信周期は同じである。
パケットA111、パケットB112およびパケットC113の通信周期毎に区切られた通信期間を期間1、期間2、期間3および期間4という。
これに伴い、ホワイトリスト340は、図13のホワイトリスト1から図13のホワイトリスト2に切り替えられる。
その結果、期間1および期間2で許可されていたパケットA111は期間3以降で許可されなくなる。一方、期間1および期間2で許可されなかったパケットC113は期間3以降で許可される。
そのような場合について、図14のアラート条件テーブル360に予め定義される。
アラート条件レコード361Bに示すように、パケットA111が通信周期より短い通信間隔で検出された場合、アラートが出力される。つまり、パケットA111は許可されない。
アラート条件レコード361Cに示すように、パケットA111が通信周期通りに検出された場合、アラートは出力されない。つまり、パケットA111は許可される。
アラート条件レコード361Dに示すように、パケットA111が通信周期より長い通信間隔で検出された場合、アラートは出力されない。つまり、パケットA111は許可される。
図14のアラート条件テーブル360において、パケットC113に該当するレコードは、アラート条件レコード361Eおよびアラート条件レコード361Fである。
アラート条件レコード361Eに示すように、パケットC113が待機時間以内に検出された場合、アラートは出力されない。つまり、パケットC113Cの通信は正しく開始されている。
アラート条件レコード361Fに示すように、パケットC113が待機時間以内に検出されなかった場合、アラートが出力される。つまり、パケットC113の通信は正しく開始されていない。
不正な周期通信を検知することが可能となる。
具体的には、状態遷移の境界で通信が開始もしくは終了される周期パケットに関しては、通常よりも詳細な判定が行われる。そのため、産業制御システムのように固定的な運用形態をとる運用システム100において、許可すべき通信パターンをより正確に判定できる効果が得られる。
実施の形態2におけるアラート条件テーブル360は、図14のアラート条件テーブル360に限られるものではない。
状態遷移パケットが用いられる形態について、主に実施の形態1および実施の形態2と異なる点を、図18から図25に基づいて説明する。
図18に基づいて、運用システム100の構成を説明する。
運用システム100は、制御ネットワーク105を備える。
制御ネットワーク105は、運用システム100の制御に必要なリアルタイム性が保証された高速且つ高信頼なネットワークである。
監視制御端末102およびコントローラ103は、制御ネットワーク105にも接続される。
図19において、制御ネットワーク105は、制御通信帯域と通常通信帯域とを有する。
制御通信帯域は、制御パケット用の通信帯域である。制御パケットは、運用システム100を制御するために通信される通信パケットである。制御パケットには、周期パケットが含まれる。制御通信帯域では、リアルタイム性が保証されている。
通常通信帯域は、他のパケット用の通信帯域である。他のパケットは、制御パケット以外の通信パケットである。通常通信帯域では、TCP/IP等を用いた通常のデータ通信が行われる。TCPはTransmission Control Protocolの略称であり、IPはInternet Protocolの略称である。
制御通信時間は、周期パケット用の通信時間である。制御通信時間には、ジッタが少なくリアルタイム性が高い通信が行われる。
通常通信時間は、他のパケット用の通信時間である。通常通信時間には、TCP/IP等を用いた通常のデータ通信が行われる。
具体的には、制御ネットワーク105の通信周期が1ミリ秒である場合、制御通信時間は前半の0.5ミリ秒であり、通常通信時間は後半の0.5ミリ秒である。
状態遷移パケットは、運用システム100の状態が遷移するときに通信されるパケットである。
状態遷移パケットには、状態遷移後の運用システム100の状態を示す状態番号が含まれる。
図21において、状態遷移パケット114は、期間2の通常通信時間に通信されている。
状態管理部210は、状態特定部211と状態遷移判定部212とを機能構成の要素として備える。
記憶部291は、運用状態データ310、状態遷移図330、複数のホワイトリスト340、周期通信データ350およびアラート条件テーブル370等を記憶する。
アラート条件テーブル370は、アラート条件レコード(371A〜371E)を含んでいる。アラート条件レコード371Aからアラート条件レコード371Eを総称してアラート条件レコード371という。
アラート条件レコード371には、状態遷移前の許否と、状態遷移後の許否と、通信間隔と、アラートの要否とが互いに対応付けられる。
通信間隔の欄において、ハイフンは通信間隔の条件が無いことを意味する。
図25に基づいて、侵入検知方法を説明する。
ステップS301からステップS320までの処理は、侵入検知装置200の侵入検知機能が動作している間、繰り返し実行される。
ステップS302において、状態遷移判定部212は、ステップS301で検出された通信パケットが状態遷移パケットであるか判定する。
具体的には、状態遷移パケットには、状態遷移パケットであることを示す状態遷移フラグが設定される。ステップS301で検出された通信パケットに状態遷移フラグが設定されている場合、状態遷移判定部212は、ステップS301で検出された通信パケットが状態遷移パケットであると判定する。
ステップS301で検出された通信パケットが状態遷移パケットである場合、状態特定部211は、状態遷移後の運用システム100の状態を特定する。具体的には、状態特定部211は、状態遷移パケットから状態番号を取得する。取得される状態番号で識別される状態が状態遷移後の運用システム100の状態である。その後、処理はステップS310に進む。
ステップS301で検出された通信パケットが状態遷移パケットでない場合、処理はステップS330に進む。
ステップS320は、実施の形態2における図15のステップS240と同じである。
ステップS330は、実施の形態1における図7のステップS130と同じである。
周期パケットであるパケットA111、パケットB112およびパケットC113は、制御通信時間に通信される。
状態遷移パケット114は、期間2の通常通信時間に通信される。
状態遷移パケット114が期間2の通常通信時間に通信されることが保証されるため、期間2と期間3との境界で厳密に周期パケットの許否を変更することができる。
これに伴い、ホワイトリスト340は、図13のホワイトリスト1から図13のホワイトリスト2に切り替えられる。
その結果、期間1および期間2で許可されていたパケットA111は期間3以降で許可されなくなる。一方、期間1および期間2で許可されなかったパケットC113は期間3以降で許可される。
アラート条件レコード371Bに示すように、運用状態が状態2に遷移した後にパケットA111が検出された場合、アラートが出力される。つまり、パケットA111は許可されない。
アラート条件レコード371Cに示すように、パケットC113が待機時間以内に検出された場合、アラートは出力されない。つまり、パケットC113Cの通信は正しく開始されている。
アラート条件レコード371Dに示すように、パケットC113が待機時間以内に検出されなかった場合、アラートが出力される。つまり、パケットC113の通信は正しく開始されていない。
不正な周期通信を検知することが可能となる。
具体的には、高信頼のサイクリック通信を利用して状態遷移の合図となる状態遷移パケットが通信される。そのため、周期通信が開始もしくは終了する正確なタイミングで状態遷移を行うことが可能となる。そして、産業制御システムのように固定的な運用形態をとる運用システム100において、許可すべき通信パターンをより正確に判定できる効果が得られる。
図18の運用システム100において、侵入検知装置200は、実施の形態1の図1と同じく、コントローラ103から独立して設けられてもよい。その場合、侵入検知装置200は、図18の運用システム100において、制御ネットワーク105に接続される。
実施の形態において、侵入検知装置200の機能はハードウェアで実現してもよい。
図26に、侵入検知装置200の機能がハードウェアで実現される場合の構成を示す。
侵入検知装置200は処理回路990を備える。処理回路990はプロセッシングサーキットリともいう。
処理回路990は、状態管理部210とホワイトリスト管理部220と侵入検知部230と周期通信判定部240といった「部」の機能を実現する専用の電子回路である。
具体的には、処理回路990は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA、ASIC、FPGAまたはこれらの組み合わせである。GAはGate Arrayの略称であり、ASICはApplication Specific Integrated Circuitの略称であり、FPGAはField Programmable Gate Arrayの略称である。
Claims (5)
- 運用システムで通信される周期パケットを検出するパケット検出部と、
前記周期パケットが検出された検出間隔を算出する検出間隔算出部と、
前記運用システムの状態を特定する状態特定部と、
特定された状態に基づいて前記運用システムの状態遷移の有無を判定する状態遷移判定部と、
運用状態に対応付けられた複数のホワイトリストから、前記運用システムの状態に対応付けられたホワイトリストを選択するホワイトリスト管理部と、
前記運用システムの状態遷移が有った場合に、状態遷移前の状態に対応付けられたホワイトリストと状態遷移後の状態に対応付けられたホワイトリストとを用いて、状態遷移前の前記周期パケットの許否と状態遷移後の前記周期パケットの許否とを特定する許否特定部と、
状態遷移前の許否と状態遷移後の許否と通信間隔とアラートの要否とが互いに対応付けられたアラート条件テーブルと、状態遷移前の前記周期パケットの許否と、状態遷移後の前記周期パケットの許否と、前記周期パケットの前記検出間隔とに基づいて、アラートの要否を判定するアラート判定部と
を備える侵入検知装置。 - 前記検出間隔算出部は、前記周期パケットが初めて検出された場合、前記運用システムの状態が前記周期パケットが検出されたときの状態になった時刻から経過した時間を前記検出間隔として算出する
請求項1に記載の侵入検知装置。 - 前記運用システムの状態遷移が無かった場合に、前記運用システムの状態に対応付けられたホワイトリストを用いて、ホワイトリスト型侵入検知を行う侵入検知部を備える
請求項1または請求項2に記載の侵入検知装置。 - 運用システムで通信される周期パケットを検出するパケット検出処理と、
前記周期パケットが検出された検出間隔を算出する検出間隔算出処理と、
前記運用システムの状態を特定する状態特定処理と、
特定された状態に基づいて前記運用システムの状態遷移の有無を判定する状態遷移判定処理と、
運用状態に対応付けられた複数のホワイトリストから、前記運用システムの状態に対応付けられたホワイトリストを選択するホワイトリスト管理処理と、
前記運用システムの状態遷移が有った場合に、状態遷移前の状態に対応付けられたホワイトリストと状態遷移後の状態に対応付けられたホワイトリストとを用いて、状態遷移前の前記周期パケットの許否と状態遷移後の前記周期パケットの許否とを特定する許否特定処理と、
状態遷移前の許否と状態遷移後の許否と通信間隔とアラートの要否とが互いに対応付けられたアラート条件テーブルと、状態遷移前の前記周期パケットの許否と、状態遷移後の前記周期パケットの許否と、前記周期パケットの前記検出間隔とに基づいて、アラートの要否を判定するアラート判定処理と
をコンピュータに実行させるための侵入検知プログラム。 - 運用システムの状態が遷移するときに通信される状態遷移パケットを検出し、前記運用システムで通信される周期パケットを検出するパケット検出部と、
前記状態遷移パケットが検出された場合に、運用状態に対応付けられた複数のホワイトリストから、状態遷移後の状態に対応付けられたホワイトリストを選択するホワイトリスト管理部と、
前記周期パケットが検出された検出間隔を算出する検出間隔算出部と、
前記状態遷移パケットが検出された場合に、状態遷移前の状態に対応付けられたホワイトリストと状態遷移後の状態に対応付けられたホワイトリストとを用いて、状態遷移前の前記周期パケットの許否と状態遷移後の前記周期パケットの許否とを特定する許否特定部と、
状態遷移前の許否と状態遷移後の許否と通信間隔とアラートの要否とが互いに対応付けられたアラート条件テーブルと、状態遷移前の前記周期パケットの許否と、状態遷移後の前記周期パケットの許否と、前記周期パケットの前記検出間隔とに基づいて、アラートの要否を判定するアラート判定部と
を備える侵入検知装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/068666 WO2017221373A1 (ja) | 2016-06-23 | 2016-06-23 | 侵入検知装置および侵入検知プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6400255B2 true JP6400255B2 (ja) | 2018-10-03 |
JPWO2017221373A1 JPWO2017221373A1 (ja) | 2018-11-08 |
Family
ID=60784447
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018523229A Expired - Fee Related JP6400255B2 (ja) | 2016-06-23 | 2016-06-23 | 侵入検知装置および侵入検知プログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US20190141059A1 (ja) |
EP (1) | EP3460701A4 (ja) |
JP (1) | JP6400255B2 (ja) |
KR (1) | KR101972295B1 (ja) |
CN (1) | CN109313686A (ja) |
TW (1) | TWI636374B (ja) |
WO (1) | WO2017221373A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019152792A1 (en) | 2018-02-02 | 2019-08-08 | Dover Microsystems, Inc. | Systems and methods for policy linking and/or loading for secure initialization |
TW201945971A (zh) * | 2018-04-30 | 2019-12-01 | 美商多佛微系統公司 | 用於檢查安全性能的系統和方法 |
EP3877874A1 (en) | 2018-11-06 | 2021-09-15 | Dover Microsystems, Inc. | Systems and methods for stalling host processor |
WO2020132012A1 (en) | 2018-12-18 | 2020-06-25 | Dover Microsystems, Inc. | Systems and methods for data lifecycle protection |
US20220367964A1 (en) * | 2019-08-08 | 2022-11-17 | Gs Yuasa International Ltd. | Energy storage apparatus |
CN118056199A (zh) * | 2021-10-08 | 2024-05-17 | 三菱电机株式会社 | 控制装置 |
JP7325695B1 (ja) * | 2023-01-23 | 2023-08-14 | 三菱電機株式会社 | データ処理装置、データ処理方法及びデータ処理プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008129714A (ja) * | 2006-11-17 | 2008-06-05 | Univ Of Tsukuba | 異常検知方法、異常検知装置及び異常検知用プログラム並びに学習モデル生成方法 |
JP2010015513A (ja) * | 2008-07-07 | 2010-01-21 | Nippon Telegr & Teleph Corp <Ntt> | マルウェア検知システム、マルウェア検知方法及びマルウェア検知プログラム |
WO2012104978A1 (ja) * | 2011-01-31 | 2012-08-09 | 富士通株式会社 | 通信方法、ノード、およびネットワークシステム |
JP2013121080A (ja) * | 2011-12-07 | 2013-06-17 | Kyocera Corp | 無線通信システムおよび基地局 |
JP2015015547A (ja) * | 2013-07-03 | 2015-01-22 | 富士通株式会社 | 無線通信システム、無線基地局、及び、無線端末 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7308715B2 (en) * | 2001-06-13 | 2007-12-11 | Mcafee, Inc. | Protocol-parsing state machine and method of using same |
JP3697249B2 (ja) * | 2003-04-30 | 2005-09-21 | 株式会社エヌ・ティ・ティ・データ | ネットワーク状態監視システム及びプログラム |
US20060253908A1 (en) * | 2005-05-03 | 2006-11-09 | Tzu-Jian Yang | Stateful stack inspection anti-virus and anti-intrusion firewall system |
US20060294588A1 (en) * | 2005-06-24 | 2006-12-28 | International Business Machines Corporation | System, method and program for identifying and preventing malicious intrusions |
JP2008090436A (ja) * | 2006-09-29 | 2008-04-17 | Toshiba Corp | 情報処理装置およびシステム状態制御方法。 |
US8881276B2 (en) * | 2007-01-09 | 2014-11-04 | Cisco Technology, Inc. | Dynamically generated whitelist for high throughput intrusion prevention system (IPS) functionality |
TWI331868B (en) * | 2007-06-11 | 2010-10-11 | Univ Nat Pingtung Sci & Tech | Detecting method of network invasion |
US9178898B2 (en) * | 2007-09-12 | 2015-11-03 | Avaya Inc. | Distributed stateful intrusion detection for voice over IP |
US8683033B2 (en) * | 2007-09-17 | 2014-03-25 | International Business Machines Corporation | Apparatus, system, and method for server failover to standby server during broadcast storm or denial-of-service attack |
TWI346492B (en) * | 2007-11-28 | 2011-08-01 | Inventec Corp | System for intrusion protection system |
US8793786B2 (en) * | 2008-02-08 | 2014-07-29 | Microsoft Corporation | User indicator signifying a secure mode |
US8902756B2 (en) | 2010-02-04 | 2014-12-02 | Nippon Telegraph And Telephone Corporation | Packet transfer processing device, packet transfer processing method, and packet transfer processing program |
US9262624B2 (en) * | 2011-09-16 | 2016-02-16 | Mcafee, Inc. | Device-tailored whitelists |
US8793806B1 (en) * | 2012-07-13 | 2014-07-29 | Google Inc. | Systems and methods to selectively limit access only to a subset of content, identified in a whitelist, of a library of content |
US9063721B2 (en) * | 2012-09-14 | 2015-06-23 | The Research Foundation For The State University Of New York | Continuous run-time validation of program execution: a practical approach |
US9405900B2 (en) * | 2013-03-13 | 2016-08-02 | General Electric Company | Intelligent cyberphysical intrusion detection and prevention systems and methods for industrial control systems |
US9313223B2 (en) * | 2013-03-15 | 2016-04-12 | Prevoty, Inc. | Systems and methods for tokenizing user-generated content to enable the prevention of attacks |
CN103150518B (zh) * | 2013-03-22 | 2016-02-17 | 腾讯科技(深圳)有限公司 | 一种文件实时防护的方法和装置 |
US9124626B2 (en) * | 2013-05-20 | 2015-09-01 | International Business Machines Corporation | Firewall based botnet detection |
US8938612B1 (en) * | 2013-07-31 | 2015-01-20 | Google Inc. | Limited-access state for inadvertent inputs |
US10282542B2 (en) * | 2013-10-24 | 2019-05-07 | Mitsubishi Electric Corporation | Information processing apparatus, information processing method, and computer readable medium |
CN103716203B (zh) * | 2013-12-21 | 2017-02-08 | 华中科技大学 | 基于本体模型的网络化控制***入侵检测方法及*** |
US9565204B2 (en) * | 2014-07-18 | 2017-02-07 | Empow Cyber Security Ltd. | Cyber-security system and methods thereof |
JP6351426B2 (ja) * | 2014-08-01 | 2018-07-04 | 株式会社野村総合研究所 | 作業支援システムおよび作業支援方法 |
US9660994B2 (en) * | 2014-09-30 | 2017-05-23 | Schneider Electric USA, Inc. | SCADA intrusion detection systems |
CN104899513B (zh) * | 2015-06-01 | 2018-06-19 | 上海云物信息技术有限公司 | 一种工业控制***恶意数据攻击的数据图检测方法 |
-
2016
- 2016-06-23 CN CN201680086845.4A patent/CN109313686A/zh active Pending
- 2016-06-23 US US16/095,623 patent/US20190141059A1/en not_active Abandoned
- 2016-06-23 WO PCT/JP2016/068666 patent/WO2017221373A1/ja active Application Filing
- 2016-06-23 JP JP2018523229A patent/JP6400255B2/ja not_active Expired - Fee Related
- 2016-06-23 KR KR1020187036646A patent/KR101972295B1/ko active IP Right Grant
- 2016-06-23 EP EP16906290.8A patent/EP3460701A4/en not_active Withdrawn
- 2016-08-16 TW TW105126045A patent/TWI636374B/zh not_active IP Right Cessation
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008129714A (ja) * | 2006-11-17 | 2008-06-05 | Univ Of Tsukuba | 異常検知方法、異常検知装置及び異常検知用プログラム並びに学習モデル生成方法 |
JP2010015513A (ja) * | 2008-07-07 | 2010-01-21 | Nippon Telegr & Teleph Corp <Ntt> | マルウェア検知システム、マルウェア検知方法及びマルウェア検知プログラム |
WO2012104978A1 (ja) * | 2011-01-31 | 2012-08-09 | 富士通株式会社 | 通信方法、ノード、およびネットワークシステム |
JP2013121080A (ja) * | 2011-12-07 | 2013-06-17 | Kyocera Corp | 無線通信システムおよび基地局 |
JP2015015547A (ja) * | 2013-07-03 | 2015-01-22 | 富士通株式会社 | 無線通信システム、無線基地局、及び、無線端末 |
Non-Patent Citations (1)
Title |
---|
山口 晃由: "産業制御システムにおける侵入検知手法の調査と検討", 2015 年 暗号と情報セキュリティシンポジウム概要集, JPN6016029598, 20 January 2015 (2015-01-20), pages 1〜7頁 * |
Also Published As
Publication number | Publication date |
---|---|
KR101972295B1 (ko) | 2019-04-24 |
CN109313686A (zh) | 2019-02-05 |
WO2017221373A1 (ja) | 2017-12-28 |
TWI636374B (zh) | 2018-09-21 |
TW201800972A (zh) | 2018-01-01 |
JPWO2017221373A1 (ja) | 2018-11-08 |
US20190141059A1 (en) | 2019-05-09 |
KR20190002712A (ko) | 2019-01-08 |
EP3460701A1 (en) | 2019-03-27 |
EP3460701A4 (en) | 2019-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6400255B2 (ja) | 侵入検知装置および侵入検知プログラム | |
CN110121876B (zh) | 用于通过使用行为分析检测恶意设备的***和方法 | |
US20180307832A1 (en) | Information processing device, information processing method, and computer readable medium | |
US10291630B2 (en) | Monitoring apparatus and method | |
JP6509462B2 (ja) | 攻撃検知装置、攻撃検知方法および攻撃検知プログラム | |
JPWO2016006520A1 (ja) | 検知装置、検知方法及び検知プログラム | |
JP2020004009A (ja) | 異常検知装置、および、異常検知方法 | |
KR20130085570A (ko) | 단말 중심 사이버 공격 방지 방법 및 그에 따른 단말 장치 | |
EP3948616B1 (en) | Applying attestation tokens to the open shortest path first (ospf) routing protocol | |
JP6391891B2 (ja) | 侵入検知装置、侵入検知方法及び侵入検知プログラム | |
JP4170301B2 (ja) | DoS攻撃検出方法、DoS攻撃検出システム、およびDoS攻撃検出プログラム | |
JP2018142197A (ja) | 情報処理装置、方法およびプログラム | |
JP2017211806A (ja) | 通信の監視方法、セキュリティ管理システム及びプログラム | |
US20170185772A1 (en) | Information processing system, information processing method, and program | |
JP2019022099A (ja) | セキュリティポリシー情報管理システム、セキュリティポリシー情報管理方法、及びプログラム | |
CN115698992A (zh) | 用于安全分析框架的仲裁器*** | |
US10810098B2 (en) | Probabilistic processor monitoring | |
KR101781971B1 (ko) | 데이터 보안을 위한 토글키 차단 방법 및 이를 이용한 장치 | |
JP7175858B2 (ja) | 情報処理装置および正規通信判定方法 | |
WO2023233711A1 (ja) | 情報処理方法、異常判定方法、および、情報処理装置 | |
US20230351251A1 (en) | Determination device, determination method, and determination program | |
JP2011182011A (ja) | 中継装置及び通信システム及び異常検出方法及びプログラム | |
WO2019058489A1 (ja) | アラート頻度制御装置およびアラート頻度制御プログラム | |
JP2016071384A (ja) | 不正アクセス検知システム、不正アクセス検知装置、不正アクセス検知方法、および不正アクセス検知プログラム | |
JP2016024506A (ja) | データ処理装置及びデータ処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180709 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180709 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180709 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180731 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180807 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180904 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6400255 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |