JP2019021094A - Webアクセス制御装置 - Google Patents
Webアクセス制御装置 Download PDFInfo
- Publication number
- JP2019021094A JP2019021094A JP2017139751A JP2017139751A JP2019021094A JP 2019021094 A JP2019021094 A JP 2019021094A JP 2017139751 A JP2017139751 A JP 2017139751A JP 2017139751 A JP2017139751 A JP 2017139751A JP 2019021094 A JP2019021094 A JP 2019021094A
- Authority
- JP
- Japan
- Prior art keywords
- malignancy
- estimator
- additional authentication
- web
- web site
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 265
- 201000011510 cancer Diseases 0.000 claims abstract description 265
- 230000036210 malignancy Effects 0.000 claims abstract description 265
- 230000003211 malignant effect Effects 0.000 claims description 42
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 21
- 238000000034 method Methods 0.000 description 81
- 230000008569 process Effects 0.000 description 37
- 238000004891 communication Methods 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000005211 surface analysis Methods 0.000 description 6
- 241000282412 Homo Species 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 238000013215 result calculation Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000037221 weight management Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】Webアクセス制御装置において、Webサイトの悪性度を高精度で判定する。【解決手段】重みがそれぞれ割り当てられた複数の悪性度推測器124a〜124bを用いてアクセス先Webサイトの悪性度を所定の閾値に基づいて判定するWebサイト悪性度判定プログラム109と、アクセス先Webサイトの悪性度が所定の閾値より高いと判定した場合にユーザ端末121a〜121cに対してアクセス先Webサイトへのアクセスの可否を決定するための追加認証を要求する追加認証要求プログラム110と、追加認証の結果に基づいて悪性度推測器124a〜124bにそれぞれ割り当てられた重みを更新する重み更新プログラム114を有する。【選択図】図1
Description
本発明は、Webアクセス制御装置に関する。
近年、標的型攻撃に見られるように、攻撃が高度化しており、企業や国家にとって重大な脅威となっている。また、攻撃の高度化に伴い、外部からの侵入を完全に遮断することは困難になってきている。ここで、侵入された後の被害を抑制するためには、機密情報の窃取や感染拡大を目的とした外部への通信を遮断することが重要である。
以上のような背景から、適切に外部への通信を制御し、不審な通信は遮断する技術が求められている。これに関連する技術として、例えば、特許文献1がある。
特許文献1では、プロキシサーバ等のログから計算したWebサイトの悪性度に基づいて、悪性度が低いホワイトリスト、悪性度が高いブラックリスト及びいずれにも属さないグレーリストを自動的に生成する。グレーリストに含まれるWebサイトに接続する際に追加認証を要求し、追加認証に成功したときグレーリストをホワイトリストに振り分け、一定期間一度も成功しなかったときブラックリストに振り分ける。これにより、機械的にホワイトリストやブラックリストに振り分けられなかったWebサイトであっても、認証結果に応じていずれかのリストに振り分けることが可能である。
しかし、特許文献1では、Webサイトの悪性度を判定する機構の精度については考慮されていない。このため、悪性度判定機構の精度によっては、悪性度の高いWebサイトを安全と判断してしまい、アクセス時に被害を受けてしまう可能性がある。また、悪性度判定機構の精度によっては、悪性度の低いWebサイトを危険と判断してしまい、追加認証が頻発して利便性を低下してしまう可能性がある。
本発明の目的は、Webアクセス制御装置において、Webサイトの悪性度を高精度で判定することにある。
本発明の一態様のWebアクセス制御装置は、インターネットとユーザが操作するユーザ端末に接続され、重みがそれぞれ割り当てられた複数の悪性度推測器を用いて、Webサイト悪性度判定プログラムを実行することにより、アクセス先Webサイトの悪性度を所定の閾値に基づいて判定するWebサイト悪性度判定部と、前記Webサイト悪性度判定部が前記アクセス先Webサイトの悪性度が前記所定の閾値より高いと判定した場合に、追加認証要求プログラムを実行することにより、前記ユーザ端末に対して前記アクセス先Webサイトへのアクセスの可否を決定するための追加認証を要求する追加認証要求部と、前記追加認証要求部の前記追加認証の結果に基づいて、重み更新プログラムを実行することにより、前記Webサイト悪性度判定部の前記悪性度推測器にそれぞれ割り当てられた前記重みを更新する重み更新部と、を有することを特徴とする。
本発明の一態様によれば、Webアクセス制御装置において、Webサイトの悪性度を高精度で判定することができる。
最初に、実施形態について説明する。
実施形態では、アクセス先Webサイトの悪性度を判定し、悪性サイトへの通信を遮断しつつ、ユーザによるフィードバックを基に判別精度を改善する。実施形態では、それぞれに重みが付与された悪性度を判定する推測器を複数用意してアクセス先Webサイトの悪性度を判定し、悪性度が一定の閾値より高かった場合にはユーザに追加認証を要求する。
実施形態では、アクセス先Webサイトの悪性度を判定し、悪性サイトへの通信を遮断しつつ、ユーザによるフィードバックを基に判別精度を改善する。実施形態では、それぞれに重みが付与された悪性度を判定する推測器を複数用意してアクセス先Webサイトの悪性度を判定し、悪性度が一定の閾値より高かった場合にはユーザに追加認証を要求する。
実施形態のWebアクセス制御装置は、ユーザが操作する端末と、インターネットとをネットワークを介して接続する装置であって、アクセス先Webサイトの悪性度をそれぞれが重み付けされた複数の機構を用いて推測するWebサイト悪性度判定プログラムと、悪性度の高いサイトへのアクセスを検出した際に、ユーザに対してその旨を伝え、ユーザの判断に基づいてアクセス可否を決定する追加認証要求プログラムを有する。
また、ユーザの判断やその付随情報を基にWebサイト悪性度判定プログラムにフィードバックする内容を決定するフィードバック値算出プログラムと、Webサイトの悪性度判定プログラムを構成する各推測器の重みを前記フィードバック値算出プログラムが算出した値に基づいて更新する重み更新プログラムとを有する。
実施形態によれば、Webサイトの悪性度を複数の推測器を用いて推測すること、及び推測結果の正否をユーザからのフィードバックによって判定することが可能である。この際、ユーザからのフィードバックを利用し、推測結果とユーザ判断の一致率が高い推測器の重みを大きくすることにより、全体の検出精度を自動的に改善する。これらの組み合わせによって、悪性サイトへの通信は遮断しつつ、不要な追加認証やブラックリストの手動での更新コストを抑制して利便性を向上する。
ユーザは、追加認証を要求された際にアクセス先Webサイトへの接続可否を判断し、問題ないと判断した場合のみ追加認証を突破してWebサイトへアクセスする。これにより、ユーザが意図しない、あるいは追加認証の存在を想定しておらず追加認証を突破できないマルウェア等による悪性サイトへのアクセスを抑制できる。
また、ユーザの判断とWebサイト悪性度判定プログラムが算出した結果を突合し、両者が一致したか否かによってWebサイト悪性度判定プログラムを構成する各推測器の重みを更新する。これにより、精度の高い推測器の判定を重視するようにし、全体としての悪性度判定精度が向上する。
また、ユーザの判断を確認する際、付随的に得られる情報を用いて判断が正しいか否か推定し、より確からしい利用者判断の結果を悪性度判定機構に反映する。これにより、誤ったユーザの判断を反映することによる悪性度判定精度の低下を抑制できる。
なお、以降では、サイバー攻撃に利用される悪性なWebサイトを悪性サイト、悪性サイトではないWebサイトを良性サイトと呼ぶ。
図1を参照して、実施例1のWebアクセス制御装置の構成について説明する。
図1に示すように、実施例1のWebアクセス制御装置101は、ユーザが操作するユーザ端末121a〜121cと、インターネット123とをネットワーク122を介して接続される。
図1に示すように、実施例1のWebアクセス制御装置101は、ユーザが操作するユーザ端末121a〜121cと、インターネット123とをネットワーク122を介して接続される。
Webアクセス制御装置101は、CPU(Central Processing Unit)103と、CPU103が処理を実行するために必要なデータを格納するためのメインメモリ104と、大量のデータを記憶する容量を持つハードディスクやフラッシュメモリなどの記憶装置105と、他装置と通信を行なうためのIF(インタフェース)102a、102bと、キーボード、ディスプレイなどの入出力を行うための入出力装置106と、これらの各装置を接続する通信路107と、を備えたコンピュータである。なお、通信路107は、例えば、バスやケーブルなどの情報伝達媒体である。
CPU103は、メインメモリ104に格納されたアクセス中継プログラム108を実行することにより不審な通信の制御を行う。また、CPU103は、Webサイト悪性度判定プログラム109を実行することによりアクセス先Webサイトの悪性度の判定を行う。
また、CPU103は、追加認証要求プログラム110を実行することによりユーザ端末121を操作するユーザの追加認証を行う。また、CPU103は、アクセス先情報取得プログラム111を実行することによりアクセス先Webサイトの情報取得を行う。また、CPU103は、リスト更新プログラム112を実行することによりグレーリスト118、ブラックリスト119、ホワイトリスト120の更新を行う。
また、CPU103は、フィードバック値算出プログラム113を実行することによりWebサイト悪性度判定プログラム109を構成する各悪性度推測器124a〜124bに割り当てられた重みへフィードバックする値の算出を行う。また、CPU103は、重み更新プログラム114を実行することによりフィードバック値算出プログラム113での算出値に基づいて推測器管理表116に記録されているWebサイト悪性度判定プログラム109を構成する各悪性度推測器124に割り当てられた重みの更新を行う。
実施例1のWebアクセス制御装置101は、重みがそれぞれ割り当てられた複数の悪性度推測器124を用いて、Webサイト悪性度判定プログラム109を実行することにより、アクセス先Webサイトの悪性度を所定の閾値に基づいて判定するWebサイト悪性度判定部と、Webサイト悪性度判定部がアクセス先Webサイトの悪性度が所定の閾値より高いと判定した場合に、追加認証要求プログラム110を実行することにより、ユーザ端末121a〜121cに対してアクセス先Webサイトへのアクセスの可否を決定するための追加認証を要求する追加認証要求部と、追加認証要求部の追加認証の結果に基づいて、重み更新プログラム114を実行することによりWebサイト悪性度判定部の悪性度推測器124にそれぞれ割り当てられた重みを更新する重み更新部を有する。
さらに、フィードバック値算出プログラム113を実行することにより、Webサイト悪性度判定部の悪性度推測器124にそれぞれ割り当てられた重みにフィードバックする値を算出するフィードバック値算出部を有する。重み更新部は、フィードバック値算出部で算出された算出値に基づいて、Webサイト悪性度判定部の悪性度推測器124にそれぞれ割り当てられた重みを更新する。
記憶装置105には、ユーザ端末121を操作するユーザの追加認証結果やその際の付随情報を示す追加認証履歴115、Webサイト悪性度判定プログラム109を構成する悪性度推測器124の情報を管理する推測器管理表116が格納されている。
また、記憶装置105には、悪性度推測器124の時系列ごとの重みを管理する推測器重み履歴117、不審な通信先の情報を示すグレーリスト118、危険な通信先の情報を示すブラックリスト119、安全な通信先の情報を示すホワイトリスト120が格納されている。
上記の各プログラムやデータは、あらかじめメモリ104又は記憶装置105に格納されていてもよいし、必要な時に、入出力装置106から又はIF102を介して他の装置から、インストール(ロード)されても良い。
次に、図2を参照して、追加認証履歴115の一例について説明する。
図2に示すように、追加認証履歴115は、ID201と、認証結果202と、付随情報203と、ユーザ識別情報207と、URL208とを含んで構成される。また、付随情報は、例えば、認証に要した時間204と、正解数205と、サイト情報表示有無206とから構成される。
図2に示すように、追加認証履歴115は、ID201と、認証結果202と、付随情報203と、ユーザ識別情報207と、URL208とを含んで構成される。また、付随情報は、例えば、認証に要した時間204と、正解数205と、サイト情報表示有無206とから構成される。
ID201は、認証情報を一意に識別できる情報を表す。認証結果202は、ユーザが追加認証に成功したか否かを表す。例えば、認証結果202が「成功」の場合は、ユーザが追加認証の突破に成功したことを、認証結果202が「失敗」の場合は、ユーザが追加認証の突破に失敗したことを表す。
付随情報203は、ユーザが追加認証に臨んだ際に付随的に得られる情報を表す。ここでは、付随情報203は、認証に要した時間204と、正解数205と、サイト情報表示有無206とから構成されるものとして説明する。
認証に要した時間204は、ユーザに追加認証画面が提示されてから、認証が試行されるまでに要した時間を表す。例えば、追加認証画面が表示されてから認証の試行に4.3秒を要した場合、認証の成否に関わらず、「4.3」と記録される。また、あらかじめ定められた一定時間認証突破の試行がなかった場合、「timeout」と記録される。
正解数205は、追加認証に文字列での認証を用いた場合に、全体の文字数のうち、どれだけ正解したかの数と、その正解率とを表す。例えば、認証文字列が「abcd」だった際、「abvf」と入力があったならば、全4文字中前半の2文字が正解しているため、「2(50%)」と記録される。なお、この時間は、追加認証要求プログラム110において、追加認証画面を提示した時間とユーザからの追加認証文字列を受信した時間の差分によって算出される。
サイト情報表示有無206は、追加認証時にユーザが、アクセス先Webサイトが悪性か否か判断する材料として追加情報を要求したか否かを表す。例えば、「有」の場合は、ユーザが追加情報を要求したことを、「無」の場合には、ユーザが追加情報を要求しなかったことを表す。なお、ユーザの判断を補助するための追加情報としては、アクセス先Webサイトのサムネイル画像、whois情報、およびDNS情報等が挙げられる。
なお、追加認証履歴115の格納情報は、不審サイトへのアクセス試行があった際の追加認証時に取得され、格納されるものとする。また、今回は、付随情報として認証に要した時間204と、正解数205と、サイト情報表示有無206とを挙げたが、これらの情報以外に付随的に得られる情報を用いても良いものとする。
ユーザ識別情報207は、追加認証に臨んだユーザを一意に識別できる情報を表す。例えば、ネットワーク環境において、「123」と識別子を付与されたユーザが認証に望んだ場合、ユーザを表す「123」が記録される。なお、今回はネットワークシステム上でユーザに付与された識別子を用いたが、ユーザを一意に識別できればよく、例えば、ユーザ端末のIP(Internet Protocol)アドレスや、ユーザのユーザ名を用いても良い。
URL208は、追加認証の対象となった不審な接続先のURLを表す。例えば、「foo.com」の場合は、URLは、追加認証の対象となった不審な接続先であることを表す。なお、今回は、URLを用いたが、不審な接続先を識別できれば良く、例えば、IPアドレスや、FQDN(Fully Qualified Domain Name)を用いても良い。
次に、図3を参照して、推測器管理表116の一例について説明する。
図3に示すように、推測器管理表116は、ID301と、正解率302と、重み303と、直近の悪性度判定結果304とを含んで構成される。
図3に示すように、推測器管理表116は、ID301と、正解率302と、重み303と、直近の悪性度判定結果304とを含んで構成される。
ID301は、Webサイト悪性度判定プログラム109を構成する各悪性度推測器124を一意に識別できる情報を表す。正解率302は、これまでの各不審サイトに対する判定結果(悪性/良性)とユーザの追加認証結果(非突破/突破)の一致率を表す。例えば、「80%」の場合は、N回の不審サイトの悪性度判定機会のうち、0.8N回分の判定結果がユーザの追加認証結果と一致していたことを表す。正解率が高い推測器ほどWebアクセス制御装置を導入した組織での悪性サイトの判別精度が高いものとして、重みを大きく付与される。各悪性度推測器124に付与する重みを算出する際の具体的な処理手順については、図11を用いて後述する。
重み303は、各悪性度推測器124に割り当てられた重みの合計値が1になるように正規化された値を表す。例えば、「0.2」の場合は、全悪性度推測器124a〜124bのうち20%の判断権を当該悪性度推測器124が有することを表す。
直近の悪性度判定結果304は、直近の悪性度を判断する機会において、判定対象の悪性度をどのように判定したかを表す。例えば、「75%」の場合は、当該悪性度推測器124は、判定対象が75%の確率で悪性であると判断したことを表す。なお、今回はアクセス先Webサイトの不審度を表す指標として、アクセス先Webサイトの悪性度を用いて説明したが、アクセス先Webサイトの良性度等、不審度を表すことのできる指標であれば、どのような情報を用いても良い。なお、推測器管理表116の各情報は、管理者が必要に応じて、入力または更新しても良い。
次に、図4を参照して、推測器重み履歴117の一例について説明する。
図4に示すように、推測器重み履歴117は、時刻401と、重み402と、悪性度判定結果403と、認証結果との一致404とを含んで構成される。また、推測器重み履歴117は、Webサイト悪性度判定プログラム109を構成する悪性度推測器124毎に用意され、悪性度推測器124に関する情報を格納する。なお、図4では、図3のIDが0の悪性度推測器124に対応する悪性度重み履歴117を例示している。
図4に示すように、推測器重み履歴117は、時刻401と、重み402と、悪性度判定結果403と、認証結果との一致404とを含んで構成される。また、推測器重み履歴117は、Webサイト悪性度判定プログラム109を構成する悪性度推測器124毎に用意され、悪性度推測器124に関する情報を格納する。なお、図4では、図3のIDが0の悪性度推測器124に対応する悪性度重み履歴117を例示している。
時刻401は、悪性度推測器124a〜124bが不審サイトの悪性度を判定した時間を表す。なお、図4では、年/月/日 時間:分:秒.小数秒の表記を用いているが、Unixtime等、時刻が判別できる情報であれば、どのような情報を用いても良い。
重み402は、当該時刻における悪性度推測器124の重みを表す。例えば、「0.3」の場合は、当該時刻に悪性度推測器124a〜124bへ0.3の重みが付与されていたことを表す。
悪性度判定結果403は、当該時刻における悪性度判定対象のWebサイトに対して、悪性度推測器124が算出した悪性度を表す。例えば、「75%」の場合は、当該悪性度推測器124は、当該時刻に判定対象が75%の確率で悪性であると判断したことを表す。
認証結果との一致404は、当該時刻における不審サイトに対する判定結果(悪性/良性)とユーザの追加認証結果(非突破/突破)が一致したか否かを表す。例えば、「一致」の場合は、両者が一致していたことを、「不一致」の場合は、両者が一致していなかったことを表す。
次に、図5を参照して、グレーリスト118の一例について説明する。
図5に示すように、グレーリスト118は、ID501と、URL502と、認証成功ユーザ数503と、認証失敗ユーザ数504と、ユーザ毎の認証結果505とを含んで構成される。ID501は、グレーリスト118を一意に識別できる情報を表す。
図5に示すように、グレーリスト118は、ID501と、URL502と、認証成功ユーザ数503と、認証失敗ユーザ数504と、ユーザ毎の認証結果505とを含んで構成される。ID501は、グレーリスト118を一意に識別できる情報を表す。
URL502は、不審な接続先のURLを表す。例えば、「example.com」の場合は、URLは不審な接続先であることを表す。なお、今回は、URLを用いたが、不審な接続先を識別できれば良く、例えば、IPアドレスや、FQDNを用いても良い。
認証成功ユーザ数503は、該接続先の追加認証を突破したユーザのユニーク数を表す。例えば、「2」の場合は、2人のユーザが該接続先の追加認証を突破したことを表す。なお、成功回数は、後述するユーザ毎の認証結果505を用いることによって算出できる。
認証失敗ユーザ数504は、接続先の追加認証を突破しなかったユーザのユニーク数を表す。例えば、「4」の場合は、4人のユーザが該接続先の追加認証を突破しなかったことを表す。なお、失敗回数は、後述するユーザ毎の認証結果505を用いることによって算出できる。
ユーザ毎の認証結果505は、接続先に対するユーザ毎の最新の認証結果を表す。例えば、「123:成功, 789:失敗」の場合は、識別子123のユーザが追加認証を突破したことと識別子789のユーザが追加認証を突破しなかったことを表す。
グレーリスト118は、Webサイト悪性度判定プログラム109によって悪性であると判定された接続先がリスト更新プログラム110によって登録される。Webサイト悪性度判定プログラム109と、リスト更新プログラム110との具体的な処理については、図9と、図10とを用いて後述する。なお、グレーリスト118の各情報は、管理者が必要に応じて、登録または更新しても良い。
次に、図6を参照して、ブラックリスト119の一例について説明する。
図6に示すように、ブラックリスト119は、ID601と、URL602とを含んで構成される。ID601は、ブラックリスト119を一意に識別できる情報を表す。
図6に示すように、ブラックリスト119は、ID601と、URL602とを含んで構成される。ID601は、ブラックリスト119を一意に識別できる情報を表す。
URL602は、悪性サイトのURLを表す。例えば、「black.com」の場合は、URLは悪性サイトであることを表す。なお、今回は、URLを用いたが、悪性サイトを識別できれば良く、例えば、IPアドレスや、FQDNを用いても良い。
ブラックリスト119は、Webサイト悪性度判定プログラム109によって悪性であると判定され、かつ一定数以上ユーザが認証を突破しなかった接続先がリスト更新プログラム110によって登録される。Webサイト悪性度判定プログラム109と、リスト更新プログラム110との具体的な処理については、図9と、図10とを用いて後述する。なお、グレーリスト119の各情報は、管理者が必要に応じて、登録または更新しても良い。
次に、図7を参照して、ホワイトリスト120の一例について説明する。
図7に示すように、ホワイトリスト120は、ID701と、URL702を含んで構成される。ID701は、ホワイトリスト120を一意に識別できる情報を表す。URL702は、良性サイトのURLを表す。例えば、「white.com」の場合は、URLは良性サイトであることを表す。なお、今回は、URLを用いたが、悪性サイトを識別できれば良く、例えば、IPアドレスや、FQDNを用いても良い。
図7に示すように、ホワイトリスト120は、ID701と、URL702を含んで構成される。ID701は、ホワイトリスト120を一意に識別できる情報を表す。URL702は、良性サイトのURLを表す。例えば、「white.com」の場合は、URLは良性サイトであることを表す。なお、今回は、URLを用いたが、悪性サイトを識別できれば良く、例えば、IPアドレスや、FQDNを用いても良い。
ホワイトリスト120は、Webサイト悪性度判定プログラム109によって悪性であると判定されたものの、一定数以上ユーザが認証を突破した接続先がリスト更新プログラム110によって登録される。Webサイト悪性度判定プログラム109と、リスト更新プログラム110との具体的な処理については、図9と、図10とを用いて後述する。なお、ホワイトリスト119の各情報は、管理者が必要に応じて、登録または更新しても良い。
このように、実施例1のWebアクセス制御装置は、Webアクセス制御装置101のアクセス中継プログラム108が、端末121からの通信を中継する。次に、Webサイト悪性度判定プログラム109が、アクセス先Webサイトの悪性度を判定し、追加認証要求プログラム110がユーザ121に対して追加認証を要求する。
次に、アクセス先情報取得プログラム111が、アクセス先Webサイトの情報を取得し、リスト更新プログラム112がグレーリスト118、ブラックリスト119、およびホワイトリスト120を更新する。次に、フィードバック値算出プログラム113が、Webサイト悪性度判定プログラム109を構成する各悪性度推測器124に割り当てられた重みへフィードバックする値を算出する。次に、重み更新プログラム114が、フィードバック値算出プログラム113での算出値に基づいてWebサイト悪性度判定プログラム109を構成する各悪性度推測器124に割り当てられた重みを更新する。
以下、図8を参照して、Webアクセス制御装置101の全体処理フローについて説明する。
図8に示すように、アクセス中継プログラム108は、CPU103により実行され、ユーザ端末121からの通信をIF102a経由で中継する(ステップ801)。
図8に示すように、アクセス中継プログラム108は、CPU103により実行され、ユーザ端末121からの通信をIF102a経由で中継する(ステップ801)。
アクセス中継プログラム108は、ブラックリストを参照し、アクセス先Webサイトがブラックリストに該当した場合はステップ810aに進み、該当しなかった場合はステップ803に進む(ステップ802)。
アクセス中継プログラム108は、ホワイトリストを参照し、アクセス先Webサイトがホワイトリストに該当した場合はステップ811aに進み、該当しなかった場合はステップ804に進む(ステップ803)。
Webサイト悪性度判定プログラム109は、アクセス先Webサイトの悪性度を算出し、ステップ805に進む(ステップ804)。なお、Webサイト悪性度判定プログラム109の悪性度算出フローについては、図9を用いて後述する。
アクセス中継プログラム108は、ステップ804で算出した悪性度をあらかじめ制定しておいた閾値と比較し、悪性度が閾値よりも低い場合はステップ811aに進み、高い場合はステップ806へ進む(ステップ805)。追加認証要求プログラム110は、ユーザに追加認証を要求し、ステップ807へ進む(ステップ806)。
ここで、追加認証要求プログラム110は、ユーザへの追加認証に、CAPTCHA(Completely Automated Public Turing test to tell Computers and Humans Apart)のような人間と機械を分別するような方式を利用することが考えられる。
これにより、マルウェアが機械的に悪性サイトへアクセスしようとした場合でも、該認証を突破することは困難であり、人間の悪性サイトへのアクセスに加え、マルウェアによる悪性サイトへのアクセスも抑制できる。なお、追加認証要求プログラム110の表示画面については、図13を用いて後述する。
追加認証要求プログラム110は、ユーザがアクセスWeb先サイトの追加認証に際して追加情報を要求したか確認し、要求があった場合はステップ808へ、要求が無かった場合はステップ809へ進む(ステップ807)。
アクセス先情報取得プログラム111は、アクセス先のサイト情報を取得し、取得した情報をユーザ端末118へ表示する(ステップ808)。
追加認証要求プログラム110は、ユーザが追加認証に成功したか確認し、成功していた場合は811bへ、失敗していた場合は810bへ進む(ステップ809)。
アクセス中継プログラム108は、ユーザの当該サイトへのアクセスを拒否し、処理を終了する(ステップ810a)。アクセス中継プログラム108は、ユーザの当該サイトへのアクセスを許可し、処理を終了する(ステップ811a)。
アクセス中継プログラム108は、ユーザの当該サイトへのアクセスを拒否し、ステップ812へ進む(ステップ810b)。アクセス中継プログラム108は、ユーザの当該サイトへのアクセスを許可し、ステップ812へ進む(ステップ811b)。
アクセス中継プログラム108は、ユーザからの追加認証文字列を受信し、追加認証履歴115に、該追加認証文字列による認証結果や認証時の付随情報等の追加認証の情報を記録し、ステップ813へ進む(ステップ812)。
アクセス中継プログラム108は、ユーザの追加認証結果(認証を突破したか否か)をリスト更新プログラム112とフィードバック内容値プログラム113に通知し、各プログラムの処理であるステップ814と、ステップ815とに進む(ステップ813)。
リスト更新プログラム112は、追加認証履歴115を参照し、ユーザの追加認証結果を取得後、該情報を用いてグレーリスト118、ブラックリスト119、およびホワイトリスト120を更新する(ステップ814)。なお、リスト更新プログラム112の各リスト更新フローについては、図10を用いて後述する。
フィードバック値算出プログラム113は、追加認証履歴115を参照し、ユーザの追加認証結果や付随情報を取得後、該情報を用いてフィードバック値を算出し、ステップ815へ進む(ステップ815)。なお、フィードバック値算出プログラム113のフィードバック値算出フローについては、図11を用いて後述する。
重み更新プログラム114は、フィードバック値算出プログラム113が算出した値を基に推測器管理表116に記録されている各推測器の重みを更新し、処理を終了する(ステップ816)。
なお、ステップ806において、アクセス先Webサイトの悪性度が閾値以上の場合にユーザへ追加認証を要求しているが、ユーザの認証結果をキャッシュしておき、該ユーザが該アクセス先サイトに対する追加認証を1度でも突破していた場合、追加認証を要求せずアクセスを許可しても良い。これにより、ユーザの利便性が効率することが期待できる。
次に、図9を参照して、Webサイト悪性度判定プログラム109の処理フローの一例について説明する。
図9に示すように、CPU103により実行され、ユーザ端末121の通信先のうち、ブラックリストと、ホワイトリストとに記録されていないものをアクセス中継プログラム108より受信すると、処理を開始する(ステップ901)。
図9に示すように、CPU103により実行され、ユーザ端末121の通信先のうち、ブラックリストと、ホワイトリストとに記録されていないものをアクセス中継プログラム108より受信すると、処理を開始する(ステップ901)。
なお、Webサイト悪性度判定プログラムは、それぞれが重みを持つ複数の悪性度推測器124から構成されており、各推測器の判断結果を統合して最終的な値を算出する。ここでの悪性度推測器124としては、URLの文字列からWebサイトの悪性度を推測するもの、Webサイトに関する外部情報(whois情報やDNS情報等)からWebサイトの悪性度を推測するもの、およびWebサイトのコンテンツからWebサイトの悪性度を推測するものが考えられる。
Webサイト悪性度判定プログラム109は、アクセス中継プログラム108から受信したアクセス先Webサイトを各悪性度推測器124へ入力し、ステップ903へ進む(ステップ902)。
Webサイト悪性度判定プログラム109は、各悪性度推測器124の判定結果の受信を開始し、全ての推測器から結果を受信した後、ステップ904へ進む(ステップ903)。
Webサイト悪性度判定プログラム109は、ステップ903で受信した各推測器の判定結果を推測器管理表116と推測器重み履歴117へ記録し、ステップ905へ進む(ステップ904)。
Webサイト悪性度判定プログラム109は、ステップ903で受信した各推測器の推測結果を推測器管理表116を参照することによって得られる各推測器に付与された重みに掛け合わせ、その合計値を最終予測結果として算出し、処理を終了する(ステップ905)。なお、上述の算出手順は、以下の計算式(数1)のように示すことができる。
なお、今回は上述の計算式を用いた最終予測結果の算出手順を例示したが、各推測器の予測結果に対して重みを反映させ、最終的に統合する方式であれば、どのような方式を用いても良い。また、悪性度推測器124の追加及び削除は可能であり、管理者が必要に応じて該悪性度推測器124の追加及び削除を行っても良い。
次に、図10を参照して、リスト更新プログラム112の処理フローの一例について説明する。
図10に示すように、CPU103により実行され、ユーザ端末121の通信先のうち、Webサイト悪性度判定プログラム109によって、その悪性度が閾値以上と判定されたWebサイトに対するユーザの追加認証結果をアクセス中継プログラム108より受信すると、処理を開始する(ステップ1001)。
図10に示すように、CPU103により実行され、ユーザ端末121の通信先のうち、Webサイト悪性度判定プログラム109によって、その悪性度が閾値以上と判定されたWebサイトに対するユーザの追加認証結果をアクセス中継プログラム108より受信すると、処理を開始する(ステップ1001)。
リスト更新プログラム112は、グレーリスト118を参照し、アクセス先Webサイトが該グレーリストに該当した場合はステップ1004に進み、該当しなかった場合はステップ1003に進む(ステップ1002)。
リスト更新プログラム112は、アクセス先Webサイトをグレーリスト118に登録し、ステップ1004に進む(ステップ1003)。
リスト更新プログラム112は、アクセス中継プログラム108より受信したユーザの追加認証結果を参照し、該追加認証結果をグレーリスト118に記録し、グレーリスト118の認証成功ユーザ数、認証失敗ユーザ数、およびユーザ毎の認証結果を更新した後、ステップ1005に進む(ステップ1004)。
リスト更新プログラム112は、アクセス中継プログラム108より受信したユーザの追加認証結果を参照し、認証に成功していた場合はステップ1006に進み、認証に失敗していた場合はステップ1009に進む(ステップ1005)。
リスト更新プログラム112は、グレーリスト118を参照し、アクセス先Webサイトの累計認証成功ユーザ数が一定数を超えていた場合はステップ1007に進み、超えていなかった場合は処理を終了する(ステップ1006)。
リスト更新プログラム112は、アクセス先Webサイトをホワイトリスト120に登録し、ステップ1008に進む(ステップ1007)。
リスト更新プログラム112は、アクセス先Webサイトに対応する行をグレーリスト118から削除し、処理を終了する(ステップ1008)。
リスト更新プログラム112は、グレーリスト118を参照し、アクセス先Webサイトの累計認証失敗ユーザ数が一定数を超えていた場合はステップ1010に進み、超えていなかった場合は処理を終了する(ステップ1009)。
リスト更新プログラム112は、アクセス先Webサイトをブラックリスト119に登録し、ステップ1011に進む(ステップ1010)。
リスト更新プログラム112は、アクセス先Webサイトに対応する行をグレーリスト118から削除し、処理を終了する(ステップ1011)。
次に、図11を参照して、フィードバック値算出プログラム113の処理フローについて説明する。
図11に示すように、CPU103により実行され、ユーザ端末121の通信先のうち、Webサイト悪性度判定プログラム109によって、その悪性度が閾値以上と判定されたアクセス先Webサイトに対するユーザの追加認証結果をアクセス中継プログラム108より受信すると、処理を開始する(ステップ1101)。
図11に示すように、CPU103により実行され、ユーザ端末121の通信先のうち、Webサイト悪性度判定プログラム109によって、その悪性度が閾値以上と判定されたアクセス先Webサイトに対するユーザの追加認証結果をアクセス中継プログラム108より受信すると、処理を開始する(ステップ1101)。
なお、今回は認証結果202と付随情報203として認証に要した時間204、正解数205、およびサイト情報表示有無206を用いた場合の一例を説明するが、該情報以外を用いることや同様の情報を用いた場合でも異なる処理フローで最終的な値を算出することも可能である。
フィードバック値算出プログラム113は、値の初期値1.0を設定し、ステップ1103に進む(ステップ1102)。
フィードバック値算出プログラム113は、追加認証履歴115の最新エントリから認証情報を取得し、ステップ1104に進む(ステップ1103)。
フィードバック値算出プログラム113は、ステップ1103で取得した認証情報を参照し、認証に成功していた場合はステップ1109に進み、認証に失敗していた場合はステップ1105に進む(ステップ1104)。
フィードバック値算出プログラム113は、ステップ1103で取得した認証情報を参照し、認証がタイムアウトしていた場合はステップ1112に進み、していなかった場合はステップ1106に進む(ステップ1105)。
フィードバック値算出プログラム113は、ステップ1103で取得した認証情報を参照し、サイト情報の表示があった場合はステップ1112に進み、なかった場合はステップ1107に進む(ステップ1106)。
フィードバック値算出プログラム113は、値を0.5倍し、ステップ1108に進む(ステップ1107)。
フィードバック値算出プログラム113は、ステップ1103で取得した認証情報を参照し、値を正解数に応じて減少し、ステップ1112に進む(ステップ1108)。
フィードバック値算出プログラム113は、ステップ1103で取得した認証情報を参照し、値を認証に要した時間に応じて減少し、ステップ1110に進む(ステップ1109)。
フィードバック値算出プログラム113は、ステップ1103で取得した認証情報を参照し、サイト情報の表示があった場合はステップ1112に進み、なかった場合はステップ1111に進む(ステップ1110)。
フィードバック値算出プログラム113は、値を0.5倍し、ステップ1112に進む(ステップ1111)。
フィードバック値算出プログラム113は、ここまでのステップで算出した最終的な値を返却し、処理を終了する(ステップ1112)。
本処理により、ユーザの認証結果の確からしさを数値化し、確からしさに応じてWebサイト悪性度判定プログラム109を構成する各推測器124へフィードバックを行うことが可能となる。
なお、今回付随情報203として認証に要した時間204、正解数205、およびサイト情報表示有無206を用いた理由は、以下の通りである。
認証に要した時間204は、主に人間によるアクセスとマルウェアによるアクセスを分別するために用いる。不審サイトへアクセスした際に要求する追加認証は、通常のWebアクセス時には発生せず、人間は追加認証が出た際に人間は柔軟に対応できるのに対し、追加認証を想定していないマルウェアは、これを突破できずタイムアウトになる。
あるいは、近年の攻撃の高度化に伴い、追加認証を突破する機能を持つマルウェアも報告されているが、この場合は、プログラムによって人間では達成困難な入力速度で認証突破を試みると推察される。
以上のように、マルウェアが認証に要する時間には、タイムアウト、あるいはきわめて短いといった特徴があり、人間による認証と分類に有用であることから、該情報を利用した。
また、認証結果が成功だった場合、フィードバック値算出プログラム113は、ステップ1109において、認証に要した時間に応じてフィードバックする値を減算している。一方で、認証結果が失敗の場合は、同減算は行っていない。
これは、アクセス先Webサイトが不審な場合でもリスクを鑑みずにアクセスしてしまうユーザを考慮したものである。セキュリティレベルの低いユーザは、アクセス先Webサイトが不審であると警告を受けたとしても、そのリスクを鑑みずにアクセスしてしまうことが考えられる。
一方で、追加認証を突破せずにアクセスを中止した場合は、アクセス先Webサイトのリスクを考慮した上のものであると推察される。上述の追加認証結果の性質から、認証成功の信頼性は、認証失敗の信頼性よりも高いと推察される。
以上の理由から、認証突破の場合は、認証を突破しなかった場合にはないフィードバックする値の減算を行っており、これによって、該追加認証の信頼性を反映している。
正解数205は、主に認証失敗時、該失敗がヒューマンエラーによるものか否かを分別するために用いる。例えば、認証に失敗した際、意図したものであれば、何も入力しない、あるいは適当な文字を入力することにより、認証突破のために要求された文字列から大きく外れることが推察される。
一方で、意図しないもの(ヒューマンエラー)は、突破しようとしたものの外れてしまった入力であることから、認証突破のために要求された文字列から大きくは外れないことが推察される。以上のように、認証の失敗がヒューマンエラーによるか否かは、認証突破のために要求された文字列に対する入力の正解数に現れることから、該情報を利用した。
サイト情報表示有無206は、主にユーザの認証結果の確からしさを検証するために用いる。Webアクセス制御装置101は、前述の通り、ユーザが追加認証を要求された際にユーザの要求に応じてアクセス先Webサイトの情報を追加で取得・表示する機能を有する。
該情報を要求したユーザは、追加情報を要求し、アクセス先Webサイトの性質を多角的に判断しようとするセキュリティ意識の高いユーザであることが推察されることに加え、その際の判断は追加情報を見た上のものであることから、該追加情報を見ていない判断よりも信頼性が高いと推察される。以上のように、サイト情報表示有無206は、ユーザの認証結果の信頼性を検証するのに有用であることから、該情報を利用した。
次に、図12を参照して、重み更新プログラム114の処理フローについて説明する。
図12に示すように、CPU103により実行され、フィードバック値算出プログラム113よりWebサイト悪性度判定プログラムを構成する各悪性度推測器124に反映するフィードバック値を受信すると、処理を開始する(ステップ1201)。
図12に示すように、CPU103により実行され、フィードバック値算出プログラム113よりWebサイト悪性度判定プログラムを構成する各悪性度推測器124に反映するフィードバック値を受信すると、処理を開始する(ステップ1201)。
重み更新プログラム114は、悪性度推測器124のIDを意味する変数iに初期値0を設定し、ステップ1203に進む(ステップ1202)。
重み更新プログラム114は、追加認証履歴115と推測器管理表116を参照し、IDが変数iの推測器の推測結果と認証結果を取得した後、ステップ1204に進む(ステップ1203)。
重み更新プログラム114は、ステップ1103で取得したIDが変数iの推測器の推測結果と認証結果を比較し、両者が一致していた場合はステップ1205に進み、一致していなかった場合はステップ1206に進む(ステップ1204)。
重み更新プログラム114は、IDが変数iの推測器の重みをフィードバック値算出プログラム113より受信した値に応じて加算し、推測器管理表116に記録されている該推測器の重みを加算後の値に更新した後、ステップ1207へ進む(ステップ1205)。
重み更新プログラム114は、IDが変数iの推測器の重みをフィードバック値算出プログラム113より受信した値に応じて減算し、推測器管理表116に記録されている該推測器の重みを減算後の値に更新した後、ステップ1207へ進む(ステップ1206)。
重み更新プログラム114は、変数iに1加算し、ステップ1203に進む(ステップ1207)。
重み更新プログラム114は、変数iと推測器管理表116を参照することによって得ることのできる推測器数を比較し、変数iが推測器数に満たない場合はステップ1203に戻り、推測器数を上回っていた場合はステップ1209へ進む(ステップ1208)。
重み更新プログラム114は、推測器の重みの合計が1になるように、推測器管理表116に記録されている各悪性度推測器124の重みを正規化し、処理を終了する(ステップ1209)。
図13a、図13bを参照して、追加認証要求プログラム110によって表示される追加認証画面の一例について説明する。
図13aに示すように、アクセス先Webサイト悪性度判定プログラムによって閾値以上の悪性度を示したWebサイトへアクセスしようとした際、追加認証画面を表示し、画面内の追加認証を突破した場合のみ、Webサイトへのアクセスを許可する。追加認証画面は、アクセス先Webサイトが不審であるという警告文1301と、追加認証用の文字列表示欄1302と、追加認証文字列入力フォーム1303と、追加認証文字列送信ボタン1304と、追加情報要求ボタン1305とから構成される。
図13aに示すように、アクセス先Webサイト悪性度判定プログラムによって閾値以上の悪性度を示したWebサイトへアクセスしようとした際、追加認証画面を表示し、画面内の追加認証を突破した場合のみ、Webサイトへのアクセスを許可する。追加認証画面は、アクセス先Webサイトが不審であるという警告文1301と、追加認証用の文字列表示欄1302と、追加認証文字列入力フォーム1303と、追加認証文字列送信ボタン1304と、追加情報要求ボタン1305とから構成される。
ユーザは、該Webサイトが悪性でないと判断した場合のみ追加認証用の文字列表示欄1302に示された文字列を追加認証文字列入力フォーム1303に正しく入力し、追加認証文字列送信ボタン1304を押下することにより、アクセスを続行できる。また、ユーザがアクセス可否の判断に窮した際には、追加情報要求ボタン1305を押下することにより、該判断のための追加情報を取得・表示できる。
追加情報表示後の画面の一例を図13bに示す。
追加情報表示後の追加認証画面は、Webサイト情報表示欄1306と、Webサイトサムネイル表示欄1307とから構成される。Webサイト情報表示欄1306には、whois情報やDNS情報といったアクセス先Webサイトに関する公開情報が表示される。Webサイトサムネイル表示欄1307には、実際に該該アクセス先Webサイトにアクセスした際のサムネイルが画像で表示される。ユーザはこれらの情報を基に、アクセス先Webサイトへのアクセス可否を判断する。
なお、実施例1の一部を変更して以下のように実施しても良い。
追加情報表示後の追加認証画面は、Webサイト情報表示欄1306と、Webサイトサムネイル表示欄1307とから構成される。Webサイト情報表示欄1306には、whois情報やDNS情報といったアクセス先Webサイトに関する公開情報が表示される。Webサイトサムネイル表示欄1307には、実際に該該アクセス先Webサイトにアクセスした際のサムネイルが画像で表示される。ユーザはこれらの情報を基に、アクセス先Webサイトへのアクセス可否を判断する。
なお、実施例1の一部を変更して以下のように実施しても良い。
アクセス先Webサイトの悪性度の最終予測結果が閾値以下であっても、ある1つ以上の推測器が高い悪性度を算出した場合は、追加認証を要求しても良い。これにより、汎用性の低さから重みが少なくなりがちな特定の悪性サイトを検出することに特化したような推測器であっても、Webサイト悪性度判定プログラム110に組み込むことが可能になり検出漏れを抑制できる。
また、悪性度の値によって追加認証の難易度を上下させても良い。例えば、悪性度が相対的に低い場合はボタンのクリックのみ、高い場合はCAPTCHA認証を行うことが考えられる。これにより、良性よりのグレーなサイトに対するユーザの認証にかかる負荷を抑制できる。
また、検証後のユーザの追加認証結果を正解データ(Ground Truth)として扱い、データが与えられる毎に逐次的に学習し、モデルを構築するオンライン学習の教師データに利用しても良い。これにより、各推測器に付与する重みの最適化だけでなく、推測器そのものの最適化も可能となる。
次に、図14を参照して、実施例2のWebアクセス制御装置について説明する。
実施例2は、実施例1に係るWebアクセス制御装置101を含み、さらに悪性度推測器124に付与する重みを更新する際に、該重みの時系列変化に着目し、より適した形で重みを付与する機能を有するWebアクセス制御装置である。
実施例2は、実施例1に係るWebアクセス制御装置101を含み、さらに悪性度推測器124に付与する重みを更新する際に、該重みの時系列変化に着目し、より適した形で重みを付与する機能を有するWebアクセス制御装置である。
実施例2では、推測器の重みの時系列変化に着目し、重みの変化にこれまでと異なる傾向が見られた場合、重みの更新を保留する。例えば、潜在的に精度の高い推測器の重みは、単調増加を続け、上昇値が飽和した値へ収束することが推察されるが、ユーザの認証結果があるべきものと異なっていた場合、単調増加、あるいは一定値に収束していた重みが減少方向に向かう。この変化点を検出し、その場合重みの更新を一旦保留することにより、その重みの変動が正しいものなのか、あるいはユーザの認証ミス等によるノイズかを見極め、不適切な重みの上下を抑制でき、Webサイト悪性度の判定精度の低下を抑制できる。
図14は、本実施例における重み更新フローの例である。
実施例1と同一の構成要素には同一の符号を付すことによってその説明を省略し、以下では、実施例1と異なる点を中心に説明する。
実施例1と同一の構成要素には同一の符号を付すことによってその説明を省略し、以下では、実施例1と異なる点を中心に説明する。
重み更新プログラム114は、図12に示したフローに加え、重み更新時にその時系列変化に着目した処理フローを有する。具体的には、ステップ1204において、該推測器の推測結果と認証結果が一致したか否かを検証し、重みを加算/減算するフローに分岐した際に、重みの時系列変化を基に実際に重みを加算/減算するか判断するステップ1210とステップ1211を有する。以降では、ステップ1210とステップ1211の処理内容について説明する。
重み更新プログラム114は、IDが変数iの推測器の重みの時系列変化を該推測器に対応する推測器時系列重み管理表117を参照し取得する。また、仮に重みを加算した場合、重みの変化の傾向がこれまでと異なるか検証し、これまでの変化と異なる傾向が見られた場合、重み更新を保留するために、ステップ1207へ進む。重みの変化にこれまでと異なる傾向が見られなかった場合は、ステップ1205へ進む(ステップ1210)。
重み更新プログラム114は、IDが変数iの推測器の重みの時系列変化を該推測器に対応する推測器時系列重み管理表117を参照し取得する。また、仮に重みを減算した場合、重みの変化の傾向がこれまでと異なるか検証し、これまでの変化と異なる傾向が見られた場合、重み更新を保留するために、ステップ1207へ進む。重みの変化にこれまでと異なる傾向が見られなかった場合は、ステップ1206へ進む(ステップ1211)。
図15を参照して、実施例3のWebアクセス制御装置について説明する。
実施例3は、実施例1に係るWebアクセス制御装置101を含み、さらにWebサイト悪性度判定プログラム109において、複数の悪性度推測器124を階層的に並べることによって、悪性度算出時間を効率化する機能を有する。
実施例3は、実施例1に係るWebアクセス制御装置101を含み、さらにWebサイト悪性度判定プログラム109において、複数の悪性度推測器124を階層的に並べることによって、悪性度算出時間を効率化する機能を有する。
実施例3では、複数の悪性度推測器124を処理時間の比較短い表層解析部分(第1のグループ)と、処理時間を要する分より高精度でWebサイトの悪性度を算出可能な詳細解析部分(第2のグループ)に階層的に分割する。これにより、明らかに良性、あるいは明らかに悪性なWebサイトに対しては、処理時間の短い表層解析部分の複数の悪性度推測器124のみでWebサイトの性質を判定できるため、判定に要する処理時間を短縮できる。また、表層解析部分ではWebサイトの性質を判断することが難しい場合は、詳細解析部分を用いて判断を行うため、判定精度が著しく低下することも無い。
図15は、実施例3における推測器群構成方式の一例である。なお、図15は、実施例1におけるステップ804でのWebサイト悪性度判定プログラム109において、複数の悪性度推測器124を階層的に並べた場合の処理例である。Webサイト悪性度判定プログラム109以外の処理フローは実施例1と同じであるためその説明は省略し、以下では、実施例1と異なる点である階層的に複数の悪性度推測器124を並べた場合の推測結果導出方法を中心に説明する。
Webサイト悪性度判定プログラム109は、図9に示したフローに加え、複数の悪性度推測器124を表層解析部分(悪性度推測器A、悪性度推測器B)と詳細解析部分(悪性度推測器C、悪性度推測器D、悪性度推測器E)に分割することによる追加の悪性度計算フローを有する。具体的には、ステップ902において、全ての複数の悪性度推測器124にアクセス先Webサイトを入力するのではなく、表層解析部分(悪性度推測器A、悪性度推測器B)にのみ入力する。その後、表層解析部分(悪性度推測器A、悪性度推測器B)から推測結果(推測結果A、推測結果B)を受信し、その推測結果(途中推測結果)が明らかに良性である、あるいは明らかに悪性である場合は、推測結果を最終予測結果としてステップ904に進む。
ここでの明らかに悪性とは、例えば、悪性度が90%以上、明らかに良性とは、例えば悪性度が10%以下のような状態を指す。なお、具体的な数値は、この限りではない。表層解析部分(悪性度推測器A、悪性度推測器B)で明らかに良性、あるいは明らかに悪性だと判断できなかった場合は、詳細解析部分(悪性度推測器C、悪性度推測器D、悪性度推測器E)へと処理を進める。この際、詳細解析部分を構成する複数の悪性度推測器C、悪性度推測器D、悪性度推測器Eにアクセス先Webサイトを入力する。その後、推測結果(推測結果C、推測結果D、推測結果E)を受信し、該推測結果を最終予測結果とする。
なお、図15では、複数の悪性度推測器124を2段に分割したが、3段以上に分割しても良い。実施例3では、以上の手法によって、悪性度算出時間を効率化することを可能とする。
図16を参照して、実施例4のWebアクセス制御装置について説明する。
実施例4は、実施例1に係るWebアクセス制御装置101を含む。さらにWebサイト悪性度判定プログラム109において、複数の悪性度推測器124から受領した悪性度を基に最終予測結果を算出する際の手法に着目し、より適した形で悪性度を算出することによってWebサイトの悪性度判定精度を向上する機能を有する。
実施例4は、実施例1に係るWebアクセス制御装置101を含む。さらにWebサイト悪性度判定プログラム109において、複数の悪性度推測器124から受領した悪性度を基に最終予測結果を算出する際の手法に着目し、より適した形で悪性度を算出することによってWebサイトの悪性度判定精度を向上する機能を有する。
実施例4は、実施例1で示した最終予測結果算出方法(a)の他に、複数の悪性度推測器124の推測結果から多数決をとる方法(b)、および実施例1の算出方法に加えて特定の場合に単体の推測器が算出した予測結果を重用する方法(c)を有する。
多数決をとる方法(b)では、悪性度推測器A、悪性度推測器B、悪性度推測器Cにおいて、予測結果と重みを掛け算した後に合計をとる方法(a)における計算処理が不要になるため処理時間を短縮できる。
特定の場合に単体の推測器が算出した予測結果を重用する方法(c)では、特定の性質を有するWebサイトの性質判断に特化した悪性度推測器Cを有効活用し全体としての推測精度を向上できる。例えば、フィッシングサイトやマルウェアダウンロードサイトのような特定の悪性サイトに特化した悪性度推測器Cは、よりアクセスの多い良性サイトに対しては推測精度が低く、普段の運用の中で、悪性度推測器Cに与えられる重みは小さくなることが考えられる。
この場合には、悪性度推測器Cの得意とするフィッシングサイトやマルウェアダウンロードサイトへのアクセスが発生した場合でも悪性度推測器Cの重みが小さく、最終予測結果にほとんど反映されない。このため、最終予測結果が適切に算出できない可能性がある。そこで、上述した特定の悪性サイトに特化した悪性度推測器Cがアクセス先のWebサイトに対し、高い悪性度を示した場合、全体としての予測結果が良性であったとしても、悪性の恐れがあるとして利用者に追加認証を要求する。これにより、悪性サイトの見落としを抑制し、前述したような全体としての推測精度向上が可能になる。
次に、図16を参照して、実施例4における最終予測結果算出フローの一例について説明する。
なお、図16は、実施例1におけるおよびステップ805でのWebサイト悪性度判定プログラム109において、アクセス先Webサイトの性質が悪性か良性か判定する際の各手法における一例である。
なお、図16は、実施例1におけるおよびステップ805でのWebサイト悪性度判定プログラム109において、アクセス先Webサイトの性質が悪性か良性か判定する際の各手法における一例である。
また、左から順に、実施例1の推測結果と重みの積和をとる方法(a)、多数決をとる方法(b)、および特定の悪性度推測器を重用する方法(c)を図示している。Webサイト悪性度判定プログラム以外の処理フローは実施例1と同一のためその説明は省略する。以下では、実施例1と異なる方法である多数決をとる方法(b)と、特定の悪性度推測器を重用する方法(c)を中心に説明する。
まず、多数決をとる方法(b)について説明する。
多数決をとる方法は、悪性度推測器A、悪性度推測器B、悪性度推測器Cにおける推測結果を事前に制定していた閾値と比較し、悪性度推測器A、悪性度推測器B、悪性度推測器Cごとにアクセス先Webサイトの性質が悪性か良性かを推定する。その後、悪性度推測器A、悪性度推測器B、悪性度推測器Cから集計した性質の合計数を比較し、該合計数が最も多いものを最終予測結果として算出する。(b)の例では、3つの悪性度推測器A、悪性度推測器B、悪性度推測器Cのうち、2つが良性、1つが良性と推測しており、良性の方が多いことから、最終予測結果を良性としている。
多数決をとる方法は、悪性度推測器A、悪性度推測器B、悪性度推測器Cにおける推測結果を事前に制定していた閾値と比較し、悪性度推測器A、悪性度推測器B、悪性度推測器Cごとにアクセス先Webサイトの性質が悪性か良性かを推定する。その後、悪性度推測器A、悪性度推測器B、悪性度推測器Cから集計した性質の合計数を比較し、該合計数が最も多いものを最終予測結果として算出する。(b)の例では、3つの悪性度推測器A、悪性度推測器B、悪性度推測器Cのうち、2つが良性、1つが良性と推測しており、良性の方が多いことから、最終予測結果を良性としている。
次に、特定の推測器を重用する方法(c)について説明する。
特定の推測器を重用する方法では、まず重用する悪性度推測器Cが高い悪性度を示していないか確認する。このとき、悪性度推測器Cが高い値を出していた場合は、他の悪性度推測器A、悪性度推測器Bが算出した結果に関わらず、Webサイトは悪性の可能性があるとして利用者に追加認証を要求する。悪性度推測器Cが高い値を出していなかった場合は、実施例1と同様の方法で最終予測結果を算出し、該値に応じてアクセス制御を実施する。
特定の推測器を重用する方法では、まず重用する悪性度推測器Cが高い悪性度を示していないか確認する。このとき、悪性度推測器Cが高い値を出していた場合は、他の悪性度推測器A、悪性度推測器Bが算出した結果に関わらず、Webサイトは悪性の可能性があるとして利用者に追加認証を要求する。悪性度推測器Cが高い値を出していなかった場合は、実施例1と同様の方法で最終予測結果を算出し、該値に応じてアクセス制御を実施する。
(c)の例では、3つの悪性度推測器A、悪性度推測器B、悪性度推測器Cのうち、悪性度推測器Cが特定の悪性サイトに特化したものである。悪性度推測器Cが高い悪性度を出していることから、アクセス先Webサイトを悪性と判定している。なお、実施例1の計算方式だとアクセス先Webサイトは良性と判定される。また、重用する特定の悪性度推測器Cは、管理者が事前に指定しているものとし、本方法では、図3の推測器管理表116に各悪性度推測器について重用するか否かを表す追加項目を持つ。
実施例4では、以上の手法によって、処理時間の短縮や推測精度の向上が可能となる。
図17a及び図17bを参照して、実施例5のWebアクセス制御装置について説明する。
実施例5は、実施例1に係るWebアクセス制御装置101を含む。さらに追加認証要求プログラム110において、状況に応じて追加認証方法を変更することによって、利用者の利便性を向上するとともに、悪性サイトへの誤アクセスをより高い確度で抑制する機能を有する。実施例5では、以下の3つの観点で追加認証の難易度を変更する。
実施例5は、実施例1に係るWebアクセス制御装置101を含む。さらに追加認証要求プログラム110において、状況に応じて追加認証方法を変更することによって、利用者の利便性を向上するとともに、悪性サイトへの誤アクセスをより高い確度で抑制する機能を有する。実施例5では、以下の3つの観点で追加認証の難易度を変更する。
1つ目は、悪性度に応じた追加認証の難易度変更である。具体的には、悪性サイトへのアクセスの可能性があるとして利用者に追加認証を要求する際、Webサイトの悪性度を非常に高いと判断した際には、高難易度の追加認証を要求知る。一方、Webサイトの悪性度が閾値よりは高いものの閾値に近く悪性と判断されるものの中では相対的に低いと破断した際には、低難易度の追加認証を要求する。これにより、より悪性度の高い可能性があるWebサイトに誤アクセスする可能性を抑制し、悪性度が相対的には低いサイトにはアクセス性を向上して利便性を向上する。
本方法では、悪性度が何%以上であれば非常に高いか、悪性度が何%以下であれば悪性度が相対的に低いかを表す追加の表を図1の記憶装置105の部分に持つ。また、各値は、事前に管理者が制定するものとする。
2つ目は、グレーリストにおける情報源の信頼度に応じた追加認証の難易度変更である。グレーリストには、手動で悪性サイトらしいWebサイトを追加できるが、この際の情報源としては、信頼性の高い組織が公開しているものから、そうでないものまでが含まれ得る。
そこで、該情報源の信頼度に応じて、追加認証の難易度を変更する。信頼性の高い情報源から得られたWebサイトへのアクセスに対する追加認証には、低難易度のものを利用する。一方、そうでない情報源から得られたWebサイトへのアクセスに対する追加認証には、高難易度のものを利用する。これにより、利用者の利便性を向上するとともに、悪性サイトへの誤アクセスをより高い確度で抑制する。
本方法では、図5のグレーリスト118に格納された各URLについて、情報源の信頼性を、例えば、高、中及び低で表す追加項目を持つ。また、各値は、事前に管理者が制定するものとし、情報源の信頼性を表す方法は、上記の限りではない。
3つ目は、特定の悪性サイトに特化した悪性度推測器が高い悪性度を示していた場合における追加認証の高難易度化である。特定の悪性サイトに特化した悪性度推測器が高い悪性度を示していた場合は、アクセスするべきでない特定の性質を持った悪性サイトである可能性が高まる。特に、悪性度推測器が高い悪性度を示し、かつ全体の推定結果としては良性サイトよりの判定であった場合は、他の悪性度推測器では検知できないような良性サイトを模した悪性サイトである可能性がある。このため、Webサイトへのアクセスはより遮断する必要がある。
以上の理由から、利用者に要求する追加認証を高難易度のものにし、これにより、性サイトへの誤アクセスをより高い確度で抑制する。また、重用する特定の悪性度推測器は、管理者が事前に指定しているものとし、本方法では、図3の推測器管理表116に各悪性度推測器について重用するか否かを表す追加項目を持つ。
実施例5においては、どの認証方式を利用するかを表す追加の表を図1の記憶装置105の部分に持つ。どの認証方式を利用するかは、事前に管理者が制定するものとする。また、実施例5では、難易度の異なる追加認証方式を実施例1に示したものの他に2つ有する。
図17aは、低難易度の追加認証方式を用いた追加認証画面の一例を示す図である。
実施例1のように文字列を画面から読み取り入力するといったステップは無く、画面に表示された接続ボタン1701を押下するだけでWebサイトへのアクセスを続行できる。
実施例1のように文字列を画面から読み取り入力するといったステップは無く、画面に表示された接続ボタン1701を押下するだけでWebサイトへのアクセスを続行できる。
図17bは、高難易度の追加認証方式を用いた追加認証画面の一例を示す図である。
追加認証用の計算式表示欄1702を備え、計算式表示欄1702から計算式を読み取り、計算式の計算結果を追加認証文字列入力フォーム1703に正しく入力し、加認証文字列送信ボタン1704を押下することにより、アクセスを続行できる。
追加認証用の計算式表示欄1702を備え、計算式表示欄1702から計算式を読み取り、計算式の計算結果を追加認証文字列入力フォーム1703に正しく入力し、加認証文字列送信ボタン1704を押下することにより、アクセスを続行できる。
実施例5では、以上の方法によって、利用者の利便性を向上するとともに、悪性サイトへのアクセスをより高い確度で抑制することが可能となる。
101:Webアクセス制御装置
108:アクセス中継プログラム
109:Webサイト悪性度判定プログラム
110:追加認証要求プログラム
111:アクセス先情報取得プログラム
112:リスト更新プログラム
113:フィードバック値算出プログラム
114:重み更新プログラム
115:追加認証履歴
116:推測器管理表
117:推測器重み履歴
118:グレーリスト
119:ブラックリスト
120:ホワイトリスト
121:ユーザ端末
123:インターネット
124:悪性度推測器
108:アクセス中継プログラム
109:Webサイト悪性度判定プログラム
110:追加認証要求プログラム
111:アクセス先情報取得プログラム
112:リスト更新プログラム
113:フィードバック値算出プログラム
114:重み更新プログラム
115:追加認証履歴
116:推測器管理表
117:推測器重み履歴
118:グレーリスト
119:ブラックリスト
120:ホワイトリスト
121:ユーザ端末
123:インターネット
124:悪性度推測器
Claims (12)
- インターネットとユーザが操作するユーザ端末に接続されたWebアクセス制御装置であって、
重みがそれぞれ割り当てられた複数の悪性度推測器を用いて、Webサイト悪性度判定プログラムを実行することにより、アクセス先Webサイトの悪性度を所定の閾値に基づいて判定するWebサイト悪性度判定部と、
前記Webサイト悪性度判定部が前記アクセス先Webサイトの悪性度が前記所定の閾値より高いと判定した場合に、追加認証要求プログラムを実行することにより、前記ユーザ端末に対して前記アクセス先Webサイトへのアクセスの可否を決定するための追加認証を要求する追加認証要求部と、
前記追加認証要求部の前記追加認証の結果に基づいて、重み更新プログラムを実行することにより、前記Webサイト悪性度判定部の前記悪性度推測器にそれぞれ割り当てられた前記重みを更新する重み更新部と、
を有することを特徴とするWebアクセス制御装置。 - フィードバック値算出プログラムを実行することにより、前記Webサイト悪性度判定部の前記悪性度推測器にそれぞれ割り当てられた前記重みにフィードバックする値を算出するフィードバック値算出部を更に有し、
前記重み更新部は、
前記フィードバック値算出部で算出された算出値に基づいて、前記Webサイト悪性度判定部の前記悪性度推測器にそれぞれ割り当てられた前記重みを更新することを特徴とする請求項1に記載のWebアクセス制御装置。 - 前記フィードバック値算出部は、
前記追加認証要求部の前記追加認証の結果に加え、前記追加認証の際に得られる付随情報を用いて、前記Webサイト悪性度判定部の前記悪性度推測器にそれぞれ割り当てられた前記重みへフィードバックする値を算出することを特徴とする請求項2に記載のWebアクセス制御装置。 - 前記フィードバック値算出部は、
前記付随情報として、前記追加認証に要した時間又は前記アクセス先Webサイトの情報表示の有無を用いることを特徴とする請求項3に記載のWebアクセス制御装置。 - 前記フィードバック値算出部は、
前記Webサイト悪性度判定部の前記悪性度推測器にそれぞれ割り当てられた前記重みの時系列の変化を用いて、前記悪性度推測器にそれぞれ割り当てられた前記重みへフィードバックする値を算出することを特徴とする請求項2に記載のWebアクセス制御装置。 - 前記追加認証要求部は、
前記Webサイト悪性度判定部が前記アクセス先Webサイトの悪性度が前記所定の閾値より高いと判定した場合に、前記アクセス先Webサイトが不審サイトと判定し、前記ユーザ端末に対して前記不審サイトに関する追加情報を提供することを特徴とする請求項1に記載のWebアクセス制御装置。 - 前記追加認証要求部は、
前記不審サイトに関する前記追加情報として、前記アクセス先Webサイトのサムネイル画像を用いることを特徴とする請求項6に記載のWebアクセス制御装置。 - 前記重み更新部は、
前記Webサイト悪性度判定プログラムの前記悪性度推測器の推測結果と、前記追加認証要求部の前記追加認証の認証結果とを比較し、この比較結果に基づいて前記悪性度推測器にそれぞれ割り当てられた前記重みを更新することを特徴とする請求項1に記載のWebアクセス制御装置。 - 前記重み更新部は、
前記悪性度推測器の推測結果と、前記追加認証要求部の前記認証結果との比較結果の一致率が高い前記悪性度推測器の重みを大きくすることを特徴とする請求項8に記載のWebアクセス制御装置。 - 前記Webサイト悪性度判定部の前記複数の悪性度推測器は、
第1の処理時間で前記悪性度を判定する第1のグループと、前記第1の処理時間より長い前記第2の処理時間で前記悪性度を判定する第2のグループとに階層的に分割され、
前記第1のグループに属する前記悪性度推測器で判定された悪性度に応じて、前記第2のグループに属する前記悪性度推測器で再度悪性度を判定するか否かを決定することを特徴とする請求項1に記載のWebアクセス制御装置。 - 前記Webサイト悪性度判定部は、
前記複数の悪性度推測器における推測結果を予め定めた閾値と比較し、前記悪性度推測器ごとに前記アクセス先Webサイトが悪性か良性かを推定し、前記悪性の数の合計数と前記良性の数の合計数との比較結果に応じて、前記アクセス先Webサイトの前記悪性度を判定することを特徴とする請求項1に記載のWebアクセス制御装置。 - 前記Webサイト悪性度判定部は、
前記複数の悪性度推測器の中から特定の悪性度推測器を予め決めておき、前記特定の悪性度推測器の推測結果を他の前記悪性度推測器の推測結果よりも優先させて、前記アクセス先Webサイトの前記悪性度を判定することを特徴とする請求項1に記載のWebアクセス制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017139751A JP2019021094A (ja) | 2017-07-19 | 2017-07-19 | Webアクセス制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017139751A JP2019021094A (ja) | 2017-07-19 | 2017-07-19 | Webアクセス制御装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019021094A true JP2019021094A (ja) | 2019-02-07 |
Family
ID=65353210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017139751A Pending JP2019021094A (ja) | 2017-07-19 | 2017-07-19 | Webアクセス制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019021094A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7494065B2 (ja) | 2020-09-14 | 2024-06-03 | Kddi株式会社 | 検知装置、検知方法及び検知プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039599A (ja) * | 2009-08-06 | 2011-02-24 | Konica Minolta Business Technologies Inc | ジョブ処理システムおよび画像処理装置 |
JP2015170219A (ja) * | 2014-03-07 | 2015-09-28 | 株式会社日立システムズ | アクセス管理方法およびアクセス管理システム |
US20160012230A1 (en) * | 2013-03-01 | 2016-01-14 | Hitachi, Ltd. | Method for detecting unfair use and device for detectng unfair use |
JP2017045188A (ja) * | 2015-08-25 | 2017-03-02 | 日本電信電話株式会社 | 通信記録確認装置、通信記録確認システム、通信記録確認方法および通信記録確認プログラム |
WO2017068714A1 (ja) * | 2015-10-23 | 2017-04-27 | 株式会社日立製作所 | 不正通信制御装置および方法 |
-
2017
- 2017-07-19 JP JP2017139751A patent/JP2019021094A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039599A (ja) * | 2009-08-06 | 2011-02-24 | Konica Minolta Business Technologies Inc | ジョブ処理システムおよび画像処理装置 |
US20160012230A1 (en) * | 2013-03-01 | 2016-01-14 | Hitachi, Ltd. | Method for detecting unfair use and device for detectng unfair use |
JP2015170219A (ja) * | 2014-03-07 | 2015-09-28 | 株式会社日立システムズ | アクセス管理方法およびアクセス管理システム |
JP2017045188A (ja) * | 2015-08-25 | 2017-03-02 | 日本電信電話株式会社 | 通信記録確認装置、通信記録確認システム、通信記録確認方法および通信記録確認プログラム |
WO2017068714A1 (ja) * | 2015-10-23 | 2017-04-27 | 株式会社日立製作所 | 不正通信制御装置および方法 |
Non-Patent Citations (1)
Title |
---|
藤井 翔太 ほか: "サイト関連情報に基づいたWebサイト脅威度推定機能の提案", 電子情報通信学会技術研究報告, vol. 第117巻,第128号, JPN6020043172, 7 July 2017 (2017-07-07), JP, pages 11 - 18, ISSN: 0004508472 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7494065B2 (ja) | 2020-09-14 | 2024-06-03 | Kddi株式会社 | 検知装置、検知方法及び検知プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10778626B2 (en) | Determining authenticity of reported user action in cybersecurity risk assessment | |
US10673896B2 (en) | Devices, systems and computer-implemented methods for preventing password leakage in phishing attacks | |
US9853983B2 (en) | Preventing phishing attacks based on reputation of user locations | |
JP6068506B2 (ja) | オンライン不正行為の検出の動的採点集計のシステムおよび方法 | |
US8019689B1 (en) | Deriving reputation scores for web sites that accept personally identifiable information | |
EP2673708B1 (en) | DISTINGUISH VALID USERS FROM BOTS, OCRs AND THIRD PARTY SOLVERS WHEN PRESENTING CAPTCHA | |
US8769695B2 (en) | Phish probability scoring model | |
US8079087B1 (en) | Universal resource locator verification service with cross-branding detection | |
US8650647B1 (en) | Web site computer security using client hygiene scores | |
Stock et al. | Protecting users against xss-based password manager abuse | |
US20130036466A1 (en) | Internet infrastructure reputation | |
CN106548075B (zh) | 漏洞检测方法和装置 | |
US20090187442A1 (en) | Feedback augmented object reputation service | |
CN112703496B (zh) | 关于恶意浏览器插件对应用用户的基于内容策略的通知 | |
US11785044B2 (en) | System and method for detection of malicious interactions in a computer network | |
US20210006592A1 (en) | Phishing Detection based on Interaction with End User | |
JP2016146114A (ja) | ブラックリストの管理方法 | |
Ronda et al. | Itrustpage: a user-assisted anti-phishing tool | |
WO2016149237A1 (en) | Method and system for obfuscating the properties of a web browser | |
EP3195140B1 (en) | Malicious message detection and processing | |
US11087374B2 (en) | Domain name transfer risk mitigation | |
CN111131166B (zh) | 一种用户行为预判方法及相关设备 | |
JP2019021094A (ja) | Webアクセス制御装置 | |
KR20150133370A (ko) | 웹서비스 접속제어 시스템 및 방법 | |
CN113590180A (zh) | 一种检测策略生成方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210525 |