JP7148299B2 - サーバー装置、車載機および速度監視方法 - Google Patents

サーバー装置、車載機および速度監視方法 Download PDF

Info

Publication number
JP7148299B2
JP7148299B2 JP2018132128A JP2018132128A JP7148299B2 JP 7148299 B2 JP7148299 B2 JP 7148299B2 JP 2018132128 A JP2018132128 A JP 2018132128A JP 2018132128 A JP2018132128 A JP 2018132128A JP 7148299 B2 JP7148299 B2 JP 7148299B2
Authority
JP
Japan
Prior art keywords
vehicle
image
speed
unit
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018132128A
Other languages
English (en)
Other versions
JP2020009349A (ja
Inventor
有未 岩田
隆 山口
弘恵 生塩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Faurecia Clarion Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd, Faurecia Clarion Electronics Co Ltd filed Critical Clarion Co Ltd
Priority to JP2018132128A priority Critical patent/JP7148299B2/ja
Publication of JP2020009349A publication Critical patent/JP2020009349A/ja
Application granted granted Critical
Publication of JP7148299B2 publication Critical patent/JP7148299B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、サーバー装置、車載機および速度監視方法の技術に関するものである。
「車外の画像を取得する画像取得手段と、道路における区間の開始又は終了を表す物体の候補領域を画像処理により前記画像から抽出する候補領域抽出手段と、前記候補領域と、それぞれが前記物体のいずれかに対応する複数のマッチング対象とのマッチングの結果に基づき、前記候補領域を前記物体として認識する物体認識手段と、前記物体認識手段により認識された前記物体を記憶する物体記憶手段と、前記複数のマッチング対象のうち、前記物体記憶手段に記憶された前記物体の種類に応じて予め定められた一部のマッチング対象を選択して前記マッチングに用いるマッチング対象制限手段と、を備えることを特徴とする物体識別装置。」に係る技術が、特許文献1に記載されている。
特開2012-160116号公報
上記のような技術では、道路の交通標識の誤検知を回避する技術ではあるものの、物体識別装置内の処理負荷が高いため、応答性との両立のためには比較的高価なハードウェアを要する。一方で、ナビゲーション装置等に比べて安価なドライブレコーダー等を用いて速度監視を実現する要望がある。しかしドライブレコーダー単体で監視を実現するには比較的高価なハードウェアを要し、サーバー等により監視することでドライブレコーダーに必要なハードウェアの要求水準を下げる場合であっても、サーバー装置および通信装置に比較的高価なハードウェアを要する。
本発明の目的は、比較的高価なハードウェアを必要とせずに、簡便な構成による速度監視を行うサーバー装置、車載機および速度監視方法を提供することにある。
本発明は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明に係るサーバー装置は、一般道路を走行中であると認識しうる所定の対象の外観の画像情報を含む一般道路認識画像を記憶する認識対象記憶部と、所定の車両に搭載された車載機との通信を行う通信部と、上記車載機の識別情報と、該車載機の識別情報に対応付けられた上記車両の周囲を撮影した画像と、を上記車載機から上記通信部を介して受信すると、上記一般道路認識画像が上記車両の周囲を撮影した画像に含まれるか否かを判定する画像認識部と、速度超過判定部と、を備え、上記速度超過判定部は、上記画像認識部が、上記一般道路認識画像が上記車両の周囲を撮影した画像に含まれると判定した場合に、上記車両の速度超過を特定する、ことを特徴とする。
本願発明によれば、比較的高価なハードウェアを必要とせずに、簡便な構成による速度監視を行うサーバー装置、車載機および速度監視方法を提供することが可能となる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
本発明に係る実施形態を適用した速度監視システムの構造を示す図である。 閾値記憶部のデータ構造例を示す図である。 受取画像記憶部のデータ構造例を示す図である。 速度基準記憶部のデータ構造例を示す図である。 認識対象記憶部のデータ構造例を示す図である。 車載機のハードウェア構造例を示す図である。 サーバー装置のハードウェア構造例を示す図である。 自律監視処理および速度超過判定処理の流れを示す図である。 継続監視処理の流れを示す図である。 速度変化と送信画像の例を示す図である。 速度変化と送信画像の別の例を示す図である。
以下に、本発明に係る、車載機とサーバー装置とを含む速度監視システムについて、図面を参照して説明する。なお、図1~図11は、速度監視システム1の全ての構成を示すものではなく、理解容易のため、適宜、構成の一部を省略して描いている。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する場合がある。また、以下の実施の形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Aからなる」、「Aよりなる」、「Aを有する」、「Aを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。
一般に、業務用車両の管理においては、関連する従業員が規制速度を守って市街地を走行しているか否か把握する必要がある。また、そのためには、車両の位置が歩行者進入禁止の自動車専用道路および高速自動車国道等にあるか、それ以外の一般道(市街地含む)にあるかの判別を要する。しかし、この判別処理を個々の車載機にて行う場合には、GPS(Global Positioning System)システム用モジュールの搭載を行ったり、あるいは走行映像を画像処理により常時解析して道路種類(一般道や自動車専用道路、高速自動車国道等の管理上の所定の種類)を判別する必要があるが、いずれも車載機のハードウェアコストの低減には限界がある。また、サーバー装置を用いて判別処理を行う場合には、大量の画像情報を随時にサーバー装置へ送信するための通信コストがかさむ。
特に、車両の前方や後方について所定の視野角で光学映像を取得するドライブレコーダーを車載機として用いる場合には、ドライブレコーダーのモデルにより著しく性能差があることが多く、性能が所定以下であれば、業務用車両の管理の実現自体が困難となるおそれがある。
図1に、本発明に係る実施形態を適用した速度監視システムの構造を示す。本発明に係る実施形態を適用した速度監視システム1においては、車載機100および管理サーバーとなるサーバー装置300の制御の一部に、アプリケーションソフトウェアによる制御が含まれる。また、車載機100においては、アプリケーションソフトウェアの機能は、車載機100のOS(Operating System)等の管理下で動作するアプリケーションソフトウェアプログラムによりハードウェアが制御されて実現されるものとするが、これに限られるものではなく、ASIC(Application specific Integrated Circuit)等のハードウェア回路により実現してもよい。一方で、サーバー装置300においては、アプリケーションソフトウェアの機能は、サーバー装置300のOS等の管理下で動作するアプリケーションソフトウェアプログラムによりハードウェアが制御されて実現されるものとする。
ただし、車載機100は、車載の状態で使用される専用の装置に限られず、パーソナルコンピューターやスマートフォン、タブレット端末等の各種の独立動作可能な装置であってもよい。
車載機100は、記憶部110と、制御部120と、通信部130と、撮像部140と、車両情報取得部150と、を含んで構成される。記憶部110には、撮影画像記憶部111と、閾値記憶部112と、が含まれる。制御部120には、画像取得部121と、車速特定部122と、自律監視処理部123と、継続監視処理部124と、の処理部が含まれる。
撮影画像記憶部111は、車載機100が撮像部140により撮像した画像を画像取得部121が取得し格納する記憶部である。具体的には、撮影画像記憶部111には、撮像部140により取得した動画が撮影した日時を特定する情報とともに、車両の周囲を撮影した車載機100の識別情報に対応付けられた画像とが、格納される。
図2は、閾値記憶部のデータ構造例を示す図である。閾値記憶部112には、各種の閾値の情報が格納される。具体的には、閾値記憶部112には、報告開始速度112a、詳細報告速度112bが格納される。報告開始速度112aは、後述する自律監視処理部123が自律監視処理を開始するトリガーとなる走行速度の閾値である。詳細報告速度112bは、後述する継続監視処理部124が継続監視処理においてサーバー装置300へ画像を送信するトリガーとなる走行速度の閾値である。
なお、報告開始速度112aは、主に一般道(自動車専用道路と高速自動車国道を含まない道路および市街地)における制限速度を基準とした閾値であり、当該速度以上の速度で走行すると危険度が非常に高いとされる速度の閾値であればよい。本実施形態では、報告開始速度112aは、60km/h(キロメートル毎時)とする。
また、詳細報告速度112bは、主に停止あるいは徐行程度の走行速度を基準とした閾値であり、当該速度未満の速度で走行する場合にはほぼ安全とされる速度(みなし停止速度)の閾値であればよい。本実施形態では、詳細報告速度112bは、20km/h(キロメートル毎時)とする。
図1の説明に戻る。画像取得部121は、撮像部140を制御して撮像した画像を取得し、時刻と関連付けて撮影画像記憶部111へ画像を記憶させる。
車速特定部122は、車両情報取得部150から取得した車速に関する情報、例えば車速パルスや加速度の積算から得られる車速の値を特定して、車速を特定する。
自律監視処理部123は、車載機100による車両の自律的な監視処理を行う。具体的には、自律監視処理部123は、車速特定部122により特定された車速の情報を用いて、報告開始速度112aを超過したか否か(報告開始速度112aより速い速度となったか否か)を判定する。そして、超過した場合には、自律監視処理部123は、その時点(超過が判定された時点)を基準に、前後所定の秒数(例えば、前後10秒ずつ)の画像を撮影画像記憶部111から1秒間隔でサンプリングして取得し、サーバー装置300へ送信する。
継続監視処理部124は、サーバー装置300から継続監視要求を受けると、後述する継続監視処理を開始させる。より具体的には、継続監視処理部124は、車速特定部122により特定された車速の情報を用いて、詳細報告速度112b未満であるか否かを判定する。そして、詳細報告速度112b未満である場合には、継続監視処理部124は、その時点(詳細報告速度未満が判定された時点)を基準に、所定の秒数(例えば、前180秒)の画像を撮影画像記憶部111から5秒間隔でサンプリングして取得し、サーバー装置300へ送信する。
通信部130は、携帯電話網(LTE:Long Term Evolution)、あるいは無線LAN(WiFi:登録商標)等を介して、例えばインターネットを経由してサーバー装置300と通信を行う。
撮像部140は、車載機100が搭載された車両の所定の方向を撮影するように設けられた光学カメラ等を制御して、撮像を行い、画像取得部121へ受け渡す。
車両情報取得部150は、車載機100が搭載された車両管理に関する情報を取得する。例えば、車両情報取得部150は、図示しない車載ネットワークの情報を受信して、車速パルスあるいは加速度情報を取得する。
サーバー装置300は、インターネット等のネットワークを介して車載機100と通信可能に接続される。サーバー装置300は、いわゆるコンピューターサーバー装置であり、記憶部310と、制御部320と、通信部330と、を備える。
記憶部310には、受取画像記憶部311と、速度基準記憶部312と、認識対象記憶部313と、が格納される。制御部320には、画像認識部321と、速度超過基準特定部322と、速度超過判定部323と、継続監視要求部324と、判定記録処理部325と、が含まれる。
図3は、受取画像記憶部のデータ構造例を示す図である。受取画像記憶部311には、車載機識別子311aと、運転者識別子311bと、日時311cと、受取画像311dと、車速311eと、速度超過判定結果311fと、継続監視識別子311gと、が含まれる。
車載機識別子311aは、車載機100を識別する情報である。運転者識別子311bは、車載機識別子311aが搭載される車両を運転する運転者を識別する情報である。日時311cは、車両に搭載された車載機100から通信のあった日および時刻を特定する情報である。
受取画像311dは、一度の報告で受け取った一枚または一連の複数枚の画像である。車速311eは、車両の速度を特定する情報である。速度超過判定結果311fは、速度超過があったか否かの判定の結果を特定する情報である。例えば、速度超過判定結果311fには、「速度超過あり」、「速度超過なし」、「不明」のいずれかを示す情報が格納される。
継続監視識別子311gは、自律監視において受け取った画像に対応付けて継続監視において受け取った画像を格納するための識別子である。例えば、自律監視において継続監視を要すると判定された場合に、その判定結果に関連する継続監視において受け取った画像との間で共通する識別子を共有することで、自律監視と継続監視との対応付けを取ることができる。
図4は、速度基準記憶部のデータ構造例を示す図である。速度基準記憶部312には、道路種類312aと、基準速度312bと、が含まれる。
道路種類312aは、道路の種類を識別する情報である。例えば、道路の種類には、一般道、市街地、自動車専用道路、高速自動車国道等の所定のルールにより区分された種類が含まれる。しかし、これに限られず、制限速度の観点から区分された種類であってもよい。基準速度312bは、道路種類312aにより特定される道路の種類毎の、標準的な最高速度を特定する情報である。
図5は、認識対象記憶部のデータ構造例を示す図である。認識対象記憶部313には、対象物313aと、位置313bと、可能性のある道路種類313cと、が含まれる。対象物313aは、画像認識部321が受け取った画像に含まれる所定の物(認識対象)を特定する情報である。例えば、対象物313aには、道路標識、信号機、歩行者、自転車、信号機、横断歩道等の一般道路を走行中であると認識しうる所定の対象の外観の画像情報を含む一般道路認識画像と、緑標識や料金所のゲート、中央分離帯や自動車専用道路を走行中であると認識しうる所定の対象の外観の画像情報を含む自動車専用道路認識画像が含まれる。位置313bは、対象物313aで特定される認識対象が、画像上の所定の領域のうちどの領域に含まれるべきものであるかを特定する情報である。例えば、画像の上半分や、画像の左半分、等の所定の領域である。可能性のある道路種類313cは、対象物313aが位置313bに含まれる画像がある場合に、その位置の推定される道路種類を特定する情報である。例えば、対象物「P(例えば、信号機)」が「画像の上半分」の領域に写り込んでいる場合には、その位置は「一般道」の可能性があることを特定することが可能である。
画像認識部321は、一般道路と認識する画像および自動車専用道路と認識する画像が、車両の周囲を撮影した画像に含まれるか否かを判定する。具体的には、画像認識部321は、車載機100から送信された一枚あるいは一連の複数の画像を受け取り、受取画像記憶部311に格納する。そして、画像認識部321は、当該画像のそれぞれを対象として、対象物313aに格納された対象物の存在とその画像上の位置を特定する。そして、対象物が存在し、かつ、その画像上の位置が位置313bで特定される領域に含まれるものであれば、当該画像が撮像された位置の道路の種類を、道路種類313cで特定される種類であると推定する。
なお、一連の複数の画像がすべて同一の道路種類であれば、画像認識部321は当該位置の道路種類を特定し、対象物の存在が認識できない場合には、当該位置の道路種類を「不明」とする。また、複数の道路種類が含まれる場合には、画像認識部321は、所定の基準に従って(例えば、多く特定された道路種類を特定する等)道路種類の特定を行う。
速度超過基準特定部322は、速度超過の基準となる閾値を特定する。具体的には、速度超過基準特定部322は、画像認識部321が特定した道路種類に応じて、速度基準記憶部312を参照して、基準速度312bを特定する。
速度超過判定部323は、速度超過基準特定部322が特定した速度基準を車両の速度が超過しているか否か判定する。
継続監視要求部324は、自律監視において受信した画像では画像認識部321が道路種類を特定できない場合に、さらなる画像を車載機100へ要求する継続監視要求を送信する。より具体的には、継続監視要求部324は、自律監視処理による画像情報を受信した際に、画像認識部321が一般道路認識画像が車両の周囲を撮影した画像に含まれないと判定した場合に、車載機100に対して継続して速度を監視するよう要求する継続速度監視要求を送信する。
判定記録処理部325は、判定記録を記録処理する。具体的には、判定記録処理部325は、速度超過判定部323が判定した結果、速度超過の場合に「速度超過あり」を、速度超過でない場合に「速度超過なし」を、不明である場合に「不明」を、それぞれ受取画像記憶部311の該当する画像に関連付けて判定結果として速度超過判定結果311fに格納する。
通信部330は、携帯電話網(LTE)、あるいは無線LAN(WiFi:登録商標)等を介して車載機100と通信を行う。
図6は、車載機のハードウェア構造例を示す図である。車載機100は、カメラ101と、演算装置102と、通信装置103と、メモリ104と、外部記憶装置105と、外部機器接続装置106と、これらをつなぐバス109と、を含んで構成される。
カメラ101は、所定の画角で可視光の光学映像を取得する装置である。演算装置102は、例えばCPU(Central Processing Unit)などの演算装置である。
通信装置103は、携帯電話網や、無線ネットワーク等を介して、他の装置と通信経路を確立し情報を送受信するネットワークモジュール等の装置である。
メモリ104は、例えばRAM(Random Access Memory)などの主記憶装置である。
外部記憶装置105は、例えばハードディスクやSSD(Solid State Drive)、その他各種の不揮発性記憶媒体に情報を書き込み、あるいは不揮発性記憶媒体から所定の情報を読み出す装置である。
外部機器接続装置106は、例えば他の機器との接続を行う装置であり、例えば車載ネットワークを介して他の装置と接続して、車速パルス情報あるいは加速度情報を取得する。
上記した制御部120の各機能部、すなわち画像取得部121、車速特定部122、自律監視処理部123、継続監視処理部124は、演算装置102が所定のプログラムを読み込み実行することにより構築される。そのため、メモリ104には、各機能部の処理を実現するためのプログラムが記憶されている。
また、上記した記憶部110は、メモリ104あるいは外部記憶装置105により、撮像部140は、カメラ101により、車両情報取得部150は、外部機器接続装置106により、通信部130は、通信装置103により、それぞれ実現される。
なお、上記した各構成要素は、車載機100の構成を、理解を容易にするために、主な処理内容に応じて分類したものである。そのため、構成要素の分類の仕方やその名称によって、本願発明が制限されることはない。車載機100の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、1つの構成要素がさらに多くの処理を実行するように分類することもできる。
また、制御部120の各機能部は、CPUに限らずハードウェア(ASIC、GPU(Graphics Processing Unit)など)により構築されてもよい。また、各機能部の処理が一つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。
図7は、サーバー装置300のハードウェア構造例を示す図である。サーバー装置300は、演算装置302と、通信装置303と、メモリ304と、外部記憶装置305と、これらをつなぐバス309と、を含んで構成される。
演算装置302は、例えばCPUなどの演算装置である。通信装置303は、携帯電話網や、無線ネットワーク等を介して、他の装置と通信経路を確立し情報を送受信するネットワークモジュール等の装置である。
メモリ304は、例えばRAMなどのメモリ装置である。
外部記憶装置305は、例えばハードディスクやSSD、その他各種の不揮発性記憶媒体に情報を書き込み、あるいは不揮発性記憶媒体から所定の情報を読み出す装置である。
上記した制御部320の各機能部、すなわち画像認識部321、速度超過基準特定部322、速度超過判定部323、継続監視要求部324、判定記録処理部325は、演算装置302が所定のプログラムを読み込み実行することにより構築される。そのため、メモリ304には、各機能部の処理を実現するためのプログラムが記憶されている。
また、上記した記憶部310は、メモリ304あるいは外部記憶装置305により、通信部330は、通信装置303により、それぞれ実現される。
なお、上記した各構成要素は、サーバー装置300の構成を、理解を容易にするために、主な処理内容に応じて分類したものである。そのため、構成要素の分類の仕方やその名称によって、本願発明が制限されることはない。サーバー装置300の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、1つの構成要素がさらに多くの処理を実行するように分類することもできる。
また、制御部320の各機能部は、CPUに限らずASIC等のハードウェアにより構築されてもよい。また、各機能部の処理が一つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。
[動作の説明]次に、自律監視時の処理に関する動作について説明する。図8は、自律監視処理および速度超過判定処理の流れを示す図である。自律監視処理は、車載機100が起動後に、車速が報告開始速度112aの速度の閾値を超過すると開始される。
まず、自律監視処理部123は、閾値超過時およびその前後10秒ずつを対象に、画像を等間隔でサンプリング取得する(ステップS001)。具体的には、自律監視処理部123は、報告開始速度を車速が超過した時を特定し、当該時刻およびその前後の所定の時間(例えば、前10秒、後10秒)に撮影された画像を撮影画像記憶部111から特定し、1秒間隔のサンプリングで画像を都合21枚取得する。なお、サンプリング間隔は1秒単位に限られず、取得する画像の範囲は報告開始速度を車速が超過した時を基準とした前後10秒ずつに限られない。例えば、取得する画像サイズが大きく通信時間が所定以上に長くなる(例えば、送信に20秒以上かかる)見込みの場合には、自律監視処理部123は、報告開始速度を車速が超過した時を基準とした前10秒に限定する、あるいはサンプリング間隔を2秒にする等、送信するデータ量を減らすようにしてもよい。
そして、自律監視処理部123は、車載機識別子と運転者識別子、および車速と関連付けて、画像をサーバー装置300に送信する(ステップS002)。具体的には、自律監視処理部123は、車載機100の記憶部110の図示しない領域に予め格納されている車載機識別子と運転者識別子とを読み出し、車速を車速特定部122から取得する。そして、ステップS001にて取得した画像とともに、サーバー装置300へ送信する。
以上が、自律監視処理の流れである。自律監視処理によれば、車載機100を搭載した車両が所定の閾値よりも速い速度で走行したことを検出すると、その位置を特定するための手がかりとなる映像情報をサーバー装置300に送信することが可能となる。
速度超過判定処理の流れについて説明する。自律監視処理のステップS002において送信された車載識別子、運転者識別子、速度および画像を受信すると、画像認識部321は、超過時画像の認識処理を行う(ステップS003)。具体的には、画像認識部321は、受信した車載識別子、運転者識別子、速度および画像を受取画像記憶部311に格納する。そして、受信した画像のうちのいずれかに、認識対象記憶部313の対象物313aが、位置313bにて特定される画像内の位置に含まれるか否かを特定し、含まれる場合にはその対象物の特定も行う。
そして、速度超過基準特定部322は、速度基準を判定する(ステップS004)。具体的には、速度超過基準特定部322は、ステップS003において認識された対象物313aを用いて、認識対象記憶部313の可能性のある道路種類313cを特定する。そして、可能性のある道路種類が「一般道」であるか否かを判定する。なお、この処理において、「一般道」が一つでも可能性のある道路種類に含まれていれば「一般道」であると判定してもよいし、他の可能性のある道路種類と混在する場合にはその度合いに応じて「一般道」であると判定してもよい(例えば、「一般道」と「自動車専用道路」のいずれも可能性のある道路種類として含まれている場合において、「一般道」と判定される画像が半数を超えない限りは一般道でない、と判定するようにしてもよい)。
「一般道」であると判定された場合(ステップS004にて「一般道」の場合)には、速度超過判定部323は、速度超過があると判定し、判定記録処理部325は、速度超過を記録する(ステップS005)。具体的には、判定記録処理部325は、受取画像記憶部311の速度超過判定結果311fに「速度超過あり」と記録する。
そして、判定記録処理部325は、速度超過を車載機100に通知する(ステップS006)。具体的には、判定記録処理部325は、車載機100に対して、速度超過があった旨を知らせる所定のメッセージを送信する。
「一般道」以外と判定された場合(ステップS004にて「一般道以外」の場合)には、継続監視要求部324は、車載機100に継続して速度監視を行う継続監視処理を行うよう要求する(ステップS007)。具体的には、継続監視要求部324は、車載機100に継続監視要求を送信するとともに、ユニークなキー情報を発行し、継続監視識別子311gに記録する。
そして、画像認識部321は、減速前画像の認識処理を行う(ステップS008)。具体的には、画像認識部321は、継続監視要求後に当該車載機100から受信した車載識別子、運転者識別子、速度、画像および継続監視識別子を受取画像記憶部311に格納する。そして、受信した画像のうちのいずれかに、認識対象記憶部313の対象物313aが、位置313bにて特定される画像内の位置に含まれるか否かを特定し、含まれる場合にはその対象物の特定も行う。
そして、速度超過基準特定部322は、自動車専用道路認識対象物があるか否かを判定する(ステップS009)。具体的には、速度超過基準特定部322は、ステップS008において認識された対象物313aを用いて、認識対象記憶部313の可能性のある道路種類313cを特定する。そして、可能性のある道路種類が「自動車専用道路」であるか否かを判定する。
なお、この処理において、「自動車専用道路」が一つでも可能性のある道路種類に含まれていれば「自動車専用道路」であると判定してもよいし、他の可能性のある道路種類と混在する場合にはその度合いに応じて「自動車専用道路」であると判定してもよい。例えば、「一般道」と「自動車専用道路」のいずれも可能性のある道路種類として含まれている場合において、「一般道」と判定される画像が「自動車専用道路」と判定される画像よりも古い日時に取得されたものであれば、「自動車専用道路」でない、と判定するようにしてもよい。
これは、先行して行われた自律監視処理で検出された速度超過がどの種類の道路で行われたものか不明であるために遡ってその特定を行う目的の処理であるため、継続監視処理により撮影した画像のうち日時が古いものが一般道の走行を推定させるものであれば、自律監視処理の速度超過が一般道で行われたものであると推測すべきであるためである。
自動車専用道路認識対象物がある場合(ステップS009にて「あり」の場合)には、速度超過基準特定部322は、自動車専用道路の速度基準へ変更する(ステップS010)。具体的には、速度超過基準特定部322は、速度基準記憶部312を参照して、道路種類312aに応じて基準速度312bを特定し、速度基準を変更する。つまり、例えば、一般道路認識画像が車両の周囲を撮影した画像に含まれず、かつ、自動車専用道路認識画像が車両の周囲を撮影した画像に含まれる、と判定した場合に、車両の速度超過の閾値を自動車専用道路に変更する。
そして、速度超過判定部323は、速度超過の有無を判定する(ステップS011)。具体的には、速度超過判定部323は、ステップS010にて変更した速度基準を用いて、自律監視処理時の速度が速度超過であったか否かを判定する。
速度超過があった場合(ステップS011にて「Yes」の場合)には、判定記録処理部325は、速度超過を記録する(ステップS005)。具体的には、判定記録処理部325は、継続監視識別子が共通する超過時画像を特定し、受取画像記憶部311の速度超過判定結果311fに「速度超過あり」と記録する。そして、判定記録処理部325は、ステップS006に制御を移す。
速度超過がなかった場合(ステップS011にて「No」の場合)には、判定記録処理部325は、速度超過なしを記録する(ステップS012)。具体的には、判定記録処理部325は、継続監視識別子が共通する超過時画像を特定し、受取画像記憶部311の速度超過判定結果311fに「速度超過なし」と記録する。これは、自律監視処理において検出した速度超過は、自動車専用道路においてなされたものと推定されるため、速度基準を自動車専用道路のものに変えて判定した結果、速度超過ではなかったことが推定されるためである。
自動車専用道路認識対象物がない場合(ステップS009にて「なし」の場合)には、速度超過基準特定部322は、速度基準を判定する(ステップS013)。具体的には、速度超過基準特定部322は、ステップS008において認識された対象物313aを用いて、認識対象記憶部313の可能性のある道路種類313cを特定する。そして、可能性のある道路種類が「一般道」であるか否かを判定する。なお、この処理において、「一般道」が一つでも可能性のある道路種類に含まれていれば「一般道」であると判定してもよいし、他の可能性のある道路種類と混在する場合にはその度合いに応じて「一般道」であると判定してもよい(例えば、「一般道」と「自動車専用道路」のいずれも可能性のある道路種類として含まれている場合において、「一般道」と判定される画像が半数を超えない限りは一般道でない、と判定するようにしてもよい)。
また、ステップS013の一般道か否かの判定基準については、ステップS004と同様であってもよいし、異ならせてもよい。例えば、ステップS013の処理は、自律監視による画像の判定であるステップS004にて既に一度「一般道でない」と判定された後に継続監視による画像の判定を行っているのであるから、より「一般道である」と判断されにくい基準であってよいとも考えられる。例えば、「一般道」と「自動車専用道路」のいずれも可能性のある道路種類として含まれている場合において、「一般道」と判定される画像枚数が所定の割合(例えば、7割)を超えない限りは一般道でない、と判定するようにしてもよい
「一般道」であると判定された場合(ステップS013にて「一般道」の場合)には、速度超過判定部323は、ステップS005へ制御を進める。具体的には、判定記録処理部325は、継続監視識別子が共通する超過時画像を特定し、受取画像記憶部311の速度超過判定結果311fに「速度超過あり」と記録する。そして、判定記録処理部325は、ステップS006に制御を移す。
「一般道」以外と判定された場合(ステップS013にて「一般道以外」の場合)には、継続監視要求部324は、その自律監視処理にかかる車載機100からの画像送信が所定の繰り返し回数未満であるか否かを判定する(ステップS014)。繰り返し回数は所定の閾値(例えば、「3」)を有するものである。その自律監視処理にかかる車載機100からの画像送信が所定の繰り返し回数未満である場合(ステップS014にて「Yes」の場合)には、継続監視要求部324は、制御をステップS007に進める。ただし、継続監視要求部324は、制御を進めた先のステップS007では、車載機100に継続監視要求を送信するに留め、キー情報は再利用する。
その自律監視処理にかかる車載機100からの画像送信が所定の繰り返し回数以上である場合(ステップS014にて「No」の場合)には、判定記録処理部325は、判定不能を記録する(ステップS015)。具体的には、判定記録処理部325は、継続監視識別子が共通する超過時画像を特定し、受取画像記憶部311の速度超過判定結果311fに「判定不能」と記録する。これは、自律監視処理において検出した速度超過は、自動車専用道路においてなされたか一般道においてなされたか判別不能であるため、速度超過での可能性も、速度超過ではなかった可能性もあることが推定されるためである。
以上が、速度超過判定処理の流れである。速度超過判定処理によれば、自律監視の結果報告された速度超過が一般道でなされたことが明らかであれば速度超過と判定して記録し、一般道か明らかでなければ、継続監視を車載機100に要求する。継続監視の過程で報告された画像に自動車専用道路が写り込んでいる場合には、自律監視の速度超過は自動車専用道路においてなされたと判定して速度超過の閾値を道路種類に応じて設定しなおして速度超過を判定する。継続監視の過程で報告された画像に自動車専用道路が写り込んでおらず、かつ、一般道でもないと推定される場合には、複数回継続監視の報告を受けた後、判定不能として記録する。
そのため、速度超過判定処理によれば、車載機100が所定の走行状態(主に車速)にある場合にのみ送信された一定期間のサンプリング画像の通信により速度超過を判定できるため、車載機100では画像認識処理を伴わないため処理負荷は抑えられる。また、通信量も常時画像送信に比べれば格段に抑えられる。
図9は、継続監視処理の流れを示す図である。継続監視処理は、速度超過判定処理のステップS007においてサーバー装置300から送信された継続監視要求を車載機100が受信すると、開始される。
まず、継続監視処理部124は、車速を取得する(ステップS101)。具体的には、継続監視処理部124は、車速特定部122から車速の情報を取得する。
そして、継続監視処理部124は、車速が詳細報告速度未満であるか否かを判定する(ステップS102)。具体的には、継続監視処理部124は、ステップS101にて取得した車速が、閾値記憶部112の詳細報告速度112b未満であるか否か判定する。車速が詳細報告速度未満でない場合(ステップS102にて「No」の場合)には、継続監視処理部124は、制御をステップS101に戻す。
車速が詳細報告速度未満である場合(ステップS102にて「Yes」の場合)には、継続監視処理部124は、直前3分間を対象に、画像を等間隔でサンプリング取得する(ステップS103)。具体的には、継続監視処理部124は、当該時刻以前の所定の時間(例えば、3分)に撮影された画像を撮影画像記憶部111から特定し、5秒間隔のサンプリングで画像を都合37枚取得する。なお、サンプリング間隔は5秒単位に限られず、取得する画像の範囲は詳細報告速度未満の車速を検出した時の直前3分に限られない。例えば、取得する画像サイズが大きく通信時間が所定以上に長くなる(例えば、送信に20秒以上かかる)見込みの場合には、継続監視処理部124は、サンプリング間隔は10秒単位、取得する画像の範囲は詳細報告速度未満の車速を検出した時の直前2分とする等、送信するデータ量を減らすようにしてもよい。
そして、継続監視処理部124は、送信済みの画像以前の画像を除外する(ステップS104)。具体的には、継続監視処理部124は、自律監視処理あるいは継続監視処理において既にサーバー装置300に送信した画像が含まれる期間の画像については、ステップS103で取得した画像から除外する。これは、重複する期間の画像を再度送信しても写り込んでいる画像に大差は無く、同様の処理結果しか得られない可能性が高いため、無駄を省いて処理速度や検出精度の向上を達成するためである。
そして、継続監視処理部124は、車載機識別子と、運転者識別子と、継続監視識別子とを関連付けて、画像をサーバー装置300に送信する(ステップS105)。具体的には、継続監視処理部124は、車載機100の記憶部110の図示しない領域に予め格納されている車載機識別子と運転者識別子とを読み出す。継続監視要求に含まれる継続監視識別子と、ステップS104にて取得した画像とともに、サーバー装置300へ送信する。
以上が、継続監視処理の流れである。継続監視処理によれば、車載機100を搭載した車両が所定の閾値よりも遅い速度で走行または停止したことを検出すると、その直前の所定期間の映像情報(減速前画像)をサーバー装置300に送信することが可能となる。
図10は、速度変化と送信画像の例を示す図である。図10には、縦軸401に速度軸と、横軸402に時間軸を設けて車速403をプロットしたグラフ400と、該時間軸に平行して取得した一連の動画(少なくとも1FPS(フレーム毎秒))である画像430と、自律監視処理において画像430から切り出した一または複数の静止画431と、継続監視処理において画像430から切り出した一または複数の静止画432と、が示されている。
図10の例では、時刻t1において車速403が報告開始速度410を超過し、その後時刻t2において継続監視要求を受け付けている。そして、その後(t2より180秒以上後)の時刻t3において、車速403が詳細報告速度420未満となっている。この場合、時刻t1を基準とする前後10秒ずつ(時刻t1sから時刻t1e)の期間の画像430から、自律監視処理において送信する画像がサンプリング間隔1秒、計21枚切り出される。
そして、継続監視処理において送信する画像は、時刻t3から180秒遡った時刻t4までの期間の画像430から、継続監視処理において送信する画像がサンプリング間隔5秒、計37枚切り出される。
図11は、速度変化と送信画像の別の例を示す図である。図11には、縦軸401に速度軸と、横軸402に時間軸を設けて車速403´をプロットしたグラフ400´と、該時間軸に平行して取得した一連の動画(少なくとも1FPS(フレーム毎秒))である画像430と、自律監視処理において画像430から切り出した一または複数の静止画431と、継続監視処理において画像430から切り出した一または複数の静止画432´と、が示されている。
図11の例では、時刻t1において車速403´が報告開始速度410を超過し、その後時刻t2において継続監視要求を受け付けている。そして、その後(t2より180秒以内)の時刻t3´において、車速403´が詳細報告速度420未満となっている。この場合、時刻t1を基準とする前後10秒ずつ(時刻t1sから時刻t1e)の期間の画像430から、自律監視処理において送信する画像がサンプリング間隔1秒、計21枚切り出される点は、図10の例と同じである。
一方で、継続監視処理において送信する画像は、時刻t3´から180秒遡った時刻t4´までの期間の画像430から、継続監視処理において送信する画像がサンプリング間隔5秒、計37枚切り出されるのではなく、そのうち時刻t1sからt1eまでの期間に含まれる時刻t4´から時刻t1eまでの画像は、重複期間となるため送信から除外される。すなわち、送信対象となる静止画432´は、t1eからt3´までの期間の画像430から、継続監視処理において送信する画像がサンプリング間隔5秒で、例えば計34枚切り出される。
以上が、本発明に係る実施形態を適用した速度監視システム1である。速度監視システム1によれば、比較的高価なハードウェアを必要とせずに、簡便な構成による速度監視を行うサーバー装置、車載機および速度監視方法を提供することができる。
ただし、本発明は、上記の実施形態に制限されない。上記の実施形態は、本発明の技術的思想の範囲内で様々な変形が可能である。例えば、上記の実施形態では、自律監視の報告を受けて一般道か判別がつかない場合に、継続監視をサーバー装置300が車載機100に要求しているが、これに限られない。例えば、車載機100は、自律監視の報告を行うと、そのまますぐに継続監視を開始してもよい。その場合、例えば所定の回数継続監視における画像送信を行うか、所定の時間(例えば10分間)が経過するか、あるいはサーバー装置300から継続監視を終了するよう要求を受けた場合に継続監視処理を終了するようにしてもよい。サーバー装置300では、速度超過の有無が特定されると、速度超過判定部323は、車載機100に継続監視を終了するよう要求するようにしてもよい。
1・・・速度監視システム、100・・・車載機、110・・・記憶部、111・・・撮影画像記憶部、112・・・閾値記憶部、120・・・制御部、121・・・画像取得部、122・・・車速特定部、123・・・自律監視処理部、124・・・継続監視処理部、130・・・通信部、140・・・撮像部、150・・・車両情報取得部、300・・・サーバー装置、310・・・記憶部、311・・・受取画像記憶部、312・・・速度基準記憶部、313・・・認識対象記憶部、320・・・制御部、321・・・画像認識部、322・・・速度超過基準特定部、323・・・速度超過判定部、324・・・継続監視要求部、325・・・判定記録処理部、330・・・通信部。

Claims (11)

  1. 一般道路を走行中であると認識しうる所定の対象の外観の画像情報を含む一般道路認識画像を記憶する認識対象記憶部と、
    所定の車両に搭載された車載機との通信を行う通信部と、
    前記車載機の識別情報と、該車載機の識別情報に対応付けられた前記車両の周囲を撮影した画像と、前記所定の車両の車速と、を前記車載機から前記通信部を介して受信すると、前記一般道路認識画像が前記車両の周囲を撮影した画像に含まれるか否かを判定する画像認識部と、
    速度超過判定部と、を備え、
    前記速度超過判定部は、前記画像認識部が、前記一般道路認識画像が前記車両の周囲を撮影した画像に含まれると判定した場合に、前記所定の車両の車速を所定の閾値と比較して前記車両の速度超過を特定する、
    ことを特徴とするサーバー装置。
  2. 請求項1に記載のサーバー装置であって、
    前記認識対象記憶部には、自動車専用道路を走行中であると認識しうる所定の対象の外観の画像情報を含む自動車専用道路認識画像が記憶され、
    前記画像認識部は、
    前記車載機の識別情報と、該車載機の識別情報に対応付けられた前記車両の周囲を撮影した画像と、を前記車載機から前記通信部を介して受信すると、前記自動車専用道路認識画像が前記車両の周囲を撮影した画像に含まれるか否かを判定し、
    前記速度超過判定部は、
    前記画像認識部が、前記一般道路認識画像が前記車両の周囲を撮影した画像に含まれず、かつ、前記自動車専用道路認識画像が前記車両の周囲を撮影した画像に含まれる、と判定した場合に、前記車両の速度超過の閾値を前記自動車専用道路に変更して前記所定の車両の車速と比較して速度超過を判定する、
    ことを特徴とするサーバー装置。
  3. 請求項1に記載のサーバー装置であって、
    前記通信部を介して受信した前記車両の周囲を撮影した画像を記憶する受取画像記憶部を備え、
    前記画像認識部は、受信した前記車両の周囲を撮影した画像を前記受取画像記憶部に記憶させる、
    ことを特徴とするサーバー装置。
  4. 請求項1に記載のサーバー装置であって、
    前記通信部を介して受信した前記車両の周囲を撮影した画像を記憶する受取画像記憶部と、判定記録処理部と、を備え、
    前記画像認識部は、受信した前記車両の周囲を撮影した画像を前記受取画像記憶部に記憶させ、
    前記判定記録処理部は、前記速度超過判定部が前記車両の速度超過を特定すると、速度超過を示す情報を前記受取画像記憶部の前記車両の周囲を撮影した画像に関連付けて記憶させる、
    ことを特徴とするサーバー装置。
  5. 請求項1に記載のサーバー装置であって、
    前記画像認識部が、前記一般道路認識画像が前記車両の周囲を撮影した画像に含まれないと判定した場合に、前記車載機に対して継続して速度を監視するよう要求する継続速度監視要求を送信する継続監視要求部を備える、
    ことを特徴とするサーバー装置。
  6. 請求項2に記載のサーバー装置であって、
    前記画像認識部が、前記一般道路認識画像が前記車両の周囲を撮影した画像に含まれないと判定した場合に、前記車載機に対して継続して速度を監視するよう要求する継続速度監視要求を送信する継続監視要求部を備え、
    前記画像認識部は、前記継続速度監視要求を送信された前記車載機から、前記車載機の識別情報と、該車載機の識別情報に対応付けられた前記車両の周囲を撮影した画像と、前記車両の車速と、を前記通信部を介して受信すると、前記自動車専用道路認識画像が前記車両の周囲を撮影した画像に含まれるか否かを判定する、
    ことを特徴とするサーバー装置。
  7. 請求項に記載のサーバー装置であって、
    前記速度超過判定部は、前記画像認識部が、前記一般道路認識画像が前記車両の周囲を撮影した画像に含まれると判定した場合に、前記車両の速度超過を特定し、前記車載機に継続監視を終了するよう要求する、
    ことを特徴とするサーバー装置。
  8. 搭載された車両の周囲を撮影した画像を取得する画像取得部と、
    前記車両の走行する速度を特定する車速特定部と、
    他の装置と通信する通信部と、
    所定の速度以上に速く前記車両が走行すると、前記通信部を介して、前記画像の一部を所定の装置に送信する自律監視処理部と、
    前記所定の装置に前記画像の一部を送信した後、前記所定の装置から継続して速度を監視するよう要求する継続速度監視要求を受け付けると、継続監視処理を行う継続監視処理部を備え、
    前記継続監視処理部は、前記所定の速度と異なる所定の速度であるみなし停止速度よりも遅く前記車両が走行するか停止すると、前記通信部を介して、前記画像取得部が取得した画像の一部を所定の装置に送信する、
    ことを特徴とする車載機。
  9. 請求項に記載の車載機であって、
    前記継続監視処理部が送信する前記画像の一部には、前記みなし停止速度以下で前記車両が走行するか停止する時から所定の時間の過去に取得した画像が含まれる、
    ことを特徴とする車載機。
  10. 請求項に記載の車載機であって、
    前記継続監視処理部は、送信する前記画像の一部に、前記自律監視処理部が送信した画像が含まれる期間と重複する期間に取得された重複画像が含まれる場合には、前記画像の一部から当該重複画像を除外して送信する、
    ことを特徴とする車載機。
  11. サーバー装置による速度監視方法であって、
    前記サーバー装置には、
    一般道路を走行中であると認識しうる所定の対象の外観の画像情報を含む一般道路認識画像を記憶する認識対象記憶部と、
    所定の車両に搭載された車載機との通信を行う通信部と、制御部と、を備え、
    前記制御部は、
    前記車載機の識別情報と、該車載機の識別情報に対応付けられた前記車両の周囲を撮影した画像と、前記所定の車両の車速と、を前記車載機から前記通信部を介して受信すると、前記一般道路認識画像が前記車両の周囲を撮影した画像に含まれるか否かを判定する画像認識ステップと、
    速度超過判定ステップと、を実施し、
    前記速度超過判定ステップでは、前記画像認識ステップにおいて、前記一般道路認識画像が前記車両の周囲を撮影した画像に含まれると判定した場合に、前記所定の車両の車速を所定の閾値と比較して前記車両の速度超過を特定する、
    ことを特徴とする速度監視方法。
JP2018132128A 2018-07-12 2018-07-12 サーバー装置、車載機および速度監視方法 Active JP7148299B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018132128A JP7148299B2 (ja) 2018-07-12 2018-07-12 サーバー装置、車載機および速度監視方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018132128A JP7148299B2 (ja) 2018-07-12 2018-07-12 サーバー装置、車載機および速度監視方法

Publications (2)

Publication Number Publication Date
JP2020009349A JP2020009349A (ja) 2020-01-16
JP7148299B2 true JP7148299B2 (ja) 2022-10-05

Family

ID=69151977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018132128A Active JP7148299B2 (ja) 2018-07-12 2018-07-12 サーバー装置、車載機および速度監視方法

Country Status (1)

Country Link
JP (1) JP7148299B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280225A (ja) 2003-03-13 2004-10-07 Fujitsu Ten Ltd 車両監視システム
JP2007141213A (ja) 2006-08-24 2007-06-07 Fujitsu Ten Ltd 警告装置、ドライブレコーダおよび警告方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280225A (ja) 2003-03-13 2004-10-07 Fujitsu Ten Ltd 車両監視システム
JP2007141213A (ja) 2006-08-24 2007-06-07 Fujitsu Ten Ltd 警告装置、ドライブレコーダおよび警告方法

Also Published As

Publication number Publication date
JP2020009349A (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
JP7218535B2 (ja) 交通違反車両識別システム及びサーバ
KR101783982B1 (ko) 차량용 감시 카메라를 이용한 통합 관제 시스템 및 그 방법
WO2018210184A1 (zh) 车队的控制方法、设备及车联网***
CN112348992B (zh) 基于车路协同***的车载视频处理方法、装置及存储介质
JP6815262B2 (ja) 交通違反検知装置、システム、交通違反検知方法およびプログラム
CN108932849B (zh) 一种记录多台机动车低速行驶违法行为的方法及装置
CN108806272B (zh) 一种提醒多辆机动车车主违法停车行为的方法及装置
JP5585194B2 (ja) 事故状況記録システム
CN111028529A (zh) 安装在车辆中的车载设备及相关设备与方法
CN110738150B (zh) 相机联动抓拍方法、装置以及计算机存储介质
CN108806269A (zh) 一种记录机动车连续变换车道违法行为的方法及装置
CN107742422A (zh) 道路车辆违章监测***及其方法
US20220141426A1 (en) Electronic device and method for processing data received from in-vehicle electronic device
CN113055823B (zh) 一种基于路侧停车管理共享单车的方法及装置
CN108932850B (zh) 一种记录机动车低速行驶违法行为的方法及装置
CN109671270B (zh) 行车事故处理方法及装置、存储介质
CN114341962A (zh) 危险车辆显示***、危险车辆显示装置、危险车辆显示程序以及计算机可读取的记录介质以及进行了记录的设备
CN108932852A (zh) 一种记录机动车违法占用应急车道行为的方法及装置
CN105374086A (zh) 一种行车记录方法
CN108280898A (zh) 一种可共享信息的行车记录仪
CN106251622B (zh) 车辆并道监控取证方法及其***
CN112601049B (zh) 视频的监控方法、装置、计算机设备及存储介质
JP6244129B2 (ja) 車載器
JP7148299B2 (ja) サーバー装置、車載機および速度監視方法
KR20190005343A (ko) 이동식 주정차 단속시스템 및 이를 이용한 주행 여부 판별방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220922

R150 Certificate of patent or registration of utility model

Ref document number: 7148299

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150