JP7428076B2 - サーバ装置、制御装置、車両、及び情報処理システムの動作方法 - Google Patents
サーバ装置、制御装置、車両、及び情報処理システムの動作方法 Download PDFInfo
- Publication number
- JP7428076B2 JP7428076B2 JP2020094756A JP2020094756A JP7428076B2 JP 7428076 B2 JP7428076 B2 JP 7428076B2 JP 2020094756 A JP2020094756 A JP 2020094756A JP 2020094756 A JP2020094756 A JP 2020094756A JP 7428076 B2 JP7428076 B2 JP 7428076B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- driving mode
- information
- control unit
- server device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 17
- 230000010365 information processing Effects 0.000 title claims description 15
- 238000004891 communication Methods 0.000 claims description 38
- 230000007613 environmental effect Effects 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000002159 abnormal effect Effects 0.000 description 10
- 230000015654 memory Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000006399 behavior Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
- B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
- B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
Description
本開示は、サーバ装置、制御装置、車両、及び情報処理システムの動作方法に関する。
車両の危険運転防止を支援する技術が知られている。例えば特許文献１には、車両の位置に基づき危険運転を予測し、運転者に安全運転を促すシステムが開示されている。
危険運転その他の不適正な運転を判定する技術には改善の余地がある。
以下では、不適正な運転の判定を改善し得るサーバ装置等を開示する。
本開示におけるサーバ装置は、通信部と、前記通信部を介して他の装置と情報を送受する制御部とを有し、前記制御部は、車両の走行態様が過去の走行態様と異なるときの当該車両の周囲又は車室内の撮像画像を、端末装置が当該撮像画像を出力するために当該端末装置へ送る。
本開示における車両の制御装置は、通信部と前記通信部を介して他の装置と情報を送受する制御部とを有する、車両の制御装置であって、前記制御部は、前記車両の走行態様が過去の走行態様と異なるときの当該車両の周囲又は車室内の撮像画像を、サーバ装置が当該車両周囲の撮像画像を端末装置へ送るために当該サーバ装置へ送る。
本開示における互いに情報を送受するサーバ装置と車両とを有する情報処理システムの動作方法によれば、前記車両は、車両の走行態様が過去の走行態様と異なるときの当該車両の周囲又は車室内の撮像画像を前記サーバ装置へ送り、前記サーバ装置は、前記車両周囲の撮像画像を端末装置が当該撮像画像を出力するために当該端末装置へ送る。
本開示におけるサーバ装置等によれば、不適正な運転の判定を改善することが可能となる。
以下、実施の形態について説明する。
図１は、一実施形態における情報処理システムの構成例を示す図である。情報処理システム１は、例えば、ネットワーク１１を介して互いに情報通信可能に接続される、サーバ装置１０、端末装置１２及び車両１３を有する。サーバ装置１０は、コンピュータである。端末装置１２は、例えば、スマートフォン、タブレット端末装置等の可搬型の情報端末装置であるが、パーソナルコンピュータであってもよい。車両１３は、制御・通信機能を備えた乗用車、多目的車両等である。ネットワーク１１は、例えばインターネットであるが、アドホックネットワーク、ＬＡＮ、ＭＡＮ(Metropolitan Area Network)、もしくは他のネットワーク又はこれらいずれかの組合せが含まれる。情報処理システム１が有する各構成要素の数はここに示す場合より多くてもよい。
車両１３の運転者は、各人特有の運転動作の傾向を有する。運転動作の傾向は、例えば、自動車保険の査定時、又は、車両１３がタクシー車両である場合における運転者の業績評価時に、関心の対象となる。具体的には、運転動作の傾向が安全で適正な運転（以下、適正運転と総称）を志向するものか、危険又は不適正な運転（以下、不適正運転と総称）を志向するものかを判別することが求められる。ここで、運転動作の傾向は、車両１３の走行態様に反映されるので、車両１３の走行態様に関する情報を用いることで、運転者の運転動作の傾向を判別することが可能である。ただし、通常時には適正運転を励行する運転者がたまたま何等かの要因で不適正運転を呈する場合には、そのような運転を誘発した要因を特定することが、その運転者の本来の傾向を把握するために必要となる。本実施形態における情報処理システム１は、不適正運転を誘発した要因を特定することを支援し、以て不適正運転の判定の改善に寄与する。
本実施形態では、車両１３は、車両１３の走行態様が過去の走行態様と異なるときの車両１３の周囲の撮像画像をサーバ装置１０へ送る。走行態様は、例えば、加減速度、操舵角の時間変化率、選択される経路等を含む。走行態様は、例えば、アクセルペダルの開閉、操舵、ブレーキ操作、経路の選択といった運転者の運転動作に対応する。過去の走行態様は、車両１３の運転者の通常時の運転動作に対応し、その運転者の傾向を反映する。よって、車両１３の走行態様が過去の走行態様と異なるときは、何等かの要因で運転者が本来の傾向とは異なる運転動作を行った蓋然性が高い。サーバ装置１０は、車両１３周囲の撮像画像を端末装置１２がその撮像画像を出力するために、端末装置１２へ送る。よって、例えば運転者又は自動車保険の査定担当者が端末装置１２による撮像画像を検証することで、運転者の不適正運転を誘発した要因を特定することが可能となる。例えば、急ブレーキ又は急ハンドルといった不適正運転を誘発する要因は、急ブレーキ又は急ハンドルで回避せざるを得ないような路上障害物又は歩行者等の飛び出しである。また、例えば、急加速といった不適正運転を誘発する要因は、急加速により回避せざるを得ないような他車による後方からの追走、あおり運転等、又は、車両１３がタクシー車両の場合における乗客の強要・脅迫等である。あるいは、例えば、通常と異なる経路を採用するといった不適正運転の要因は、通常経路における渋滞、道路閉鎖である。このように、情報処理システム１によれば、不適正運転の判定の改善が可能となる。
図２は、サーバ装置１０の構成例を示す。サーバ装置１０は、通信部２０、記憶部２１、及び制御部２２を有する。サーバ装置１０は、同等の構成を有する他のサーバ装置と通信して協働することで、本実施形態における動作を実行してもよい。
通信部２０は、ネットワーク１１に接続するための、一以上の有線又は無線ＬＡＮ規格に対応する通信モジュールを有する。本実施形態において、サーバ装置１０は、通信部２０を介してネットワーク１１に接続され、ネットワーク１１経由で他の装置と情報通信を行う。
記憶部２１は、例えば半導体メモリ、磁気メモリ、又は光メモリ等を有する。記憶部２１は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部２１は、サーバ装置１０の動作に用いられる任意の情報、制御・処理プログラム等を記憶する。
制御部２２は、例えば、ＣＰＵ（Central Processing Unit）等の一以上の汎用のプロセッサ、又は特定の処理に特化した一以上の専用のプロセッサを有する。あるいは、制御部２２は、一以上の、ＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等の専用回路を有してもよい。制御部２２は、制御・処理プログラムに従って動作したり、回路として実装された動作手順に従って動作したりすることで、サーバ装置１０の動作を統括的に制御する。そして、制御部２２は、通信部２０を介して、端末装置１２及び車両１３と各種情報を送受し、本実施形態にかかる動作を実行する。
図３は、端末装置１２の構成例を示す。端末装置１２は、例えばスマートフォン、タブレット端末装置、パーソナルコンピュータ等の、情報端末装置である。端末装置１２は、入出力部３０、通信部３１、記憶部３２、及び制御部３３を有する。
入出力部３０は、ユーザの入力を検出し、入力情報を制御部３３に送る入力インタフェースを有する。かかる入力インタフェースは、例えば、物理キー、静電容量キー、パネルディスプレイと一体的に設けられたタッチスクリーン、各種ポインティングデバイス、音声入力を受け付けるマイクロフォン、撮像画像又は画像コードを取り込むカメラ等を含む任意の入力インタフェースである。また、入出力部３０は、制御部３３が生成したり他の装置から受けたりする情報を、ユーザに対して出力する出力インタフェースを有する。かかる出力インタフェースは、例えば、情報を画像・映像として出力する外付け又は内蔵のディスプレイ、情報を音声として出力するスピーカ、又は、外部の出力機器との接続インタフェースを含む、任意の出力インタフェースである。
通信部３１は、有線又は無線ＬＡＮ規格に対応する通信モジュール、４Ｇ（4th Generation）、５Ｇ（5th Generation）等の移動体通信規格に対応するモジュール等を有する。端末装置１２は、通信部３１により、近傍のルータ装置又は移動体通信の基地局を介してネットワーク１１に接続され、ネットワーク１１経由で他の装置と情報通信を行う。
記憶部３２は、例えば半導体メモリ、磁気メモリ、又は光メモリ等を有する。記憶部３２は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部３２は、端末装置１２の動作に用いられる任意の情報、制御・処理プログラム等を記憶する。
制御部３３は、例えば、ＣＰＵ、ＭＰＵ（Micro Processing Unit）等の一以上の汎用プロセッサ、又は特定の処理に特化した一以上の専用プロセッサを有する。あるいは、制御部３３は、一以上の、ＦＰＧＡ、ＡＳＩＣ等の専用回路を有してもよい。制御部３３は、制御・処理プログラムに従って動作したり、あるいは、回路として実装された動作手順に従って動作したりすることで、端末装置１２の動作を統括的に制御する。そして、制御部３３は、通信部３１を介してサーバ装置１０等と各種情報を送受し、本実施形態にかかる動作を実行する。
図４は、車両１３に搭載される制御装置４０の構成例を示す。制御装置４０は、通信部４１、測位部４２、入出力部４３、撮像部４４、検知部４５、記憶部４６、及び制御部４７を有する。制御装置４０は、例えば、ナビゲーション装置、携帯電話機、スマートフォン、タブレット、又はＰＣである。なお、車両１３は、運転手によって運転されてもよく、或いは任意のレベルで運転が自動化されていてもよい。自動化のレベルは、例えば、ＳＡＥ（Society of Automotive Engineers）のレベル分けにおけるレベル１からレベル５のいずれかである。
通信部４１は、一以上の通信用インタフェースを含む。通信用インタフェースは、例えば、ＬＴＥ、４Ｇ、若しくは５Ｇなどの移動通信規格に対応したインタフェースである。通信部４１は、制御装置４０の動作に用いられる情報を受信し、また制御装置４０の動作によって得られる情報を送信する。制御装置４０は、通信部４１により、移動体通信の基地局を介してネットワーク１１に接続され、ネットワーク１１経由で他の装置と情報通信を行う。
測位部４２は、一以上のＧＮＳＳ受信機を含む。ＧＮＳＳには、例えば、ＧＰＳ、ＱＺＳＳ、ＧＬＯＮＡＳＳ、及びＧａｌｉｌｅｏの少なくともいずれかが含まれる。測位部４２は、車両１３の位置情報を取得する。
入出力部４３は、一以上の入力用インタフェースと一以上の出力用インタフェースとを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、又は音声入力を受け付けるマイクロフォンである。出力用インタフェースは、例えば、ディスプレイ又はスピーカである。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイである。入出力部４３は、制御装置４０の動作に用いられる情報を入力する操作を受け付け、入力される情報を制御部４７に送ったり、制御装置４０の動作によって得られる情報を出力したりする。
撮像部４４は、車両１３の周囲又は車室内を撮像可能な位置に設けられる、一以上のカメラとその制御回路とを有する。撮像部４４が有するカメラは、単眼カメラであってもよく、ステレオカメラであってもよい。撮像部４４は、車両１３の周囲又は車室内を任意の時間間隔で撮像し、撮像画像を制御部４７に送る。また、撮像画像には、入出力部４３の入力インタフェースから取得する車両１３の周囲又は車室内の音声の情報が対応づけられてもよい。
検知部４５は、車両１３の運動状態を検知するセンサ類を有する。センサ類には、例えば、車両１３の車速、加速度、舵角、傾き、制動動作等を検知するセンサ類が含まれる。検知部４５は、車両１３の運動状態を示す情報をセンサ類により検知し制御部４７に送る。
記憶部４６は、一以上の半導体メモリ、一以上の磁気メモリ、一以上の光メモリ、又はこれらのうち少なくとも２種類の組み合わせを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。ＲＯＭは、例えば、ＥＥＰＲＯＭである。記憶部４６は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部４６は、制御装置４０の動作に用いられる情報と、制御装置４０の動作によって得られた情報とを記憶する。
制御部４７は、ＣＰＵ、ＭＰＵ等の一以上の汎用プロセッサ、又は特定の処理に特化した一以上の専用プロセッサを有する。あるいは、制御部４７は、一以上の、ＦＰＧＡ、ＡＳＩＣ等の専用回路を有してもよい。制御部４７は、制御・処理プログラムに従って動作したり、あるいは、回路として実装された動作手順に従って動作したりすることで、制御装置４０と車両１３の動作を統括的に制御する。そして、制御部４７は、通信部４１を介して、サーバ装置１０と各種情報を送受し、本実施形態にかかる動作を実行する。
図５は、情報処理システム１の動作例を示すシーケンス図である。図５では、サーバ装置１０、端末装置１２及び車両１３による連携動作の動作手順が示される。図５の手順は、車両１３の走行中から走行後にかけて実行される。
ステップＳ５００において、車両１３は、位置情報をサーバ装置１０へ送る。車両１３の制御部４７は、測位部４２から取得した車両１３の現在位置を、通信部４１を介してサーバ装置１０へ送る。サーバ装置１０の制御部２２は、位置情報を、通信部２０を介して受けて、記憶部２１に格納する。ステップＳ５００は、任意の時間間隔（例えば、数ミリ秒～数秒間隔）で反復される。
ステップＳ５０２において、車両１３は、車両１３の運動状態を示す状態情報をサーバ装置１０へ送る。状態情報は、例えば、車両１３の検知部４５が検知した車両１３の車速、加速度、舵角等の運動状態を示す情報である。車両１３の制御部４７は、状態情報を、通信部４１を介してサーバ装置１０へ送る。サーバ装置１０の制御部２２は、状態情報を、通信部２０を介して受けて、記憶部２１に格納する。
ステップＳ５０４において、車両１３は、撮像画像をサーバ装置１０へ送る。車両１３の制御部４７は、撮像部４４が撮像した車両１３の周囲又は車室内の撮像画像を、通信部４１を介してサーバ装置１０へ送る。サーバ装置１０の制御部２２は、撮像画像を、通信部２０を介して受ける。ステップＳ５０４は、任意の時間間隔（例えば、数ミリ秒～数秒間隔）で反復される。
ステップＳ５０６において、サーバ装置１０は、車両１３の走行態様に基づいて撮像画像及び位置情報等を端末装置１２へ送るか否かを判断する。例えば、サーバ装置１０の制御部２２は、車両１３の位置情報と状態情報とに対応する走行態様を、記憶部２１に格納された過去の位置情報と状態情報とに対応する過去の走行態様と対比して、現在の走行態様が過去の走行態様と異なるか否かを判断し、異なる場合には撮像画像及び位置情報を端末装置１２へ送ると判断する。ここで、図６及び図７を用いてステップＳ５０６の詳細について説明する。
図６は、記憶部２１に格納される、車両１３の位置情報と状態情報を模式的に示す。例えば、記憶部２１には、車両１３ごとに、車両１３の移動に伴い周期的に収集された位置情報、時刻、環境情報、及び車両１３の状態情報が対応付けて格納される。位置情報及び時刻は、車両１３からサーバ装置１０へ位置情報が送られたときの車両１３の位置と時刻とをそれぞれ示す。時刻は、車両１３の制御部４７が位置情報にタイムスタンプとして付してもよいし、サーバ装置１０の制御部２２が位置情報を受信したときの時刻を自らの計時機能により取得してもよい。環境情報は、記憶部２１に予め格納される地図情報から取得される、車両１３の位置に対応する地点の環境の属性を示す。例えば、環境情報は、車両１３が走行する道路の道幅、曲がり角の有無、対向車線の有無、路上障害物の有無、歩道・横断歩道の有無、見通しの良し悪し等を含む。あるいは、環境情報は、別のサーバ装置等から取得される道路交通情報を含んでもよい。状態情報は、車両１３の車速、加速度、舵角等を含む。なお、制御部２２は、ステップＳ５０６を実行する都度、新たに取得した車両１３の位置情報と状態情報とを記憶部２１に追加して格納する。
図７は、サーバ装置１０の制御部２２によるステップＳ５０６における処理の詳細手順を示すフローチャート図である。
ステップＳ７００において、制御部２２は、速度違反を判定する。例えば、制御部２２は、記憶部２１に格納される過去の車速と、取得した現在の車両１３の車速とを比較し、現在の車速が異常値を示すときは、速度違反と判定する。異常値の判断には、任意に定める基準を用いることができる。例えば、過去の平均値又は中央値からの乖離の大きさに対し任意の基準を設け、乖離の大きさが基準を上回れば異常値、乖離の大きさが基準以下なら異常値ではないと判断することが可能である。乖離の大きさは、絶対値であってもよいし、偏差値であってもよい。異常値の判断については、以下の説明においても同じである。速度違反と判定したとき（ステップＳ７００のＹｅｓ）、つまり、車両１３の走行態様が過去の走行態様と異なるときは、ステップＳ７０８へ進んで、制御部２２は車両１３から受けた撮像画像を端末装置１２へ転送すると判断する。速度違反と判定しなかったときは（ステップＳ７００のＮｏ）、制御部２２は、ステップＳ７０２へ進む。
ステップＳ７０２において、制御部２２は、急加速又は急ブレーキを判定する。例えば、制御部２２は、記憶部２１に格納される過去の加速度の絶対値と、取得した現在の車両１３の加速度の絶対値とを比較し、現在の絶対値が異常値を示すときは、急加速又は急ブレーキと判定する。急加速又は急ブレーキと判定したとき（ステップＳ７０２のＹｅｓ）、つまり、車両１３の走行態様が過去の走行態様と異なるときは、ステップＳ７０８へ進んで、制御部２２は車両１３から受けた撮像画像を端末装置１２へ転送すると判断する。急加速又は急ブレーキと判定しなかったときは（ステップＳ７０２のＮｏ）、制御部２２は、ステップＳ７０４へ進む。
ステップＳ７０４において、制御部２２は、急ハンドルを判定する。例えば、制御部２２は、記憶部２１に格納される直近の舵角に対する取得した現在の舵角の時間変化率を求める。そして、制御部２２は、現在の舵角の時間変化率を、同じ単位時間による過去の舵角の時間変化率と比較し、現在の舵角の時間変化率が異常値を示すときは、急ハンドルと判定する。急ハンドルと判定したとき（ステップＳ７０４のＹｅｓ）、つまり、車両１３の走行態様が過去の走行態様と異なるときは、ステップＳ７０８へ進んで、制御部２２は車両１３から受けた撮像画像を端末装置１２へ転送すると判断する。急ハンドルと判定しなかったときは（ステップＳ７０４のＮｏ）、制御部２２は、ステップＳ７０６へ進む。
ステップＳ７０６において、制御部２２は、別経路が採用されたか否かを判定する。例えば、制御部２２は、記憶部２１に格納される位置情報の遷移の履歴から、車両１３が頻繁に走行する道路を導出する。例えば、幹線道路、バイパス、高速道路等を頻繁に走行することが求められる。また、制御部２２は、取得した位置情報の直近の位置情報からの遷移から、車両１３の現時点の走行経路を導出する。そして、過去の経路から現時点の経路が逸脱しているときは、別経路と判定する。例えば、制御部２２は、過去の経路から逸脱した走行距離が任意の基準距離より大きいときには別経路と判定し、基準距離以下のときは別経路と判定しない。別経路の場合には、例えば、過去において幹線道路、バイパス、高速道路等を頻繁に走行するのに対し現在において住宅地、狭隘な路地を走行する場合が含まれる。別経路と判定したとき（ステップＳ７０６のＹｅｓ）、つまり、車両１３の走行態様が過去の走行態様と異なるときは、ステップＳ７０８へ進んで、制御部２２は車両１３から受けた撮像画像を端末装置１２へ転送すると判断する。別経路と判定しなかったときは（ステップＳ７０６のＮｏ）、制御部２２は、図７の手順を終了する。
ステップＳ７００又はＳ７０６において、制御部２２は、環境情報を加味して判定処理を行ってもよい。例えば、ステップＳ７００において、環境情報が、幹線道路を車両１３が走行中であることを示す場合には、異常値と判断する基準を任意の割合で比較的緩く設定し、住宅地を車両１３が走行中であることを示す場合には、異常値と判断する基準を比較的厳しく設定することで、環境に適した速度違反判定を行うことが可能となる。また、ステップステップＳ７０６において、環境情報が、車両１３の過去の経路における渋滞又は道路閉鎖を示す場合には、異常値と判断する基準を比較的緩く設定することで、環境に適した別経路判定を行うことが可能となる。
また、ステップＳ７００～Ｓ７０６において、制御部２２は、位置情報又は時刻を加味して判定処理を行ってもよい。例えば、制御部２２は、現在の車両１３の位置と同じ位置での過去の走行態様と、現在の走行態様とを比較する。または、制御部２２は、現在の時刻と同じ時刻における過去の走行態様と、現在の走行態様とを比較する。そうすることで、位置又は時刻に起因する特殊性を排除して、過去の走行態様と異なる走行態様を判定することができる。
図５に戻り、ステップＳ５０６において位置情報及び撮像画像を送ると判断した場合、ステップＳ５０８において、サーバ装置１０は、車両１３の走行態様が過去の走行態様と異なるときの撮像画像、位置情報、環境情報、及び走行態様情報を端末装置１２へ送る。サーバ装置１０の制御部２２は、記憶部２１に格納した、撮像画像、位置情報、環境情報、及び走行態様を示す走行態様情報を、通信部２０を介して端末装置１２へ送る。走行態様情報は、例えば、図７におけるステップＳ７００～Ｓ７０６における判定結果にそれぞれ対応する、速度違反、急加速・急ブレーキ、急ハンドル、別経路を示す情報である。端末装置１２の制御部３３は、撮像画像、位置情報、環境情報、及び走行態様情報を、通信部３１を介して受けて、記憶部３２に格納する。
車両１３の走行が終了した後、ステップＳ５１０において、端末装置１２は、車両１３の撮像画像、位置情報、環境情報、及び走行態様情報を出力する。例えば、車両１３の走行後に、運転者の運転動作の傾向を評価する際に、ステップＳ５１０が実行される。例えば、運転者又は評価者の操作入力に応答して、端末装置１２の制御部３３は、撮像画像、位置情報、環境情報、及び走行態様情報を、入出力部３０により出力する。例えば、端末装置１２は、図８に示すように、表示画面８０にて地図８１上にマッピングした位置情報に対応付けて、走行態様情報及び環境情報を示す表示８２ａ、８２ｂを表示する。例えば、表示８２ａは、バイパスを走行していることを示す環境情報と、急ハンドルを示す走行態様情報を含む。また、表示８２ｂは、渋滞による混雑が発生していることを示す環境情報と、急ブレーキを示す走行態様情報を含む。さらに、端末装置１２は、例えば表示８２ａ、８２ｂに対するタップ操作等に応答して、表示８２ａ、８２ｂにそれぞれ対応する撮像画像８３及び８４を表示する。例えば、急ブレーキに対応して、急に横から割り込む他車両の撮像画像８３、又は、急ハンドルに対応して、急な進路変更を強要する乗客の撮像画像８４が表示される。
端末装置１２は、不適正運転の蓋然性が高いことを示す、通常とは異なる走行態様を車両１３が呈したときの位置情報、環境情報、及び撮像画像を、運転者又は評価者に呈示する。よって、運転者又は評価者は、不適正運転を誘発する要因があったか否かを撮像画像により視認して検証することができる。併せて、道路の形状、配置等を位置情報から、道路環境、交通状況等を環境情報から把握することができ、不適正運転の検証・判定に活かすことが可能となる。
図５の手順において、ステップＳ５０８は、サーバ装置１０の制御部２２が車両１３の過去の走行態様と異なる走行態様を検出する都度実行されてもよいし、例えば車両１３の走行終了後に一回的に実行されてもよい。制御部２２が過去の走行態様と異なる走行態様を検出する毎に撮像画像及び位置情報を記憶部２１に格納しておき、端末装置１２に対する運転者又は評価者の入力に応答して端末装置１２がサーバ装置１０へ撮像画像等を要求することで、記憶部２１に格納された一以上の撮像画像等が端末装置１２へ送られてもよい。
図９は、本実施形態の変形例における手順を示す。図９の手順は、図５におけるステップＳ５０６の代わりにステップＳ９００が実行され、ステップＳ５０２が省略される点が、図５と異なる。他のステップは図５と同じである。
ステップＳ９００において、車両１３の制御装置４０により、撮像画像及び位置情報をサーバ装置１０へ送信する前に、車両１３の走行態様に基づいて撮像画像及び位置情報等を、サーバ装置１０を介して端末装置１２へ送るか否かを判断する。例えば、制御装置４０の制御部４７は、車両１３の位置情報と状態情報とに対応する走行態様を、記憶部４６に格納された過去の位置情報と状態情報とに対応する過去の走行態様と対比して、現在の走行態様が過去の走行態様と異なるか否かを判断し、異なる場合には撮像画像及び位置情報を端末装置１２へ送ると判断する。そして、撮像画像及び位置情報を端末装置１２へ送ると判断した場合に、位置情報及び撮像画像が、サーバ装置１０へ送られる。また、例えば、記憶部４６に、図６で示した情報が格納されるように、車両１３の制御装置４０が構成し、位置情報及び撮像画像に加えて、環境情報が車両１３からサーバ装置１０へ送られてもよい。かかる変形例によれば、サーバ装置１０の処理負荷が車両１３に分散されるので、サーバ装置１０の処理負荷の軽減が可能となる。
上述のとおり、本実施形態によれば、不適正な運転の判定を改善することが可能となる。
上述の実施形態において、端末装置１２及び制御装置４０の動作を規定する処理・制御プログラムは、サーバ装置１０の記憶部２１又は他のサーバ装置の記憶部に記憶されていて、ネットワーク１１経由で各装置にダウンロードされてもよいし、各装置に読取り可能な可搬型で非一過性の記録・記憶媒体に格納され、各装置が媒体から読み取ってもよい。
上述において、実施形態を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。従って、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段、ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。
１ 情報処理システム
１０ サーバ装置
１１ ネットワーク
１２ 端末装置
１３ 車両
２０、３１、４１ 通信部
２１、３２、４６ 記憶部
２２、３３、４７ 制御部
３０、４３ 入出力部
４２ 測位部
４４ 撮像部
４５ 検知部
１０ サーバ装置
１１ ネットワーク
１２ 端末装置
１３ 車両
２０、３１、４１ 通信部
２１、３２、４６ 記憶部
２２、３３、４７ 制御部
３０、４３ 入出力部
４２ 測位部
４４ 撮像部
４５ 検知部
Claims (20)
- 通信部と、
前記通信部を介して他の装置と情報を送受する制御部とを有し、
前記制御部は、車両の所定の位置における走行態様が当該所定の位置における過去の走行態様との比較により当該過去の走行態様と異なると判定すると、当該車両の車室内の運転者に対する乗客の態度を撮像して得られる撮像画像を、端末装置が当該撮像画像を出力するために当該端末装置へ送る、
サーバ装置。 - 請求項１において、
前記制御部は、前記車両の走行態様が前記過去の走行態様と異なるときの当該車両の位置を示す位置情報を前記端末装置へ送る、
サーバ装置。 - 請求項１又は２において、
前記走行態様は、前記車両の運動状態を含む、
サーバ装置。 - 請求項１～３のいずれかにおいて、
前記走行態様は、前記車両の経路を含む、
サーバ装置。 - 請求項２～４のいずれかにおいて、
前記車両の走行態様が前記過去の走行態様と異なるか否かは、前記車両の位置に対応する地点の環境の属性を示す環境情報を加味して判断される、
サーバ装置。 - 請求項５において、
前記制御部は、前記環境情報を前記端末装置へ送る、
サーバ装置。 - 請求項１～６のいずれかに記載のサーバ装置と車両とを含む、
情報処理システム。 - 通信部と前記通信部を介して他の装置と情報を送受する制御部とを有する、車両の制御装置であって、
前記制御部は、前記車両の所定の位置における走行態様が当該所定の位置における過去の走行態様との比較により当該過去の走行態様と異なると判定されると、当該車両の車室内の運転者に対する乗客の態度を撮像して得られる撮像画像を、サーバ装置が当該撮像画像を端末装置へ送るために当該サーバ装置へ送る、
制御装置。 - 請求項８において、
前記制御部は、前記車両の走行態様が過去の走行態様と異なるときの当該車両の位置を示す位置情報を、サーバ装置が当該位置情報を端末装置へ送るために当該サーバ装置へ送る、
制御装置。 - 請求項８又は９において、
前記走行態様は、前記車両の運動状態を含む、
制御装置。 - 請求項８～１０のいずれかにおいて、
前記走行態様は、前記車両の経路を含む、
制御装置。 - 請求項８～１１のいずれかにおいて、
前記車両の走行態様が前記過去の走行態様と異なるか否かは、前記車両の位置に対応する地点の環境の属性を示す環境情報を加味して判断される、
制御装置。 - 請求項１２において、
前記制御部は、前記環境情報を、サーバ装置が当該環境情報を端末装置へ送るために当該サーバ装置へ送る、
制御装置。 - 請求項８～１３のいずれかに記載の制御装置を有する、
車両。 - 互いに情報を送受するサーバ装置と車両とを有する情報処理システムの動作方法であって、
前記車両は、車両の所定の位置における走行態様が当該所定の位置における過去の走行態様との比較により当該過去の走行態様と異なると判定されると、当該車両の車室内の運転者に対する乗客の態度を撮像して得られる撮像画像を前記サーバ装置へ送り、
前記サーバ装置は、前記撮像画像を端末装置が当該撮像画像を出力するために当該端末装置へ送る、
動作方法。 - 請求項１５において、
前記車両は、前記車両の走行態様が前記過去の走行態様と異なるときの当該車両の位置を示す位置情報を前記サーバ装置へ送り、
前記サーバ装置は、前記位置情報を前記端末装置へ送る、
動作方法。 - 請求項１５又は１６において、
前記走行態様は、前記車両の運動状態を含む、
動作方法。 - 請求項１５～１７のいずれかにおいて、
前記走行態様は、前記車両の走行経路を含む、
動作方法。 - 請求項１６～１８のいずれかにおいて、
前記サーバ装置又は車両は、前記車両の走行態様が前記過去の走行態様と異なるか否かを、前記車両の位置に対応する地点の環境の属性を示す環境情報を加味して判断する、
動作方法。 - 請求項１９において、
前記サーバ装置は、前記環境情報を前記前記端末装置へ送る、
動作方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020094756A JP7428076B2 (ja) | 2020-05-29 | 2020-05-29 | サーバ装置、制御装置、車両、及び情報処理システムの動作方法 |
| CN202110371947.3A CN113746889A (zh) | 2020-05-29 | 2021-04-07 | 服务器装置、控制装置、车辆和用于信息处理***的操作方法 |
| US17/229,336 US20210375073A1 (en) | 2020-05-29 | 2021-04-13 | Server device, control device, vehicle, and operation method for information processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020094756A JP7428076B2 (ja) | 2020-05-29 | 2020-05-29 | サーバ装置、制御装置、車両、及び情報処理システムの動作方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021189773A JP2021189773A (ja) | 2021-12-13 |
| JP7428076B2 true JP7428076B2 (ja) | 2024-02-06 |
Family
ID=78705308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020094756A Active JP7428076B2 (ja) | 2020-05-29 | 2020-05-29 | サーバ装置、制御装置、車両、及び情報処理システムの動作方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20210375073A1 (ja) |
| JP (1) | JP7428076B2 (ja) |
| CN (1) | CN113746889A (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004288064A (ja) | 2003-03-24 | 2004-10-14 | Nippon Telegr & Teleph Corp <Ntt> | 運転者支援装置、運転者支援方法、及びそのプログラム |
| JP2016081087A (ja) | 2014-10-09 | 2016-05-16 | 株式会社日立製作所 | 運転特性診断装置、運転特性診断システム、運転特性診断方法、情報出力装置、情報出力方法 |
| JP2017041018A (ja) | 2015-08-18 | 2017-02-23 | 株式会社ブロードリーフ | 乗物情報収集システム |
| JP2019032725A (ja) | 2017-08-09 | 2019-02-28 | 株式会社ユピテル | 車載電子機器、サーバ、及びクライアント端末 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007135865A1 (ja) * | 2006-05-23 | 2007-11-29 | Pioneer Corporation | 撮影制御装置、撮影制御方法、撮影制御プログラム、および記録媒体 |
| KR101735684B1 (ko) * | 2010-12-14 | 2017-05-15 | 한국전자통신연구원 | 차량용 영상 기록 및 제공 장치와 이를 이용한 지역 정보 획득 장치 및 방법 |
| US9524269B1 (en) * | 2012-12-19 | 2016-12-20 | Allstate Insurance Company | Driving event data analysis |
| WO2016166791A1 (ja) * | 2015-04-13 | 2016-10-20 | 三菱電機株式会社 | 運転支援装置 |
| CN107672598B (zh) * | 2017-09-18 | 2019-11-12 | 江苏驭道数据科技有限公司 | 一种限制危险驾驶的安全信息提示*** |
| JP2019156068A (ja) * | 2018-03-09 | 2019-09-19 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
| JP2019158648A (ja) * | 2018-03-14 | 2019-09-19 | トヨタ自動車株式会社 | 運転支援装置、制御方法、及びプログラム |
| JP7247790B2 (ja) * | 2019-07-02 | 2023-03-29 | 株式会社デンソー | 走行環境監視装置、走行環境監視システム、及び走行環境監視プログラム |
-
2020
- 2020-05-29 JP JP2020094756A patent/JP7428076B2/ja active Active
-
2021
- 2021-04-07 CN CN202110371947.3A patent/CN113746889A/zh active Pending
- 2021-04-13 US US17/229,336 patent/US20210375073A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004288064A (ja) | 2003-03-24 | 2004-10-14 | Nippon Telegr & Teleph Corp <Ntt> | 運転者支援装置、運転者支援方法、及びそのプログラム |
| JP2016081087A (ja) | 2014-10-09 | 2016-05-16 | 株式会社日立製作所 | 運転特性診断装置、運転特性診断システム、運転特性診断方法、情報出力装置、情報出力方法 |
| JP2017041018A (ja) | 2015-08-18 | 2017-02-23 | 株式会社ブロードリーフ | 乗物情報収集システム |
| JP2019032725A (ja) | 2017-08-09 | 2019-02-28 | 株式会社ユピテル | 車載電子機器、サーバ、及びクライアント端末 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210375073A1 (en) | 2021-12-02 |
| JP2021189773A (ja) | 2021-12-13 |
| CN113746889A (zh) | 2021-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11024157B1 (en) | Networked vehicle control systems to facilitate situational awareness of vehicles | |
| US10972975B2 (en) | Electronic device for transmitting communication signal related to pedestrian safety and method of operating same | |
| JP7263233B2 (ja) | 車両衝突を検出するための方法、システム及びプログラム | |
| US9596643B2 (en) | Providing a user interface experience based on inferred vehicle state | |
| US10776735B2 (en) | Risk information processing method and server device | |
| US20190071101A1 (en) | Driving assistance method, driving assistance device which utilizes same, autonomous driving control device, vehicle, driving assistance system, and program | |
| CN111332309B (zh) | 驾驶员监视***及其操作方法 | |
| CN110942332B (zh) | 信息处理装置以及信息处理方法 | |
| KR20190011582A (ko) | 외부 이동 수단의 움직임과 관련된 데이터에 기반하여, 식별 정보가 변경된 외부 이동 수단을 확인하는 전자 장치 및 그 동작 방법 | |
| JP6613623B2 (ja) | 車載装置、運転モード制御システム、及び運転モード制御方法 | |
| JP6439735B2 (ja) | 運転支援用装置 | |
| EP3996063A1 (en) | Safety performance evaluation device, safety performance evaluation method, information processing device, and information processing method | |
| KR20210073313A (ko) | 주행 관련 안내 서비스를 제공하는 차량용 단말 장치, 서비스 제공 서버, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 | |
| JP2019079396A (ja) | 情報処理システム、情報処理装置、情報処理方法、及びプログラム | |
| JP6906175B2 (ja) | 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム、運転支援システム | |
| KR102529919B1 (ko) | 졸음 운전 관리 장치, 시스템 및 방법 | |
| KR102319383B1 (ko) | 블랙박스 영상을 이용하여 교통 법규 위반 차량을 자동으로 신고하는 장치 및 방법 | |
| JP7428076B2 (ja) | サーバ装置、制御装置、車両、及び情報処理システムの動作方法 | |
| JP2015109003A (ja) | 歩行者情報提供システム | |
| JP7047001B2 (ja) | 交通リスク低減プログラム、情報処理装置及び方法 | |
| JP7451423B2 (ja) | 画像処理装置、画像処理方法および画像処理システム | |
| JP7333702B2 (ja) | 車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム | |
| JP2012256138A (ja) | 携帯端末装置およびこれを備えた運転評価システム | |
| US20190139408A1 (en) | Device, server, and method for determining a case of wrong-way driving and for providing a warning about the wrong-way driving | |
| JP7301715B2 (ja) | 監視カメラ利用車両システムに適用される状態予測サーバおよび注意喚起装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220523 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230425 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230515 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230829 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230905 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240108 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7428076 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |