JP6401821B1 - 運転負荷推定装置 - Google Patents

運転負荷推定装置 Download PDF

Info

Publication number
JP6401821B1
JP6401821B1 JP2017102101A JP2017102101A JP6401821B1 JP 6401821 B1 JP6401821 B1 JP 6401821B1 JP 2017102101 A JP2017102101 A JP 2017102101A JP 2017102101 A JP2017102101 A JP 2017102101A JP 6401821 B1 JP6401821 B1 JP 6401821B1
Authority
JP
Japan
Prior art keywords
value
vacp
driver
driving load
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017102101A
Other languages
English (en)
Other versions
JP2018197055A (ja
Inventor
宗一郎 青▲柳▼
宗一郎 青▲柳▼
佐藤 晴彦
晴彦 佐藤
敏夫 伊東
敏夫 伊東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Calsonic Kansei Corp
Shibaura Institute of Technology
Original Assignee
Calsonic Kansei Corp
Shibaura Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Calsonic Kansei Corp, Shibaura Institute of Technology filed Critical Calsonic Kansei Corp
Priority to JP2017102101A priority Critical patent/JP6401821B1/ja
Priority to PCT/JP2018/015620 priority patent/WO2018216394A1/ja
Priority to US16/616,135 priority patent/US11458977B2/en
Application granted granted Critical
Publication of JP6401821B1 publication Critical patent/JP6401821B1/ja
Publication of JP2018197055A publication Critical patent/JP2018197055A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083Setting, resetting, calibration
    • B60W2050/0088Adaptive recalibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2400/00Indexing codes relating to detected, measured or calculated conditions or factors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/20Static objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/406Traffic density
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Psychology (AREA)
  • Medical Informatics (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Educational Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】走行環境に応じた運転者の運転負荷を個人ごとに推定できる運転負荷推定装置を提供する。
【解決手段】本発明の一実施形態に係る運転負荷推定装置10は、車両の走行環境に関する情報に基づいて第1VACP値Wを算出する第1VACP算出部11と、走行環境におけるステアリング操作に基づいて、対象となる運転者ごとのVACP補正値aを算出する補正値算出部13と、を備え、第1VACP値WをVACP補正値aに基づいて補正することで、運転者の運転負荷を推定することを特徴とする。
【選択図】図2

Description

本発明は、車両に搭載される運転負荷推定装置に関する。
従来、車両を運転する運転者の運転行動を、走行環境の情報に基づいて一律に点数化する手法が知られている。
非特許文献1に開示されたドライバ・ワークロード推定方法では、航空機の設計段階でパイロットの作業負荷を推定するために各種操作に必要な認知資源を定量的に見積もったVACPと呼ばれる指標を、車両を運転する運転者の運転行動に適用している。
「VACPによるドライバ・ワークロード推定方法の研究」、自動車技術会論文集、Vol.46、No.6、pp.1171−1176(2015)
しかしながら、VACPを適用した上記の手法は、走行環境の情報に基づいて運転者の運転行動を一律に点数化するために、運転者ごとの運転負荷の違いを考慮していなかった。
上記のような課題に鑑みてなされた本発明の目的は、走行環境に応じた運転者の運転負荷を個人ごとに推定できる運転負荷推定装置を提供することにある。
上記課題を解決するために本発明に係る運転負荷推定装置は、
車両の走行環境に関する情報に基づいて第1VACP値を算出する第1VACP算出部と、
ステアリング舵角に関する情報に基づいて、運転者のステアリングエントロピー値を算出するステアリングエントロピー算出部と、
前記運転者のステアリングエントロピー値に基づいて、前記運転者のVACP補正値を算出する補正値算出部と、
を備え、
前記第1VACP値を前記VACP補正値に基づいて補正することで、前記運転者の運転負荷を推定し、
前記補正値算出部は、
前記運転者のステアリングエントロピー値に基づいて、前記走行環境におけるステアリング操作に対する前記運転者のVACP値として個人VACP値を算出し、
一般的な運転者のステアリングエントロピー値とVACP値の関係を示す一般関係式と、前記運転者のステアリングエントロピー値とに基づいて、前記走行環境におけるステアリング操作に対する一般的な運転者のVACP値として一般VACP値を算出し、
前記一般VACP値及び前記個人VACP値に基づいて前記VACP補正値を取得する、ことを特徴とする。
本発明の一実施形態に係る運転負荷推定装置によれば、走行環境に応じた運転者の運転負荷を個人ごとに推定できる。
一実施形態に係る運転負荷推定装置を含む情報制御システムを示すブロック図である。 一実施形態に係る運転負荷推定装置の構成を示すブロック図である。 補正値算出部によって第1VACP値を補正する具体例を示す。 運転負荷推定装置が表示コンテンツの情報量に基づいてVACP値を算出する例示的なフローを示す。 表示コンテンツとチャンク数及びVACP値との関係の一例を示す模式図である。
以下、図面を参照して、本発明の一実施形態について説明する。
図1は、一実施形態に係る運転負荷推定装置10を含む情報制御システム1を示すブロック図である。一実施形態に係る運転負荷推定装置10は、車両の情報制御システム1の一部を構成する。
情報制御システム1は、運転負荷推定装置10に加えて、走行環境認識部20、コントローラ30及び表示部40を主要な構成要素として有する。情報制御システム1は、運転負荷推定装置10によってリアルタイムに推定された運転者ごとの運転負荷に基づいて、表示部40に表示する表示情報を制御する。例えば、情報制御システム1は、運転者ごとの運転負荷に基づいて、表示情報の表示位置及び情報量の少なくとも一方を変える。
走行環境認識部20は、車両の走行環境に関する情報を取得する。車両の走行環境に関する情報は、以下に説明するように、車両周辺の環境情報及び自車の現在位置に関する情報を含む。
走行環境認識部20は、カメラ、ライダー(LIDAR:Light Detection And Ranging)、速度センサ、ステアリング舵角センサなどの適宜なセンサによって構成される。走行環境認識部20は、車載インフォテイメント(IVI:In-Vehicle Infotainment)システムを構成する適宜なセンサを含んでもよい。走行環境認識部20は、交通参加者の特徴、位置、移動速度などの交通参加者状況、路面の状態、道路の白線との間隔、道路種別、車線数などの道路状況、信号状況などを検出して、車両周辺の環境情報を取得する。走行環境認識部20は、前方車両状況、後方車両状況、並走車両状況及び交差車両状況の少なくとも1つに関する情報を取得してもよい。その他にも、走行環境認識部20は、外部ネットワークとの通信状態に関する情報、周辺上空移動体状況に関する情報、外部サーバ情報、POI(Point Of Interest)情報などの車両周辺の環境情報を取得してもよい。
走行環境認識部20は、ナビゲーションシステムを含んでもよい。この場合、走行環境認識部20は、車両の緯度、経度、高度、斜度、車線位置などによって示される自車の現在位置を算出する。また、走行環境認識部20は、自車の現在位置における温度、湿度、天候、明るさ、透明度などの自車位置状況に関する情報を取得してもよい。
走行環境認識部20は、この他にも、種々の車両の走行環境に関する情報を取得してもよい。走行環境認識部20は、例えば、車載ネットワークにおける1つの通信方式であるコントローラエリアネットワーク(CAN)を用いて、種々の車両状況に関する情報を取得してもよい。例えば、走行環境認識部20は、車両の速度、アクセル状態、ブレーキ状態、クラッチ状態、ウィンカ状態、ギア状態、ワイパー状態、ドアミラー状態、シート状態、オーディオ状態、ワーニング状態、ライト状態、ステアリング状態、アイドル状態、エアコン状態、シートベルト状態、運転操作レベルなどの車両状況に関する情報を取得してもよい。
走行環境認識部20は、運転者に関する情報も取得する。例えば、走行環境認識部20は、運転者の状態に関する情報を取得してもよい。例えば、走行環境認識部20は、運転者の顔向き、視線、瞬き状態などの運転者の状態に関する情報を取得してもよい。
走行環境認識部20によって取得された上記の情報は、運転負荷推定装置10に出力される。
コントローラ30は、情報制御システム1の各機能ブロックをはじめとして、情報制御システム1の全体を制御及び管理するプロセッサである。コントローラ30は、制御手順を規定したプログラムを実行するCPU(Central Processing Unit)などのプロセッサで構成される。このようなプログラムは、任意の記憶媒体に格納される。
コントローラ30は、運転者容量算出部31と、表示情報制御部32とを有する。コントローラ30は、運転負荷推定装置10によって推定された運転者ごとの運転負荷を、運転者容量算出部31によって算出された当該運転者の運転負荷に対する許容量と比較する。
例えば、運転者が、運転中に表示部40を視認する、エアコンを操作するなどの運転以外のタスクを並列に行うことが苦手な場合、運転者の運転負荷に対する許容量は低くなる。仮に、運転負荷推定装置10によって推定された運転者ごとの運転負荷が低い場合であっても、当該運転者の運転負荷に対する許容量が低い場合、コントローラ30は、例えば情報量をある程度制限した状態で運転者に表示情報を提供するのが好適である。このように、コントローラ30は、より適切に表示情報の制御を行うために、運転負荷推定装置10によって推定された運転者ごとの運転負荷に加えて、運転者容量算出部31により当該運転者の運転負荷に対する許容量も取得する。
表示情報制御部32は、運転者ごとの運転負荷及び当該運転者の運転負荷に対する許容量に基づいて、表示部40に出力する表示情報を制御する。例えば、表示情報制御部32は、運転者ごとの運転負荷及び当該運転者の運転負荷に対する許容量に応じて、表示情報の表示位置及び情報量の少なくとも一方を制御する。表示情報制御部32は、制御された表示情報を表示部40に出力する。
表示情報の種別、すなわち、表示コンテンツは、様々である。例えば、表示コンテンツは、自車情報、周囲情報、車外情報、内蔵記録情報及び通信端末経由情報に大きく分類される。自車情報は、例えば、車速、燃料残量及びタイヤ空気圧に関する情報を含む。周囲情報は、走行環境認識部20を構成するセンサによってセンシングされた車両周辺の環境情報を含む。例えば、周囲情報は、制限速度及びその他の標識に関する情報を含む。車外情報は、周囲情報以外の車両外部の情報を含む。例えば、車外情報は、地図情報、インフラストラクチャ情報、交通情報、POI情報などの外部のオープン情報を含む。内蔵記録情報は、自車情報、周囲情報及び車外情報のいずれにも該当しない、記憶媒体などに格納されたローカル情報を含む。通信端末経由情報は、車載又は個人の通信端末を経由して入手される情報又はその履歴を含む。例えば、通信端末経由情報は、緊急災害速報、号外、メール、SNS(Social Networking Service)、ニュース、天気などの情報を含む。
表示部40は、表示情報制御部32から出力された表示情報を表示する。すなわち、表示部40は、上記の各種表示コンテンツを表示する。表示部40は、少なくとも1つの画面を有する。表示部40は、液晶ディスプレイなどの任意の表示装置により構成されてもよい。表示部40は、液晶ディスプレイによって構成される場合、例えばインストルメントパネルに配置される。表示部40を構成する表示装置は、タッチパネルディスプレイであってもよいし、タッチ操作不能のディスプレイであってもよい。
表示部40は、一例として、3つの画面により構成される。すなわち、表示部40は、ヘッドアップディスプレイ(HUD:Head-Up Display)41、メーター表示器42及びセンター表示器43により構成される。HUD41を含むHUD型の装置は、表示情報を表示光として発生する発光部を有し、発生した表示光を運転者などの観察者へ向かうように反射して、フロントウィンドシールド越しに虚像を表示する。観察者は、運転者に限定されず、助手席に座っている同乗者などでもよい。メーター表示器42及びセンター表示器43は、インストルメントパネルに配置される。
図2は、一実施形態に係る運転負荷推定装置10の構成を示すブロック図である。運転負荷推定装置10は、第1VACP算出部11、ステアリングエントロピー(SE)算出部12、補正値算出部13及び第2VACP算出部14を有する。運転負荷推定装置10は、第1VACP算出部11によって算出されたVACP値を、補正値算出部13によって算出されたVACP補正値に基づいて補正することで、対象となる運転者の運転負荷を走行環境からリアルタイムに推定する。
第1VACP算出部11は、走行環境認識部20によって取得された車両の走行環境に関する情報に基づいて、車両を運転する運転者の運転行動に適用されたVACP値(第1VACP値W)を算出する。ここで、パイロットの作業負荷を推定するための従来のVACP値を以下の表1に具体的に示す。
Figure 0006401821
VACPとは、人間の行動を、視覚(V:Visual)、聴覚(A:Auditory)、認識(C:Cognitive)及び精神(P:Psychomotor)の4つの要素に分け、消費される認知資源の量に応じて1.0から7.0までの数値で表す手法である。4つの要素の数値の合計が負荷量となる。消費される認知資源の量は、一対比較法の調査によって定義されている。これに基づいて、非特許文献1に記載のとおり、車両の運転操作に関するVACP値が見積もられる。運転負荷推定装置10が運転行動のVACP値を運転者ごとに推定することで、情報制御システム1は、運転者ごとの運転負荷を客観的に判定できる。すなわち、情報制御システム1は、VACPが低いと運転者の運転負荷が小さいと判定し、VACPが高いと運転者の運転負荷が大きいと判定する。
第1VACP算出部11は、車両の走行環境から一般的に定められる運転者の運転行動を、見積もられた車両の運転操作に関するVACP値に対応させて、第1VACP値Wを一律に算出する。すなわち、第1VACP値Wは、運転者ごとの運転負荷を示すわけではなく、あくまでも走行環境認識部20によって取得された車両の走行環境に関する情報から運転者個人に依存せずに一律に算出される値である。しかしながら、運転者によっては、運転経験の浅い初心者である場合もあれば、運転経験の長い熟練者である場合もある。このように運転者の熟練度に個人差が現れるような場合、第1VACP値Wにより運転者の運転負荷を一律に推定していては、情報制御システム1は、適切な情報制御を行うことができない。以下では、運転者の運転負荷を個人ごとに適切に推定するために備えられる、運転負荷推定装置10のSE算出部12及び補正値算出部13について詳細に説明する。
SE算出部12は、走行環境認識部20によって取得されたステアリング操作に関する情報に基づいて、運転者のSE値を算出する。より具体的には、SE算出部12は、ステアリング舵角に関する情報に基づいて、運転者のSE値を算出する。一般的に、運転者は先の情報を予測して、無意識のうちに滑らかにステアリング操作を行う。しかしながら、運転者が運転以外のタスクを行うと、運転者の意識及び視線が運転行為から逸脱し、運転者は、滑らかなステアリング操作を行うことができなくなる。SE値は、運転者のこのような傾向に対応させて、運転者のステアリング操作の滑らかさを、時系列ステアリング舵角データから計算される情報エントロピー値として数値化したものである。すなわち、運転者が通常通りの滑らかなステアリング操作を行っている場合、SEは低くなる。一方で、運転者が、急激な変化を伴うような滑らかさを欠いたステアリング操作を行っている場合、SEは高くなる。
補正値算出部13は、対象となる運転者ごとのVACP補正値を算出する。より具体的には、補正値算出部13は、一般的な運転者のSE値とVACP値との相関データに基づいて、一般的な運転者のVACP値WとSE値epとの一般関係式f(ep)を導出する(式1参照)。
Figure 0006401821
運転者のVACP値は、例えばカメラなどによって走行中に取得された運転者の顔向き、視線、瞬き状態などの運転者の状態に関する情報及び車両周辺の環境情報に基づいて、各運転行動に定められたVACP値を加算していくことで算出できる。運転者のSE値は、例えばステアリング舵角センサによって走行中に取得されたステアリング状態に関する情報に基づいて算出できる。
一般的な運転者のSE値とVACP値との相関データは、上記のような方法により関連付けて算出されたSE値とVACP値とを、複数の運転者に対して予め統計的に求めたものである。この場合、一般的な運転者のVACP値Wは、例えば、複数の運転者のVACP値を平均したものであってもよい。一般的な運転者のSE値とVACP値との相関データは、データベースとして任意の記憶媒体に格納されてもよい。
補正値算出部13は、対象となる運転者ごとのSE値とVACP値との相関データに基づいて、個人のVACP値WとSE値epとの個人関係式g(ep)を導出する(式2参照)。
Figure 0006401821
対象となる運転者ごとのSE値とVACP値との相関データは、上記のような方法により関連付けて算出されたSE値とVACP値とを、データベースとして蓄積することで取得できる。対象となる運転者ごとのSE値とVACP値との相関データは、任意の記憶媒体に格納されてもよい。
補正値算出部13は、一般関係式f(ep)及び個人関係式g(ep)に基づいて、SE算出部12によって算出されたSE値epに対応する一般VACP値f(ep)及び個人VACP値g(ep)をそれぞれ算出する。補正値算出部13は、一般VACP値f(ep)に対する個人VACP値g(ep)の比率を算出することで、VACP補正値aを取得する(式3参照)。
Figure 0006401821
運転負荷推定装置10は、補正値算出部13によって算出されたVACP補正値aを第1VACP値Wに乗算することで当該第1VACP値Wを補正する。以下では、補正後の第1VACP値Wを改めてW’と表記する(式4参照)。
Figure 0006401821
以上により、運転負荷推定装置10は、個人差による補正を行ったVACP値によって運転者の運転負荷を表すことができる。一方で、情報制御システム1は、表示部40に表示される表示コンテンツについてもその情報量に応じて負荷を定義して、上記の運転行動に基づく運転者個人の運転負荷と比較するのが好適である。このような観点から、運転負荷推定装置10は、第1VACP算出部11に加えて、第2VACP算出部14を有してもよい。
第2VACP算出部14は、表示部40に表示される表示コンテンツの情報量に基づいてVACP値(第2VACP値W)を算出する。すなわち、第2VACP算出部14は、表示コンテンツの情報量に対応させて第2VACP値Wを算出する。
例えば、表示コンテンツの情報量は、文字数、単語数、文節、アイコン及び図の数、又は図示での注目点の数から定義されるチャンク数により決定されてもよい。「チャンク」とは、短期記憶の単位のことである。より具体的には、「チャンク」は、いくつかの文字を一つの単語に再符号化して、これを1つの塊として捉えた際の情報量の単位である。例えば、案内標識の地名を1地名ごとに1チャンク、方向を全体で1チャンク、及び規制標識を標識一種類で1チャンクとして、各標識のチャンク数が算出される。情報表示の電光掲示板では、文章中の一品詞を1チャンクとし、助動詞、助詞及び接続詞をチャンクとしてカウントせずに、チャンク数が算出される。
第2VACP算出部14は、このような考え方を利用して、表示コンテンツのチャンク数を算出する。第2VACP算出部14は、算出したチャンク数に対して、表1のVACPスケールを基に表示コンテンツのVACP値(第2VACP値W)を算出する。
運転負荷推定装置10は、補正した第1VACP値W’に第2VACP値Wを加算することで(式(5)参照)、総合的な運転負荷Wを推定する。
Figure 0006401821
図3は、補正値算出部13によって第1VACP値Wを補正する具体例を示す。
例えば、第1VACP算出部11は、走行環境認識部20を構成するナビゲーションシステム及びLIDARによって、自車が高速道路を走行しており、先行車が存在するという車両の走行環境に関する情報を取得する。この場合、第1VACP算出部11は、このような走行環境から一般的に定められる運転者の運転行動を、車両の運転操作に関するVACP値に対応させて、第1VACP値Wを一律に25と算出する。
一方で、SE算出部12は、走行環境認識部20によって取得されたステアリング舵角に関する情報に基づいて、運転者のSE値epを算出する。
補正値算出部13は、一般的な運転者のSEとVACPとの一般関係式f(ep)及び個人のSEとVACPとの個人関係式g(ep)に基づいて、SE算出部12によって算出されたSE値epに対応する一般VACP値f(ep)及び個人VACP値g(ep)をそれぞれ算出する。例えば、補正値算出部13は、一般VACP値f(ep)を25と算出し、個人VACP値g(ep)を40と算出する。
したがって、補正値算出部13は、一般VACP値f(ep)に対する個人VACP値g(ep)の比率を40/25と算出する。
運転負荷推定装置10は、補正値算出部13によって算出された40/25というVACP補正値aを25という第1VACP値Wに乗算する。これにより、運転負荷推定装置10は、高速道路において先行車ありという走行環境において、当該運転者個人の補正後の第1VACP値W’を25×(40/25)=40と算出する。
図4は、運転負荷推定装置10が表示コンテンツの情報量に基づいてVACP値を算出する例示的なフローを示す。
第2VACP算出部14は、表示部40に表示される表示コンテンツのチャンク数を算出する。一方で、第2VACP算出部14は、例えば、1チャンクあたりのVACP値を、表1のVACPスケールを基に算出する。第2VACP算出部14は、算出した表示コンテンツのチャンク数に対して、1チャンクあたりのVACP値を乗算することで、表示コンテンツの第2VACP値Wを算出する。
第2VACP算出部14は、このような第2VACP値Wの算出方法に限定されず、任意の最適な方法で第2VACP値Wを算出してもよい。例えば、第2VACP算出部14は、図5を用いて以下で説明するとおり、複数の表示コンテンツのうち最小のチャンク数を有する表示コンテンツに第2VACP値Wを対応付けて、チャンク数の比率に基づいて他の表示コンテンツの第2VACP値Wを算出してもよい。
図5は、表示コンテンツとチャンク数及びVACP値との関係の一例を示す模式図である。
第2VACP算出部14は、例えば、図5の破線囲み部にある表示コンテンツのチャンク数を3と算出する。一方で、第2VACP算出部14は、当該表示コンテンツに対して、表1のVACPスケールにおける「視覚(V)」の「視覚的に登録/イメージ検出」(=1.0)及び「認識(C)」の「記号/合図の認識」(=3.7)の点数を加算して、第2VACP値Wを4.7と算出する。第2VACP算出部14は、この第2VACP値W(=4.7)を基準として、当該表示コンテンツのチャンク数(=3)に対する他の表示コンテンツのチャンク数の比を乗算することで、他の表示コンテンツの第2VACP値Wを算出する。例えば、チャンク数が6の表示コンテンツにおいては、第2VACP値Wは、4.7×(6/3)=9.4と算出される。
以上のような運転負荷推定装置10は、VACPスケールを運転負荷の推定に適用することで、運転者ごとの主観的な運転負荷を客観的な数値として計量化できる。
運転負荷推定装置10は、第1VACP値WをVACP補正値aに基づいて補正することで、走行環境に応じた運転者の負荷を個人ごとに推定できる。すなわち、運転負荷推定装置10は、運転者の熟練度などによって生じる運転負荷の個人差を加味して運転者ごとに運転負荷を推定できる。これにより、運転負荷推定装置10は、運転者及び走行環境に合わせて適切に運転負荷を推定できるので、情報制御システム1は、最適な態様で運転者に表示情報を提供できる。また、運転負荷推定装置10は、車両の走行中にリアルタイムで取得可能なパラメータに基づいてVACP値の補正を行うことができるので、状況に応じた客観評価を可能にする。運転負荷推定装置10は、リアルタイムに運転負荷を推定できる。
運転負荷推定装置10は、ステアリング舵角に関する情報に基づき運転者のSE値を算出することで、走行環境におけるステアリング状態をより忠実に数値化できる。これにより、運転負荷推定装置10は、運転者ごとの主観的な負荷状態をSE値という客観的な数値としても計量化できる。
運転負荷推定装置10は、SE値に対応する一般的な運転者及び対象となる運転者のVACP値をそれぞれ導出してその比を求めることで、一般的な運転者からの個人差を補正値として数値化できる。また、運転負荷推定装置10は、複数の運転者に対して予め統計的に一般的な運転者の相関データを求めることで、運転者のVACP値をより平均的に算出できる。これにより、運転負荷推定装置10は、補正値の基準とする一般的な運転者のVACP値を精度よく算出できる。また、運転負荷推定装置10は、対象となる運転者ごとの相関データを蓄積していくことで、個人により適した最良の補正値を算出できるようになる。
運転負荷推定装置10は、VACP補正値aを第1VACP値Wに乗算することで、一般的な運転者と対象となる運転者との間の個人差を精度よく反映して、走行環境に基づく一律の第1VACP値Wを補正できる。
運転負荷推定装置10は、表示コンテンツの情報量に基づいて第2VACP値Wを算出することで、表示コンテンツの情報量に起因する負荷を、運転行動に基づく運転負荷と同一の尺度で定量化できる。すなわち、運転負荷推定装置10は、同一の尺度によって計量化された数値として、これら2つの負荷を容易に比較できる。
運転負荷推定装置10は、チャンク数により情報量を定義することで、より客観的に表示コンテンツの情報量を計測できる。運転負荷推定装置10は、当該チャンク数と対応するように第2VACP値Wを算出することで、表示コンテンツの情報量をVACP値として正確に計量化できる。
運転負荷推定装置10は、補正した第1VACP値W’に第2VACP値Wを加算することで、運転行動及び表示コンテンツの情報量に起因する負荷をまとめて推定できる。これにより、運転負荷推定装置10は、情報制御システム1によって運転者ごとに行われる最適な情報制御に寄与できる。
情報制御システム1は、運転者容量算出部31によって運転者の運転負荷に対する許容量を算出することで、運転者個人により適した最良の情報制御を行うことができる。
本発明を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。したがって、これらの変形又は修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段又はステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。
例えば、運転負荷推定装置10は、ステアリング操作に基づいて運転者のSE値を算出する構成に限定されず、運転者個人のステアリング操作を客観的に数値化可能であれば、任意の構成を適用してもよい。
運転負荷推定装置10は、一般VACP値f(ep)に対する個人VACP値g(ep)の比率を算出する構成に限定されず、VACP補正値aを適切に取得可能であれば、任意の構成を適用してもよい。例えば、運転負荷推定装置10は、一般の運転者の相関データを用いるのではなく、走行環境に関する情報に基づいて一律に定められる第1VACP値WとSE値との相関データを用いてもよい。第1VACP値WとSE値との相関データは、予めデータベースとして任意の記憶媒体に格納されているものとする。この場合、運転負荷推定装置10は、第1VACP算出部11によって算出された第1VACP値Wに対応するSE値と、SE算出部12によってリアルタイムに算出されたSE値とを比較して、それぞれの比率を求めることでVACP補正値aを取得してもよい。
運転負荷推定装置10は、VACP補正値aを第1VACP値Wに乗算することで補正する構成に限定されず、第1VACP値Wを適切に補正可能であれば、任意の算出方法で補正を行ってもよい。
運転負荷推定装置10は、表示コンテンツの情報量をチャンク数によって決定する方法に限定されず、当該情報量を客観的に数値化可能であれば、任意の方法を適用してもよい。
運転負荷推定装置10は、補正した第1VACP値W’に第2VACP値Wを加算する構成に限定されず、運転者の負荷をまとめて計量化できる他の適宜な構成を採用してもよい。
1 情報制御システム
10 運転負荷推定装置
11 第1VACP算出部
12 SE算出部
13 補正値算出部
14 第2VACP算出部
20 走行環境認識部
30 コントローラ
31 運転者容量算出部
32 表示情報制御部
40 表示部
41 HUD
42 メーター表示器
43 センター表示器

Claims (8)

  1. 車両の走行環境に関する情報に基づいて第1VACP値を算出する第1VACP算出部と、
    ステアリング舵角に関する情報に基づいて、運転者のステアリングエントロピー値を算出するステアリングエントロピー算出部と、
    前記運転者のステアリングエントロピー値に基づいて、前記運転者のVACP補正値を算出する補正値算出部と、
    を備え、
    前記第1VACP値を前記VACP補正値に基づいて補正することで、前記運転者の運転負荷を推定し、
    前記補正値算出部は、
    前記運転者のステアリングエントロピー値に基づいて、前記走行環境におけるステアリング操作に対する前記運転者のVACP値として個人VACP値を算出し、
    一般的な運転者のステアリングエントロピー値とVACP値の関係を示す一般関係式と、前記運転者のステアリングエントロピー値とに基づいて、前記走行環境におけるステアリング操作に対する一般的な運転者のVACP値として一般VACP値を算出し、
    前記一般VACP値及び前記個人VACP値に基づいて前記VACP補正値を取得する、ことを特徴とする運転負荷推定装置。
  2. 前記補正値算出部は、前記一般VACP値に対する前記個人VACP値の比率を算出して前記VACP補正値を取得する、請求項1に記載の運転負荷推定装置。
  3. 前記補正値算出部は、運転者個人のステアリングエントロピー値とVACP値の関係を示す個人関係式と、前記運転者のステアリングエントロピー値に基づいて、前記個人VACP値を算出する、請求項1又は2に記載の運転負荷推定装置。
  4. 前記VACP補正値を前記第1VACP値に乗算することで当該第1VACP値を補正する、
    請求項1乃至3のいずれか1項に記載の運転負荷推定装置。
  5. 表示コンテンツの情報量に基づいて第2VACP値を算出する第2VACP算出部をさらに備える、
    請求項1乃至4のいずれか1項に記載の運転負荷推定装置。
  6. 前記表示コンテンツの前記情報量は、文字数、単語数、文節、アイコン及び図の数、又は図示での注目点の数から定義されるチャンク数により決定され、
    前記第2VACP算出部は、当該チャンク数と対応するように前記第2VACP値を算出する、
    請求項5に記載の運転負荷推定装置。
  7. 補正した前記第1VACP値に前記第2VACP値を加算する、
    請求項5又は6に記載の運転負荷推定装置。
  8. 前記一般関係式は、複数の運転者のステアリングエントロピー値とVACP値との相関データに基づき設定されたものである請求項1〜7のいずれかに記載の運転負荷推定装置。
JP2017102101A 2017-05-23 2017-05-23 運転負荷推定装置 Active JP6401821B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017102101A JP6401821B1 (ja) 2017-05-23 2017-05-23 運転負荷推定装置
PCT/JP2018/015620 WO2018216394A1 (ja) 2017-05-23 2018-04-13 運転負荷推定装置
US16/616,135 US11458977B2 (en) 2017-05-23 2018-04-13 Driving load estimation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017102101A JP6401821B1 (ja) 2017-05-23 2017-05-23 運転負荷推定装置

Publications (2)

Publication Number Publication Date
JP6401821B1 true JP6401821B1 (ja) 2018-10-10
JP2018197055A JP2018197055A (ja) 2018-12-13

Family

ID=63788114

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017102101A Active JP6401821B1 (ja) 2017-05-23 2017-05-23 運転負荷推定装置

Country Status (3)

Country Link
US (1) US11458977B2 (ja)
JP (1) JP6401821B1 (ja)
WO (1) WO2018216394A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024057459A1 (ja) * 2022-09-14 2024-03-21 パイオニア株式会社 情報処理装置、情報処理方法および情報処理プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4736404B2 (ja) * 2004-11-11 2011-07-27 日産自動車株式会社 音声認識装置
JP6200490B2 (ja) * 2013-03-25 2017-09-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 疲労度推定方法、プログラム、及びプログラムの提供方法
JP6323074B2 (ja) * 2014-03-06 2018-05-16 株式会社デンソー 表示物情報表示装置
JP6330393B2 (ja) * 2014-03-17 2018-05-30 日産自動車株式会社 車両用操舵装置
DE102014207807A1 (de) * 2014-04-25 2015-10-29 Bayerische Motoren Werke Aktiengesellschaft Personenbezogene Fahrerunterstützung
JP6330601B2 (ja) * 2014-09-18 2018-05-30 株式会社デンソー 運転負荷推定装置、運転負荷推定方法
JP6515764B2 (ja) * 2015-09-28 2019-05-22 株式会社デンソー 対話装置及び対話方法
JP6519435B2 (ja) * 2015-10-16 2019-05-29 株式会社デンソー 報知管理装置及び報知管理方法
JP6563798B2 (ja) * 2015-12-17 2019-08-21 大学共同利用機関法人自然科学研究機構 視覚認知支援システムおよび視認対象物の検出システム
JP2017119505A (ja) * 2015-12-25 2017-07-06 株式会社デンソー 車両制御装置
US10527441B2 (en) * 2016-05-06 2020-01-07 Michael K Colby Load-based mapping
US10446031B2 (en) * 2017-03-14 2019-10-15 Hyundai Mobis Co., Ltd. Apparatus and method of safety support for vehicle

Also Published As

Publication number Publication date
JP2018197055A (ja) 2018-12-13
WO2018216394A1 (ja) 2018-11-29
US20200079384A1 (en) 2020-03-12
US11458977B2 (en) 2022-10-04

Similar Documents

Publication Publication Date Title
US9904362B2 (en) Systems and methods for use at a vehicle including an eye tracking device
US9530065B2 (en) Systems and methods for use at a vehicle including an eye tracking device
US10311750B1 (en) Real-time driver observation and scoring for driver's education
US20170329329A1 (en) Controlling autonomous-vehicle functions and output based on occupant position and attention
FI124068B (en) Procedure for improving driving safety
US20160084661A1 (en) Performance driving system and method
US20200290628A1 (en) Personalized device and method for monitoring a motor vehicle driver
US20170221150A1 (en) Behavior dependent insurance
US11721238B1 (en) System and method for determining a quality of driving of a vehicle
CN112567437A (zh) 信息处理装置、信息处理***、信息处理方法、以及程序
US20170243518A1 (en) Information Presentation Apparatus and Method, and Computer Program Product
US10198287B2 (en) System and method for improving motor vehicle safety
JPH1116091A (ja) 車両用表示装置
JP2018197691A (ja) 情報処理装置
JP6401821B1 (ja) 運転負荷推定装置
KR20170047044A (ko) 차량의 표시정보 제어 장치 및 그 방법
JP2019023806A (ja) 情報制御装置
KR101242162B1 (ko) 주변시 훈련 장치 및 방법
JP6806627B2 (ja) 情報制御装置
TWI686319B (zh) 基於導航圖資的定速系統與基於導航圖資的定速方法
JP2018192999A (ja) 視線誘導装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180706

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180706

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180706

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180907

R150 Certificate of patent or registration of utility model

Ref document number: 6401821

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250