JP2017215861A - 行動認識装置，学習装置，並びに方法およびプログラム - Google Patents

行動認識装置，学習装置，並びに方法およびプログラム Download PDF

Info

Publication number
JP2017215861A
JP2017215861A JP2016110288A JP2016110288A JP2017215861A JP 2017215861 A JP2017215861 A JP 2017215861A JP 2016110288 A JP2016110288 A JP 2016110288A JP 2016110288 A JP2016110288 A JP 2016110288A JP 2017215861 A JP2017215861 A JP 2017215861A
Authority
JP
Japan
Prior art keywords
vehicle
learning
human body
feature amount
parts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016110288A
Other languages
English (en)
Other versions
JP6443393B2 (ja
Inventor
正雄 山中
Masao Yamanaka
正雄 山中
西島　敏文
Toshifumi Nishijima
敏文 西島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2016110288A priority Critical patent/JP6443393B2/ja
Priority to US15/492,367 priority patent/US10192126B2/en
Priority to DE102017111707.5A priority patent/DE102017111707A1/de
Priority to CN201710406027.4A priority patent/CN107451524B/zh
Publication of JP2017215861A publication Critical patent/JP2017215861A/ja
Application granted granted Critical
Publication of JP6443393B2 publication Critical patent/JP6443393B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】車両内乗員による所定の行動を車両内の環境的要因による変動に対して頑健に認識する．【解決手段】行動認識装置は，車両内を撮影した車内画像に基づいて，前記車内画像における車両内の人物の，人体の複数の部位の位置を検出する人体部位検出手段と，前記人体部位検出手段で得られた部位間の距離の大きさの順位に基づく特徴量である順位特徴量を算出する特徴量算出手段と，あらかじめ学習された識別器と，前記特徴量算出手段が算出した順位特徴量とを用いて，車両内乗員の行動を識別する識別手段と，を有する．識別手段は，入力として動画像を受け取り，各フレームにおける識別器の識別結果に基づいて行動を識別することが好ましい．【選択図】図１

Description

本発明は，車両内乗員の行動認識技術に関する．
車両内乗員の行動を認識する手法として，たとえば，非特許文献1のような方法が提案
されている．非特許文献１では，入力画像から解像度の異なる複数の画像（ピラミッド画像）を作成し，得られたピラミッド画像から高密度に着目点を検出する．また，各々の着目点を時間方向に追跡して得られた軌跡毎に，HOG，HOF，MBHといった複数の種類の画像
特徴量を算出する．さらに，これらの画像特徴量を次元方向に連結し，Bag-of-Feature表現を用いて，より記述能力の高い画像特徴量に変換する．最終的に，識別対象となる行動毎に得られた画像特徴量を入力とする非線形SVM (Support Vector Machine)を用いて識別器を学習する．
また，車両内乗員の行動を認識する手法として，たとえば，非特許文献２のような方法が提案されている．非特許文献２では，デプス・センサーを用いて各時刻における人体の部位の位置を検出し，得られた人体の部位の位置を入力とする隠れマルコフモデル（HMM
）を用いて，第一の特徴量を算出する．また，得られた第一の特徴量に対して，フィッシャー・カーネル（Fisher Kernel）を適用することで，より記述能力の高い第2の特徴量（Fisher Vector）に変換する．最終的に，識別対象となる行動毎に算出した第2の特徴量を入力とする非線形SVMを用いて識別器を学習する．
H. Wang, A. Klaser, C. Schmid. "Dense Trajectories and Motion Boundary Descriptors for Action Recognition", International Journal of Computer Vision (IJCV), 103, pp.60-79, 2013. Y. Goutsu et al., "Gesture recognition using hybrid generative discriminative approach with Fisher Vector", IEEE International Conference on Robotics and Automation (ICRA), 2015. M. Schwarz et al., RGB-D Object Recognition and Pose Estimation Based on Pre-Trained Convolutional Neural Network Features ICRA2015 A. Toshev et al., Pose Estimation via Deep Neural Networks, CVPR2015 L. Breiman. "Random Forests", Machine Learning, vol. 45, no. 1, pp. 5-32, 2001. J. Weston，C. Watkins. Multi-class Support Vector Machines，Technical Report CSD-TR-98-04,1998. Sugiyama, M. Superfast-trainable multi-class probabilistic classifier by least-squares posterior fitting. IEICE Transactions on Information and Systems, vol.E93-D, no.10, pp.2690-2701, 2010.
しかしながら，非特許文献１のように，画像空間上から高密度に着目点を抽出し，得られた軌跡毎に複数の種類の画像特徴量を算出する場合，得られる特徴量が膨大となる．したがって，識別器の学習だけでなく，その識別器を用いた識別処理にも長時間を要するという問題がある．
また，非特許文献２のように，デプス・センサーを用いて各時刻における人体の部位の位置を検出し，得られた人体の部位の位置を入力とする隠れマルコフモデル（HMM）を適
用する場合，ジェスチャー認識のような，動画像中の人物が意図した行動を認識するのに有効である反面，動画像中の人物が意図しない危険行動などを認識するのは困難であるという問題がある．
本発明は上記の問題点を考慮してなされたものであり，車両内乗員の行動を精度良く認識可能とすることを目的とする．
本発明の第一の態様は，行動認識装置であり，
車両内を撮影した車内画像に基づいて，前記車内画像における車両内の人物の，人体の複数の部位の位置を検出する人体部位検出手段と，
前記人体部位検出手段で得られた部位間の距離の大きさの順位に基づく特徴量である順位特徴量を算出する特徴量算出手段と，
あらかじめ学習された識別器と，前記特徴量算出手段が算出した順位特徴量とを用いて，車両内乗員の行動を識別する識別手段と，
を有することを特徴とする．
車両内の人物の部位の位置は，前記車内画像に対応する距離画像（奥行情報）も考慮して求めることも好ましい．また，部位間の距離は，車内画像内での距離（2次元距離）で
あってもよいし，奥行情報も考慮した3次元的な距離であってもよい．
本実施形態においては，人体の部位間の距離の大きさの順位に基づく特徴量（順位特徴量）を用いているので，入力画像中の人体のスケール変動，回転，平行移動に対して頑強である．したがって，座席位置の水平移動，乗員の体格差，カメラの位置や向きなどの影響を抑制した精度のよい認識が行える．
上記の識別器は，決定木学習によって学習することができる．たとえば，Random Forestsアルゴリズムにしたがって学習することができる．この際，決定木において各ノードでの分岐を判定する条件として，人体のある部位間の距離の大きさの順位と，別のある部位間の距離の大きさの順位との大小関係に基づく判定条件を採用することができる．上記の識別器は，入力情報が，あらかじめ定められた複数の行動のいずれに該当するかを決定するものであってもよいし，これら複数の行動それぞれに対する確からしさ（確率）を算出するものであってもよい．
上記の識別器はまた，決定木学習以外の任意の統計的機械学習，たとえば，SVM（Support Vector Machine），最小二乗確率的分類法，ベイズ推定，ニューラルネットワークな
どの手法によって学習されたものであってもよい．
車両内乗員の行動は，1枚の画像のみから判断するものであってもよいが，複数枚の画
像，より詳細には複数フレームから構成される動画像に基づいて認識することが好ましい．この場合，行動認識装置は，動画像を構成する複数フレームの画像に対して，人体の部位位置の検出，順位特徴量の算出，および前記複数の行動それぞれに対する確からしさの算出を行い，前記確からしさの二乗和が最大となる行動を前記車両内乗員の行動であると判断する，ことが好ましい．ここでは確からしさの二乗和を用いて評価しているが，単純和や積などを用いても構わない．
本発明の第二の態様は，上記の行動認識装置において用いられる識別器を学習するため
の学習装置であって，
車両内を撮影した車内画像における車両内の人物の人体の複数の部位の位置，および車両内の人物が取った正解の行動を取得する入力手段と，
人体の部位間の距離の大きさの順位に基づく特徴量である順位特徴量を算出する特徴量算出手段と，
前記特徴量算出手段が算出した順位特徴量と，前記正解の行動とに基づいて，車両内乗員の行動を識別するための識別器を学習する学習手段と，
を有することを特徴とする．
第一の態様と同様に，部位間の距離は車内画像内での距離（2次元距離）であってもよ
いし，奥行情報も考慮した3次元的な距離であってもよい．3次元的な距離を採用する場合には，奥行情報も利用する必要がある．なお，人体の部位の位置の検出は，学習装置が行ってもよいし，人間が行ってもよい．
本態様において，人体の複数の部位の位置に微小変動を加えた入力データも同一の正解行動を表す学習データとして用いて識別器を学習することも好ましい．このようにノイズを加えた学習データを用意することで，人体の部位の位置の推定誤差に対して頑強な識別器を学習できる．
なお、本発明は，上記手段の少なくとも一部を備える行動認識装置または学習装置として捉えることができる．また，本発明は、上記処理の少なくとも一部を実行する行動認識方法または学習方法として捉えることもできる．また、本発明は、これら方法をコンピュータに実行させるためのコンピュータプログラム、あるいはこのコンピュータプログラムを非一時的に記憶したコンピュータ可読記憶媒体として捉えることもできる．上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる．
本発明によれば，車両内乗員の行動認識の精度を向上することができる．特に，車両内の環境的要因による変動，たとえば，座席位置の水平移動，乗員の体格差，カメラの位置や向き，人体の部位の位置の推定誤差などによる影響を抑制することができる．
実施形態に係る行動認識装置1および学習装置2の機能構成図 学習装置2が行う学習処理のフローチャート 赤外画像入力部11に入力される赤外画像の例 人体部位検出部13による検出結果の例 微小変動印加部151による微小変動印加結果の例 部位間の距離の大きさの順位に基づく順位特徴量の説明 決定木モデルの説明 行動認識装置1が行う行動認識処理のフローチャート
［概要構成］
本発明の実施形態に関して，図面を参照して説明する．図1(a)は，本実施形態に係る行動認識装置1の概略構成を示すブロック図である．本実施形態に係る行動認識装置1は，半導体集積回路(LSI)を用いて実現できる．ここで，行動認識装置1は，図1(a)に示すように，赤外画像入力部11，奥行情報入力部12，人体部位検出部13，特徴量算出部14，識別部16を有する．識別部16は，1枚の画像から識別対象行動それぞれの確率（確からしさ）を求
める確率算出部161と，複数フレームの画像から車両内乗員の行動を特定するための確率
積算部162とを含む．これらの構成要素は，行動認識装置1が果たす機能にそれぞれ対応し
ている．
図1（b）は，識別部16の確率算出部161（識別器）を学習するための，学習装置2の概略構成を示すブロック図である．本実施形態に係る学習装置2は，半導体集積回路(LSI)を用いて実現できる．ここで，学習装置2は，図1(b)に示すように，赤外画像入力部11，奥行
情報入力部12，人体部位検出部13，学習部15，正解行動入力部17を有する．学習部15は，微小振動印加部151，特徴量算出部152，判定条件設定部153を含む．ここで，学習装置2が有する機能ブロックのうち行動認識装置1が有するものと同一のものについては，同一の
参照番号を付している．
これらの各機能部については，以下の学習処理および行動認識処理の説明の中で合わせて説明する．
［学習処理］
まず，学習装置2が行う学習処理について説明する．図2は学習処理の流れを示すフローチャートである．
ステップS10において，学習装置2は，正解行動が既知の行動について赤外画像および奥行情報（距離画像）の動画像を取得する．赤外画像は赤外画像入力部11から，奥行情報は奥行情報入力部12から，正解行動は正解行動入力部17からそれぞれ入力される．
赤外画像入力部11は，図3のように，行動認識装置1の外部から入力される車両内の赤外画像（以下，赤外画像）を取得し，時刻t (t=1,2,…,T)での赤外画像I(t)を人体部位検出部13に出力する．赤外画像は，車両内に設置された赤外線カメラから取得すればよい．なお，本実施形態では赤外画像を用いているが可視光画像を用いても構わない．
奥行情報入力部12は，行動認識装置1の外部から入力される車両内の奥行情報（以下，
奥行情報）を取得し，得られた時刻t (t=1,2,…,T)での奥行情報D(t)を人体部位検出部13に出力する．ここで，奥行情報D(t)は，すでに市販されているステレオカメラやTOFセン
サーなどを車両内に設置して取得すればよい．
正解行動入力部17には，現在入力された赤外画像および奥行情報の正解行動（正解カテゴリ）が入力される．正解行動の例は，ハンドル操作，バックミラーの調整，コントロール・パネルの調整，シートベルトの着用・着脱，スマートフォン操作，飲食などが挙げられる．
ステップS11-S13からなるループL1の処理は，入力された動画像の各フレームを対象に
して行われる．
ステップS11では，人体部位検出部13が，赤外画像I(t)および奥行情報D(t)から人体の
部位を検出する．
人体部位検出部13は，図4のように，赤外画像入力部11で得られた赤外画像I(t)と，奥
行情報入力部12で得られた奥行情報D(t)とに基づいて，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)を検出し，学習部15に出力する．
ここで，xm(t)は，時刻tでのm番目の部位の赤外画像I(t)における水平方向座標を表す
．また，ym(t)は，時刻tでのm番目の部位の赤外画像I(t)における垂直方向座標を表す．
一方，zm(t)は，時刻tでのm番目の部位の奥行方向座標を表し，奥行情報D(t)における2次元座標(xm(t),ym(t))上の値で与えられる．
具体的には，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)は，たとえば，非特許文献3のように，あらかじめ，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)と奥行方向座標zm(t) (m=1,2,…,M)とが付与された大量の学習用デー
タを用いて，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)を検出するための識別器C1を構成し，得られた識別器C1を用いて，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)を検出すればよい．
あるいは，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)は，非特許文献4のように，あらかじめ，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)が付与された大量の学習用データを用いて，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)を検出するための識別器C2を構成し，得られた識別器C2を用い
て，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)を検出してもよい．
ステップS12において，学習部15の微小変動印加部151は，人体部位検出部13によって得られた車両内乗員のM個の部位の2次元座標(xm(t), ym(t)) (m=1,2,…,M)に微小変動を加
えて，似て非なるK個の学習用データDk(t) (k=1,2,…,K)を作成する．微小変動を加えた
後も，正解行動は正解行動入力部17に入力されたものと同一である．
微小変動印加部151は，図5のように，人体部位検出部13で得られた車両内乗員のM個の
部位の2次元座標(xm(t), ym(t)) (m=1,2,…,M)に対して微小な変動(Δxm,k(t),Δym,k(t)) (m=1,2,…,M, k=1,2,…,K)を加えることで，似て非なるK個の学習用データDk(t)(k=1,2,…,K)を作成し，特徴量算出部152に出力する．
ここで，Δxm,k(t)は，m番目の部位の水平方向に対する微小な変動を表し，その大きさは，あらかじめ決められた最大値Δxmax以下の無作為な値で与えられ，k(=1,2,…,K)毎に値が異なる．また，Δym,k(t)は，m番目の部位の垂直方向に対する微小な変動を表し，その大きさは，あらかじめ決められた最大値Δymax以下の無作為な値で与えられ，k(=1,2,
…,K)毎に値が異なる．さらに，最大値ΔxmaxとΔymaxは，各々試行錯誤的に決められる
．
ステップS13において，特徴量算出部152が，微小変動印加部151で得られた似て非なるk個の学習用データDk(t) (k=1,2,…,K)に基づいて，K個の順位特徴量Fk(t) (k=1,2,…,K)
を算出する．具体的には，順位特徴量F(t)は，次の式(1)を用いて算出される．
Figure 2017215861
ここで，式（1）において，D(m,n)はm番目の部位とn番目の部位との赤外画像空間上の
ユークリッド距離，R(D(m,n))は，D(1,2), D(1,3),・・・,D(8,9), D(9,10)を降順に並び替えたときのD(m,n)の順位を各々表す．たとえば，図6（a）のように，便宜上4つの部位
を考え，すべての部位のペア間の距離D(t)が，
D(t) = (D(1,2), D(1,3), D(1,4), D(2,3), D(2,4), D(3,4))
= (5.5, 2.6, 2.8, 3.5, 4.3, 4.0)
で与えられたとすると，時刻tにおける順位特徴量F(t)は，
F(t) = (1, 5, 6, 4, 3, 2)
のように算出できる．
順位特徴量F(t)は， 図6（b）のように，人体の部位の位置のスケール変動に対して不
変であり，また微小変動に対して頑健であるという特性がある．すなわち，順位特徴量F(
t)は，人体の部位間の距離の順位のみに依存するため，拡大・縮小といったスケール変動が生じても不変であり，人体の部位の位置が微小に変動しても，その変動がそれらの順位に影響しなければ，順位特徴量F(t)は一定である．このような特性により，車両内乗員の行動を推定する際に生じる様々な変動，たとえば，座席位置の水平移動，乗員の体格差，カメラの位置や向き，深層学習による人体の部位の位置の推定誤差などによる影響を抑制することができる．
以上のステップS11-S13の処理により，1フレーム分の画像について，複数の学習データDk(t)が作成され，それぞれについて順位特徴量F(t)が決定される．そしてループL1の繰
り返しにより，入力された動画像の各フレームについて当該処理が実行される．
ステップS14において，学習部15の判定条件設定部153は，特徴量算出部152で得られたK×T個の順位特徴量Fk(t) (k=1,2,…,K, t=1,2,…,T)，およびそれぞれに対する正解カテ
ゴリを用いて，識別対象カテゴリc(=1,…,C)に対する識別器C3を学習する．本実施形態では，決定木学習，特に非特許文献5のようなRandom Forestsを用いて，識別器C3を学習す
る．
Random Forestsとは，図7のような，決定木を弱識別器とする集団学習アルゴリズムの
一種であり，複数のノードr(=1,...,R)と，ノード間を接続するリンクとから構成される
．最上位層にあるノードをルート・ノード，最下位層にあるノードをリーフ・ノード，それ以外を単にノードとよぶ．各ノードには学習により，ノード内の順位特徴量を左右のノードに振り分けるための判定条件Φr(r=1,...,R)と，識別対象カテゴリc(=1,…,C)に対する確率Pr(c) (r=1,...,R)とが格納される．
ここで，識別対象カテゴリc(=1,…,C)は，正解行動入力部17に入力される正解行動である．識別対象カテゴリは，車両内乗員の行動認識の文脈に基づいて適切に設定すればよい．たとえば，“c=1:ハンドル操作”，“c=2:バックミラーの調整”，“c=3:コントロール・パネルの操作”，“c=4:シートベルトの着用・着脱”，“c=5:スマホ操作”，“c=6:飲食”のように設定すればよい．
また，Random Forestsの学習に必要な判定条件の候補φm(m=1,...,M)は，順位特徴量F(t)のi番目の要素I，j番目の要素J，要素Iと要素Jとの大小比較のための閾値τとを用いて設定する．具体的な判定条件，すなわちφmにおけるi, k, τの値は無作為（ランダム）
に決定する．
判定条件は，決定木を構成する各ノードからどちらの子ノードに遷移するかの決定に用いられる．具体的には，順位特徴量F(t)のi番目の要素Iと，j番目の要素J との大小比較
を行い，I - J > τが成立する場合は右側のノードに，成立しない場合は左側のノードに遷移する．たとえば，順位特徴量F(t)=(1, 5, 6, 4, 3, 2)に対して判定条件(i, j, τ)=(1, 5, 1)を適用した場合，i(=1)番目の要素I=5と，j(=5)番目の要素J=2とから，I-J = 5-2 = 3 > 1 = τが成立するため，右側のノードに遷移する．同様に，判定条件(i, j, τ)=(1, 0, 7)を適用した場合，i(=1)番目の要素I=5と，j(=0)番目の要素J=1とから，I-J =
5-1 = 4 < 7 = τが成立するため，左側のノードに遷移する．
以上のように，判定条件の候補φm(m=1,...,M)が得られたら，あとは非特許文献5で決
められた手順に従って学習をすればよい．ここでいう学習とは，各ノードr(=1,...,R)に
適切な判定条件Φr(r=1,...,R)と，識別対象カテゴリc(=1,…,C)に対する確率Pr(c) (r=1,...,R)を設定することをいう．具体的には，r番目のノードにおける判定条件Φr(r=1,…,R)は，判定条件の候補φm(m=1,...,M)のうちで，式（2）で定義される信頼度G(φ)を最
大にするものを設定すればよい．
Figure 2017215861
ここで，Ql(φ)は，判定条件φで左側のノードに遷移するサンプルの個数，Qr(φ)は，判定条件φで右側のノードに遷移するサンプルの個数，H(Q(φ))は，所定ノードにおける識別対象カテゴリに対する情報エントロピー，H(Ql(φ))は，判定条件φで左側のノード
に遷移したサンプルの識別対象カテゴリに対する情報エントロピー，H(Qr(φ))は，判定
条件φで右側のノードに遷移したサンプルの識別対象カテゴリに対する情報エントロピーを各々表す．
最終的に，Random Forestsの各ノードr(=1,...,R)における判定条件Φr(r=1,...,R)と
，識別対象カテゴリc(=1,…,C)に対する確率Pr(c) (r=1,...,R)が決定される．学習に用
いる学習データの部分集合および判定条件の候補φmを異ならせて上記の処理を複数回行
い，複数の決定木を作成する．識別器（識別部16の確率算出部161に相当）の識別結果は
，各決定木によって求められる識別対象カテゴリcに対する確率Pr(c)を統合したものである．
［行動認識処理］
次に，行動認識装置1が行う行動認識処理について説明する．図8は行動認識処理の流れを示すフローチャートである．
ステップS20において，行動認識装置1は，認識対象の行動についての赤外画像および奥行情報（距離画像）の動画像を取得する．赤外画像と奥行情報の取得は，基本的に学習処理のときと同様である．
ステップS21-S23からなるループL2の処理は，入力された動画像の各フレームを対象に
して行われる．
ステップS21では，人体部位検出部13が人体の部位の2次元位置が検出される．ステップS22では，特徴量算出部14が人体の部位間の距離の順位に基づく順位特徴量を算出する．
ステップS21およびS22における処理は，学習処理におけるステップS11およびS12の処理と同様である．
ステップS23では，学習装置2によって学習された確率算出部161が，特徴量算出部14に
よって算出された順位特徴量の認識対象カテゴリc(=1,…,C)それぞれに対応する確率を求める．特徴量算出部14によって新たに入力された順位特徴量をF(t')と表す．順位特徴量F(t')は，認識対象カテゴリが未知である．確率算出部161は，学習部15で得られたRandom Forestsの各ノードr(=1,...,R)における判定条件Φr(r=1,...,R)と，識別対象カテゴリc(=1,…,C)に対する確率Pr(c) (r=1,...,R)とに基づいて，順位特徴量F(t’) (t’=1,…,T
’)の認識対象カテゴリc(=1,…,C)に対する確率P(t’, c)を算出する．算出された確率P(t', c)は確率積算部162に出力される．
具体的には，確率P(t’, c)は，学習部15で得られたRandom Forestsの各ノードr(=1,...,R)における判定条件Φr(r=1,...,R)を参照することで，ルート・ノードからノードを順に辿っていき，最終的に到達したリーフ・ノードr’ (r'は1からRのいずれか)における確率Pr’(c)で与えられる．
ステップS24において，確率積算部162は，直近のLフレームの識別結果（カテゴリごと
の確率）に基づいて，入力された動画像における車両内乗員の行動を決定する．具体的には，確率積算部162は，確率算出部161で得られた時刻t’での認識対象カテゴリc(=1,…,C)に対する確率P(t’, c)を時間方向にLフレーム積算することで，順位特徴量F(t’)が，
認識対象カテゴリc(=1,…,C)のうちのどれに属するかを判定する．具体的には，順位特徴量F(t’)が属する認識対象カテゴリc(F(t’)) (1からCのいずれか)は，式（3）を用いて
判定すればよい．
Figure 2017215861
ここで，式(3)において，確率P(t’, c)に対する単純な和ではなく，二乗和を求めるのは，似て非なる2つの認識対象カテゴリがある場合，それらの相違を強調するためである
．また，Lの値は，試行錯誤的に決定すればよい．
このようにして得られた車両内乗員の行動認識結果c(F(t’))は，行動認識装置1を活用するより上位の装置に伝達され，車両内乗員の行動を入力とする様々なアプリケーションに適用される．たとえば，車両内乗員によるスマホ操作や飲食といった危険行動を認識し，車両の走行状態と照らし合わせることで適応的に注意を促すことなどに適用される．なお，上記手段が行動認識装置1の一例に相当する．
本実施形態では，部位間の距離の大きさの順位を特徴量として利用しているので，精度のよい行動認識が行える．距離の大きさの順位は，拡大・縮小と言ったスケール変換，回転や平行移動が生じても不変であり，また部位の微小変動に対しても頑強であるためである．このような特性により，車両内乗員の行動を推定する際に生じる様々な変動，たとえば，座席位置の水平移動，乗員の体格差，カメラの位置や向き，深層学習による人体の部位の位置の推定誤差などによる影響を抑制することができる．
［変形例］
上記の説明では，人体の部位の位置として2次元位置(xm(t), ym(t))を求めており，し
たがって，部位間の距離もxy面内での距離が用いられている．しかしながら，人体の部位の位置を3次元で求めて，部位間の距離として3次元空間内での距離を用いることも好適である．この場合，学習処理において部位の位置に微小変動を加える際には，x,y,zの各成
分に無作為な値を加えてもよいし，x,yの成分に無作為な値を加えてz成分は奥行情報D(t)における(xm(t)+Δxm,k(t), ym(t)+Δym,k(t))の値としてもよい．
また，学習処理や行動認識処理において用いられる人体の部位の位置は，どのようにして求められても構わない．これは部位検出のアルゴリズムが特定のものに限定されないことを意味するだけでなく，部位検出を人手で行ってもよいことを意味する．もっとも，行動認識処理については，リアルタイムに処理を行うために人体の部位検出を機械によって行うことが望ましい．
また，確率積算部162は，各フレームにおける確率P(t', c)の二乗和に基づいて最終的
な行動カテゴリの認識結果を決定しているが，単純和や積（あるいは，相加平均や相乗平均）に基づいて決定してもよい．
また，上記の説明では，決定木学習の例としてRandom Forestsを採用した場合を説明したが，ID3やCARTのようなその他の決定木学習アルゴリズムを用いてもよい．
また，採用可能な学習処理は決定木学習に限られず，その他の任意の統計的機械学習で
あって構わない．統計的機械学習とは，学習データから統計的方法に基づいて，入力データのクラス判別を行うモデルを生成する学習処理を指す．たとえば，非特許文献6のよう
な多クラスSupport Vector Machineを用いることができる．あるいは，非特許文献7のよ
うな最小二乗確率的分類法を用いることもできる．その他にも，ベイズ推定やニューラルネットワークなどを用いることもできる．
本発明における行動認識装置1や学習装置2は，半導体集積回路(LSI)による実装に限定
されず，汎用的なマイクロプロセッサやメモリを有するコンピュータがプログラムを実行することによって実現されても構わない．また，上記の説明では，行動認識装置1と学習
装置2を異なる装置として説明したが，1台の装置において学習モードを認識モードとを切り替えられるように構成しても構わない．
1…行動認識装置
11…赤外画像入力部
12…奥行情報入力部
13…人体部位検出部
14…特徴量算出部
15…学習部
16…識別部
17…正解情報入力部

Claims (11)

  1. 車両内を撮影した車内画像に基づいて，前記車内画像における車両内の人物の，人体の複数の部位の位置を検出する人体部位検出手段と，
    前記人体部位検出手段で得られた部位間の距離の大きさの順位に基づく特徴量である順位特徴量を算出する特徴量算出手段と，
    あらかじめ学習された識別器と，前記特徴量算出手段が算出した順位特徴量とを用いて，車両内乗員の行動を識別する識別手段と，
    を有することを特徴とする行動認識装置．
  2. 前記識別器は，決定木学習によって学習されたものであり，人体のある部位間の距離の大きさの順位と，別のある部位間の距離の大きさの順位との大小関係に基づいて構成される，
    請求項1に記載の行動認識装置．
  3. 前記識別器は，統計的機械学習に基づいて構成される，
    請求項1に記載の行動認識装置．
  4. 前記識別手段は，あらかじめ定められた複数の行動それぞれに対する確からしさを算出するものであり，
    動画像を構成する複数フレームの画像に対して，人体の部位位置の検出，順位特徴量の算出，および前記複数の行動それぞれに対する確からしさの算出を行い，前記確からしさの二乗和が最大となる行動を前記車両内乗員の行動であると判断する，
    請求項1から3のいずれか1項に記載の行動認識装置．
  5. 車両内を撮影した車内画像における車両内の人物の人体の複数の部位の位置，および車両内の人物が取った正解の行動を取得する入力手段と，
    人体の部位間の距離の大きさの順位に基づく特徴量である順位特徴量を算出する特徴量算出手段と，
    前記特徴量算出手段が算出した順位特徴量と，前記正解の行動とに基づいて，車両内乗員の行動を識別するための識別器を学習する学習手段と，
    を有することを特徴とする学習装置．
  6. 前記学習手段は，人体のある部位間の距離の大きさの順位と別のある部位間の距離の大きさの順位との大小関係に基づく決定木学習によって前記識別器を学習する，
    請求項5に記載の学習装置．
  7. 前記学習手段は，統計的機械学習に基づいて前記識別器を学習する，
    請求項5に記載の学習装置．
  8. 前記車内画像における複数の部位の位置に微小変動を加えた入力データも同一の正解行動を表す学習データとして用いて識別器を学習する，
    請求項5から7のいずれか1項に記載の学習装置．
  9. 車両内を撮影した車内画像に基づいて，前記車内画像における車両内の人物の，人体の複数の部位の位置を検出する人体部位検出ステップと，
    前記人体部位検出ステップにおいて得られた部位間の距離の大きさの順位に基づく特徴量である順位特徴量を算出する特徴量算出ステップと，
    あらかじめ学習された識別器と，前記特徴量算出手段が算出した順位特徴量とを用いて，車両内乗員の行動を識別する識別ステップと，
    を含むことを特徴とする行動認識方法．
  10. 車両内を撮影した車内画像における車両内の人物の人体の複数の部位の位置，および車両内の人物が取った正解の行動を取得する入力ステップと，
    人体の部位間の距離の大きさの順位に基づく特徴量である順位特徴量を算出する特徴量算出ステップと，
    前記特徴量算出ステップにおいて算出した順位特徴量と，前記正解の行動とに基づいて，車両内乗員の行動を識別するための識別器を学習する学習ステップと，
    を含むことを特徴とする学習方法．
  11. 請求項9または10に記載の方法の各ステップをコンピュータに実行させるためのプログ
    ラム．
JP2016110288A 2016-06-01 2016-06-01 行動認識装置，学習装置，並びに方法およびプログラム Active JP6443393B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016110288A JP6443393B2 (ja) 2016-06-01 2016-06-01 行動認識装置，学習装置，並びに方法およびプログラム
US15/492,367 US10192126B2 (en) 2016-06-01 2017-04-20 Behavior recognition apparatus, learning apparatus, and method
DE102017111707.5A DE102017111707A1 (de) 2016-06-01 2017-05-30 Verhaltenserkennungsgerät, lerngerät und verfahren
CN201710406027.4A CN107451524B (zh) 2016-06-01 2017-06-01 行为识别装置、学习装置、行为识别方法、学习方法及计算机可读的记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016110288A JP6443393B2 (ja) 2016-06-01 2016-06-01 行動認識装置，学習装置，並びに方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2017215861A true JP2017215861A (ja) 2017-12-07
JP6443393B2 JP6443393B2 (ja) 2018-12-26

Family

ID=60327592

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016110288A Active JP6443393B2 (ja) 2016-06-01 2016-06-01 行動認識装置，学習装置，並びに方法およびプログラム

Country Status (4)

Country Link
US (1) US10192126B2 (ja)
JP (1) JP6443393B2 (ja)
CN (1) CN107451524B (ja)
DE (1) DE102017111707A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019111932A1 (ja) * 2017-12-08 2019-06-13 日本電気株式会社 モデル学習装置、モデル学習方法及び記録媒体
JP2019114211A (ja) * 2017-12-26 2019-07-11 コニカミノルタ株式会社 情報処理装置、情報処理方法、および、情報処理プログラム
KR20200094651A (ko) * 2019-01-30 2020-08-07 주식회사 스트라드비젼 사람의 상태 인식을 기반으로 신체 부위 길이 및 얼굴 정보를 사용하여 승객의 키 및 몸무게를 예측하는 방법 및 장치
KR20200124280A (ko) * 2018-09-27 2020-11-02 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 동작 인식, 운전 동작 분석 방법 및 장치, 전자 기기
WO2021044567A1 (ja) * 2019-09-05 2021-03-11 三菱電機株式会社 操作者判定装置および操作者判定方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11850514B2 (en) 2018-09-07 2023-12-26 Vulcan Inc. Physical games enhanced by augmented reality
CN111079474A (zh) 2018-10-19 2020-04-28 上海商汤智能科技有限公司 乘客状态分析方法和装置、车辆、电子设备、存储介质
MX2021002808A (es) 2018-11-09 2021-08-11 Beijing Didi Infinity Technology & Dev Co Ltd Sistema y método para detectar conflictos dentro de un vehículo.
US11670080B2 (en) 2018-11-26 2023-06-06 Vulcan, Inc. Techniques for enhancing awareness of personnel
CN109711289B (zh) * 2018-12-13 2021-11-16 Oppo广东移动通信有限公司 乘车提醒方法、装置、电子设备和存储介质
JP7196645B2 (ja) * 2019-01-31 2022-12-27 コニカミノルタ株式会社 姿勢推定装置、行動推定装置、姿勢推定プログラム、および姿勢推定方法
US11950577B2 (en) 2019-02-08 2024-04-09 Vale Group Llc Devices to assist ecosystem development and preservation
WO2020198070A1 (en) 2019-03-22 2020-10-01 Vulcan Inc. Underwater positioning system
US11435845B2 (en) * 2019-04-23 2022-09-06 Amazon Technologies, Inc. Gesture recognition based on skeletal model vectors
US11132585B2 (en) * 2019-12-17 2021-09-28 Robert Bosch Gmbh System and method for detecting abnormal passenger behavior in autonomous vehicles
CN111985295A (zh) * 2020-06-05 2020-11-24 深圳市金溢科技股份有限公司 一种电动自行车行为识别方法、***、工控机及摄像头

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008140268A (ja) * 2006-12-04 2008-06-19 Denso Corp 操作推定装置およびプログラム
WO2015186436A1 (ja) * 2014-06-06 2015-12-10 コニカミノルタ株式会社 画像処理装置、画像処理方法、および、画像処理プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983817B2 (en) * 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
JP5391876B2 (ja) * 2009-07-01 2014-01-15 日本電気株式会社 代表特徴抽出システム、方法およびプログラム
JP5596628B2 (ja) * 2011-06-17 2014-09-24 トヨタ自動車株式会社 物体識別装置
WO2013036632A1 (en) * 2011-09-09 2013-03-14 Thales Avionics, Inc. Eye tracking control of vehicle entertainment systems
KR101270351B1 (ko) * 2012-04-03 2013-05-31 조선대학교산학협력단 얼굴 인식을 위한 얼굴 영상 획득 방법 및 장치
US9714037B2 (en) * 2014-08-18 2017-07-25 Trimble Navigation Limited Detection of driver behaviors using in-vehicle systems and methods
US9373203B1 (en) * 2014-09-23 2016-06-21 State Farm Mutual Automobile Insurance Company Real-time driver monitoring and feedback reporting system
CN105138995B (zh) * 2015-09-01 2019-06-25 重庆理工大学 基于骨架信息的时不变及视不变的人体行为识别方法
CN105279483B (zh) * 2015-09-28 2018-08-21 华中科技大学 一种基于深度图像的跌倒行为实时检测方法
CN105320944B (zh) * 2015-10-24 2019-09-27 西安电子科技大学 一种基于人体骨架运动信息的人体行为预测方法
US9864918B2 (en) * 2015-11-04 2018-01-09 Ford Global Technologies, Llc Predicting vehicle movements based on driver body language

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008140268A (ja) * 2006-12-04 2008-06-19 Denso Corp 操作推定装置およびプログラム
WO2015186436A1 (ja) * 2014-06-06 2015-12-10 コニカミノルタ株式会社 画像処理装置、画像処理方法、および、画像処理プログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019111932A1 (ja) * 2017-12-08 2020-11-19 日本電気株式会社 モデル学習装置、モデル学習方法及びコンピュータプログラム
WO2019111932A1 (ja) * 2017-12-08 2019-06-13 日本電気株式会社 モデル学習装置、モデル学習方法及び記録媒体
US11580784B2 (en) 2017-12-08 2023-02-14 Nec Corporation Model learning device, model learning method, and recording medium
JP7031685B2 (ja) 2017-12-08 2022-03-08 日本電気株式会社 モデル学習装置、モデル学習方法及びコンピュータプログラム
JP2019114211A (ja) * 2017-12-26 2019-07-11 コニカミノルタ株式会社 情報処理装置、情報処理方法、および、情報処理プログラム
KR102470680B1 (ko) * 2018-09-27 2022-11-25 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 동작 인식, 운전 동작 분석 방법 및 장치, 전자 기기
KR20200124280A (ko) * 2018-09-27 2020-11-02 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 동작 인식, 운전 동작 분석 방법 및 장치, 전자 기기
KR20200094651A (ko) * 2019-01-30 2020-08-07 주식회사 스트라드비젼 사람의 상태 인식을 기반으로 신체 부위 길이 및 얼굴 정보를 사용하여 승객의 키 및 몸무게를 예측하는 방법 및 장치
CN111507174A (zh) * 2019-01-30 2020-08-07 斯特拉德视觉公司 预测乘客的身高及体重的方法及装置
CN111507174B (zh) * 2019-01-30 2023-08-22 斯特拉德视觉公司 预测乘客的身高及体重的方法及装置
KR102338757B1 (ko) * 2019-01-30 2021-12-15 주식회사 스트라드비젼 사람의 상태 인식을 기반으로 신체 부위 길이 및 얼굴 정보를 사용하여 승객의 키 및 몸무게를 예측하는 방법 및 장치
WO2021044567A1 (ja) * 2019-09-05 2021-03-11 三菱電機株式会社 操作者判定装置および操作者判定方法
JP7003335B2 (ja) 2019-09-05 2022-01-20 三菱電機株式会社 操作者判定装置および操作者判定方法
JPWO2021044567A1 (ja) * 2019-09-05 2021-03-11

Also Published As

Publication number Publication date
JP6443393B2 (ja) 2018-12-26
DE102017111707A1 (de) 2017-12-07
CN107451524B (zh) 2020-07-07
US10192126B2 (en) 2019-01-29
US20170351928A1 (en) 2017-12-07
CN107451524A (zh) 2017-12-08

Similar Documents

Publication Publication Date Title
JP6443393B2 (ja) 行動認識装置，学習装置，並びに方法およびプログラム
JP2019040465A (ja) 行動認識装置，学習装置，並びに方法およびプログラム
CN112590794B (zh) 确定车辆驾驶员接管车辆控制的能力估计值的方法和装置
EP3690720B1 (en) Method and device for estimating height and weight of passengers using body part length and face information based on human&#39;s status recognition
US11138467B2 (en) Method, device, product, and computer program for operating a technical system
US10311704B1 (en) Passenger-related item loss mitigation
US8676733B2 (en) Using a model tree of group tokens to identify an object in an image
US20200311855A1 (en) Object-to-robot pose estimation from a single rgb image
CN111587437A (zh) 使用视频管的活动识别方法
US20050201591A1 (en) Method and apparatus for recognizing the position of an occupant in a vehicle
Weinrich et al. Estimation of human upper body orientation for mobile robotics using an SVM decision tree on monocular images
WO2019136449A2 (en) Error correction in convolutional neural networks
CN110263920B (zh) 卷积神经网络模型及其训练方法和装置、巡检方法和装置
WO2003091941A1 (en) High-performance object detection with image data fusion
CN108256454B (zh) 一种基于cnn模型的训练方法、人脸姿态估测方法及装置
JP2005311691A (ja) 物体検出装置及び方法
CN113095350A (zh) 用于生成尤其用于训练神经网络的加标签的数据的方法
Kumar et al. Tracking occupant activities in autonomous vehicles using capacitive sensing
CN113366493A (zh) 信息处理方法、以及信息处理***
Devarakota et al. Occupant classification using range images
JP2014186496A (ja) 対象物姿勢推定装置、及びプログラム
KR101503398B1 (ko) 이동물체 분류장치 및 분류방법
Dos Santos et al. Performance comparison of convolutional neural network models for object detection in tethered balloon imagery
WO2020030722A1 (en) Sensor system including artificial neural network configured to perform a confidence measure-based classification or regression task
Huang et al. A hierarchical temporal memory based hand posture recognition method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181112

R151 Written notification of patent or utility model registration

Ref document number: 6443393

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151