JP6713619B2 - 身体向推定装置および身体向推定プログラム - Google Patents

身体向推定装置および身体向推定プログラム Download PDF

Info

Publication number
JP6713619B2
JP6713619B2 JP2017067932A JP2017067932A JP6713619B2 JP 6713619 B2 JP6713619 B2 JP 6713619B2 JP 2017067932 A JP2017067932 A JP 2017067932A JP 2017067932 A JP2017067932 A JP 2017067932A JP 6713619 B2 JP6713619 B2 JP 6713619B2
Authority
JP
Japan
Prior art keywords
ellipse
approximate
orientation
group
ellipses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017067932A
Other languages
English (en)
Other versions
JP2018169333A (ja
Inventor
和宏 久野
和宏 久野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Equos Research Co Ltd
Original Assignee
Equos Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Equos Research Co Ltd filed Critical Equos Research Co Ltd
Priority to JP2017067932A priority Critical patent/JP6713619B2/ja
Priority to PCT/JP2018/010041 priority patent/WO2018180503A1/ja
Priority to EP18777528.3A priority patent/EP3605011A4/en
Priority to CN201880022300.6A priority patent/CN110462336A/zh
Priority to US16/499,538 priority patent/US20200025878A1/en
Publication of JP2018169333A publication Critical patent/JP2018169333A/ja
Application granted granted Critical
Publication of JP6713619B2 publication Critical patent/JP6713619B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、対象者の歩行時における腕の振りの影響を抑制して対象者の向きを推定できる身体向推定装置および身体向推定プログラムに関するものである。
従来、対象者を撮影した画像から画像処理によって顔の位置と向きとを検出して、対象者の向きを検出する装置が知られている。しかし、顔の検出ができる解像度と広範囲の画角とを同時に満たして撮影することは困難であるし、カメラの方向に顔が向いておらず、顔を撮影できない場合には顔の向きを検出できない。
これに対し、特許文献1の人体向き推定装置によれば、2つの距離センサ50を備え、一方の距離センサ50を対象者の胸の高さに、他方の距離センサ50を対象者の足の高さにそれぞれ設置し、これら2つの距離センサ50による測定結果に応じて対象者の向きを推定する。詳細には、距離センサ50で測定した測距点群に基づいて人体(対象者)を推定し、その重心位置を算出する。この重心位置の変化をトラッキングして、対象者の移動方向を算出し、これを対象者の向きと推定している。同様に特許文献2の位置検出装置も、複数の距離センサ11〜14により対象者を測定し、その測距点群から人体(対象者)の輪郭を形成するクラスタを検出し、その重心位置を算出する。この重心位置の変化をトラッキングして、対象者の移動方向を算出し、これを対象者の向きと推定している。
特開2011−081634号公報 特開2010−169521号公報
しかしながら、人は両腕を交互に振りながら歩行するので、対象者の肩以外の部分を測距した場合には、対象者の両腕と胴体とが測距されることになるので、対象者の重心位置の算出に腕の振りが影響する。その結果、対象者の推定向きは腕の振りに影響されて揺らぎ、安定せず、対象者の向きを正しく推定することは困難であった。なお、対象者の肩部分を測距できれば、腕の振りの影響を大きく受けずに対象者の重心位置を算出できるが、体格の個人差などにより、対象者の肩部分を常時ピンポイントで測距することは困難である。
本発明は、上述した問題点を解決するためになされたものであり、対象者の歩行時における腕の振りの影響を抑制して対象者の向きを推定できる身体向推定装置および身体向推定プログラムを提供することを目的としている。
この目的を達成するために本発明の身体向推定装置は、対象者の上半身を測距する上半身測距手段と、その上半身測距手段により測距された各測距データをグループ化するグループ化手段と、そのグループ化手段によりグループ化された測距データ群毎に近似楕円を算出する楕円算出手段と、その楕円算出手段により算出された近似楕円が複数ある場合に、その複数の近似楕円の位置関係に基づいて前記対象者の向きを推定する楕円を選択する楕円選択手段と、その楕円選択手段により選択された楕円に基づいて前記対象者の向きを推定する身体向推定手段と、を備えている。
また本発明の身体向推定プログラムは、対象者の上半身を測距した測距データを取得する上半身測距取得機能と、その上半身測距取得機能により取得された各測距データをグループ化するグループ化機能と、そのグループ化機能によりグループ化された測距データ群毎に近似楕円を算出する楕円算出機能と、その楕円算出機能により算出された近似楕円が複数ある場合に、その複数の近似楕円の位置関係に基づいて前記対象者の向きを推定する楕円を選択する楕円選択機能と、その楕円選択機能により選択された楕円に基づいて前記対象者の向きを推定する身体向推定機能と、をコンピュータに実現させるものである。
本発明の身体向推定装置および身体向推定プログラムによれば、対象者の上半身を測距した測距データを1乃至複数のグループにグループ化する。ここで、胴体と接している腕は胴体と同じに、一方、胴体から離れている腕は胴体とは別に、それぞれグループ化される。よって、グループ化された測距データ群毎に近似楕円を算出することにより、胴体と胴体から離れた腕とを区別して近似楕円を算出できる。算出された近似楕円が複数ある場合には、それらの位置関係に基づいて対象者の向きを推定する楕円を選択し、その選択した楕円に基づいて対象者の向きを推定する。従って、対象者の歩行時における腕の振りの影響を抑制して対象者の向きを推定できるという効果がある。
人体前後判定装置の外観を示す模式図である。 身体向推定装置の電気的構成を示すブロック図である。 メイン処理のフローチャートである。 胴体楕円タイプ選択処理のフローチャートである。 (a)は、両腕および胴体がグルーピングされた場合の、楕円タイプを模式的に示す図であり、(b)は、右腕および胴体がグルーピングされ、左腕がグルーピングされた場合の楕円タイプを模式的に示す図であり、(c)は、左腕および胴体がグルーピングされ、右腕がグルーピングされた場合の楕円タイプを模式的に示す図であり、(d)は、右腕と左腕と胴体とが、それぞれ別にグルーピングされた場合の楕円タイプを模式的に示す図である。 (a)は、グループ数が2の場合における、右腕による近似楕円と、左腕および胴体による近似楕円との位置関係を模式的に示す図であり、(b)は、グループ数が3の場合における、左腕による近似楕円と、胴体とによる近似楕円と、右腕による近似楕円との位置関係を模式的に示す図である。 (a)は、相対角度における閾値を模式的に示す図であり、(b)は、対象者の向きの推定を模式的に示す図である。
以下、本発明の好ましい実施形態について、添付図面を参照して説明する。まず、図1を参照して、身体向推定装置1の概要について説明する。図1は身体向推定装置1の外観を示す模式図である。身体向推定装置1は、測距センサ3から検出された上半身の測距値MPをグルーピングし、グルーピングされた近似楕円間における位置関係から、対象者Hの上半身の近似楕円を推定し、その推定された上半身の近似楕円から、対象者Hの向きを推定するための装置である。身体向推定装置1は、身体向推定装置1の各部を制御する制御部2と、測距センサ3と、表示部4とを有する。
測距センサ3は、レーザ光を全方位(360度)に対して照射し、その散乱光を測定することで、対象者Hの上半身との距離を検出(測距)するための装置である。測距センサ3は、角度1度毎に検出された対象者Hの上半身との距離を、その角度に対応付けて制御部2へ送信する。測距センサ3の上下方向の位置は、対象者Hの目線より下の位置に配設され、測距センサ3は、対象者Hの上半身を斜め上方へ向けて測距する。加えて、測距センサ3の対象者Hに対する仰角は、対象者Hの上半身との距離が検出可能な角度かつ、測距センサ3のレーザ光が対象者Hの目に入らない角度に設定されるので、測距センサ3は、対象者Hの目に対する安全性を確保しながらも、対象者Hの上半身との距離を正確に検出できる。
表示部4は、対象者Hの向き等の表示およびユーザからの身体向推定装置1への指示を入力するための装置であり、対象者Hの身体角度θ等の表示するためのLCD10と、ユーザからの指示を制御部2へ入力するタッチパネル11とを有して構成され(図3参照)、身体向推定装置1の上部に設けられる。
制御部2は、測距センサ3から取得された、対象者Hの上半身の測距値(測距データ)MPを、隣接する測距値間の距離である、分離距離に応じてグルーピングし、そのグルーピングされた測距値MPから算出された近似楕円間の位置関係に応じて、上半身の近似楕円の楕円タイプを選択する。そして選択された楕円タイプから上半身の近似楕円を推定し、その上半身の近似楕円の角度である身体角度θが、対象者Hの向きとされる。
次に図2を参照して、身体向推定装置1の電気的構成について説明する。図2は、身体向推定装置1の電気的構成を示すブロック図である。制御部2は、CPU5と、ハードディスクドライブ(HDD)6と、RAM7とを有し、これらはバスライン8を介して入出力ポート9にそれぞれ接続されている。入出力ポート9には、測距センサ3と、表示部5とがそれぞれ接続されている。
CPU5は、バスライン8により接続された各部を制御する演算装置である。HDD6は、CPU5により実行されるプログラムや固定値データ等を格納した書き換え可能な不揮発性の記憶装置であり、制御プログラム6aが記憶される。CPU5によって制御プログラム6aが実行されると、図4のメイン処理が実行される。
RAM7は、CPU5が制御プログラム6aの実行時に各種のワークデータやフラグ等を書き換え可能に記憶するためのメモリであり、測距センサ3で取得した測距値MPをグルーピングする分離距離(単位はmm)が記憶される分離距離メモリ7aと、グルーピングした結果のグループ数が記憶されるグループ数メモリ7bと、上半身の近似楕円における楕円タイプ(図5参照)が記憶される楕円タイプメモリ7cと、対象者Hの身体角度θ(図6(a)参照)が記憶される身体角度メモリ7dとがそれぞれ設けられる。
次に図3〜図7を参照して、制御部2のCPU5で実行される処理について説明する。メイン処理は、身体向推定装置1の電源投入直後に実行される。図3は、メイン処理のフローチャートである。メイン処理はまず、測距センサ3から、測距値MPを取得する(S1)。S1の処理の後、分離距離メモリ7aに50mmを設定する(S2)。S2の処理の後、測距値MPから、両腕または胴体の端部を境界とする、測距値MPのグループを作成するため、分離距離メモリ7aの値に基づき測距値MPをグルーピングする(S3)。
具体的には、測距値MPに対して、隣接する測距値MP間の距離(測距点間距離)を全て算出する。その測距点間距離が、分離距離メモリ7aに記憶された分離距離以下である場合は、対応する2つの測距値MPが同一のグループと判定される。一方で、測距点間距離が分離距離よりも大きい場合は、その測距値MP間には、両腕または胴体等による境界が存在すると判断されるので、対応する2つの測距値MPは、それぞれ別のグループとされる。そして最終的なグループ数を、グループ数メモリ7bに保存する。
S3の処理の後、グループ数メモリ7bに保存されたグループ数が、3以下であるかを確認する(S4)。これはS5の胴体楕円タイプ選択処理(図5)で後述するが、本実施形態においては、各グループにおける測距値MPから算出された、腕の近似楕円と胴体の近似楕円との位置関係から、上半身の近似楕円を推定するからである。従って、グループ数は多くとも、右腕と左腕と胴体との3つ以下とする必要がある。そこでS4の処理では、S3の処理によってグループ数が、3以下かどうかを確認する。なお、グループ数が1の場合は、両腕および胴体が同一のグルーピングされた場合である。また、グループ数が2の場合は、右腕および胴体がグルーピングされ、左腕がグルーピングされた場合、または左腕および胴体がグルーピングされ、右腕がグルーピングされた場合である。
S4の処理において、グループ数が3より大きい場合は(S4:No)、S3の処理において分離距離が小さく、両腕または胴体の端部以外の位置が境界とされ、実際には一体である腕または胴体から、複数のグループがグルーピングされたと判断される。かかる場合は、分離距離メモリ7aの値に10mmを加算して(S6)、分離距離を大きくした上で、再度S3によるグルーピング処理を行う。
一方、グループ数が3以下である場合は(S4:Yes)、S3の処理によって両腕または胴体によるグループが作成されたと判断されるので、楕円タイプ選択処理(S5)を行う。これにより、多くとも両腕と胴体とがそれぞれ別のグループとされた状態で、後述の楕円タイプ選択処理を行うことができる。なお、S2の処理で分離距離メモリ7aに設定される初期値は、50mmに限られるものではなく、50mm以上でも良いし、50mm以下でも良い。また、S6の処理で分離距離メモリ7aの値に加算される値も10mmに限られるものではなく、10mm以上でも良いし、10mm以下でも良い。
次に、図4〜図7を参照して、S5の楕円タイプ選択処理を説明する。図4は楕円タイプ選択処理のフローチャートである。楕円タイプ選択処理は、グルーピングされたグループに基づき、上半身の近似楕円の楕円タイプを楕円E1,E3,E5,E6から選択する処理である。ここで上半身の近似楕円の楕円タイプとして選択される、楕円E1〜E6について図5を参照して説明する。
図5(a)は、両腕および胴体がグルーピングされた場合の、近似楕円の楕円タイプを模式的に示す図であり、図5(b)は、左腕がグルーピングされ、右腕および胴体がグルーピングされた場合の、近似楕円の楕円タイプを模式的に示す図であり、図5(c)は、右腕がグルーピングされ、左腕および胴体がグルーピングされた場合の、近似楕円の楕円タイプを模式的に示す図であり、図5(d)は、右腕と左腕と胴体とがそれぞれ別にグルーピングされた場合の、近似楕円の楕円タイプを模式的に示す図である。なお、図5〜図7においては、平面視における身体向推定装置1の位置を(0,0)としたXY平面上に、測距センサ3から取得された対象者Hの測距値MPを、白抜きの四角形で表す。
図5に示す通り、楕円E1(図5(a))は、両腕および胴体がグルーピングされた近似楕円の楕円タイプである。楕円E2(図5(b),(d))は、左腕のみがグルーピングされた近似楕円の楕円タイプであり、楕円E3(図5(b))は、右腕および胴体がグルーピングされた近似楕円の楕円タイプである。楕円E4(図5(c),(d))は、右腕のみがグルーピングされた近似楕円の楕円タイプであり、「楕円E5」(図5(c))は、左腕および胴体がグルーピングされた近似楕円の楕円タイプである。「楕円E6」(図5(d))は、胴体のみがグルーピングされた近似楕円の楕円タイプである。
図4において、楕円タイプ選択処理はまず、グループ数メモリ7bに記憶されたグループ数を確認する(S20)。グループ数が1の場合は(S20:「1」)、図3のS3の処理によって、両腕および胴体がグルーピングされた場合(図5(a))であるので、楕円タイプメモリ7cに楕円E1を設定する(S21)。
S20の処理において、グループ数が2の場合は(S20:「2」)、図3のS3の処理によって、左腕によるグループと、右腕および胴体によるグループとにグルーピングされた場合、または右腕によるグループと、左腕および胴体によるグループとにグルーピングされた場合である。かかる場合において、楕円タイプとして挙げられるのは、楕円E2,E3(図5(b))、又は楕円E4,E5(図5(c))である。また、これらに加え、左腕(右腕)によるグループと、右腕(左腕)および胴体とによるグループとを、同一のグループとして扱うことができるので、楕円E1も楕円タイプとして挙げられる。
S23以下の処理では、これらの楕円タイプのうち、どの楕円タイプを上半身の近似楕円とするかを、それぞれの楕円タイプによる近似楕円間の位置関係によって選択される。S20の処理において、グループ数が2の場合は(S20:「2」)、相対角度δが、60度以上、かつ120度以下であるかを確認する(S23)。ここで図6(b)を参照して、S23の処理について説明する。図6(a)は、グループ数が2の場合における、右腕による近似楕円と、左腕および胴体による近似楕円との位置関係を模式的に示す図である。
図6(a)においては、楕円E4(右腕)に該当する、測距値MPから推定された近似楕円の中心位置がCrであり、楕円E5(左腕と胴体)に該当する、測距値MPから推定された近似楕円の中心位置がCabである。なお近似楕円は、各グループに該当する測距値MPに基づいた、最小二乗法により算出される。中心Cabを通り、楕円E5による近似楕円の短軸Sa方向の直線上に位置する基準点がPである。中心Cabと中心Crとの距離はd1であり、中心Cabと中心Crとの距離はd2である。また、中心Cabと基準点Pとの距離はd3であり、1mが例示される。なお、距離d3の長さは1mに限られるものではなく、1m以上でも良いし、1m以下でも良い。
本実施形態においては、両腕と胴体とによる楕円E1が、最も上半身の形状を推定する近似楕円とされる。これは、楕円E1には両腕と胴体とが含まれるので、楕円E1は、両肩を長軸側における頂点とした近似楕円となり、この近似楕円の形状は上半身の形状に最も近いからである。しかし、特に対象者Hの歩行中においては、両腕を交互に振りながら歩行するので、両腕は前後方向へ周期的に移動される。従って右腕または左腕が、前側または後側に離れ過ぎている場合、楕円E1による近似楕円は、その離れ過ぎた右腕または左腕の位置が含まれるので、実際の上半身の形状からかけ離れた形状となってしまう。
そこで本実施形態においては、右腕または左腕の近似楕円と、他方の腕と胴体との近似楕円との位置関係によって、離れ過ぎた右腕または左腕が存在しているかを判断し、離れ過ぎた右腕または左腕が存在しない場合は、楕円E1が上半身の近似楕円の楕円タイプとされる。一方で、離れ過ぎた右腕または左腕が存在する場合は、その離れ過ぎていた右腕または左腕が含まれない、胴体を含んだ楕円タイプ(楕円E5又はE3)が、上半身の近似楕円の楕円タイプとされる。これにより、離れ過ぎた右腕または左腕による影響が抑制された、上半身の近似楕円を推定することができる。
具体的には、楕円E4による近似楕円と、楕円E5による近似楕円との相対角度δ、即ち基準点Pと中心Cabとを結ぶ直線と、中心Cabと中心Crとを結ぶ直線とのなす角を表す相対角度δを算出する(S22)。ここで相対角度δは、以下の数式1によって算出される。
Figure 0006713619
そして、算出された相対角度δが、60度以上かつ120度以下であるかを確認する(S23)。
ここで図7(b)を参照して、相対角度δの閾値について説明する。図7(a)は、相対角度δ(δR,δL)における閾値を模式的に示す図である。図7(a)において、相対角度δが60度以上かつ120度以下である場合は、楕円E4による近似楕円と、楕円E5による近似楕円とが接近しているので、楕円E4に該当する右腕によるグループと、楕円E5に該当する左腕と胴体とによるグループとを、同一に扱うことができる。従って、かかる場合は(S23:Yes)、楕円タイプメモリ7cに楕円E1を設定する(S25)。即ち、両腕と胴体とが接近していると判断されるので、楕円E1による上半身の近似楕円の推定ができるので、より上半身の形状に合致した、近似楕円の推定をすることができる。
一方で、相対角度δが60度より小さい、または120度より大きい場合は(S23:No)、楕円E4による近似楕円と、楕円E5による近似楕円とが離れ過ぎている状態である。かかる場合は、楕円タイプメモリ7cに楕円E5を設定する(S24)。これにより、離れ過ぎた楕円E4(右腕)による近似楕円が、上半身の近似楕円の楕円タイプから除外されるので、離れ過ぎた右腕による影響を抑制して、上半身の近似楕円を推定することができる。
なお、左腕によるグループと、右腕および胴体とによるグループとにグルーピングされた場合においても上述した方法と同様に、上半身の近似楕円における楕円タイプが決定される。即ち楕円E2(左腕)に該当する、測距値MPから推定された近似楕円の中心位置がCl(図示せず)であり、楕円E3(右腕と胴体)に該当する、測距値MPから推定された近似楕円の中心位置がCabである。中心Cabを通り、楕円E3による近似楕円の短軸方向の直線上に位置する基準点がPである。中心Cabと基準点Pとの距離がd3であり、また、中心Cabと中心Clとの距離がd1であり、中心Cabと中心Clとの距離がd2である。
次に、楕円E2による近似楕円と、楕円E3による近似楕円との相対角度δ、即ち基準点Pと中心Cabとを結ぶ直線と、中心Cabと中心Clとを結ぶ直線とのなす角を表す相対角度δを算出する(S22)。なお、相対角度δは、上述の数式1によって算出される。算出された相対角度δが、60度以上かつ120度以下であるかを確認する(S23)。相対角度δが60度以上かつ120度以下である場合は、楕円タイプメモリ7cに楕円E1を設定し(S25)、一方で、相対角度δが60度より大きい、または120度より小さい場合は(S23:No)、楕円タイプメモリ7cに楕円E3を設定する(S24)。
次に図5,図7を参照して、図5のS20の処理において、グループ数が3の場合(S20:「3」)を説明する。グループ数が3の場合は、図3のS3の処理によって、左腕によるグループと、胴体によるグループと、右腕によるグループとにグルーピングされた場合であり、かかる場合において楕円タイプとして挙げられるのは、楕円E2,E6,E4(図5(d))である。
これらに加え、両腕および胴体によるグループを同一のグループとして扱うことができ、右腕および胴体によるグループを同一のグループとして扱うことができ、さらに左腕および胴体によるグループを同一のグループとして扱うことができるので、楕円E1,E3,E5も楕円タイプとして挙げられる。図5のS26以下の処理では、これらの楕円タイプのうち、どの楕円タイプを上半身の近似楕円とするかを、それぞれの楕円タイプによって推定された近似楕円間の位置関係によって選択される。
図5のS20の処理において、グループ数が3の場合は(S20:「3」)、楕円E2と楕円E6との第1相対角度δLと、楕円E4と楕円E6との第2相対角度δRとを算出する(S26,S27)。
ここで図6(b)を参照して、S26〜S33の処理を説明する。図6(b)は、グループ数が3の場合における、左腕による近似楕円と、胴体とによる近似楕円と、右腕による近似楕円との位置関係を模式的に示す図である。図6(b)においては、楕円E2(左腕)に該当する、測距値MPから推定された近似楕円の中心位置がClであり、楕円E4(右腕)に該当する、測距値MPから推定された近似楕円の中心位置がCrであり、楕円E6(胴体)に該当する、測距値MPから推定された近似楕円の中心位置がCbである。中心Cbを通り、楕円E6による近似楕円の短軸方向の直線上に位置する基準点がPである。また、中心Cbと基準点Pとの距離がd3であり、1mが例示される。中心Cbと中心Crとの距離がd1であり、中心Crと基準点Pとの距離がd2であり、中心Clと基準点Pとの距離がd4であり、中心Cbと中心Clとの距離がd5である。
グループ数が3の場合においても、グループ数が2の場合と同様に、右腕または左腕の近似楕円と、胴体の近似楕円との位置関係によって、上半身の近似楕円の楕円タイプを、楕円E1,E3,E5,E6のどれにするかを判断する。
図5に戻る。グループ数が3の場合(S20:「3」)はまず、楕円E2による近似楕円と、楕円E6による近似楕円との第1相対角度δL、即ち基準点Pと中心Cbとを結ぶ直線と、中心Cbと中心Clとを結ぶ直線とのなす角である第1相対角度δLを算出する(S26)。ここで第1相対角度δLは、以下の数式2によって算出される。
Figure 0006713619
S26の処理の後、楕円E4による近似楕円と、楕円E6による近似楕円との第2相対角度δR、即ち基準点Pと中心Cbとを結ぶ直線と、中心Cbと中心Crとを結ぶ直線とのなす角である第2相対角度δRを算出する(S27)。ここで第2相対角度δRは、以下の数式3によって算出される。
Figure 0006713619
数式2,3によって算出された第1相対角度δLと第2相対角度δRとによって、S28以下の処理では、楕円E2と楕円E6との位置関係と、楕円E4と楕円E6との位置関係とにより、上半身の近似楕円の楕円タイプが選択される。S26の処理の後、第1相対角度δLが60度以上、かつ120度以下であり、かつ第2相対角度δRが60度以上、かつ120度以下であるかを確認する(S28)。
図7(a)を参照して、第1相対角度δLと第2相対角度δRとの閾値について説明する。上述した相対角度δと同様に、第1相対角度δLが60度以上、かつ120度以下である場合は、楕円E2による近似楕円と、楕円E6による近似楕円とが接近していると判断され、第1相対角度δLが60度より大きい、または120度より小さい場合は、楕円E2による近似楕円と、楕円E6による近似楕円とが離れ過ぎているとされる。また、第2相対角度δRが60度以上、かつ120度以下である場合は、楕円E4による近似楕円と、楕円E6による近似楕円とが接近していると判断され、第2相対角度δRが60度より大きい、または120度より小さい場合は、楕円E4による近似楕円と、楕円E6による近似楕円とが離れ過ぎているとされる。
図4に戻る。第1相対角度δLが60度以上、かつ120度以下であり、かつ第2相対角度δRが60度以上、かつ120度以下である場合は(S28:Yes)、楕円E2による近似楕円と、楕円E6による近似楕円とが接近し、なおかつ楕円E4による近似楕円と、楕円E6による近似楕円とが接近しているので、左腕によるグループと、胴体によるグループと、右腕によるグループとを同一のグループとして扱うことができる。かかる場合は、楕円タイプメモリ7cに楕円E1を設定する(S25)。
一方、第1相対角度δLが60度以上、かつ120度以下であり、かつ第2相対角度δRが60度以上、かつ120度以下ではない場合は(S28:No)、第1相対角度δLが60度以上、かつ120度以下であるかを確認する(S29)。S28の処理により、左腕によるグループと、胴体によるグループと、右腕によるグループとが同一のグループとされないと判断された場合でも、左腕によるグループと胴体によるグループとを同一のグループとされる場合、または右腕によるグループと胴体によるグループとを同一のグループとされる場合が存在するので、まず第1相対角度δLが60度以上、かつ120度以下であるかを確認する(S29)。
第1相対角度δLが60度以上、かつ120度以下である場合は(S29:Yes)、楕円E2による近似楕円と、楕円E6による近似楕円とが接近しているので、左腕によるグループと、胴体によるグループとを同一に扱うことができる。従ってこの場合は(S29:Yes)、楕円タイプメモリ7cに楕円E5を設定する(S30)。
S29の処理において、第1相対角度δLが60度より小さい、または120度より大きい場合は(S29:No)、左腕によるグループと、胴体によるグループとが同一のグループとされない場合であっても、右腕によるグループと胴体によるグループとを同一のグループとされる場合が存在するので、さらに第2相対角度δRが60度以上、かつ120度以下であるかを確認する(S31)。第2相対角度δRが60度以上、かつ120度以下である場合は(S31:Yes)、楕円E4による近似楕円と、楕円E6による近似楕円とが接近しているので、右腕によるグループと、胴体によるグループとを同一に扱うことができる。かかる場合は(S31:Yes)、楕円タイプメモリ7cに楕円E3を設定する(S32)。
S30,S32の処理により、楕円E2による近似楕円または、楕円E4による近似楕円が、楕円E6による近似楕円と離れ過ぎていても、他方の腕に該当する、楕円E4又はE2による近似楕円と、楕円E6による近似楕円とが同一のグループとされる場合は、該当する楕円タイプが、楕円タイプメモリ7cに設定される。これにより、右腕または左腕と、胴体とが同一とされたグループによる楕円E3,E5から上半身の近似楕円が推定されるので、離れ過ぎた他方の腕が含まれる楕円E1が選択されないので、胴体と離れ過ぎた腕の影響が抑制された上半身の近似楕円を推定することができる。
S31の処理において、第2相対角度δRが60度より小さい、または120度より大きい以下である場合は(S31:No)、楕円E2による近似楕円と、楕円E4による近似楕円とが、楕円E6による近似楕円から離れ過ぎていると判断されるので、かかる場合は、楕円E6を楕円タイプメモリ7cに設定する(S33)。これにより、両腕と胴体とが共に離れ過ぎている状態であっても、両腕の影響が抑制された上半身の近似楕円を推定することができる。
S21,S24,S25,S30〜33の処理の後、楕円タイプ選択処理を終了し、図3のメイン処理に戻る。S6の楕円タイプ選択処理の後、楕円タイプメモリ7cに記憶された楕円タイプに該当する測距値MPを取得し、その測距値MPに基づいた最小二乗法により、上半身の近似楕円を算出する(S7)。S7の処理の後、算出された上半身の近似楕円から身体角度θを推定する(S8)。図7(b)を参照して、S8の処理を説明する。図7(b)は、身体角度を模式的に示した図である。楕円E1がS7の処理で推定された近似楕円である。近似楕円の短軸Sa方向の向きが、対象者Hの向きであると推定される。そして、その対象者Hの向きとX軸とのなす角が身体角度θである。なお、楕円E3,E5,E6における、対象者Hの向きと身体角度θとの推定方法は、楕円E1の場合と同様であるので、その説明は省略する。
図3に戻る。S8の処理の後、推定された身体角度θを、表示部5のLCD11に出力する(S9)。なお、身体角度θの出力先はLCD11に限られるものではなく、身体角度θがHDD7に記憶される構成としても良いし、身体角度θを図示しない通信装置によって、外部のサーバやPC等に送信される構成としても良い。S9の処理の後、S1の処理を繰り返す。
以上説明した通り、本実施形態における身体向推定装置1によれば、測距センサ3から取得された、対象者Hの上半身の測距値MPが1乃至複数のグループにグルーピングされる。右腕または左腕によるグループの近似楕円と、胴体によるグループの近似楕円との相対角度が、60度以上120度以下である場合はこれらを同一のグループとしてグルーピングされ、それ以外は、別のグループとしてグルーピングされる。
そして、胴体を含むグループに該当する楕円タイプが取得され、楕円タイプメモリ7cに記憶される。その楕円タイプに該当する測距値MPを取得し、その測距値MPから上半身の近似楕円が算出され、その上半身の近似楕円における短軸Sa方向が、対象者Hの向きとされる。よって、胴体から離れ過ぎた腕が胴体を含むグループから区別されるので、対象者Hの腕の位置による影響を抑制して、対象者Hの向き(上半身の向き)を推定できる。
加えて、胴体から離れ過ぎた腕が胴体を含むグループから除外されるので、測距センサ3から腕の測距値MPが取得されても、対象者Hの向きが推定できる。従って、測距センサ3を、腕の影響がなく上半身の位置が取得できる、例えば肩にピンポイントで向ける必要はないので、測距センサ3の上下方向の位置および仰角の設定を容易にすることができる。
また、従来技術においては、歩行中の対象者Hの重心位置の変化によって、対象者Hの向きを推定していた。よって、重心位置のトラッキングに要する時間が必要となり、対象者Hの向きを迅速に推定できなかった。さらに、対象者Hが停止した場合は、重心位置の変化自体が見られなくなるので、対象者Hの向きの推定が正確にできなかった。
これに対して、これに対して本実施形態における身体向推定装置1では、測距センサ3から取得された測距値MPから算出されたグループに基づいて、胴体を含む楕円タイプが選択され、その楕円タイプに基づいて上半身の近似楕円が算出され、その上半身の近似楕円に基づいて、対象者Hの向きが推定される。これにより、重心位置のトラッキングに要する時間が不要となり、対象者Hの向きをリアルタイムに推定できる。また、対象者Hが停止している場合でも、測距センサ3から取得された測距値MPに基づいて、対象者Hの向きを推定することができる。
ところで、対象者Hに追従して自律走行を行う移動体(例えば、特開2016−184337号における移動体100)においては、対象者Hと移動体のディスプレイとが、対面するように、対象者Hの向きに応じて移動体の向きを変更している。従来、カメラで取得した対象者Hの上半身の画像を画像解析して、解析された結果に基づいて対象者Hの向きを推定していた。この場合、歩行中に前後する対象者Hの腕の位置によって、画像解析から得られる対象者Hの向きも不安定なものとなるので、移動体の向きに対する挙動が安定しなかった。
そこで移動体に身体向推定装置1を搭載し、身体向推定装置1によって推定された対象者Hの向きにより、移動体の向きを変更させる。これにより対象者Hの向きは、対象者Hの腕の位置による影響が抑制されたものとなるので、移動体の向きに対する挙動を安定させることができる。
以上、実施形態に基づき本発明を説明したが、本発明は上述した実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能であることは容易に推察できるものである。
上記実施形態において、制御プログラム6aを、身体向推定装置1で実行する構成とした。しかし、必ずしもこれに限られるものではなく、制御プログラム6aを、パーソナル・コンピュータやスマートフォン、タブレット端末等に記憶して、制御プログラム6aを実行する構成としても良い。
上記実施形態において、上半身の測距値をレーザ光によって検出する測距センサ3を用いる構成とした。しかし、必ずしもこれに限られるものではなく、取得した画像から空間内の距離情報等を検出する距離画像センサを用いて、上半身の測距値を検出する構成としても良い。
上記実施形態において、近似楕円はいずれも、測距値MPに基づく最小二乗法で算出される構成とした。しかし、必ずしもこれに限られるものではなく、最小二乗法以外の種々の演算方法によって、近似楕円をする構成としても良い。
上記実施形態において、基準点Pは、楕円E3,E5,E6の近似楕円の中心Cab,Cbを通り、楕円E3,E5,E6の近似楕円の短軸Sa方向の直線上に位置する構成とした。しかし、必ずしもこれに限られるものではなく、中心Cab,Cbを通り、楕円E3,E5,E6の近似楕円の長軸La方向の直線上に位置する点を基準点Pとしても良いし、任意の点を基準点Pとしても良い。
上記実施形態において、相対角度δ,第1相対角度δL,第2相対角度δRの角度大きさにより、右腕または左腕による近似楕円と、胴体による近似楕円とが接近しているかを判断する構成とした。しかし、必ずしもこれに限られるものではなく、相対角度δ,第1相対角度δL,第2相対角度δRの代わりに、中心Cabと中心Crとの距離d2や中心Cabと中心Clとの距離d4の大きさに基づいて、右腕または左腕による近似楕円と、胴体による近似楕円とが接近しているかを判断する構成としても良い。
1 身体向推定装置
3 測距センサ(上半身測距手段)
6a 制御プログラム(身体向推定プログラム)
S3〜S5 グループ化手段
S4,S5 グループ化手段の一部、再グループ化手段
S6 楕円選択手段
S7 楕円算出手段
S8 身体向推定手段

Claims (11)

  1. 対象者の上半身を測距する上半身測距手段と、
    その上半身測距手段により測距された各測距データをグループ化するグループ化手段と、
    そのグループ化手段によりグループ化されたグループ毎に近似楕円を算出する楕円算出手段と、
    その楕円算出手段により算出された近似楕円が複数ある場合に、その複数の近似楕円の位置関係に基づいて前記対象者の向きを推定する楕円を選択する楕円選択手段と、
    その楕円選択手段により選択された楕円に基づいて前記対象者の向きを推定する身体向推定手段と、
    を備えていることを特徴とする身体向推定装置。
  2. 前記楕円算出手段は、前記グループ化手段によりグループ化されたグループ毎に算出した近似楕円のうち、隣接する2以上の近似楕円のもととなったグループに基づいて更に近似楕円を算出するものであることを特徴とする請求項1記載の身体向推定装置。
  3. 前記楕円選択手段は、前記楕円算出手段により算出された近似楕円のうち、隣接する2つの近似楕円が所定の位置関係にある場合に、その2つの近似楕円のもととなったグループに基づいて算出される近似楕円を前記対象者の向きを推定する楕円として選択するものであることを特徴とする請求項1又は2に記載の身体向推定装置。
  4. 前記楕円選択手段は、前記楕円算出手段により算出された近似楕円のうち、隣接する2つの近似楕円が所定の位置関係にない場合に、その2つの近似楕円のうち大きい方の近似楕円を前記対象者の向きを推定する楕円として選択するものであることを特徴とする請求項1から3のいずれかに記載の身体向推定装置。
  5. 前記所定の位置関係は、前記楕円算出手段により算出された近似楕円のうち、隣接する2つの近似楕円の中心を結ぶ直線と、その隣接する2つの近似楕円のうち大きい方の近似楕円の短軸との成す角度に基づいて判断されるものであることを特徴とする請求項3又は4に記載の身体向推定装置。
  6. 前記グループ化手段は、前記各測距データが示す測距点のうち、隣接する測距点間距離が閾値内にある場合に、その隣接する測距点を同グループにグループ化するものであり、
    グループ化の結果、グループ数が所定数を超えた場合に、前記閾値を大きな値に再設定して再度グループ化する再グループ化手段を備えていることを特徴とする請求項1から5のいずれかに記載の身体向推定装置。
  7. 前記グループ化手段は、前記各測距データを、両腕及び胴体の1グループと、一方の腕及び胴体のグループと他方の腕のグループとの2グループと、一方の腕のグループと胴体のグループと他方の腕のグループとの3グループと、のいずれかにグループ化するものであることを特徴とする請求項1から6のいずれかに記載の身体向推定装置。
  8. 前記楕円選択手段は、前記楕円算出手段により算出された近似楕円のうち、両腕及び胴体の近似楕円と、一方の腕及び胴体の近似楕円と、胴体の近似楕円とのうち、いずれかの近似楕円を前記対象者の向きを推定する楕円として選択するものであることを特徴とする請求項1から7のいずれかに記載の身体向推定装置。
  9. 前記身体向推定手段は、前記楕円選択手段により選択された近似楕円の短軸方向を前記対象者の向きとして推定するものであることを特徴とする請求項1から8のいずれかに記載の身体向推定装置。
  10. 前記上半身測距手段は、前記対象者の上半身を斜め上方へ向けて測距するものであることを特徴とする請求項1から9のいずれかに記載の身体向推定装置。
  11. 対象者の上半身を測距した測距データを取得する上半身測距取得機能と、
    その上半身測距取得機能により取得された各測距データをグループ化するグループ化機能と、
    そのグループ化機能によりグループ化されたグループ毎に近似楕円を算出する楕円算出機能と、
    その楕円算出機能により算出された近似楕円が複数ある場合に、その複数の近似楕円の位置関係に基づいて前記対象者の向きを推定する楕円を選択する楕円選択機能と、
    その楕円選択機能により選択された楕円に基づいて前記対象者の向きを推定する身体向推定機能と、
    をコンピュータに実現させることを特徴とする身体向推定プログラム。
JP2017067932A 2017-03-30 2017-03-30 身体向推定装置および身体向推定プログラム Expired - Fee Related JP6713619B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017067932A JP6713619B2 (ja) 2017-03-30 2017-03-30 身体向推定装置および身体向推定プログラム
PCT/JP2018/010041 WO2018180503A1 (ja) 2017-03-30 2018-03-14 身体向推定装置および身体向推定プログラム
EP18777528.3A EP3605011A4 (en) 2017-03-30 2018-03-14 DEVICE FOR ESTIMATING BODY DIRECTION AND PROGRAM FOR ESTIMATING BODY DIRECTION
CN201880022300.6A CN110462336A (zh) 2017-03-30 2018-03-14 身体朝向推定装置以及身体朝向推定程序
US16/499,538 US20200025878A1 (en) 2017-03-30 2018-03-14 Body direction estimation device and body direction estimation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017067932A JP6713619B2 (ja) 2017-03-30 2017-03-30 身体向推定装置および身体向推定プログラム

Publications (2)

Publication Number Publication Date
JP2018169333A JP2018169333A (ja) 2018-11-01
JP6713619B2 true JP6713619B2 (ja) 2020-06-24

Family

ID=63677355

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017067932A Expired - Fee Related JP6713619B2 (ja) 2017-03-30 2017-03-30 身体向推定装置および身体向推定プログラム

Country Status (5)

Country Link
US (1) US20200025878A1 (ja)
EP (1) EP3605011A4 (ja)
JP (1) JP6713619B2 (ja)
CN (1) CN110462336A (ja)
WO (1) WO2018180503A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019168394A (ja) * 2018-03-26 2019-10-03 株式会社エクォス・リサーチ 身体向推定装置および身体向推定プログラム
CN109683487A (zh) * 2018-12-29 2019-04-26 珠海格力电器股份有限公司 电器控制方法、电器及计算机可读存储介质
JP7452402B2 (ja) * 2020-12-18 2024-03-19 トヨタ自動車株式会社 車両ドア寄り掛かり検出システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05157521A (ja) * 1991-08-29 1993-06-22 Nkk Corp エリプソパラメータ測定方法及びエリプソメータ
JPH103547A (ja) * 1996-06-18 1998-01-06 Minolta Co Ltd 3次元データ処理装置
WO2006011593A1 (ja) * 2004-07-30 2006-02-02 Matsushita Electric Works, Ltd. 個体検出器及び共入り検出装置
JP5278721B2 (ja) * 2007-04-27 2013-09-04 国立大学法人 東京大学 レーザ計測システム及び方法
US8036416B2 (en) * 2007-11-06 2011-10-11 Palo Alto Research Center Incorporated Method and apparatus for augmenting a mirror with information related to the mirrored contents and motion
JP2009168578A (ja) * 2008-01-15 2009-07-30 Advanced Telecommunication Research Institute International 計測装置および計測方法
JP2010169521A (ja) 2009-01-22 2010-08-05 Nec Corp 位置検出装置、位置検出方法及びプログラム
JP2011081634A (ja) 2009-10-07 2011-04-21 Sogo Keibi Hosho Co Ltd 人体向き推定装置及び人体向き推定方法
JP5953484B2 (ja) * 2011-03-30 2016-07-20 株式会社国際電気通信基礎技術研究所 計測装置,計測方法および計測プログラム
JP5741278B2 (ja) * 2011-07-26 2015-07-01 株式会社エクォス・リサーチ 車両
US8766914B2 (en) * 2012-06-26 2014-07-01 Intel Corporation Method and apparatus for measuring audience size for a digital sign
CN102813516B (zh) * 2012-08-24 2014-08-27 武汉世纪金桥安全技术有限公司 基于光学成像的非接触式人体身高测量方法
CN105358062B (zh) * 2013-07-03 2018-11-02 筑波科技株式会社 医疗用小型x射线拍摄装置
US9738179B2 (en) * 2013-07-23 2017-08-22 Nissan Motor Co., Ltd. Vehicle driving support device and vehicle driving support method
JP6402429B2 (ja) 2015-03-26 2018-10-10 株式会社エクォス・リサーチ 移動体

Also Published As

Publication number Publication date
WO2018180503A1 (ja) 2018-10-04
EP3605011A1 (en) 2020-02-05
CN110462336A (zh) 2019-11-15
US20200025878A1 (en) 2020-01-23
JP2018169333A (ja) 2018-11-01
EP3605011A4 (en) 2020-11-04

Similar Documents

Publication Publication Date Title
CN108351690B (zh) 信息处理装置、信息处理***和信息处理方法
JP5829306B2 (ja) レンジセンサの配置位置評価装置
EP2597597B1 (en) Apparatus and method for calculating three dimensional (3D) positions of feature points
JP6713619B2 (ja) 身体向推定装置および身体向推定プログラム
JP2013186088A5 (ja)
US9317735B2 (en) Information processing apparatus, information processing method, and program to calculate position and posture of an object having a three-dimensional shape
WO2012011350A1 (ja) 歩行姿勢判定装置
JP7238060B2 (ja) 情報処理装置及びその制御方法、並びに、プログラム
JP5584832B2 (ja) 円柱状物体の直径測定装置及び測定方法、測定プログラム
CN103890811B (zh) 计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法
WO2016084285A1 (ja) 歩行解析システムおよび歩行解析プログラム
TWI659221B (zh) 追蹤系統、追蹤裝置及追蹤方法
CN106937532B (zh) 用于检测真正用户的***和方法
US20160184998A1 (en) Robot identification system
US10445872B2 (en) Machine control measurements device
KR20210145734A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
JP2017203701A (ja) 情報処理装置、計測システム、情報処理方法およびプログラム
JP2015175664A (ja) 地形判断装置、及び脚式移動ロボット
TWI591514B (zh) 手勢創建系統及方法
JP2013130508A (ja) 3次元計測方法、3次元計測プログラム及びロボット装置
JP2020513333A (ja) 産業用ロボットの測定システムおよび方法
CN107004111A (zh) 移动方向确定方法以及移动方向确定装置
JP6975001B2 (ja) 傾き測定装置及び傾き測定方法
JP5676300B2 (ja) ゴルフクラブヘッドの挙動の計測方法
US11224787B2 (en) Swing measurement device, swing measurement method, and swing measurement program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200424

R150 Certificate of patent or registration of utility model

Ref document number: 6713619

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees