JP7212934B2 - ポーズ判定システム - Google Patents
ポーズ判定システム Download PDFInfo
- Publication number
- JP7212934B2 JP7212934B2 JP2019033370A JP2019033370A JP7212934B2 JP 7212934 B2 JP7212934 B2 JP 7212934B2 JP 2019033370 A JP2019033370 A JP 2019033370A JP 2019033370 A JP2019033370 A JP 2019033370A JP 7212934 B2 JP7212934 B2 JP 7212934B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- posture
- pose
- quaternion
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- User Interface Of Digital Computer (AREA)
Description
更に発明者らは、非特許文献1に記載される、筋肉の***を検出する赤外線センサを複数個装備した新たな電気刺激装置を開発した。
しかし、ヨガのポーズが正常であるか否かを正しく検出する機械は、これまで存在していない。
ヨガは歩行や走行を伴わず、所定の姿勢(以下「ポーズ」)を例えば10秒間、静止状態を維持し続けるという、極めて静的な運動である。したがって、これまでの運動検出機械を適用させることがほぼ不可能である。
ヨガのポージングが正常に行われたか否かを低価格で精緻に検出できるシステムが、スポーツジムや公共運動施設等にて望まれている。
姿勢検出センサ装置は、ユーザの体部位の体表に巻き付けるベルトと、ベルトによって固定され、ユーザの体部位の動作を検出するジャイロセンサと、ジャイロセンサから得られ、ユーザの体部位の姿勢を示す四元数データを送信する近距離無線送信部とを具備する。
また、ポーズ検出装置は、姿勢検出センサ装置の近距離無線送信部から送信される電波を受信して、四元数データを復調する近距離無線受信部と、複数のポージングが収録された動画ファイルと、動画ファイルに収録されているコンテンツを表示する表示部と、動画ファイル内のポージングが収録されている時間軸上の再生時間である一時停止時間、四元数データと、四元数データの許容範囲を示す許容範囲データが格納される再生制御テーブルを具備する。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
図1は、本発明の実施形態に係るポーズ判定システム101の全体構成と使用状態を示す概略図である。
ポーズ判定システム101は、筋肉センサ装置102とポーズ検出装置103より構成される。
ユーザ104は筋肉センサ装置102を自らの腕に巻き付ける。そして、筋肉センサ装置102とポーズ検出装置103との間でBlueTooth(登録商標)等による無線通信を確立した上でスクワットを遂行する。ポーズ検出装置103は、周知のスマートフォンやタブレットPC等の無線端末である。すると、筋肉センサ装置102はユーザ104の腕の筋肉の状態と、内蔵するジャイロセンサ312(図3参照)から得られる、腕の動作を示す加速度や腕の姿勢を示す座標情報等をポーズ検出装置103へ送信する。
ポーズ検出装置103は、ユーザ104が正しくポージングを遂行したと判定した場合には、動画ファイルの一時停止を解除し、動画ファイルの再生を継続する(詳細は図5で説明)。
図2Aは、本発明の実施形態の例である筋肉センサ装置102の表面側の外観斜視図である。図2Bは、本発明の実施形態の例である筋肉センサ装置102の裏面側の外観斜視図である。筋肉センサ装置102は、大まかに本体部201と、表側ベルト202と、裏側ベルト203で構成される。
本体部201には中央に電源スイッチ204が設けられており、内部に後述する近距離無線通信部とジャイロセンサ等を含むマイコンと電子回路、そしてリチウム二次電池が収納されている。
裏側ベルト203には筋変位センサの検出孔207が複数個設けられている。筋変位センサは近赤外線LEDとフォトトランジスタ等のフォトセンサの組よりなるフォトリフレクタを構成する。詳細は図3にて後述する。
図3は、筋肉センサ装置102のハードウェア構成を示すブロック図である。
バス301に接続されているCPU302、ROM303、RAM304、A/D変換器305、そして第二シリアルインターフェース306(図3中「第二シリアルI/F」と略記)は、周知のワンチップマイコン307を構成する。
筋変位センサ321、322…335を構成する赤外線LEDである赤外線発光素子321a、322a…335aのアノードは電源電圧ノード+Vccに接続されている。赤外線発光素子321a、322a…335aのカソードは第一マルチプレクサ308を通じて電流制限抵抗R309の一端に接続されている。電流制限抵抗R309の他端は接地されている。
なお、これ以降、筋変位センサ321、322…335を区別せず、一纏めに呼ぶ場合には、筋変位センサ群340と総称する。
この第一マルチプレクサ308及び第二マルチプレクサ310は、複数の筋変位センサ321、322…335のうちの1個を選択する。
第一マルチプレクサ308及び第二マルチプレクサ310を総称して、センサ用マルチプレクサと呼ぶことができる。
ワンチップマイコン307のバス301には更に、第一シリアルインターフェース314(図3中「第一シリアルI/F」と略記)が接続されている。なお、この第一シリアルインターフェース314は、ROM303に格納されているファームウェアをアップデートする際に用いられる他に、不図示の蓄電池に電力を供給するためにも用いられる。
筋肉が収縮すると、筋肉が存在する皮膚の部分に生じる***によって、フォトリフレクタと筋肉の表面部分との距離が変動する。フォトリフレクタはこの距離の変動によって生じる近赤外線反射光の強弱を、フォトトランジスタで検出する。近赤外線は皮膚表面を透過する性質を有するので、筋肉の***状態を検出することに適している。
図4は、ポーズ検出装置103のハードウェア構成を示すブロック図である。
周知のスマートフォンやタブレットPC等の無線端末よりなるポーズ検出装置103は、バス401に接続された、CPU402、ROM403、RAM404、LCDディスプレイである表示部405、透明電極を有する静電式位置検出装置を含む操作部406を備える。表示部405と操作部406は、周知のタッチパネルディスプレイ105を構成する。
また、バス401には、電気的に書き換え可能なフラッシュメモリ等の不揮発性ストレージ407と、近距離無線通信部408が接続されている。
不揮発性ストレージ407には、ネットワークOSと、無線端末をポーズ検出装置103として機能させるためのプログラムが格納されている。
これより、本発明の第一の実施形態に係る、筋肉センサ装置102とポーズ検出装置103のソフトウェア機能について説明する。後述する第二の実施形態とは、このソフトウェア機能のみ異なる。すなわち、第二の実施形態のハードウェア構成は、第一の実施形態として図1から図4にて説明したものと同一である。
図5は、本発明の第一の実施形態に係る筋肉センサ装置102とポーズ検出装置103のソフトウェア機能を示すブロック図である。
筋肉センサ装置102の筋変位センサ群340から出力される信号は、A/D変換器305によってデジタルの筋変位データに変換される。
また、筋肉センサ装置102の持つジャイロセンサ312は、マイコン501を内蔵しており、マイコン501は四元数データと三次元の加速度データを出力する。
四元数(quaternion:クォータニオン)は、近年のジャイロセンサ312において標準的な、物品の姿勢を表すデータ出力形式である。
筋変位データと四元数データと加速度データは、近距離無線送信部502によって変調され、ポーズ検出装置103へ送信される。
筋変位データはデマルチプレクサ504を通じてコンパレータ505に入力される。コンパレータ505は、プラス側入力端子に入力される筋変位データを筋変位閾値506と比較する。そして、筋変位データが筋変位閾値506以上である場合には論理の「真」を、逆の場合には論理の「偽」を出力する。
このORゲート509の出力論理値(以下「筋変位論理値」と略)は、姿勢検証部510に入力される。
再生制御部511は第一タイマ512と第二タイマ513を内蔵する。そして、再生制御テーブル514を読み込み、姿勢検証部510に姿勢データを与えて、姿勢検証部510から得られた判定結果に基づき、動画ファイル515の再生と一時停止を制御する。
動画ファイル515から再生制御部511を通じて出力される動画データストリームデータは、表示処理部516によって表示部405に表示される。
次に、図6を参照して姿勢検証部510の処理を説明する。
図6は、姿勢検証部510のソフトウェア機能を示すブロック図である。
筋変位論理値は、否定排他的論理和ゲート(以下「NXORゲート」と略)601に入力される。
更にNXORゲート601には、再生制御テーブル514に記録されている筋変位フラグが、再生制御部511を通じて入力される。すなわちNXORゲート601は、筋変位フラグと筋変位論理値が一致している時に、論理の「真」を出力する。
スカラ変換部604が出力する加速度スカラ値データは、コンパレータ605のマイナス側入力に入力される。コンパレータ605のプラス側入力には、加速度閾値606が入力される。コンパレータ605は、加速度スカラ値データが加速度閾値606未満である時に、論理の「真」を出力する。
再生制御テーブル514は、一時停止時間フィールドと、X軸フィールドと、X軸誤差フィールドと、Y軸フィールドと、Y軸誤差フィールドと、Z軸フィールドと、Z軸誤差フィールドと、W軸フィールドと、W軸誤差フィールドと、筋変位使用フラグフィールドと、筋変位フラグフィールドを有する。
一時停止時間フィールドには、動画ファイル515内においてヨガのポージングが収録されている時間軸上の再生時間が格納される。再生制御部511は、動画ファイル515の再生時間がこの一時停止時間フィールドに格納されている一時停止時間に至ったら、動画ファイル515の再生を一時停止する。例えば、「1分15秒」という値が格納されていれば、動画ファイル515を1分15秒再生した時点で一時停止を行う。
X軸誤差フィールドには、一時停止時間フィールドに格納されている時間における、ユーザ104の腕の位置情報のうち、四元数のX軸における標準的な値に許される誤差範囲が格納される。
以下、Y軸フィールド、Y軸誤差フィールド、Z軸フィールド、Z軸誤差フィールド、W軸フィールド、W軸誤差フィールドも同様の値が格納される。
そして、四元数フィールド群に対し、X軸誤差フィールド、Y軸誤差フィールド、Z軸誤差フィールド及びW軸誤差フィールドは、四元数フィールド群の値に対する許容範囲を示す許容範囲データを格納するフィールド群であるので、許容範囲データフィールド群と総称する。
ポーズ検査部603は、各時間で測定された計測結果が誤差範囲内であるかどうかの判定を行っている。
例えば図7において、一時停止時間がT703時点で(X,Y,Z,W)が(0.29,0.1,0.1,0.1)であれば、Xの誤差範囲が±0.01であるから、正しい姿勢を維持していると判定する。
一方、例えばT703時点で(0.2,0.1,0.1,0.1)であれば、Xの値0.2が誤差範囲0.3±0.01の外にあるため、正しい姿勢を維持していないと判定する。
先ず、動画の最初の再生位置T801から再生位置T701に至るまでは、第一のヨガポーズP811の導入のための動画コンテンツが収録されている。例えば、お手本を示すインストラクターが第一のヨガポーズP811を行うための動作や、ヨガポーズの説明等が収録される。インストラクターの代わりにアニメーションキャラクターを用いてもよい。
再生位置T701から再生位置T802までの約2~3秒程度、インストラクターが第一のヨガポーズP811を行うコンテンツが収録されている。前述の通り、再生制御テーブル514の一時停止時間フィールドには、ヨガのポージングが収録されている動画ファイル515内の時間軸上の再生時間が格納されている。したがって、この再生位置T701は、再生制御テーブル514の一時停止時間フィールドの値である一時停止時間と一致する。
再生位置T702から再生位置T803までの約2~3秒程度、インストラクターが第二のヨガポーズP812を行うコンテンツが収録されている。
動画の再生位置T803から再生位置T703に至るまでは、第三のヨガポーズP813の導入のための動画コンテンツが収録されている。
再生位置T703から再生位置T804までの約2~3秒程度、インストラクターが第三のヨガポーズP813を行うコンテンツが収録されている。
再生制御部511は、ユーザが所定のヨガポーズを正しくポージングし、所定時間維持できたと判定した場合には、動画ファイル515の一時停止を解除し、動画ファイル515の再生を継続する。
再生制御部511は、以上の動画ファイル515の再生と一時停止、そして一時停止の解除を、再生制御ファイルの一時停止時間フィールドにしたがって遂行する。
処理を開始すると(S901)、再生制御部511は動画ファイル515の再生を開始する(S902)と共に、再生制御テーブル514の、最初のレコードの一時停止時間フィールドに格納されている一時停止時間を読み込む。
次に、再生制御部511は動画ファイル515の再生時間が、先に再生制御テーブル514から読み込んだ一時停止時間に到達したか、すなわち動画再生停止位置に到達したか否かを確認する(S903)。動画ファイル515の再生時間が動画再生停止位置に到達していなければ(S903のNO)、再度、動画ファイル515の再生時間の検証を繰り返す。
ヨガポーズ確認処理を終了した後、再生制御部511は動画ファイル515の再生時間が動画ファイル515の終わりに到達したか、すなわち動画再生終端位置に至ったか否かを確認する(S905)。
まだ動画ファイル515の再生時間が動画再生終端位置でない場合は(S905のNO)、再びステップS902から処理を繰り返す。なお、ステップS902にて再生制御部511は、再生制御テーブル514のレコードを1レコード、読み進める。
動画ファイル515の再生時間が動画再生終端位置に至った場合は(S905のYES)、一連の処理を終了する(S906)。
処理を開始すると(S1001)、先ず、再生制御部511は動画再生を一時停止する(S1002)。次に、再生制御部511は第一タイマ512を起動する(S1003)。第一タイマ512は1分を計時するタイマである。
ステップS1005の時点で第二タイマ513が動作していなければ(S1005のNO)、再生制御部511は第二タイマ513を起動する(S1006)。第二タイマ513は10秒を計時するタイマである。
もし、ステップS1007の時点で第二タイマ513の起動から10秒を経過していなければ(S1007のNO)、ステップS1004から処理を繰り返す。
ヨガポーズ成功処理とは、例えば表示部405に「Success!」等の、ヨガポーズ完遂を褒めるメッセージ等を表示する他、所定のスコアリング処理を行う等である。
ステップS1010の時点で第二タイマ513が動作していれば(S1010のYES)、再生制御部511は第二タイマ513を停止し、リセットする(S1011)。
もし、ステップS1012の時点で第一タイマ512の起動から1分を経過していなければ(S1012のNO)、ステップS1004から処理を繰り返す。
ヨガポーズ成功処理とは、例えば表示部405に「Failure...」等の、ヨガポーズ失敗を残念に思うメッセージ等を表示する他、所定のスコアリング処理を行う等である。
図11は、本発明の第二の実施形態に係る筋肉センサ装置102とポーズ検出装置103のソフトウェア機能を示すブロック図である。
図11に示す筋肉センサ装置102とポーズ検出装置103のソフトウェア機能のうち、異なる点は、ポーズ検出装置103に筋変位論理値を出力する機能がない点である。
すなわち、筋変位センサをモニタしなくても、本発明のポーズ判定システム101は実現し得る。
この場合、図6に示す姿勢検証部510のうち、NXORゲート601とORゲート602が省略され、ポーズ判定部607はポーズ検査部603及びコンパレータ605の論理値のみ入力されて、その論理積を出力する。
したがって、「ユーザの腕に装着される姿勢検出センサ装置」は「ユーザの体部位の体表に装着される姿勢検出センサ装置」に、
「ユーザの腕に巻き付けるベルト」は「ユーザの体部位の体表に巻き付けるベルト」に、
「ユーザの腕の姿勢及び動作を検出するジャイロセンサ」は「ユーザの体部位の姿勢及び動作を検出するジャイロセンサ」に、
それぞれ読み替えることができる。
ユーザ104の腕に筋肉センサ装置102を装着する。そして、ポーズ検出装置103は無線通信にて筋肉センサ装置102から得られる、筋変位センサ群340の筋変位データと、ジャイロセンサ312の四元数データ及び加速度データを取得して、リアルタイム演算を行い、ユーザ104が正しくヨガのポージングを所定時間維持できたか否かを検出する。
これにより、低価格な筋肉センサ装置102と既存の無線端末を利用して、ヨガのポージングの遂行が可能になる。
Claims (6)
- ユーザの体部位の体表に装着される姿勢検出センサ装置と、前記姿勢検出センサ装置と近距離無線通信を行うポーズ検出装置とよりなるポーズ判定システムであって、
前記姿勢検出センサ装置は、
前記ユーザの前記体部位の体表に巻き付けるベルトと、
前記ベルトによって固定され、前記ユーザの前記体部位の姿勢及び動作を検出するジャイロセンサと、
前記ジャイロセンサから得られ、前記ユーザの前記体部位の姿勢を示す四元数データを送信する近距離無線送信部と、を具備し、
前記ポーズ検出装置は、
前記近距離無線送信部から送信される電波を受信して、前記四元数データを復調する近距離無線受信部と、
複数のポージングが収録された動画ファイルと、
前記動画ファイルに収録されているコンテンツを表示する表示部と、
前記動画ファイル内の前記ポージングが収録されている時間軸上の再生時間である一時停止時間、前記四元数データと、前記四元数データの許容範囲を示す許容範囲データが格納される再生制御テーブルと、
前記四元数データに含まれる姿勢データ及び前記許容範囲データに基づいて、前記四元数データが、前記姿勢データ及び前記許容範囲データにて定められる姿勢の範囲内にある時に、前記ユーザが正しいポージングを行っていると判定する姿勢検証部と、
前記再生制御テーブルから前記一時停止時間を読み込み、前記動画ファイルが前記一時停止時間に至ったら前記動画ファイルの再生を一時停止して、前記姿勢データ及び前記許容範囲データを前記姿勢検証部に入力し、前記ユーザが正しいポージングを所定時間遂行できた場合に、前記動画ファイルの再生を再開する再生制御部と、を具備する
ポーズ判定システム。 - 前記再生制御テーブルは、
前記動画ファイル内の前記ポージングが収録されている時間軸上の再生時間である一時停止時間が格納される一時停止時間フィールドと、
前記四元数データが格納される四元数データフィールド群と、
前記四元数データの許容範囲が格納される許容範囲データフィールド群と、を有する
請求項1に記載のポーズ判定システム。 - 前記姿勢検証部は、前記四元数データフィールド群から読み出された姿勢データ及び前記許容範囲データフィールド群から読み出した許容範囲データに基づいて、前記姿勢検出センサ装置から前記近距離無線受信部を通じて取得した前記四元数データが、前記姿勢データ及び前記許容範囲データにて定められる姿勢の範囲内にある時に、前記ユーザが正しいポージングを行っていると判定する、
請求項2に記載のポーズ判定システム。 - 前記再生制御部は、前記再生制御テーブルの所定のレコードにおける前記一時停止時間フィールドから前記一時停止時間を読み込み、前記動画ファイルが前記一時停止時間に至ったら前記動画ファイルの再生を一時停止し、前記レコードから前記姿勢データ及び前記許容範囲データを読み出す、
請求項2または3に記載のポーズ判定システム。 - 前記近距離無線送信部は前記ジャイロセンサから得られる三次元の加速度データも送信するものであり、
前記近距離無線受信部は前記三次元の加速度データも受信するものであり、
前記姿勢検証部は、前記四元数データが前記姿勢データ及び前記許容範囲データにて定められる姿勢の範囲内にあると共に、前記姿勢検出センサ装置から前記近距離無線受信部を通じて取得した前記三次元の加速度データが所定の加速度閾値未満である時に、前記ユーザが正しいポージングを行っていると判定する、
請求項1に記載のポーズ判定システム。 - 前記姿勢検出センサ装置は更に、
前記ベルトに複数個設けられ、赤外線LEDとフォトセンサで構成されるフォトリフレクタである筋変位センサ群と、を具備し、
前記近距離無線送信部は前記筋変位センサ群から得られる筋変位データも送信するものであり、
前記近距離無線受信部は前記筋変位データも受信するものであり、
前記再生制御テーブルは更に、前記筋変位データが所定の筋変位閾値以上であるか否かを示す筋変位論理値が格納される筋変位フラグフィールドを有し、
前記姿勢検証部は、前記四元数データが前記姿勢データ及び前記許容範囲データにて定められる姿勢の範囲内にあると共に、前記三次元の加速度データが所定の加速度閾値未満であると共に、前記筋変位閾値が前記筋変位フラグフィールドの論理値と等しい時に、前記ユーザが正しいポージングを行っていると判定する
請求項5に記載のポーズ判定システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019033370A JP7212934B2 (ja) | 2019-02-26 | 2019-02-26 | ポーズ判定システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019033370A JP7212934B2 (ja) | 2019-02-26 | 2019-02-26 | ポーズ判定システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020137565A JP2020137565A (ja) | 2020-09-03 |
JP7212934B2 true JP7212934B2 (ja) | 2023-01-26 |
Family
ID=72279429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019033370A Active JP7212934B2 (ja) | 2019-02-26 | 2019-02-26 | ポーズ判定システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7212934B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005230068A (ja) | 2004-02-17 | 2005-09-02 | Hokuriyou Denko Kk | 運動支援方法と、その装置 |
JP2016116745A (ja) | 2014-12-22 | 2016-06-30 | セイコーエプソン株式会社 | 傾き判定装置、傾き判定システム、傾き判定方法及びプログラム |
-
2019
- 2019-02-26 JP JP2019033370A patent/JP7212934B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005230068A (ja) | 2004-02-17 | 2005-09-02 | Hokuriyou Denko Kk | 運動支援方法と、その装置 |
JP2016116745A (ja) | 2014-12-22 | 2016-06-30 | セイコーエプソン株式会社 | 傾き判定装置、傾き判定システム、傾き判定方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020137565A (ja) | 2020-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10758158B2 (en) | System and method for rehabilitation exercise of the hands | |
CN102835951B (zh) | 一种移动腕带设备及其工作方法 | |
CN107469327A (zh) | 一种运动辅导与动作监测设备及*** | |
CN102131551B (zh) | 运动检测*** | |
JP2015058096A (ja) | 運動支援装置及び運動支援方法、運動支援プログラム | |
EP3578101B1 (en) | Electronic device for providing exercise information using biometric information and operating method thereof | |
KR20140062892A (ko) | 운동 서비스를 제공하기 위한 웨어러블 디바이스와 디스플레이 장치 및 이를 포함하는 운동 서비스 제공 시스템과 그 방법 | |
CN108073287B (zh) | 运动监测方法、装置和可穿戴运动设备 | |
WO2019086997A2 (en) | Wearable biofeedback system | |
TW201332534A (zh) | 復健指引方法與復健指引系統 | |
US10310836B2 (en) | Athletic activity data device firmware update | |
KR20170041537A (ko) | 착용 및 부착형 웨어러블 디바이스 및 이를 이용한 운동 서비스 시스템 | |
JP7212934B2 (ja) | ポーズ判定システム | |
CN106621219A (zh) | 控制画面对象运动的手环、显示终端和控制方法 | |
JP7182275B2 (ja) | 運動判定システム | |
CN218793768U (zh) | 结合健身设备与辅助穿戴装置的健身动作侦测*** | |
CN208077115U (zh) | 可穿戴运动设备和运动监测*** | |
JP7281810B2 (ja) | 映像表示システム | |
CN211206990U (zh) | 一种可检测心率的眼镜 | |
CN204428016U (zh) | 生理量测绑带监视看护*** | |
CN109758745B (zh) | 基于Python/Java的人工智能篮球训练*** | |
GB2513580A (en) | Heart rate and activity monitor arrangement and a method for using the same | |
JP2023529384A (ja) | フィットネスのモニタリング装置及びトラッキング装置 | |
KR101355340B1 (ko) | 생체정보 인식형 인형 완구 | |
CN113317779A (zh) | 体态分析智能穿戴设备及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211222 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7212934 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |