JP2024018807A - 情報処理システム、サーバ、情報処理方法、プログラム及び学習モデル - Google Patents

情報処理システム、サーバ、情報処理方法、プログラム及び学習モデル Download PDF

Info

Publication number
JP2024018807A
JP2024018807A JP2022124950A JP2022124950A JP2024018807A JP 2024018807 A JP2024018807 A JP 2024018807A JP 2022124950 A JP2022124950 A JP 2022124950A JP 2022124950 A JP2022124950 A JP 2022124950A JP 2024018807 A JP2024018807 A JP 2024018807A
Authority
JP
Japan
Prior art keywords
information
data
user
light
led
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022124950A
Other languages
English (en)
Other versions
JP7240052B1 (ja
Inventor
滉允 清水
Kosuke Shimizu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arblet Inc
Original Assignee
Arblet Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arblet Inc filed Critical Arblet Inc
Priority to JP2022124950A priority Critical patent/JP7240052B1/ja
Application granted granted Critical
Publication of JP7240052B1 publication Critical patent/JP7240052B1/ja
Publication of JP2024018807A publication Critical patent/JP2024018807A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】生体データ生成部を介して、測定データに基づき、特に少なくともユーザのBMI情報または体重情報、体脂肪率情報のいずれかを生成する情報処理システム、サーバ、情報処理方法、プログラム及び学習モデルを提供する。【解決手段】本発明の情報処理システムは、ネットワークを介してユーザが装着する測定装置から測定データを受信し、前記測定データから生体データの生成を行う情報処理システムであって、前記測定装置は、少なくとも赤外または赤のいずれかの発光を行うLED及びフォトダイオードを備え、前記LEDから光を前記ユーザの皮膚に照射して前記フォトダイオードで受光することで得られる受光量データを対応する学習モデルに入力することでBMI情報または体重情報、体脂肪率情報の少なくともいずれかを生成する生体データ生成部を備える。【選択図】図5

Description

本開示は、測定装置から取得した測定データに基づき少なくともBMI情報または体重情報、体脂肪率情報のいずれかを生成する情報処理システム、サーバ、情報処理方法、プログラム及び学習モデルに関する。
従来から、例えば、特許文献1に示されるような、ユーザの荷重値に基づき体重やBMI(BODY MASS INDEX)を判定する体重計測装置が知られている。
特開2005-351830号公報
しかしながら、近年、ウェアラブルデバイス技術も発達しているところ、BMIや体重、体脂肪率の新たな計測方法が望まれている。
そこで、本開示では、ユーザが装着する測定装置から取得した測定データに基づき少なくともBMI情報または体重情報、体脂肪率情報のいずれかを生成する情報処理システム、サーバ、情報処理方法、プログラム及び学習モデルについて説明する。
本開示の一態様における情報処理システムは、ネットワークを介してユーザが装着する測定装置から測定データを受信し、前記測定データから生体データの生成を行う情報処理システムであって、前記測定装置は、少なくとも赤外または赤のいずれかの発光を行うLED及びフォトダイオードを備え、前記LEDから光を前記ユーザの皮膚に照射して前記フォトダイオードで受光することで得られる受光量データを対応する学習モデルに入力することでBMI情報または体重情報、体脂肪率情報の少なくともいずれかを生成する生体データ生成部を備える。
本開示の一態様におけるサーバは、ネットワークを介してユーザが装着する測定装置から測定データを受信し、前記測定データから生体データの生成を行うサーバであって、前記測定装置は、少なくとも赤外または赤のいずれかの発光を行うLED及びフォトダイオードを備え、前記LEDから光を前記ユーザの皮膚に照射して前記フォトダイオードで受光することで得られる受光量データを対応する学習モデルに入力することでBMI情報または体重情報、体脂肪率情報の少なくともいずれかを生成する生体データ生成部を備える。
本開示の一態様における情報処理方法は、ネットワークを介してユーザが装着する測定装置から測定データを受信し、前記測定データから生体データの生成を行う情報処理方法であって、前記測定装置は、少なくとも赤外または赤のいずれかの発光を行うLED及びフォトダイオードを備え、生体データ生成部により、前記LEDから光を前記ユーザの皮膚に照射して前記フォトダイオードで受光することで得られる受光量データを対応する学習モデルに入力することでBMI情報または体重情報、体脂肪率情報の少なくともいずれかを生成するステップを含む。
本開示の一態様におけるプログラムは、ネットワークを介してユーザが装着する測定装置から測定データを受信し、前記測定データから生体データの生成を行う情報処理方法を情報処理システムに実行させるプログラムであって、前記測定装置は、少なくとも赤外または赤のいずれかの発光を行うLED及びフォトダイオードを備え、前記情報処理方法は、生体データ生成部により、前記LEDから光を前記ユーザの皮膚に照射して前記フォトダイオードで受光することで得られる受光量データを対応する学習モデルに入力することでBMI情報または体重情報、体脂肪率情報の少なくともいずれかを生成するステップを含む。
本開示の一態様における学習モデルは、少なくとも赤外または赤のいずれかの発光を行うLED及びフォトダイオードを備える測定装置の前記LEDから光をユーザの皮膚に照射して前記フォトダイオードで受光することで得られる受光量データが入力されると、前記ユーザのBMI値及び体重、体脂肪率の少なくともいずれかを推定してBMI情報及び体重情報、体脂肪率情報の少なくともいずれかを出力するための学習モデルであって、
前記学習モデルは、前記受光量データとBMI値または体重、体脂肪率の少なくともいずれかを関連付けて教師データとして学習される。
本開示によれば、本実施形態に係る情報処理システムは、生体データ生成部132を介して、測定データに基づき、特に少なくともユーザのBMI情報または体重情報、体脂肪率情報のいずれかを生成する。これにより、例えばウェアラブルデバイスにより被測定者に関するBMI情報または体重情報、体脂肪率情報の把握が可能となる。
本開示の一実施形態に係る情報処理システムを示すブロック構成図である。 図1の管理サーバ100のハードウェア構成を示す図である。 図2の記憶部120および制御部130の機能を例示したブロック図である。 図3の測定データに関連付けされるタグ情報の例を示す模式図である。 図1の測定装置300で測定される受光量データから推定されるBMI値と実際のBMI値との相関を示すための図である。 図1の測定装置300で測定される心電波形及び脈波形の例について説明するための図である。 図1の情報処理システム1の処理の例を示すフローチャートである。
本発明の実施形態の内容を列記して説明する。本発明の実施の形態によるシステムは、以下のような構成を備える。
[項目1]
ネットワークを介してユーザが装着する測定装置から測定データを受信し、前記測定データから生体データの生成を行う情報処理システムであって、
前記測定装置は、少なくとも赤外または赤のいずれかの発光を行うLED及びフォトダイオードを備え、
前記LEDから光を前記ユーザの皮膚に照射して前記フォトダイオードで受光することで得られる受光量データを対応する学習モデルに入力することでBMI情報または体重情報、体脂肪率情報の少なくともいずれかを生成する生体データ生成部を備える、
ことを特徴とする情報処理システム。
[項目2]
前記生体データ生成部は、前記赤外の発光を行うLEDからの光および前記赤の発光を行うLEDからの光の両受光量データに基づいて前記BMI情報または体重情報、体脂肪率情報の少なくともいずれかを生成する、
ことを特徴とする項目1に記載の情報処理システム。
[項目3]
ネットワークを介してユーザが装着する測定装置から測定データを受信し、前記測定データから生体データの生成を行うサーバであって、
前記測定装置は、少なくとも赤外または赤のいずれかの発光を行うLED及びフォトダイオードを備え、
前記LEDから光を前記ユーザの皮膚に照射して前記フォトダイオードで受光することで得られる受光量データを対応する学習モデルに入力することでBMI情報または体重情報、体脂肪率情報の少なくともいずれかを生成する生体データ生成部を備える、
ことを特徴とするサーバ。
[項目4]
ネットワークを介してユーザが装着する測定装置から測定データを受信し、前記測定データから生体データの生成を行う情報処理方法であって、
前記測定装置は、少なくとも赤外または赤のいずれかの発光を行うLED及びフォトダイオードを備え、
生体データ生成部により、前記LEDから光を前記ユーザの皮膚に照射して前記フォトダイオードで受光することで得られる受光量データを対応する学習モデルに入力することでBMI情報または体重情報、体脂肪率情報の少なくともいずれかを生成するステップを含む、
ことを特徴とする情報処理方法。
[項目5]
ネットワークを介してユーザが装着する測定装置から測定データを受信し、前記測定データから生体データの生成を行う情報処理方法を情報処理システムに実行させるプログラムであって、
前記測定装置は、少なくとも赤外または赤のいずれかの発光を行うLED及びフォトダイオードを備え、
前記情報処理方法は、
生体データ生成部により、前記LEDから光を前記ユーザの皮膚に照射して前記フォトダイオードで受光することで得られる受光量データを対応する学習モデルに入力することでBMI情報または体重情報、体脂肪率情報の少なくともいずれかを生成するステップを含む、
ことを特徴とするプログラム。
[項目6]
少なくとも赤外または赤のいずれかの発光を行うLED及びフォトダイオードを備える測定装置の前記LEDから光をユーザの皮膚に照射して前記フォトダイオードで受光することで得られる受光量データが入力されると、前記ユーザのBMI値及び体重、体脂肪率の少なくともいずれかを推定してBMI情報及び体重情報、体脂肪率情報の少なくともいずれかを出力するための学習モデルであって、
前記学習モデルは、前記受光量データとBMI値または体重、体脂肪率の少なくともいずれかを関連付けて教師データとして学習される、
ことを特徴とする学習モデル。
以下、本開示の実施形態について図面を参照して説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
(実施形態1)
<構成>
図1は、本開示の実施形態1に係る情報処理システム1を示すブロック構成図である。この情報処理システム1は、例えば、ネットワークNWを介して測定装置300からユーザの測定データを管理サーバ100にて受信し、当該測定データに対して所定の演算を行うことで少なくともBMI情報または体重情報、体脂肪率情報のいずれかを生成するシステムである。
情報処理システム1は、管理サーバ100と、ユーザ端末装置200と、測定装置300と、ネットワークNWと、を有している。管理サーバ100と、ユーザ端末装置200とは、ネットワークNWを介して接続される。ネットワークNWは、インターネット、イントラネット、ブロックチェーンネットワーク、無線LAN(Local Area Network)やWAN(Wide Area Network)等により構成される。
管理サーバ100は、例えば、ネットワークを介して測定装置300からユーザの測定データを、ユーザ端末装置200を経由して受信して測定データから生体データへ演算を行う装置であり、例えば各種Webサービスを提供するサーバ装置により構成されている。
ユーザ端末装置200は、ユーザが所持する、例えばパーソナルコンピュータやタブレット端末、スマートフォン、スマートウォッチ、携帯電話、PHS、PDA等の情報処理装置であり、例えば、管理サーバ100で演算を行った生体データをテキストまたは波形グラフ等により表示させたりなどをするために利用される。ユーザ端末装置200には、予めユーザの識別番号、生年月日、性別、身長等のユーザ情報が登録されていてもよく、生年月日から算出した年齢等も含めたユーザ情報を測定データに関連付けてネットワークNWを介して管理サーバ100へ送信してもよい。
また、ユーザ端末装置200は、ユーザが測定装置300によりデータを取得する状態を、タッチパネル等を用いて入力するようにしてもよい。ユーザ端末装置200は、「データを取得する状態」を、例えば、走っている場合には「ランニング中」、起きた場合には「起床時」、食事前である場合には「食事前」、食事中である場合には「食事中」、食事後である場合には「食事後」、就寝する場合には「就寝時」など、タグ情報として入力することができる。この場合、ユーザ端末装置200は、測定装置300から所定の周期的なタイミングで受信した測定データを、タグ情報と関連付けてネットワークNWを介して管理サーバ100へ送信する。
測定装置300は、ユーザの測定データを測定する装置であり、この測定装置300は、既知の手法により、例えばユーザの心電、脈波、皮膚温度(体温)、加速度、角速度のデータを所定の周期的なタイミングで測定するための装置である。当該所定の周期は、予め設定されているものであってもよいし、ユーザが任意に設定可能であってもよい。より具体的には、例えば秒単位の時間的周期が設定されていてもよいし、周波数により同様に設定されていてもよい。なお、ユーザ端末装置200のユーザと測定装置300のユーザ(被測定者)が同一であっても異なっていてもよい。
測定装置300の具体的な構成の例としては、少なくとも赤外または赤のいずれかの発光を行うLEDから各光を皮膚に照射し、フォトダイオードで受光した光の受光量(すなわち、反射量、反射光の強度)に関する受光量データを測定データとして取得する構成であり得る。また、同様の受光した光の強度の時間変化により、ユーザの心臓の心拍により生ずる血管の容積変化により脈波を脈波形のデータとして取得する装置で構成しても良く、この方式で検出を行うことができる脈波形は光電式容積脈波形である。2つの電極を皮膚に接触させ、検出電位の差の時間変化より心電を心電波形のデータとして取得する装置で構成しても良く、心電波形は、ガルバニック皮膚反応により取得されたデータでも良い。また、ユーザの皮膚に接触させる温度センサによりユーザの皮膚温度をデータとして取得する装置で構成しても良い。また、直交するXYZ軸それぞれの変異状態を検出する3軸加速度センサにより構成しても良く、ユーザの動作を加速度データとして取得し、例えば測定装置300がユーザの手首や腕等に装着されている場合、測定装置300は、手首や腕等の振りと、全身の動きが合成された加速度として加速度データの取得をする。さらに、直行するXYZ軸それぞれにおける回転角速度を検出するジャイロセンサ(角速度センサ)により構成しても良く、ユーザの動作を角速度データとして取得し、例えば測定装置300がユーザの手首や腕等に装着されている場合、測定装置300は、手首や腕等の回転と、全身の動きが合成された角速度として角速度データの取得をする。
ユーザ端末装置200と測定装置300との間は、Bluetooth(登録商標)、近距離無線通信(Near Field radio Communication=NFC)、Afero(登録商標)、Zigbee(登録商標)、Z-Wave(登録商標)、又は無線LAN等を用いて接続されている。なお、このような無線接続の代わりに有線で接続を行ってもよい。また、ユーザ端末装置200と測定装置300とは一体の機器であってもよく、例えば測定装置300にSIMを搭載するなどして通信機能を持たせて管理サーバ100と直接通信可能に構成してもよい。
ユーザ端末装置200は、1または複数台あり、測定装置300を利用するユーザ数分ネットワークNWに接続されている。測定装置300は、1または複数台あり、1人のユーザが利用する台数分のユーザ端末装置200に接続されている。1人のユーザが複数の測定装置300を利用している場合は、1つのユーザ端末装置200に複数の測定装置300が接続されている。
<管理サーバ100>
図2は、管理サーバ100のハードウェア構成を示す図である。図3は、記憶部120および制御部130の機能を例示したブロック図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
管理サーバ100は、通信部110と、記憶部120と、制御部130と、入出力部140とを備える。これらの機能部は、管理サーバ100用の所定のプログラムを実行することにより実現される。
通信部110は、ユーザ端末装置200と通信を行うための通信インタフェースであり、例えばTCP/IP(Transmission Control Protocol/Internet Protocol)等の通信規約により通信が行われる。
記憶部120は、各種制御処理や制御部130内の各機能を実行するためのプログラム、入力データ等を記憶するものであり、RAM(Random Access Memory)、ROM(Read Only Memory)等から構成される。また、図3に示されるように、記憶部120は、測定装置300による測定データをユーザ情報と関連付けて記憶する測定データDB121と、測定データから演算されて生成される生体データをユーザ情報と関連付けて記憶する生体データDB122と、計測データまたは生体データに基づき生成されたユーザ状態情報をユーザ情報と関連付けて記憶するユーザ状態情報DB123と、ユーザ識別情報を含むユーザ情報を記憶するユーザ情報DB124と、を記憶する。また、ユーザ識別情報は、データ管理部131により生成されたアカウント情報であってもよいし、ユーザ端末装置200にダウンロードされたアプリケーションのアプリケーション識別情報やユーザ端末装置のユーザ端末識別情報であってもよい。さらに、記憶部120は、ユーザ端末装置200と通信を行ったデータを一時的に記憶する。なお、DBのデータ構造は、これに限られるものではなく、上述のDBの一部をユーザ端末装置200または測定装置300に記憶するようにしてもよい。
制御部130は、管理サーバ100の全体の動作を制御するものであり、CPU(Central Processing Unit)等から構成される。また、図3に示されるように、制御部130は、データ管理部131、生体データ生成部132、ユーザ状態情報生成部133、データ出力部134といった機能部を含む。
データ管理部131は、測定装置300を利用するユーザごとに、ユーザ識別情報を設定する。例えば、ユーザ識別情報がアカウント情報である場合には、アカウント情報の生成は、測定装置300を利用するユーザがユーザ端末装置200でアカウント情報を登録すると行われる。そのため、データ管理部131は、ユーザのユーザ端末装置200に対してアカウントごとに記憶部120内の各種DBへのアクセスの可否の制御を行う。データ管理部131は、測定データや生体データ、ユーザ状態情報等の各種データを対応するDBにユーザ識別情報を含むユーザ情報に関連付けて記憶する。また、このとき、データ管理部131は、測定データに所定のタグ情報の関連付けを行って記憶させてもよい。
図4は、図3の測定データに関連付けされるタグ情報の例を示す模式図である。図4に示すデータD1は、測定装置300の測定データである。タグT1は、データD1に関連付けされたタグ情報であり、例えば、測定装置300がデータD1を測定した時刻情報、またはデータD1が測定装置300からユーザ端末装置200へ送信された時刻情報が時系列データとして記憶される。もしくは、測定した時刻情報と送信された時刻情報との両方について関連付けを行っても良い。例えば、図4に示すタグT1の1行目では、「20180620120746144」が格納されているが、2018年06月20日12時07分46秒144ミリ秒を示している。このような時刻情報は通信ログより取得可能である。これにより、測定データがどの時間帯のものか把握することが可能である。
なお、このようなタグ情報による測定データの関連付けは、時刻情報に限られず、ユーザの身体状態や行動内容を示す身体情報や行動情報を自由記載でユーザに記入させてタグ情報として記憶してもよいし、所定の選択肢からユーザに選択させ(例えば、「現在の体調は如何ですか?」という質問に対して、「1:良い、2:普通、3:悪い」のいずれかを選択させる、等)、その選択した回答を記憶するようにしてもよい。さらには、例えば他の計測データや生体データ(例えば歩行速度情報や歩幅情報、装着部位の動作情報、姿勢情報、重心の位置情報、心拍情報など)に基づき、所定行動(例えば、坐位、立位、臥位、歩行、走行、睡眠、起床、就寝、食事、運転、安静時など)を既知の方法により推定するようにして生体データ等にタグ情報(行動種別情報)として関連付けてもよい。この時、例えば、教師用計測データに基づき学習された学習モデルにより推定してもよいし、さらに、上述のユーザによる記録の結果により追加学習を行うことで、学習モデルをパーソナライズしてもよい。これにより、制御部150にてBMI情報や体重情報、体脂肪率情報などの生体データを生成する際に、当該タグ情報と生体データとを対応付けすることで、より精度の高い生体データを生成可能となると共に、それに基づき生成されるユーザ状態情報もよりパーソナライズされたデータとなり得る。
生体データ生成部132は、測定データDB121に記憶された測定データに対して所定の演算を行い、生体データを生成する。生体データの生成においては、測定データを演算することで直接生成されるものに限らず、別途生成された一以上の生成済み生体データに基づき新たな生体データを生成するようにしてもよい。生体データは、例えばユーザのBMI情報、体重情報、体脂肪率情報、血圧情報、心拍情報、血中酸素量情報、最大酸素摂取量情報、心電情報、呼吸数、体温情報、血糖値情報、歩数情報、歩幅情報、重心の位置情報、姿勢情報、行動種別情報、ストレス情報、運動量情報、運動負荷情報、移動距離情報、歩行速度情報、活動量情報、手または脚等の動作情報などのデータであり、既知の手法により測定データなどから算出されるものであるが、これらに限定されるものでもない。演算により生成された生体データは、生体データDB122に記憶される。なお、生体データ生成部132は、管理サーバの制御部に設ける場合に限らず、測定装置300内の制御部であったり、ユーザ端末装置200内の制御部に設けられていてもよい。
また、既知の学習器などにより、例えば測定データと、当該測定データに基づき生成された生体データ(例えばBMI情報や体重情報、体脂肪率情報、心拍情報、血圧情報など)と正の生体データ(例えば、既知の測定装置や医療機器、算出式等に基づくBMI情報や体重情報、体脂肪率情報、心拍情報や血圧情報など)との対応関係(例えば、誤差の程度や範囲を示す情報などが含まれていてもよい)により対応付けた教師データを基に学習モデルを予め作成し、生体データ生成部132は、当該学習モデルを用いた判定を上述の所定の演算(解析)として生体データを生成してもよい。
ここで、測定データである、少なくとも赤外または赤のいずれかの発光を行うLEDから各光を皮膚に照射し、フォトダイオードで受光した光の受光量(すなわち、反射量、反射光の強度)に関する受光量データから、生体データであるBMI情報または体重情報、体脂肪率情報の少なくともいずれかを生成する方法を例示する。図5は、事前に被測定者の手首に装着された測定装置300で測定される受光量データと被測定者の実際のBMI値とを互いに関連付けた教師データを基にBMI推定学習モデルを作成して管理サーバ内または外のいずれかの記憶部に記憶しておき、別途測定装置300で測定された受光量データをBMI推定学習モデルに入力することで推定されたBMI値(BMI情報)が縦軸であり、当該受光量データに対応する被測定者の実際のBMI値を横軸とした時の相関を示す図(被測定者は400人程度)である。このように、出願人は、受光量データとBMI値に相関があることを発見したことにより、受光量データとBMI値とを互いに関連付けた教師データを基にBMI推定学習モデルを作成することで、測定装置300(例えばウェアラブルデバイス)から取得した受光量データのみでBMI情報の生成を可能とした。また、受光量データは、赤外または赤のいずれかの発光を行うLEDを用いることを例示したが、赤外及び赤の発光を行う両LEDのデータに基づき学習したBMI推定学習モデルを用いることで、さらにBMI値の推定精度が向上する。さらに、一般的にBMI値は、体重kgを身長mの二乗で除算することで求められることが知られていることを鑑みれば、推定されたBMI情報と予め登録されたユーザの身長情報から体重情報を生成することも可能である。また、受光量データと体重値とを互いに関連付けた教師データを基に体重推定学習モデルを作成して管理サーバ内または外のいずれかの記憶部に記憶しておき、別途測定装置300で測定された受光量データを体重推定学習モデルに入力することで推定された体重情報を生成してもよい。さらに、受光量データと体脂肪率とを互いに関連付けた教師データを基に体脂肪率推定学習モデルを作成して管理サーバ内または外のいずれかの記憶部に記憶しておき、別途測定装置300で測定された受光量データを体脂肪率推定学習モデルに入力することで推定された体脂肪率情報を生成してもよい。なお、上述の例において測定装置300は手首に装着されるものであったが、これに限らず発光量を適切に調整することにより、被測定者のいずれの部位に装着されるものであってもよく、例えば、指、腕、首、頭、耳、こめかみ、頭、胸、胴、腰、背中、腹、脚、足首、足裏などであり得る。また、上述の例においてユーザはヒトであったが、これに限らず発光量を適切に調整することにより、ユーザ(被測定対象)がヒト以外の動物(特に恒温動物、哺乳類、愛玩動物、家畜など)であってもよい。
また、測定データから生体データである最大血圧と最小血圧を算出する方法を例示する。図6は、図1の測定装置300で測定される心電波形及び脈波の例について説明するための図であり、測定装置300が測定し、記憶部120に記憶されたユーザの心電波形及び光電式容積脈波形と、アプリが光電式容積脈波形を時間で1階微分した速度脈波形及び、光電式容積脈波形を時間で2階微分した加速度脈波形を示している。図6は上から順に、心電波形、光電式容積脈波形、速度脈波形及び加速度脈波形となる。縦軸は、各波形の強度を示しており、心電波形及び光電式容積脈波形は電位を示すmVで表される。横軸は時間経過を示し、左から右へ時間経過を示している。
心電波形は、人の心臓の拍動を引き起こす電気的信号の周期的変化を示す波形である。心電波形は、その形状の変曲点にそれぞれP波,Q波,R波,S波,T波の名称が割り当てられ、心拍の1サイクルを示している。P波は心房収縮を表し、Q波R波S波は心室収縮の状態を表し、T波は心室拡張の開始を表す。
光電式容積脈波形は、人の心臓の拍動に伴う末梢血管系内の血圧・体積の変化を示す波形である。光電式容積脈波形は、その形状の変曲点にそれぞれA波、P波、V波、D波の名称が割り当てられ、心拍の1サイクルを示している。A波を動脈脈波が生じた時点の基準点として、P波が左心室駆出によって生じるPercussion波(衝撃波)、V波が大動脈弁の閉鎖時に生じるValley波(重複***による波)、D波が反射振動波であるDicrotic波(重複波)を示している。
速度脈波形は、光電式容積脈波形を時間で1階微分をしたものである。加速度脈波形は、速度脈波形を時間で1階微分したもの、すなわち光電式容積脈波形を2階微分したものである。加速度脈波形は、図6で示すように、その波形の各ピークにa波(収縮初期陽性波)、b波(収縮初期陰性波)、c波(収縮中期再上昇波)、d波(収縮後期再下降波)、e波(拡張初期陽性波)、f波(拡張初期陰性波)の名称が割り当てられている。
b波の強度とa波の強度の比、及びf波の強度とe波の強度の比はそれぞれ血管の伸縮性すなわち弾性を示すパラメータである。主な血管の成分は、血管内皮(Endothelium)、弾性線維(Elastin)、タンパク質(Collagen)、平滑筋(Smooth Muscle)である。これらの成分は、それぞれ異なった性質があり、最大血圧、最小血圧時の血管の弾性はそれぞれCollagen、Elastinが強い影響力を担っている。そのため、血圧値によって異なる弾性をb波の強度とa波の強度の比である(b/a),f波の強度とe波の強度の比である(f/e)のパラメータで示すことができ、年齢・性別・環境変数の影響によってもこれらの値は変動する。そのため、(b/a),(f/e)の値は、加速度脈波形の特性情報として算出することができる。
図6で示すようにR波の生じた時間TrとP波の生じた時間Tpの差分の時間が心室収縮期脈波伝搬時間PTT_SYSとなる。T波の生じた時間TtとD波の生じた時間Tdの差分の時間が心室拡張期脈波伝搬時間PTT_DIAとなる。すなわち、心電波形のR波の時間Tr及びT波の時間Ttと、光電式容積脈波形のT波の時間TpとD波の時間Tdから、(1)式及び(2)式で示すように、心室収縮期脈波伝搬時間PTT_SYS及び心室拡張期脈波伝搬時間PTT_DIAを算出することができる。
PTT_SYS=Tp-Tr ・・・(1)
PTT_DIA=Td-Tt ・・・(2)
心電波形を測定する第1電極及び第2電極と、光電式容積脈波形の測定する光学センサモジュールを、手首を介して対向させ、配置距離を離すことにより、心電波形の検出部位と光電式容積脈波形の測定部位を離すことになる。そのため、それぞれの特徴波形が生じるタイムラグを生じさせることにより、心室収縮期脈波伝搬時間PTT_SYS及び心室拡張期脈波伝搬時間PTT_DIAの絶対的な算出時間を長くとることができる。そのため、心室収縮期脈波伝搬時間PTT_SYS及び心室拡張期脈波伝搬時間PTT_DIAの変化情報を得る場合に、変化情報の精度を高めることができる。
ここで、血圧の算出式について説明する。
以下に示す(3)式の脈波伝搬速度の式(Moens―Korteweg の式)より、脈波伝播速度と動脈壁の縦弾性係数との関係が示されている。
L/T_PTT=√(E・h/(2・r・ρ)) ・・・(3)
(3)式の各パラメータは、L:測定間距離、T_PTT:脈波伝搬時間、r:血管内径、E:血管の縦弾性係数、h:血管の厚さ、ρ:血液密度である。
縦弾性係数と血圧値は相関関係にあることが知られており、
E=E・exp(α・P) ・・・(4)
で示すことができる。ここで、P:血圧値、α:定数、E:初期値である。
(3)式と(4)式より
P=(-2・ln(T_PTT)+ln(2・r・ρ・L/(E・h)))/α ・・・(5)
を導き出すことができる。lnは自然対数を示している。このとき、”r・ρ”は測定部位の血液量に比例するため、光電式容積脈波形で示される高値(Vp、Vd)で示すことができる。又、”E・h”は血管の弾性に比例する値であるため、弾性を示すパラメータである(b/a)と(f/e)を用いて置き換えることができる。
よって、最高血圧BP_SYS(Blood Pressure_Systolic)及び最低血圧BP_DIA(Blood Pressure_Diastolic)は、以下で示す(6)式及び(7)式で示すことができる。
BP_SYS=A1・ln(PTT_SYS)+A2・ln(Vp)+A3・ln(b/a)+A4 ・・・(6)
BP_DIA=A5・ln(PTT_DIA)+A6・ln(Vd)+A7・ln(f/e)+A8 ・・・(7)
A1からA8は条件により定まる定数である。(6)式で算出することができる最高血圧BP_SYSは、心室収縮期脈波伝搬時間PTT_SYSの自然対数に定数A1を掛けたものと、P波の強度Vpの自然対数に定数A2を掛けたものと、(b/a)の自然対数に定数A3を掛けたものと、定数A4の和で求めることができる。(7)式で算出することができる最低血圧BP_SYSは、心室収縮期脈波伝搬時間PTT_DIAの自然対数に定数A5を掛けたものと、D波の強度Vdの自然対数に定数A6を掛けたものと、(f/e)の自然対数に定数A7を掛けたものと、定数A8の和で求めることができる。装置の特性や、測定対象者等により各定数を求めることにより、最高血圧BP_SYSと最低血圧BP_DIAを求めることが可能である。しかし、最高血圧BP_SYSと最低血圧BP_DIAの変化状態を確認する場合には、すべての定数を確定する必要はなく、暫定の数値で代用しながら、最高血圧BP_SYSに関する情報と最低血圧BP_DIAに関する情報としての値を得ることが可能である。P波の強度Vpの自然対数及びD波の強度Vdの自然対数は、血液密度の影響を考慮した項である。また、(b/a)の自然対数及び(f/e)の自然対数は、動脈壁の縦弾性係数の影響を考慮した項である。そのため、測定条件によっては、いずれかの項を選択し他の項を定数化することで最高血圧BP_SYSに関する情報と最低血圧BP_DIAに関する情報の演算を行ってもよい。
また、生体データ生成部132は、例えば被測定者が装着している測定装置300の温度センサ(サーミスタ等)により測定される被測定者の皮膚温度情報から温度情報を生体データとして得ることができる。
また、測定データから生体データである歩行速度情報を算出する方法を例示する。例えばユーザが手首に装着している測定装置300により測定される加速度データの波形データから既知の算出方法等を単体で用いる、または、組み合わせて用いる(例えば平均化したり、重みづけしたりなど)ことにより歩行速度情報を得ることができ、例えば加速度データを所定時間ごとに積分することで歩行速度情報が算出される。これに加えて、ユーザ端末装置200または測定装置300にGPS機能を備え、GPSによる位置情報及び当該位置情報に関連する時間情報から算出される歩行速度情報を参照して、より正確な歩行速度情報を得るようにしてもよい。しかしながら、特に屋内や地下である場合や移動距離が比較的短い場合(例えば、数メートル以内など)にはGPS精度が一般的に低下するため、例えばユーザがユーザ端末装置200を操作してGPSによる情報を組み合わせて用いるか(または、加速度センサによる算出に代えて用いるか)どうかを選択可能にしてもよいし、ユーザ端末装置200においてGPSの受信感度情報や、GPSや加速度センサにより算出された距離情報などに基づいて、当該GPSによる情報を用いるかを選択するようにしてもよい。このように歩行速度情報を算出することで、フレイル予防等において把握が必要なヒトの筋肉量を測る既知の指標の1つである「歩行速度」について、容易に(特に日常的に)計測することが可能である。また、スマートフォンや携帯電話等でも加速度センサを有しているが、体のどこの動きか特定することが困難なデバイスであるため、ウェアラブルデバイスのようにユーザが手首等に装着している測定装置300を用いることで、行動情報のトラッキングを容易に行うことが可能である。
また、測定データから生体データである歩幅情報を算出する方法を例示する。例えばユーザが手首に装着している測定装置300により測定される加速度データの波形データから既知の算出方法等を単体で用いる、または、組み合わせて用いる(例えば平均化したり、重みづけしたりなど)ことにより歩幅情報を得ることができ、例えば、歩く時には振り子のように手を振るため、上述の加速度センサの情報(例えば、進行方向の加速度成分が一番小さいタイミングまたは逆方向に切り替わるタイミングや、進行方向に対して垂直な方向の加速度成分が一番小さいタイミングまたは上下が切り替わるタイミングなど)を基に1歩の間隔が判別できるため、さらに時間情報を用いれば歩幅情報を得ることができる。他には、例えば、地面を蹴り出した際には、蹴り出た方向の加速度成分が合成されるので、当該方向の加速度成分の発生タイミングで1歩の間隔を判別することでも可能である。このように歩幅情報を算出することで、認知症の進行度合いを推定するために役立つとされる歩幅が短くなり始めたタイミングや歩幅のばらつき具合を正確に把握することが可能である。さらに、歩行時の左右の揺れ量(例えば揺れ幅や揺れ速度など)を上述の加速度データから算出することで、バランス感覚の衰えを算出するようにしてもよい。
さらに、上述のGPSや加速度センサにより算出された距離情報や上述の歩幅情報及び歩数情報(例えば、加速度センサからの情報に基づき、既知の方法で取得可能)などに基づき算出される運動量情報も生体データとして算出されてもよい。
また、生体データ生成部132は、例えば被測定者が装着している測定装置300により測定される加速度データおよび角速度データから、測定装置300を装着している部位(例えば、手首や足首など)がどれくらいの速度でどのような角度で動いているのかという動作情報を生体データとして得ることができる。
また、生体データ生成部132は、例えば被測定者が装着している測定装置300により測定される加速度データを周波数解析し、例えば周波数の高低が活動頻度の高低に対応付けられ、所定頻度以上の活動が1日の何割を占めているか、などの所定条件により算出することで活動量情報を生体データとして得ることができる。
また、生体データ生成部132は、例えば被測定者が装着している測定装置300により測定される加速度データから既知の算出方法等により歩行を含む運動をしている際の加速度データを特定できるので、例えば周波数解析などを用いて所定の条件により算出することで運動量情報を生体データとして得ることができる。また、角速度情報などの付加情報をさらに用いると、より正確な運動量情報を得ることが可能である。
また、生体データ生成部132は、例えば被測定者が装着している測定装置300により測定される加速度データから導出した上記活動量情報や上記運動量情報に対して、例えば運動負荷と共に大きくなる心拍情報により重みづけをすることで運動負荷量情報を生体データとして得ることができる。また、例えば加速度データのベクトル情報を加味すれば、歩行環境(坂や階段など)や姿勢(立位、座位など)などの状態情報も特定できるので、当該状態情報をさらに用いてもよい。また、角速度情報などの付加情報をさらに用いると、より正確な運動負荷量情報を得ることが可能である。
また、生体データ生成部132は、例えば心拍数情報を用いて、VOmax=15×(220-年齢)÷心拍数(特に安静時心拍数)という公知の数式などにより最大酸素摂取量情報を生体データとして得ることができる。
ユーザ状態情報生成部133は、所定期間内の一以上の生体データと対応する基準生体データまたは過去の生体データとの比較結果に応じて、各生体データの比較結果に対して、または、総合的に比較結果を組み合わせて、ユーザ状態の評価(例えば、健康状態の評価やダイエットの進捗評価など)を行い、評価に応じた評価情報をユーザ状態情報として生成してもよい。評価情報は、例えば、例えば何れの基準生体データを超えているか(または超えていないか)を示す情報であってもよいし、基準生体データを境界として設定されるグルーピングに対して何れのグループに該当するか(例えば、評価A-Fのグループ、健常・予備軍・要注意グループなどの段階的な評価区分グループなど)を示す情報であってもよい。
データ出力部134は、計測データや生体データ、ユーザ状態情報などをユーザ端末装置200(ここでいうユーザは被測定者であってもよいし、その他の異なる者(例えば、近親者、医師、介護者、研究者などであってもよい。))へ出力する。ユーザ端末装置200においては、出力データを例えば専用のアプリケーションを介して画面に表示するなどしてユーザが容易に確認可能としても良い。また、上記のように複数の基準生体データを設定して複数のグループを設けた場合には、所定の基準生体データ以上のグループに該当した場合には所定の通知(例えばBMI値や体重、体脂肪率が高いことを通知するアラート通知や減量を促すための情報を通知するアドバイス通知など)を送信する(例えば、通知情報DB(不図示)の各種通知の中から所定の条件に応じて選択して送信するなど)ようにしてもよく、いずれの基準生体データを超えたかによって通知の内容を変更するようにしてもよい(例えば、超えた基準値が高いほど、表記や色、文字などの表示が強調された通知となるなど)。もしくは、例えばタグ情報を用いて、起床時の生体データ、食前の生体データ、食後の生体データ、就寝時の生体データの少なくともいずれかを抽出して、一以上の日数に関する抽出生体データ(例えば、二以上の日数である場合には、抽出生体データの推移など)や当該抽出生体データの所定期間ごとの平均値や中央値などの統計値を出力するようにしてもよい。
入出力部140は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
<処理の流れ>
図7を参照しながら、情報処理システム1が実行する情報処理方法の処理の流れについて説明する。図7は、図1の情報処理システム1の処理の例を示すフローチャートである。
ステップS101の処理として、データ管理部131では、測定装置300を利用するユーザごとにアカウント情報が生成され、ユーザ端末装置200等から所定のユーザ情報を取得する。登録されたユーザ情報は、データ管理部131により、ユーザ情報DB124に記憶される。ステップS101の処理は、ユーザが測定装置300を利用するための前処理として行われてもよいし、ユーザが測定装置300を初めて利用する際に行われてもよい。
ステップS102の処理として、ユーザが測定装置300を利用すると、測定データが測定装置300からユーザ端末装置200を介して管理サーバ100へ送信され、通信部110を介して受信される。データ管理部131により、記憶部120の測定データDB121内においてユーザ情報に関連付けられて測定データが記憶される。
ステップS103の処理として、生体データ生成部132により測定データが読み取られ、所定の演算等により生体データの生成が行われる。生成された生体データは、データ管理部131により、生体データDB122に記憶される。
ステップS104の処理として、ユーザ状態情報生成部133により測定データまたは生体データが読み取られ、ユーザ状態情報の生成が行われる。生成されたユーザ状態情報は、データ管理部131により、ユーザ状態情報DB123に記憶される。
ステップS105の処理として、データ出力部134により測定データ、生体データ、ユーザ状態情報のうち少なくともいずれか1つが読み取られ、ユーザ端末装置200へ出力される。
<効果>
以上のように、本実施形態に係る情報処理システムは、生体データ生成部132を介して、測定データに基づき、特に少なくともユーザのBMI情報または体重情報、体脂肪率情報のいずれかを生成する。これにより、例えばウェアラブルデバイスにより被測定者に関するBMI情報または体重情報、体脂肪率情報の把握が可能となる。
以上、開示に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換および変更を行なって実施することが出来る。これらの実施形態および変形例ならびに省略、置換および変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。
1 情報処理システム
100 管理サーバ
200 ユーザ端末装置
300 測定装置
NW ネットワーク

Claims (6)

  1. ネットワークを介してユーザが装着する測定装置から測定データを受信し、前記測定データから生体データの生成を行う情報処理システムであって、
    前記測定装置は、少なくとも赤外または赤のいずれかの発光を行うLED及びフォトダイオードを備え、
    前記LEDから光を前記ユーザの皮膚に照射して前記フォトダイオードで受光することで得られる受光量データを対応する学習モデルに入力することでBMI情報または体重情報、体脂肪率情報の少なくともいずれかを生成する生体データ生成部を備える、
    ことを特徴とする情報処理システム。
  2. 前記生体データ生成部は、前記赤外の発光を行うLEDからの光および前記赤の発光を行うLEDからの光の両受光量データに基づいて前記BMI情報または体重情報、体脂肪率情報の少なくともいずれかを生成する、
    ことを特徴とする請求項1に記載の情報処理システム。
  3. ネットワークを介してユーザが装着する測定装置から測定データを受信し、前記測定データから生体データの生成を行うサーバであって、
    前記測定装置は、少なくとも赤外または赤のいずれかの発光を行うLED及びフォトダイオードを備え、
    前記LEDから光を前記ユーザの皮膚に照射して前記フォトダイオードで受光することで得られる受光量データを対応する学習モデルに入力することでBMI情報または体重情報、体脂肪率情報の少なくともいずれかを生成する生体データ生成部を備える、
    ことを特徴とするサーバ。
  4. ネットワークを介してユーザが装着する測定装置から測定データを受信し、前記測定データから生体データの生成を行う情報処理方法であって、
    前記測定装置は、少なくとも赤外または赤のいずれかの発光を行うLED及びフォトダイオードを備え、
    生体データ生成部により、前記LEDから光を前記ユーザの皮膚に照射して前記フォトダイオードで受光することで得られる受光量データを対応する学習モデルに入力することでBMI情報または体重情報、体脂肪率情報の少なくともいずれかを生成するステップを含む、
    ことを特徴とする情報処理方法。
  5. ネットワークを介してユーザが装着する測定装置から測定データを受信し、前記測定データから生体データの生成を行う情報処理方法を情報処理システムに実行させるプログラムであって、
    前記測定装置は、少なくとも赤外または赤のいずれかの発光を行うLED及びフォトダイオードを備え、
    前記情報処理方法は、
    生体データ生成部により、前記LEDから光を前記ユーザの皮膚に照射して前記フォトダイオードで受光することで得られる受光量データを対応する学習モデルに入力することでBMI情報または体重情報、体脂肪率情報の少なくともいずれかを生成するステップを含む、
    ことを特徴とするプログラム。
  6. 少なくとも赤外または赤のいずれかの発光を行うLED及びフォトダイオードを備える測定装置の前記LEDから光をユーザの皮膚に照射して前記フォトダイオードで受光することで得られる受光量データが入力されると、前記ユーザのBMI値及び体重、体脂肪率の少なくともいずれかを推定してBMI情報及び体重情報、体脂肪率情報の少なくともいずれかを出力するための学習モデルであって、
    前記学習モデルは、前記受光量データとBMI値または体重、体脂肪率の少なくともいずれかを関連付けて教師データとして学習される、
    ことを特徴とする学習モデル。


JP2022124950A 2022-07-28 2022-08-04 情報処理システム、サーバ、情報処理方法、プログラム及び学習モデル Active JP7240052B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022124950A JP7240052B1 (ja) 2022-07-28 2022-08-04 情報処理システム、サーバ、情報処理方法、プログラム及び学習モデル

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022120217 2022-07-28
JP2022124950A JP7240052B1 (ja) 2022-07-28 2022-08-04 情報処理システム、サーバ、情報処理方法、プログラム及び学習モデル

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022120217 Division 2022-07-28 2022-07-28

Publications (2)

Publication Number Publication Date
JP7240052B1 JP7240052B1 (ja) 2023-03-15
JP2024018807A true JP2024018807A (ja) 2024-02-08

Family

ID=89808332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022124950A Active JP7240052B1 (ja) 2022-07-28 2022-08-04 情報処理システム、サーバ、情報処理方法、プログラム及び学習モデル

Country Status (1)

Country Link
JP (1) JP7240052B1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019527603A (ja) * 2016-08-18 2019-10-03 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 呼吸タイプを決定するためのセンサーシステム及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019527603A (ja) * 2016-08-18 2019-10-03 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 呼吸タイプを決定するためのセンサーシステム及び方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AKMAN, M. ET AL.: "Determination of Body Fat Percentage by Gender Based with Photoplethysmography Signal Using Machine", IRBM, vol. 43, no. 3, JPN6022035950, June 2022 (2022-06-01), pages 169 - 186, ISSN: 0004907098 *
SOMMERMEYER, DIRK ET AL.: "Detection of cardiovascular risk from a photoplethysmographic signal using a matching", MEDICAL & BIOLOGICAL ENGINEERING & COMPUTING, vol. 54, JPN6022035949, 2016, pages 1111 - 1121, ISSN: 0004907099 *

Also Published As

Publication number Publication date
JP7240052B1 (ja) 2023-03-15

Similar Documents

Publication Publication Date Title
Pires et al. Limitations of energy expenditure calculation based on a mobile phone accelerometer
JP7033362B1 (ja) 情報処理システム、サーバ、情報処理方法及びプログラム
JP6919959B1 (ja) 情報処理システム、サーバ、情報処理方法及びプログラム
WO2022009817A1 (ja) サーバ、ユーザ支援システム、ユーザ支援方法及びプログラム
WO2022097592A1 (ja) 情報処理システム、サーバ、情報処理方法及びプログラム
WO2022054797A1 (ja) 情報処理システム、サーバ、情報処理方法及びプログラム
JP6887194B1 (ja) 情報処理システム、サーバ、情報処理方法及びプログラム
JP7240052B1 (ja) 情報処理システム、サーバ、情報処理方法、プログラム及び学習モデル
JP2024018876A (ja) 情報処理システム、サーバ、情報処理方法、プログラム及び学習モデル
JP7033363B1 (ja) 情報処理システム、サーバ、情報処理方法及びプログラム
JP7065550B1 (ja) 情報処理システム、サーバ、情報処理方法及びプログラム
JP6934219B1 (ja) 情報処理システム、サーバ、情報処理方法及びプログラム
JP7097111B2 (ja) 情報処理システム、サーバ、情報処理方法及びプログラム
JP2023125114A (ja) 情報処理システム、サーバ、情報処理方法及びプログラム
WO2021246346A1 (ja) 情報処理システム、サーバ、情報処理方法及びプログラム
JP6945908B1 (ja) 情報処理システム、サーバ、情報処理方法及びプログラム
JP7015602B1 (ja) 生体情報測定装置
JP5807700B2 (ja) カロリー消費量計算装置及びカロリー消費量計算方法
JP2023036500A (ja) 情報処理システム、サーバ、情報処理方法及びプログラム
JP2023036501A (ja) 情報処理システム、サーバ、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220804

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221021

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230120

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230120

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230127

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230224

R150 Certificate of patent or registration of utility model

Ref document number: 7240052

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150