JP7325740B2 - 見え方シミュレーション方法及びプログラム - Google Patents
見え方シミュレーション方法及びプログラム Download PDFInfo
- Publication number
- JP7325740B2 JP7325740B2 JP2021036821A JP2021036821A JP7325740B2 JP 7325740 B2 JP7325740 B2 JP 7325740B2 JP 2021036821 A JP2021036821 A JP 2021036821A JP 2021036821 A JP2021036821 A JP 2021036821A JP 7325740 B2 JP7325740 B2 JP 7325740B2
- Authority
- JP
- Japan
- Prior art keywords
- visual acuity
- resolution
- image
- appearance
- acuity value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Eye Examination Apparatus (AREA)
Description
また今日では、視力値に応じた見え方をシミュレーションした画像(以下「シミュレーション画像」ともいう)の生成が可能になっているが、シミュレーション画像を表示する表示デバイスの解像度の違いが考慮されていない。例えば4Kディスプレイ用に作成したシミュレーション画像をハイビジョンディスプレイ(すなわち1Kディスプレイ)に表示したのでは、解像度の不足により本来の見え方にならない。
請求項2に記載の発明は、被対象者の見え方をコンピュータがシミュレーションする方法であって、被対象者の見え方をシミュレーションした画像が表示される表示デバイスの解像度を取得する処理と、取得された前記解像度に応じ、前記表示デバイスが表現可能な最小視角を設定する処理と、設定された前記最小視角と前記解像度とを用い、任意の視力値に応じた見え方をシミュレーションするぼかし処理の強度値を、前記表示デバイス用に決定する処理と、シミュレーションする視力値を受け付ける処理と、前記視力値に応じた被対象者の見え方をシミュレーションした前記画像を、前記解像度を用いて生成する処理と、を有する見え方シミュレーション方法である。
請求項3に記載の発明は、前記視力値に応じた被対象者の見え方をシミュレーションした前記画像を、前記解像度を用いて生成する前記処理では、前記視力値と前記解像度とに応じて特定される強度値を有するぼかし処理が、予め用意した画像に加えられる、請求項2に記載の見え方シミュレーション方法である。
請求項4に記載の発明は、設定された前記最小視角と前記表示デバイスの前記解像度とを用い、任意の視力値に応じた見え方をシミュレーションするぼかし処理の強度値を、前記表示デバイス用に決定する前記処理では、設定された前記最小視角と前記解像度とを用い、仮想空間上のランドルト環を撮像するバーチャルカメラの焦点距離を決定する処理と、決定された前記焦点距離を有する前記バーチャルカメラで撮像された前記ランドルト環の見え方をシミュレーションするぼかし処理の強度値を、視力値毎に決定する処理と、が実行される、請求項2又は3に記載の見え方シミュレーション方法である。
請求項5に記載の発明は、被対象者の見え方をコンピュータがシミュレーションする方法であって、被対象者の見え方をシミュレーションした画像が表示される表示デバイスの解像度を取得する処理と、シミュレーションする視力値を受け付ける処理と、前記視力値に応じた被対象者の見え方をシミュレーションした前記画像を、前記解像度を用いて生成する処理と、を有する見え方シミュレーション方法であり、前記表示デバイスの解像度は、被対象者の見え方をシミュレーションした前記画像が表示されるウィンドウの大きさにより定まる、見え方シミュレーション方法である。
請求項6に記載の発明は、被対象者の見え方をコンピュータがシミュレーションする方法であって、被対象者の見え方をシミュレーションした画像が表示される表示デバイスの解像度を取得する処理と、シミュレーションする視力値を受け付ける処理と、前記視力値に応じた被対象者の見え方をシミュレーションした前記画像を、前記解像度を用いて生成する処理と、を有する見え方シミュレーション方法であり、前記画像は、画素毎に視線方向の距離の情報を有する画像であり、前記視力値が距離毎に与えられる場合、前記画像として、距離に応じた見え方がシミュレーションされる、見え方シミュレーション方法である。
請求項7に記載の発明は、コンピュータに、被対象者の見え方をシミュレーションした画像が表示される表示デバイスの解像度を取得する機能と、シミュレーションする視力値を受け付ける機能と、前記視力値に応じた被対象者の見え方をシミュレーションした前記画像を、前記解像度を用いて生成する機能と、を実現させるためのプログラムであり、前記視力値に応じた被対象者の見え方をシミュレーションした前記画像を、前記解像度を用いて生成する前記機能では、前記視力値と前記解像度とに応じて特定される強度値を有するぼかし処理が、予め用意した画像に加えられる、プログラムである。
請求項8に記載の発明は、コンピュータに、被対象者の見え方をシミュレーションした画像が表示される表示デバイスの解像度を取得する機能と、取得された前記解像度に応じ、前記表示デバイスが表現可能な最小視角を設定する機能と、設定された前記最小視角と前記解像度とを用い、任意の視力値に応じた見え方をシミュレーションするぼかし処理の強度値を、前記表示デバイス用に決定する機能と、シミュレーションする視力値を受け付ける機能と、前記視力値に応じた被対象者の見え方をシミュレーションした前記画像を、前記解像度を用いて生成する機能と、を実現させるためのプログラムである。
請求項9に記載の発明は、コンピュータに、被対象者の見え方をシミュレーションした画像が表示される表示デバイスの解像度を取得する機能と、シミュレーションする視力値を受け付ける機能と、前記視力値に応じた被対象者の見え方をシミュレーションした前記画像を、前記解像度を用いて生成する機能と、を実現させるためのプログラムであり、前記表示デバイスの解像度は、被対象者の見え方をシミュレーションした前記画像が表示されるウィンドウの大きさにより定まる、プログラムである。
請求項10に記載の発明は、コンピュータに、被対象者の見え方をシミュレーションした画像が表示される表示デバイスの解像度を取得する機能と、シミュレーションする視力値を受け付ける機能と、前記視力値に応じた被対象者の見え方をシミュレーションした前記画像を、前記解像度を用いて生成する機能と、を実現させるためのプログラムであり、前記画像は、画素毎に視線方向の距離の情報を有する画像であり、前記視力値が距離毎に与えられる場合、前記画像として、距離に応じた見え方がシミュレーションされる、プログラムである。
<実施の形態1>
<前提>
白内障の手術では、患者の眼球内から水晶体が取り出され、代わりに眼内レンズが装着される。
眼内レンズには様々な種類があり、近方用、遠方用、多焦点用に分類される。
眼内レンズは、種類やモデル番号等の違いにより、個々の焦点距離における視力値が異なる。このため、眼内レンズの種類やモデル番号等が異なれば、術後の見え方も相違する。
一方、眼科医等にとっても、術後の見え方を口頭で説明することは難しい。
そこで、術後の見え方をシミュレーションした画像(すなわちシミュレーション画像)を、患者と眼科医等が同じモニタ上で確認することで、認識のずれを少なくする工夫がなされている。
なお、ここでの各解像度に対応するディスプレイは、ハイビジョンディスプレイ、2Kディスプレイ(又はフルハイビジョンディスプレイ)、4Kディスプレイ、8Kディスプレイと呼ばれる。
ところが、現在提供されている技術では、シミュレーション画像を表示するディスプレイ(以下「モニタ」ともいう)の解像度の違いが考慮されていない。
図1は、実施の形態1で使用するネットワークシステム1の構成例を説明する図である。
図1に示すネットワークシステム1は、眼内レンズを挿入した後の見え方を、眼科医等が患者に説明する場面で使用される。
ここでの患者は、白内障の治療や老視の矯正のために眼内レンズを装着する人をいう。患者は、特許請求の範囲における「被対象者」の一例である。なお、特許請求の範囲における「観察者」には、眼科医等と患者が含まれる。もっとも、特許請求の範囲における「観察者」には、シミュレーション画像を観察する全ての人が含まれる。
ここでの眼科は、総合病院内に設けられた眼の診療科、眼の診療を専門とする病院やクリニックを含む医療機関の意味で使用する。
本実施の形態の場合、シミュレーション画像の観察者は2名である必要はなく、1名でもよいし、3名以上でもよい。
図1では、1つの眼科に1台のモニタが配置されているが、1つの眼科に複数台のモニタが配置されてもよい。
また、1つの眼科で使用するモニタの解像度は同じである必要はなく、全てが異なる解像度でもよい。
もっとも、ネットワーク30がLAN(=Local Area Network)でもよい。この場合、ネットワークシステム1は、医療機関内に構築される。
図1の場合、端末21Aにはモニタ20Aが接続され、端末21Bにはモニタ20Bが接続され、端末21Cにはモニタ20Cが接続されている。
以下では、端末21A、21B、21Cを区別しない場合、「端末21」という。また、モニタ20A、20B、20Cを区別しない場合、「モニタ20」という。モニタ20は、表示デバイスの一例である。
端末21とモニタ20の接続は、ケーブルによる接続でもよいし、無線による接続でもよい。
各端末21は、シミュレーション画像の出力先となるモニタ20の解像度と、術後の視力値の情報をサーバ10にアップロードする。ここでの視力値は、全ての距離に1つの場合もあれば、距離毎に与えられる場合もある。
前者の場合、出力先となるモニタ20の解像度の情報が、ストリーミング配信の度にアップロードされる。ストリーミング配信の度に解像度をアップロードすることにより、ストリーミング配信されるシミュレーション画像とモニタ20の解像度との不整合を回避される。
なお、シミュレーション画像をオフラインで表示するモニタ20の解像度が複数存在する場合、シミュレーション画像を表示する前に、表示するシミュレーション画像が想定する解像度とモニタ20の解像度とが一致するか否かを、表示の前に確認する。
本実施の形態の場合、シミュレーション画像として静止画像を想定するが、動画像でもよい。
術前には、患者の全距離視力の測定値が存在しないためである。全距離視力は、距離毎の視力値の集合として与えられる。もっとも、全距離視力を1つの視力値で与えてもよい。
視力値の情報は、全距離視力として与えることも可能であるが、装着する眼内レンズの種類やモデル番号等を特定する情報でもよい。以下では、「全距離視力」を「視力値(全距離)」とも表記する。
すなわち、サーバ10は、端末21からアップロードされたモニタ20の解像度と全距離視力の情報の組み合わせについて専用のシミュレーション画像を生成し、生成されたシミュレーション画像を対応する端末21に送信する。
例えば眼科Aのモニタ20Aに表示されるシミュレーション画像は、モニタ20Aの解像度に最適化されている。
本実施の形態におけるサーバ10は、シミュレーション画像の生成と提供をクラウドサービスとして提供する。その意味で、図1に示すサーバ10は、クラウドサーバである。
もっとも、シミュレーション画像の表示に使用するモニタ20の解像度が事前に登録されている場合には、サーバ10への解像度のアップロードを省略してもよい。
本実施の形態では、モニタ20の解像度と視力値の組み合わせに応じた強度値を、仮想空間上に設置したランドルト環の切れ目の平均明度値を実空間での見え方に近づける値として定義する。
もっとも、任意の解像度と任意の視力値の組み合わせに応じた「ぼかしフィルタ」の強度値を用意しておき、端末21からアップロードされた解像度と視力値の組み合わせに合致する強度値を読み出してシミュレーション画像を生成してもよい。
なお、「ぼかしフィルタ」の強度値と視力値との関係は、全ての距離で共通である。
本実施の形態では、距離画像としてコンピュータで予め生成した3次元画像(すなわち「コンピュータ画像」)を使用する。
すなわち、本実施の形態では、表示に用いるモニタ20の解像度と矯正後の視力値に応じた強度値を決定して距離画像をぼかし処理することにより、モニタ20の解像度に最適化したシミュレーション画像の生成を可能にする。
以下では、サーバ10の具体的な構成を説明する。
図2は、サーバ10のハードウェア構成の一例を説明する図である。
本実施の形態におけるサーバ10は、いわゆるシミュレータとして動作する。また、本実施の形態におけるサーバ10は、シミュレーション画像をクラウドサービスとして提供するクラウドサーバとして動作する。
プロセッサ11は、例えばCPU(=Central Processing Unit)やGPU(=Graphics Processing Unit)で構成される。プロセッサ11は、プログラムの実行を通じて各種の機能を実現する。
ハードディスク装置14は、シミュレーション画像の生成に用いられるプログラムの他、生成したシミュレーション画像14Aと、モニタ20の解像度と視力値の組み合わせに、対応する「ぼかしフィルタ」の強度値とを対応付けた強度値テーブル14Bと、距離画像14Cとを記憶する。
なお、ハードディスク装置14の代わりに、半導体メモリを使用してもよい。ハードディスク装置14は、補助記憶装置の一例である。
通信モジュール15は、端末21との通信に用いられるデバイスである。
以下では、図3~図13を使用して、シミュレーション画像の生成処理を説明する。
<処理動作の概要>
ここでは、図3と図4を使用して、処理動作の概要を説明する。
図3は、実施の形態1で使用するサーバ10と端末21との間で実行される処理動作の概要を説明する図である。図中に示す記号のSは、ステップの意味で使用する。
図3に示す処理動作は、見え方シミュレーション情報提供方法の一例である。なお、シミュレーション画像の生成までの処理動作は、見え方シミュレーション方法の一例である。
まず、端末21は、サーバ10に対し、モニタ20の解像度を送信する(ステップ1)。
ここでの解像度は、シミュレーション画像の表示に使用されるモニタ20の解像度である。
ただし、解像度が同じ複数のモニタ20にシミュレーション画像を表示する場合、送信される解像度は1つでよい。
サーバ10は、端末21に対応付けてモニタ20の解像度を登録する。因みに、解像度の登録は、施設名や眼科医等に紐づけてもよく、クラウドサービスの管理IDに紐づけてもよい。
取得した解像度と端末21の関係は、ハードディスク装置14(図2参照)に記憶される。
本実施の形態の場合、ステップ3までの処理動作は、モニタ20の登録時に実行される。以上で、サービスの準備が完了する。
眼科医等がシミュレーション画像の表示を求めると、端末21は、サーバ10に対し、視力値(全距離)を送信する(ステップ4)。ここでの視力値(全距離)は、例えば検討中の眼内レンズによる矯正後の視力値である。なお、視力値(全距離)のデータをアップロードする必要はなく、シミュレーションしたい視力値(全距離)を特定する情報(例えば眼内レンズの種類)をサーバ10にアップロードしてもよい。
図4には、5種類の眼内レンズについての距離別の視力値が例示されている。具体的には、「単焦点」レンズと、「多焦点+4.0」レンズと、「多焦点+3.25」レンズと、「多焦点+2.75」レンズと、「焦点深度拡張型」レンズが例示されている。
また、距離の代表例として、「500cm」、「300cm」、「100cm」、「70cm」、「50cm」、「40cm」、「30cm」が例示されている。
各眼内レンズと距離との交点に示す数値は、術後の視力値を表している。
因みに、「多焦点+4.0」レンズの場合、視力値の最大値は「500cm」の「1.03」であり、視力値の最小値は「70cm」の「0.72」である。「多焦点+4.0」レンズの場合、最大の視力値と最小の視力値との差分は「0.31」であり、視力値のバラツキが「単焦点」レンズよりも小さい。
いずれの眼内レンズも最大の視力値は「500cm」付近であったが、最小の視力値は必ずしも近距離とは限らない。このように、眼内レンズの種類により、全距離視力の内容は異なる。
一方のサーバ10は、端末21から視力値(全距離)を受け付ける(ステップ5)。このステップ5の処理を実行するプログラムの機能が「受付部」に相当する。
次に、端末21は、サーバ10に対し、モニタ20に表示する距離画像の選択を送信する(ステップ6)。距離画像は、シミュレーション画像の元画像を与える画像であり、日常生活における術後の見え方を確認するために用意されている。本実施の形態の場合、端末21は、距離画像を特定する情報をサーバ10に送信する。
サーバ10は、端末21から距離画像の選択を受け付ける(ステップ7)。
なお、視力値が距離毎に異なる場合、複数の強度値が読み出される。
因みに、視力値と強度値の関係は、全ての距離で共通である。換言すると、視力値が同じであれば、距離が違っても同じ強度値が適用される。
続いて、サーバ10は、読み出した強度値を、選択された距離画像に対するぼかし処理に適用してシミュレーション画像を生成する(ステップ9)。このステップ9の処理を実行するプログラムの機能が「生成部」に相当する。各距離に対応する各画素に適用する強度値は、各距離における視力値により定まる。
一方の端末21は、シミュレーション画像を受信すると(ステップ11)、モニタ20にシミュレーション画像を表示する(ステップ12)。
なお、図3では、生成したシミュレーション画像をストリーミング配信しているが、データファイルとして送信してもよい。
ここでの説明には、図5~図11を使用する。
図5は、実施の形態1における強度値テーブル14Bの生成動作の一例を説明するフローチャートである。この処理動作は、図3のステップ2及び3に対応する。
なお、図中に示す記号のSは、図3と同じくステップの意味で使用する。
まず、サーバ10は、シミュレーション画像14A(図2参照)を出力するモニタ20の解像度を取得する(ステップ111)。この処理は、図3のステップ2に相当する。
ここでの最高視力は、モニタ20による表現が可能な切れ目の最小値、すなわち1画素の切れ目を判別可能な視力値に相当する。
本実施の形態では、最高視力を1.2とする。換言すると、サーバ10により生成する各視力値の見え方を再現するシミュレーション画像の最高視力が1.2に定められる。なお、最高視力は、1.2に限らない。
最高視力が固定値として事前に指定される場合、ステップ112の処理は省略が可能である。
続いて、サーバ10は、設定された最高視力(すなわち最小画角)の下、バーチャルカメラのレンズの画角とモニタ20の画素数との関係式1を設定する(ステップ113)。
ステップ113で設定する関係式1は、ステップ112で設定された最高視力の測定が可能なバーチャルカメラ40のレンズの画角と任意のモニタ20の画素数との間に成立する一般的な関係を規定する。
図6(A)には、ヒトの視力測定の様子が表されている。図6(A)では、ランドルト環のサイズを誇張して表しているが、視力1.2に対応するランドルト環を5m先のヒトが観察する。
因みに、視力値と視角(分)の間には、次式が成立することが知られている。
視力=1/視角(分) …式1
従って、視力1.2が与えられると、視角が0.83333(分)と計算される。反対に、視角0.83333(分)が与えられると、視力1.2が計算される。
現実空間のランドルト環とは異なり、モニタ20に表示するランドルト環の切れ目は、モニタ20の1画素よりも小さくすることはできない。すなわち、モニタ20の1画素のサイズが、ランドルト環の切れ目を表現し得る最小サイズとなる。
そこで、仮想空間内に配置したモニタ20の1画素を5m離れた位置から観察する場合の画角を、バーチャルカメラ40のレンズの最小画角と定義する。
なお、バーチャルカメラ40の画角は、モニタ20による表示範囲に規制される。
本実施の形態では、図6(B)における最小画角と画角の関係を、1画素とモニタ20の画素数の関係により定義する。
具体的には、次式のように定義する。
最小画角(分):バーチャルカメラ40の画角(度)*60
=1画素:モニタ20の画素数 …式2
モニタ20の画素数
=バーチャルカメラ40の画角(度)×60/最小画角(分) …式3
最高視力が1.2の場合、最小画角は0.83333(分)であるので、式3の最小画角に0.83333(分)を代入すると、モニタ20に表示可能な最小視力を実現可能な、仮想空間上の視力測定に使用するバーチャルカメラ40の画角(度)とモニタ20の画素数の関係式1が得られる。
モニタ20の画素数
=バーチャルカメラ40の画角(度)×60/0.83333(分)
…関係式1
この関係式2は、次式により表現される。
画角=180/π×2×atan(撮像素子の長さ÷(2×焦点距離)))
…関係式2
ここでの「atan」は、逆三角関数を意味する。なお、撮像素子の長さには、一般的な36mm×24mmを想定する。
図7は、任意のモニタ20の画素数とバーチャルカメラ40の焦点距離との関係を定める対応表の一例を説明する図である。
図7に示す対応表は、「レンズの焦点距離」、「水平画角」、「垂直画角」、「相当画素数」の関係を表している。
図7に示す対応表は、指定された最高視力に対応するシミュレーション画像をモニタ20上に表示するために要求される各パラメータの一般式を表しており、ステップ116において使用される。
ここでの画素数は、ステップ111で取得した解像度から算出が可能である。例えば解像度が2048×1150で与えられる場合、画素数は、「2355200」で与えられる。
図7に示す対応表の場合、画素数の「2355200」は「2356728」に最も近い。
そこで、サーバ10は、バーチャルカメラ40の焦点距離として、画素数の「2356728」に対応する78mmを決定する。
この時点で、ステップ111で指定された解像度を有するモニタ20にステップ112で指定された最高視力の見え方を反映したシミュレーション画像の観察に使用するバーチャルカメラ40が定義されたことになる。
図8は、仮想空間内に配置するランドルト環の例を示す図である。縦軸は、視力値である。図8の場合、縦軸には、最高視力の1.2から最低視力の0.2まで、0.1刻みの視力値を配置している。横軸は、ランドルト環を配置する焦点距離であり、500cmから30cmまでの7つの距離が示されている。
例えば500cm先に設置されるランドルト環の直径は、視力値が1.2の場合であれば6.25mmでよいが、視力値が0.2の場合には37.50mmでないと切れ目を確認できない。この直径の差は概略6倍である。
図8の下段には、特定の視力値に応じた10個のランドルト環の例を描画している。
ステップ117では、これら10個のランドルト環が、ステップ116で決定されたバーチャルカメラ40で撮影される。
バーチャルカメラ40の前方には、図8で説明した各距離とサイズのランドルト環の集合が配列されている。
吹き出し中のランドルト環の集合は、バーチャルカメラ40で撮影されたランドルト環を表している。図8で説明したように、ランドルト環の直径は遠ざかるほど大きくなるが、バーチャルカメラ40から撮影されるランドルト環の直径は同じ大きさに見える。
また、ここでのバーチャルカメラ40は、最高視力の1.2に対応しているので、全て距離の全てのランドルト環の切れ目を判別することができる。
図10は、切れ目の平均明度の計測を説明する図である。(A)は計測の対象であるランドルト環を示し、(B)はランドルト環の切れ目部分を拡大した図を示す。
図10(B)では、ランドルト環の切れ目のエッジがボケている。このボケが「ぼかしフィルタ」の効果である。
因みに、最高視力の場合、撮影されるランドルト環はボケないため、ランドルト環の切れ目のエッジが線として明確に観察される。
図10(B)であれば、内側の破線で囲んだ部分の明度の平均値が計測される。なお、明度の平均値に代えて輝度の平均値を計測してもよい。
計測された平均値は、視力値と対応付けて記録される。
ステップ119の処理は、視力値に応じた切れ目の見え方が再現される「ぼかしフィルタ」の強度値を決定する処理に当たる。
例えば視力値が1.0であれば、1.0に対応するランドルト環の切れ目が再現される強度値を決定する。
図11は、視力値に「ぼかしフィルタ」の強度値を対応付けた強度値テーブルの一例を説明する図である。
図11では、視力値に対応するランドルト環の下に、対応する強度値を列記している。ここでの視力値と強度値との対応関係が強度値テーブルであり、シミュレーションの場合に参照されるデータ構造の一例である。
更に、視力値の0.9に対応する強度値は「0.36」であり、視力値の0.8に対応する強度値は「0.52」であり、視力値の0.7に対応する強度値は「0.68」である。
なお、強度値は「0.68」が最大値であり、視力値が「0.6」より悪くなっても強度値は「0.68」である。
このステップ20で生成された強度値テーブルが、図3におけるステップ3の強度値テーブルである。
なお、ステップ20において生成された「ぼかしフィルタ」の強度値テーブルが、モニタ20の解像度の下で、患者の見え方を反映したシミュレーション画像を表示するために使用される。
また、視力値に応じた「ぼかしフィルタ」の強度値を決定する処理動作が、仮想空間上におけるランドルト環の見え方をシミュレーションする方法に対応する。
図12は、実施の形態1において生成されたシミュレーション画像の表示例を説明する図である。
図12では、モニタ20の表示領域の全面に、モニタ20の解像度を制約条件として、指定された視力値による風景の見え方をシミュレーションした画像(すなわちシミュレーション画像)が表示されている。
しかも、本実施の形態の場合には、「ぼかしフィルタ」の強度値は、シミュレーション画像が表示されるモニタ20の解像度に応じて決定されている。
また、眼科医等が視力値を変更すると、指定された視力値に応じたシミュレーション画像の見え方が変更後の視力値に応じて変化する。
図13では、シミュレーション画像が、モニタ20のウィンドウ内に表示されている。このウィンドウは、モニタ20の表示領域の一部分である。
この場合、シミュレーション画像の表示に使用可能な画素数は、図12の場合に比して少なくなる。このような場合、本実施の形態では、ウィンドウのサイズに応じたシミュレーション画像をサーバ10で生成し、モニタ20に表示させる。
すると、ウィンドウのサイズで最高視力を表現する「ぼかしフィルタ」の強度値テーブルが決定され、決定された強度値テーブルを用いて、シミュレーション画像が生成される。
本実施の形態では、眼科医等がウィンドウのサイズを変更しても、即座に、任意のサイズのウィンドウに応じたシミュレーション画像を生成し、表示させることが可能になる。
本実施の形態では、シミュレーション画像の生成が端末21側で実行される場合について説明する。
図14は、実施の形態2で使用するネットワークシステム1Aの構成例を説明する図である。図14には、図1との対応部分に対応する符号を付して示している。
図14に示すネットワークシステム1Aの場合も、端末21からサーバ10Aには、モニタ20の解像度と術後の視力値(全距離)とが通知されている。
違いは、サーバ10Aから端末21に送信されるのが、「ぼかしフィルタ」の強度値である点である。
なお、図15に示すサーバ10Aの処理動作は、見え方シミュレーション情報提供方法の一例である。
本実施の形態の場合も、モニタ20の登録時の処理動作は、実施の形態1と同じである。従って、以下では、眼科医等によるサービスの利用時に実行される処理動作を説明する。
図15の場合、サーバ10Aは、端末21から視力値(全距離)を受け付ける(ステップ5)と、受け付けた視力値(全距離)に応じた強度値を強度値テーブル14B(図2参照)から読み出す(ステップ8)。
この後、サーバ10Aは、端末21に対し、読み出した強度値を送信する(ステップ21)。
まず、端末21は、ぼかし処理で使用する強度値を受信すると(ステップ22)、モニタ20に表示する距離画像の選択を受け付ける(ステップ23)。
次に、端末21は、ステップ22で受信した強度値を、選択された距離画像に対するぼかし処理に適用してシミュレーション画像を生成する(ステップ24)。すなわち、本実施の形態では、シミュレーション画像が端末21の内部で生成される。その後、端末21は、モニタ20にシミュレーション画像を表示する(ステップ12)。すなわち、本実施の形態における端末21は、シミュレータの一例として動作する。
また、シミュレーション画像が配信又はダウンロードされる場合に比して、ネットワーク30に対する負荷も少なく済む。
また、本実施の形態の場合、モニタ20が存在する眼科内の端末21でシミュレーション画像が生成されるので、ネットワーク30の不調の影響を受けずに、患者と術後の見え方を確認することが可能になる。
本実施の形態では、オンラインで接続された複数の地点に、モニタ20の解像度の違いによる見え方を反映したシミュレーション画像を提供するサービスを想定する。
図16は、実施の形態3で使用するネットワークシステム1Bの構成例を説明する図である。図16には、図1との対応部分に対応する符号を付して示している。
本実施の形態の場合、表示に使用されるモニタ20の解像度に応じて生成されたシミュレーション画像が、複数の地点に配信される。
ここでのコンタクトレンズは、光学レンズの一例である。
図16の場合も、店舗やユーザは、据え置き型のモニタ20を用いる場合を想定しているが、ユーザ側のモニタ20は、例えばスマートフォンやタブレットでもよい。もっとも、店舗側のモニタ20もスマートフォンやタブレットでよい。
なお、店舗側のモニタ20Bの解像度は端末21Bからサーバ10Bにアップロードされ、ユーザA側のモニタ20Aの解像度は端末21Aからサーバ10Bにアップロードされる。この意味で、店舗側の端末21BとユーザA側の端末21Aは、第1の端末の一例である。
この他、シミュレーション画像の複数地点への配信の例には、例えば店舗側の端末21Bと、コンタクトレンズの購入者の端末21Aと、購入者の保護者の端末21Cとの場合がある。
また、シミュレーション画像の複数地点への配信の例には、例えば眼科医の端末21Bと、患者の端末21Aと、別の眼科医の端末21Cとの場合がある。
なお、シミュレーション画像として再現する最高視力は、店舗側の端末21Bからサーバ10Bに指示されるものとする。
図17に示すサーバ10の処理動作も、見え方シミュレーション情報の提供方法の一例である。
まず、店舗側の端末21Bが、サーバ10Bに対し、モニタ20Bの解像度を送信する(ステップ1)。同様に、ユーザ側の端末21Aが、サーバ10Bに対し、モニタ20Aの解像度を送信する(ステップ1)。
サーバ10Bは、端末21Aと端末21Bのそれぞれから、モニタの解像度を取得する(ステップ2)。図中の「x2」は、端末21A用の処理と端末21B用の処理が別々に実行されることを意味する。他のステップについても同様である。
図17では、店舗側が推奨するコンタクトレンズによる矯正後の視力値(全距離)を有することを前提とするが、実施の形態1で説明したように、シミュレーションしたい視力値(全距離)を特定する情報(例えば型番)をサーバ10にアップロードしてもよい。この手法による視力値(全距離)であれば、ユーザAが購入を希望しているコンタクトレンズの型番をサーバ10Bにアップロードしてもよい。
一方のサーバ10Bは、端末21Bから視力値(全距離)を受け付ける(ステップ5)。
一方のサーバ10Bは、端末21から距離画像の選択を受け付ける(ステップ7)。
続いて、サーバ10Bは、読み出した強度値を、選択された距離画像に対するぼかし処理に適用してシミュレーション画像を生成する(ステップ9)。ここでのシミュレーション画像の生成も、店舗用とユーザA用とで別々に実行される。すなわち、与えられた視力値(全距離)と距離画像について、モニタ20の解像度の違いを反映した2つのシミュレーション画像が生成される。
一方の端末21は、シミュレーション画像を受信し(ステップ11)、モニタ20にシミュレーション画像を表示する(ステップ12)。このシミュレーション画像の受信と表示も、店舗側とユーザA側とで同時に実行される。
なお、図17では、生成したシミュレーション画像をストリーミング配信しているが、データファイルとして送信してもよい。
また、オンラインによる接客のために異なるモニタ20にシミュレーション画像を表示せざるを得ない場合でも、本実施の形態におけるネットワークシステム1Bであれば、モニタ20の解像度の違いを反映したシミュレーション画像を店舗側とユーザ側に提供できる。
なお、本実施の形態の場合も、前述した実施の形態2のように、シミュレーション画像に代えて、「ぼかしフィルタ」の強度値を端末21に送信してもよい。勿論、その場合には、シミュレーション画像の表示に使用されるモニタ20に応じた強度値が個別に送信され、端末21によりシミュレーション画像が生成される。
本実施の形態では、オンラインで接続された複数の地点に、モニタ20の解像度の違いによる見え方を反映したシミュレーション画像を提供するサービスの他の例を想定する。
図18は、実施の形態4で使用するネットワークシステム1Cの構成例を説明する図である。図18には、図1との対応部分に対応する符号を付して示している。
ここでの計測機器は、患者の視力値(全距離)を計測する。患者の視力値(全距離)は、裸眼で測定された視力値(全距離)でもよいし、コンタクトレンズ等により矯正した状態で測定された視力値(全距離)でもよい。
なお、計測機器は、例えば患者の瞳孔経、波面収差、球面度数、乱視度数、乱視軸角度を計測又は計算し、視力値を導出してもよい。
すなわち、図18に示すネットワークシステム1Cは、視力値のアップロード元と解像度のアップロード元を分離した点で、実施の形態3と相違する。
図18に示すネットワークシステム1は、医師Bと患者との間で、患者の見え方の共有や術前や術後における診療での活用を想定する。
図19に示すサーバ10の処理動作も、見え方シミュレーション情報の提供方法の一例である。
図19に示す処理動作では、端末21Aを医師Aが操作し、端末21Bを医師Bが操作し、端末21Cを患者が操作する。
また、図19では、端末21Aとして、医師Aが操作するコンピュータ等を想定しているが、視力の測定に用いた測定器でもよい。
なお、図19では、サービスの利用時に視力値(全距離)をサーバ10Cに送信しているが、患者の視力の測定は、事前に行われている。このため、端末21Aによるサーバ10Cへの視力値(全距離)の送信は、サービスの利用が開始するまでに完了していてもよい。
なお、本実施の形態の場合も、前述した実施の形態2のように、シミュレーション画像に代えて、「ぼかしフィルタ」の強度値を送信してもよい。勿論、その場合には、シミュレーション画像の表示に使用されるモニタ20に応じた強度値が個別に送信され、端末21によりシミュレーション画像が生成される。
本実施の形態では、視覚に障害を有する人の見え方を都市設計や建築の改修等に反映する場面を想定する
図20は、実施の形態5で使用するネットワークシステム1Dの構成例を説明する図である。図20には、図1との対応部分に対応する符号を付して示している。
図20に示すネットワークシステム1Dは、サーバ10Dと、調査地Aで使用するモニタ20Aと端末21Aとカメラ22Aと、調査地Bで使用するモニタ20Bと端末21Bとカメラ22Bと、調査地Cで使用するモニタ20Cと端末21Cとカメラ22Cと、ネットワーク30とで構成されている。
もっとも、症例データベース10D1は、サーバ10Dのハードディスク装置14(図2参照)に記憶されていてもよいし、ネットワーク30に接続されていてもよい。
本実施の形態における症例は、近視、遠視、乱視等の屈折異常や老視等の調整障害等の視力値に関するものを想定する。
カメラ22A~22Cが撮像する距離画像は、静止画像でも動画像でもよい。
距離画像を取得する方法には、例えば視差から距離を測定するステレオ法、測定光が対象物で反射して戻ってくるまでの時間により距離を計測するTOF(=Time Of Flight)法を使用する。
このため、図20では、カメラ22Aからサーバ10Dに現地で撮像された距離画像のアップロードを示す矢印が描かれている。
図21に示すサーバ10Dの処理動作も、見え方シミュレーション情報の提供方法の一例である。
図21に示す処理動作では、調査地Aを訪問した調査員が端末21Aからモニタ20Aの解像度を送信する(ステップ1)。調査員は1名とは限らず、また、各調査員が使用するモニタ20Aの解像度が共通とは限らないため、本実施の形態では、調査の度に解像度をサーバ10Dにアップロードする。
その後、サーバ10Dは、取得した解像度と任意の視力値の組み合わせに対応する「ぼかしフィルタ」の強度値を計算し、各値を紐付けた強度値テーブル14B(図2参照)を生成する(ステップ3)。
以上で、調査地Aで使用するモニタ20の登録が終了する。他の調査地についても、モニタ20が同様に登録される。
図21の場合、調査員は、シミュレーションする症例を選択する(ステップ31)。なお、症例に対応する視力値(全距離)を、端末21からサーバ10Dにアップロードしてもよい。視力値(全距離)がアップロードされる場合、サーバ10Dによるステップ32及び33の実行が省略される。
図21の場合、サーバ10Dは、症例の選択を受け付けると(ステップ32)、症例に対応する視力値(全距離)を読み出す(ステップ33)。具体的には、サーバ10Dは、受け付けた症例に対応する視力値(全距離)をデータベース10D1から読み出す。
一方のサーバ10Dは、アップロードされた距離画像を取得する(ステップ35)。距離画像が端末21から取得される点が、前述した実施の形態との違いである。
次に、サーバ10Dは、読み出した視力値(全距離)に応じた強度値を強度値テーブル14Bから読み出す(ステップ8A)。なお、視力値が距離に応じて異なる場合、複数の強度値が読み出される。
その後、サーバ10は、生成されたシミュレーション画像をストリーミング配信する(ステップ10)。
一方の端末21は、シミュレーション画像を受信すると(ステップ11)、モニタ20にシミュレーション画像を表示する(ステップ12)。
なお、図21では、生成したシミュレーション画像をストリーミング配信しているが、データファイルとして送信してもよい。
図21の場合、端末21は、サーバ10Dに対し、安全性が確認された視力値を送信する(ステップ36)。
一方、サーバ10Dは、安全性が確認された視力値を記録する(ステップ37)。
この処理動作が、複数の調査員により、複数の調査地について逐次又は同時に実行される。
蓄積された情報は、調査地の改良や都市計画の際に基礎資料としての活用が可能である。
なお、本実施の形態では、調査地を撮像した調査員による評価だけを蓄積しているが、オンラインで接続された他の地点にいる調査員等による評価も調査地に紐付けて蓄積してもよい。
また、本実施の形態の場合には、安全性が確かめられた視力値又は症例だけがサーバ10Dに蓄積されているが、同じシミュレーション画像に対する評価の全てを蓄積してもよい。
(1)以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
(3)前述の実施の形態では、主に眼内レンズやコンタクトレンズを装着する場合における視力値の矯正後の見え方をモニタで観察する場合を想定しているが、眼鏡による視力値の矯正後の見え方をモニタで観察する場合にも適用できる。眼鏡は光学レンズの一例である。
(5)前述の実施の形態では、強度値テーブル14Bをサービスの利用の度に生成する場合について説明したが、任意の解像度と任意の視力値の組み合わせについて強度値を対応付けた強度値テーブル14Bを事前に用意してもよい。その場合には、シミュレーション画像を観察する端末21から通知された視力値に対応する強度値を強度値テーブル14Bから読み出せばよい。
Claims (10)
- 被対象者の見え方をコンピュータがシミュレーションする方法であって、
被対象者の見え方をシミュレーションした画像が表示される表示デバイスの解像度を取得する処理と、
シミュレーションする視力値を受け付ける処理と、
前記視力値に応じた被対象者の見え方をシミュレーションした前記画像を、前記解像度を用いて生成する処理と、
を有する見え方シミュレーション方法であり、
前記視力値に応じた被対象者の見え方をシミュレーションした前記画像を、前記解像度を用いて生成する前記処理では、
前記視力値と前記解像度とに応じて特定される強度値を有するぼかし処理が、予め用意した画像に加えられる、
見え方シミュレーション方法。 - 被対象者の見え方をコンピュータがシミュレーションする方法であって、
被対象者の見え方をシミュレーションした画像が表示される表示デバイスの解像度を取得する処理と、
取得された前記解像度に応じ、前記表示デバイスが表現可能な最小視角を設定する処理と、
設定された前記最小視角と前記解像度とを用い、任意の視力値に応じた見え方をシミュレーションするぼかし処理の強度値を、前記表示デバイス用に決定する処理と、
シミュレーションする視力値を受け付ける処理と、
前記視力値に応じた被対象者の見え方をシミュレーションした前記画像を、前記解像度を用いて生成する処理と、
を有する見え方シミュレーション方法。 - 前記視力値に応じた被対象者の見え方をシミュレーションした前記画像を、前記解像度を用いて生成する前記処理では、
前記視力値と前記解像度とに応じて特定される強度値を有するぼかし処理が、予め用意した画像に加えられる、
請求項2に記載の見え方シミュレーション方法。 - 設定された前記最小視角と前記表示デバイスの前記解像度とを用い、任意の視力値に応じた見え方をシミュレーションするぼかし処理の強度値を、前記表示デバイス用に決定する前記処理では、
設定された前記最小視角と前記解像度とを用い、仮想空間上のランドルト環を撮像するバーチャルカメラの焦点距離を決定する処理と、
決定された前記焦点距離を有する前記バーチャルカメラで撮像された前記ランドルト環の見え方をシミュレーションするぼかし処理の強度値を、視力値毎に決定する処理と、
が実行される、請求項2又は3に記載の見え方シミュレーション方法。 - 被対象者の見え方をコンピュータがシミュレーションする方法であって、
被対象者の見え方をシミュレーションした画像が表示される表示デバイスの解像度を取得する処理と、
シミュレーションする視力値を受け付ける処理と、
前記視力値に応じた被対象者の見え方をシミュレーションした前記画像を、前記解像度を用いて生成する処理と、
を有する見え方シミュレーション方法であり、
前記表示デバイスの解像度は、被対象者の見え方をシミュレーションした前記画像が表示されるウィンドウの大きさにより定まる、
見え方シミュレーション方法。 - 被対象者の見え方をコンピュータがシミュレーションする方法であって、
被対象者の見え方をシミュレーションした画像が表示される表示デバイスの解像度を取得する処理と、
シミュレーションする視力値を受け付ける処理と、
前記視力値に応じた被対象者の見え方をシミュレーションした前記画像を、前記解像度を用いて生成する処理と、
を有する見え方シミュレーション方法であり、
前記画像は、画素毎に視線方向の距離の情報を有する画像であり、
前記視力値が距離毎に与えられる場合、前記画像として、距離に応じた見え方がシミュレーションされる、
見え方シミュレーション方法。 - コンピュータに、
被対象者の見え方をシミュレーションした画像が表示される表示デバイスの解像度を取得する機能と、
シミュレーションする視力値を受け付ける機能と、
前記視力値に応じた被対象者の見え方をシミュレーションした前記画像を、前記解像度を用いて生成する機能と、
を実現させるためのプログラムであり、
前記視力値に応じた被対象者の見え方をシミュレーションした前記画像を、前記解像度を用いて生成する前記機能では、
前記視力値と前記解像度とに応じて特定される強度値を有するぼかし処理が、予め用意した画像に加えられる、プログラム。 - コンピュータに、
被対象者の見え方をシミュレーションした画像が表示される表示デバイスの解像度を取得する機能と、
取得された前記解像度に応じ、前記表示デバイスが表現可能な最小視角を設定する機能と、
設定された前記最小視角と前記解像度とを用い、任意の視力値に応じた見え方をシミュレーションするぼかし処理の強度値を、前記表示デバイス用に決定する機能と、
シミュレーションする視力値を受け付ける機能と、
前記視力値に応じた被対象者の見え方をシミュレーションした前記画像を、前記解像度を用いて生成する機能と、
を実現させるためのプログラム。 - コンピュータに、
被対象者の見え方をシミュレーションした画像が表示される表示デバイスの解像度を取得する機能と、
シミュレーションする視力値を受け付ける機能と、
前記視力値に応じた被対象者の見え方をシミュレーションした前記画像を、前記解像度を用いて生成する機能と、
を実現させるためのプログラムであり、
前記表示デバイスの解像度は、被対象者の見え方をシミュレーションした前記画像が表示されるウィンドウの大きさにより定まる、プログラム。 - コンピュータに、
被対象者の見え方をシミュレーションした画像が表示される表示デバイスの解像度を取得する機能と、
シミュレーションする視力値を受け付ける機能と、
前記視力値に応じた被対象者の見え方をシミュレーションした前記画像を、前記解像度を用いて生成する機能と、
を実現させるためのプログラムであり、
前記画像は、画素毎に視線方向の距離の情報を有する画像であり、
前記視力値が距離毎に与えられる場合、前記画像として、距離に応じた見え方がシミュレーションされる、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021036821A JP7325740B2 (ja) | 2021-03-09 | 2021-03-09 | 見え方シミュレーション方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021036821A JP7325740B2 (ja) | 2021-03-09 | 2021-03-09 | 見え方シミュレーション方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022137341A JP2022137341A (ja) | 2022-09-22 |
JP7325740B2 true JP7325740B2 (ja) | 2023-08-15 |
Family
ID=83319880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021036821A Active JP7325740B2 (ja) | 2021-03-09 | 2021-03-09 | 見え方シミュレーション方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7325740B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011170642A (ja) | 2010-02-18 | 2011-09-01 | Nippon Telegr & Teleph Corp <Ntt> | 情報表示制御装置及び情報表示制御方法及びプログラム |
WO2013109941A2 (en) | 2012-01-19 | 2013-07-25 | Vid Scale, Inc. | Methods and systems for video delivery supporting adaption to viewing conditions |
JP2017143553A (ja) | 2012-12-27 | 2017-08-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 情報通信方法、情報通信装置およびプログラム |
-
2021
- 2021-03-09 JP JP2021036821A patent/JP7325740B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011170642A (ja) | 2010-02-18 | 2011-09-01 | Nippon Telegr & Teleph Corp <Ntt> | 情報表示制御装置及び情報表示制御方法及びプログラム |
WO2013109941A2 (en) | 2012-01-19 | 2013-07-25 | Vid Scale, Inc. | Methods and systems for video delivery supporting adaption to viewing conditions |
JP2015510325A (ja) | 2012-01-19 | 2015-04-02 | ヴィド スケール インコーポレイテッド | 観視条件への適応をサポートするビデオ配信のための方法およびシステム |
JP2017143553A (ja) | 2012-12-27 | 2017-08-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 情報通信方法、情報通信装置およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022137341A (ja) | 2022-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tan et al. | Metaverse and virtual health care in ophthalmology: Opportunities and challenges | |
JP7078540B2 (ja) | 画像作成装置、画像作成方法、画像作成プログラム、眼鏡レンズの設計方法および眼鏡レンズの製造方法 | |
US20150127363A1 (en) | Method and a system for facilitating a user to avail eye-care services over a communication network | |
US7428001B2 (en) | Materials and methods for simulating focal shifts in viewers using large depth of focus displays | |
JP6513329B2 (ja) | 視覚矯正オプションに関与し、それを遠く離れた場所から患者に提供する方法及び装置 | |
US9364142B2 (en) | Simulation device, simulation system, simulation method and simulation program | |
Krösl et al. | A VR-based user study on the effects of vision impairments on recognition distances of escape-route signs in buildings | |
BR112015022267B1 (pt) | Método para determinar uma prescrição de lentes corretivas para um paciente e meio legível por computador não temporário | |
KR20160010864A (ko) | 검안경 | |
CN114599266A (zh) | 光场基于视力的测试设备、用于其的经调整的像素渲染方法、以及使用其的在线基于视力的测试管理***和方法 | |
US11841988B2 (en) | Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same | |
Rompapas et al. | EyeAR: Refocusable augmented reality content through eye measurements | |
Wong et al. | Visualisation ergonomics and robotic surgery | |
JP7325740B2 (ja) | 見え方シミュレーション方法及びプログラム | |
Martin-Gonzalez et al. | Mediated-reality magnification for macular degeneration rehabilitation | |
Brata et al. | An idea of intuitive mobile diopter calculator for myopia patient | |
JP7437402B2 (ja) | コンピュータ支援光学系を利用するシステム及び方法 | |
Lima et al. | Real-time simulation of accommodation and low-order aberrations of the human eye using light-gathering trees | |
Selvin et al. | Comprehensive Eye Telehealth | |
Brata et al. | A new perspective of refractive error calculation with mobile application | |
Nitsche et al. | Remapping Control in VR for Patients with AMD | |
US20230336703A1 (en) | Methods and systems for diagnosing vision loss and providing visual compensation | |
JP2020182680A (ja) | 視覚シミュレーション方法、および、視覚シミュレーションプログラム | |
EP4056101A1 (en) | Method and device for determining a visual performance | |
EP4011273A1 (en) | Method and device for determining at least one astigmatic effect of at least one eye |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20210318 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210512 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230410 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230724 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7325740 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |