JP2017044756A - 画像表示装置、画像表示方法及びプログラム - Google Patents
画像表示装置、画像表示方法及びプログラム Download PDFInfo
- Publication number
- JP2017044756A JP2017044756A JP2015165159A JP2015165159A JP2017044756A JP 2017044756 A JP2017044756 A JP 2017044756A JP 2015165159 A JP2015165159 A JP 2015165159A JP 2015165159 A JP2015165159 A JP 2015165159A JP 2017044756 A JP2017044756 A JP 2017044756A
- Authority
- JP
- Japan
- Prior art keywords
- optical beacon
- image
- wearer
- pupil
- beacon
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
Abstract
Description
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transient)なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
第1の実施形態について、図面を用いてより詳細に説明する。
次に、第1の実施形態に係るHMD10の動作について説明する。なお、HMD10の装着者は、シーン中の対象物を視認すると、対象物光ビーコン11も視認することになる(装着者の視界に対象物光ビーコン11も入る)。
光ビーコン受信部51は、予め定めた対象物の位置に応じて配置された光ビーコンから送信される信号であって、光ビーコンの識別情報を含む信号を受信する手段である。具体的には、光ビーコン受信部51は、カメラ部20が撮像した画像データを解析することで、光ビーコンが発信したIDを読み取り、画像データ中の装着者の瞳で反射した光ビーコンの存在を検出する手段である。
角膜球位置推定部52は、少なくともHMD10を装着する装着者の瞳が撮像された画像データから、当該装着者の瞳に係る領域を検出し、検出された瞳の大きさと形状に基づいて、装着者の角膜球の中心位置を推定する手段である。より具体的には、角膜球位置推定部52は、カメラ部20により撮像された画像データから、瞳を検出し、その大きさと形状に基づき角膜球の中心位置を計算する。なお、以降の説明において、角膜球等の位置は、カメラ部20のカメラレンズ22の主点を起点(原点)とする。
Ax2+Bxy+Cy2+Dx+Ey+F=0 ・・・(1)
ただし、4AC−B2>0
中心iLのx座標x0=(BE−2CD)/(4AC−B2) ・・・(2)
中心iLのy座標y0=(BD−2AE)/(4AC−B2) ・・・(3)
回転角Φ=(1/2)tan−1(B/(A−C)) ・・・(4)
(長軸rmax、 短軸rmin)=√((2(A・x02+B・x0・y0+C・y02−F))/(A+C±(B/sin2Φ))) ・・・(5)
但し、大きい値をrmax、小さい値をrminとする。
d=f・rL/rmax ・・・(6)
τ=±arccos(rmin/rmax) ・・・(7)
g=[sinτsinΦ−sinτcosΦ−cosτ]T ・・・(8)
なお、式(8)における「T」は、式(8)の行列が転置行列であることを示す。
光ビーコン位置推定部53は、HMD10の装着者の瞳に反射した光ビーコンの像の画像データにおける位置と、推定された角膜球の中心位置と、に基づき、装着者が視認する虚像の表示面(虚像のディスプレイ)における光ビーコンの位置を推定する手段である。より具体的には、光ビーコン位置推定部53は、光ビーコン受信部51が検出した光ビーコン(カメラ部20が撮像した画像データの中の装着者の瞳に反射した光ビーコン)の像の位置と、角膜球位置推定部52が推定した角膜球の中心点C(カメラ部20が撮像した画像データの中の角膜球の中心点)と、に基づき、HMD10の装着者が視認する虚像のディスプレイと光ビーコンの位置関係を計算する。
拡張現実表示部54は、推定された対象物光ビーコン11の位置に、対象物光ビーコン11の識別情報に関連付けられた拡張現実に係る画像を、現実の景色(シーン)に重畳させて表示する手段である。より具体的には、拡張現実表示部54は、光ビーコンのID情報に基づき、AR画像を読み出し、HMD10の装着者が視認する虚像のディスプレイ221と光ビーコンの位置関係から、装着者が視認しているシーンの対象物に合致するようにAR画像をディスプレイに描画する。
上述の第1の視点に係る画像表示装置のとおりである。
[付記2]
前記装着者の瞳の前方に配置された半透過ミラーの周囲に配置された複数の第2光ビーコンをさらに備え、
前記光ビーコン位置推定部は、
前記画像データに含まれる前記装着者の瞳に反射した前記第2光ビーコンの像の前記画像データにおける位置に基づき、前記複数の第2光ビーコンにより形成される平面を仮想面として計算し、
前記仮想面と前記装着者の角膜球の中心位置の相対的な位置関係に基づき、前記仮想面上での前記虚像の表示面の位置を特定する、付記1の画像表示装置。
[付記3]
前記光ビーコン位置推定部は、
前記画像データに含まれる前記装着者の瞳に反射した前記第1光ビーコンの像の前記画像データにおける位置に基づき、前記第1光ビーコンの位置を計算し、
前記計算された第1光ビーコンの位置と前記装着者の角膜球の中心位置を結ぶ第1の直線を計算し、
前記第1の直線が前記仮想面を通過する通過点の座標を、前記虚像の表示面上での座標に変換することで、前記虚像の表示面における前記第1光ビーコンの位置を推定する、付記2の画像表示装置。
[付記4]
前記光ビーコン位置推定部は、
前記画像データに含まれる前記装着者の瞳に反射した前記第1光ビーコンの像の前記画像データにおける位置と前記第1光ビーコンを結ぶ第2の直線を、複数の前記第1光ビーコンごとに計算すると共に、
前記計算された第2の直線上の1つに、対応する前記第1光ビーコンを仮定することと、前記仮定された第1光ビーコンと、前記仮定された第1光ビーコンに対応する前記第2の直線に隣接する他の前記第2の直線上に、前記仮定された第1光ビーコンからの距離が最短となる前記第1光ビーコンを仮定することを、前記計算された第2の直線について繰り返し、
最初に前記第2の直線上に仮定した前記第1光ビーコンと、前記繰り返し処理により計算された、前記最初に前記第1光ビーコンを仮定した前記第2の直線上の前記第1光ビーコンと、の間の距離が所定値以下となる場合に、前記所定値以下となる場合の仮定された前記第1光ビーコンの位置を、前記第1光ビーコンの位置とする、付記3の画像表示装置。
[付記5]
前記角膜球位置推定部は、前記画像データが生成される際の焦点位置における画像面に投影される前記装着者の瞳の大きさ及び形状を、楕円を表す式の係数により特定する、付記1乃至4のいずれか一に記載の画像表示装置。
[付記6]
前記角膜球位置推定部は、
前記装着者の瞳を示す楕円の長軸及び短軸の長さを用いて、前記装着者の瞳の傾きを計算し、
前記計算された装着者の瞳の傾きと、前記画像面に投影される前記装着者の瞳の回転角と、に基づき、前記装着者の瞳が向く方向を示す視線ベクトルを計算し、
前記計算された視線ベクトルと、眼球の幾何モデルの所定のパラメータと、前記装着者の角膜球の中心位置と前記画像面との間の距離と、に基づき、前記装着者の角膜球の中心位置を推定する、付記5の画像表示装置。
[付記7]
前記第1光ビーコンが送信する信号は所定の方式により変調されており、
前記光ビーコン受信部は、1フレームに相当する複数の画像データを解析することにより、前記第1光ビーコンが送信する信号を復調すると共に、前記第1光ビーコンの識別情報を取得する、付記1乃至6のいずれか一に記載の画像表示装置。
[付記8]
前記拡張現実表示部は、
前記推定された第1光ビーコンの位置に、前記第1光ビーコンの識別情報に関連付けられた拡張現実に係る画像に射影変換を施した後に、現実の景色に重畳させて表示する、付記1乃至7のいずれか一に記載の画像表示装置。
[付記9]
前記光ビーコン受信部は、前記第1光ビーコンが送信する信号を復元し、前記復元した信号に対する誤り検出処理を行う、付記7又は8の画像表示装置。
[付記10]
予め計算された、角膜球の中心点と前記仮想面における前記虚像の表示面の位置を対応付けるテーブル情報を少なくとも記憶する記憶部をさらに備える、付記1乃至9のいずれか一に記載の画像表示装置。
[付記11]
上述の第2の視点に係る画像表示方法のとおりである。
[付記12]
上述の第3の視点に係るプログラムのとおりである。
なお、付記11及び12の形態は、付記1の形態と同様に、付記2の形態から付記10の形態に展開することが可能である。
11、11−1〜11−4 対象物光ビーコン
20 カメラ部
21 撮像素子
22 カメラレンズ
30 表示部
31 ディスプレイ部
32 レンズ部
33 導光部
34 グラス部
35 半透過ミラー
36、36−1〜36−4 グラス部光ビーコン
40 記憶部
50 制御部
51、101 光ビーコン受信部
52、102 角膜球位置推定部
53、103 光ビーコン位置推定部
54、104 拡張現実表示部
60 カメラ制御部
70 ディスプレイ制御部
100 画像表示装置
201 画像面
202 瞳の投影像
203 角膜球
211〜213 直線
221 虚像のディスプレイ
222 仮想面
Claims (10)
- 予め定めた対象物の位置に応じて配置された第1光ビーコンから送信される信号であって、前記第1光ビーコンの識別情報を含む信号を受信する光ビーコン受信部と、
少なくとも自装置を装着する装着者の瞳が撮像された画像データから、前記装着者の瞳に係る領域を検出し、前記検出された瞳の大きさと形状に基づいて、前記装着者の角膜球の中心位置を推定する、角膜球位置推定部と、
前記装着者の瞳に反射した第1光ビーコンの像の前記画像データにおける位置と、前記推定された角膜球の中心位置と、に基づき、前記装着者が視認する虚像の表示面における前記第1光ビーコンの位置を推定する、光ビーコン位置推定部と、
前記推定された第1光ビーコンの位置に、前記第1光ビーコンの識別情報に関連付けられた拡張現実に係る画像を、現実の景色に重畳させて表示する、拡張現実表示部と、
を備える、画像表示装置。 - 前記装着者の瞳の前方に配置された半透過ミラーの周囲に配置された複数の第2光ビーコンをさらに備え、
前記光ビーコン位置推定部は、
前記画像データに含まれる前記装着者の瞳に反射した前記第2光ビーコンの像の前記画像データにおける位置に基づき、前記複数の第2光ビーコンにより形成される平面を仮想面として計算し、
前記仮想面と前記装着者の角膜球の中心位置の相対的な位置関係に基づき、前記仮想面上での前記虚像の表示面の位置を特定する、請求項1の画像表示装置。 - 前記光ビーコン位置推定部は、
前記画像データに含まれる前記装着者の瞳に反射した前記第1光ビーコンの像の前記画像データにおける位置に基づき、前記第1光ビーコンの位置を計算し、
前記計算された第1光ビーコンの位置と前記装着者の角膜球の中心位置を結ぶ第1の直線を計算し、
前記第1の直線が前記仮想面を通過する通過点の座標を、前記虚像の表示面上での座標に変換することで、前記虚像の表示面における前記第1光ビーコンの位置を推定する、請求項2の画像表示装置。 - 前記光ビーコン位置推定部は、
前記画像データに含まれる前記装着者の瞳に反射した前記第1光ビーコンの像の前記画像データにおける位置と前記第1光ビーコンを結ぶ第2の直線を、複数の前記第1光ビーコンごとに計算すると共に、
前記計算された第2の直線上の1つに、対応する前記第1光ビーコンを仮定することと、前記仮定された第1光ビーコンと、前記仮定された第1光ビーコンに対応する前記第2の直線に隣接する他の前記第2の直線上に、前記仮定された第1光ビーコンからの距離が最短となる前記第1光ビーコンを仮定することを、前記計算された第2の直線について繰り返し、
最初に前記第2の直線上に仮定した前記第1光ビーコンと、前記繰り返し処理により計算された、前記最初に前記第1光ビーコンを仮定した前記第2の直線上の前記第1光ビーコンと、の間の距離が所定値以下となる場合に、前記所定値以下となる場合の仮定された前記第1光ビーコンの位置を、前記第1光ビーコンの位置とする、請求項3の画像表示装置。 - 前記角膜球位置推定部は、前記画像データが生成される際の焦点位置における画像面に投影される前記装着者の瞳の大きさ及び形状を、楕円を表す式の係数により特定する、請求項1乃至4のいずれか一項に記載の画像表示装置。
- 前記角膜球位置推定部は、
前記装着者の瞳を示す楕円の長軸及び短軸の長さを用いて、前記装着者の瞳の傾きを計算し、
前記計算された装着者の瞳の傾きと、前記画像面に投影される前記装着者の瞳の回転角と、に基づき、前記装着者の瞳が向く方向を示す視線ベクトルを計算し、
前記計算された視線ベクトルと、眼球の幾何モデルの所定のパラメータと、前記装着者の角膜球の中心位置と前記画像面との間の距離と、に基づき、前記装着者の角膜球の中心位置を推定する、請求項5の画像表示装置。 - 前記第1光ビーコンが送信する信号は所定の方式により変調されており、
前記光ビーコン受信部は、1フレームに相当する複数の画像データを解析することにより、前記第1光ビーコンが送信する信号を復調すると共に、前記第1光ビーコンの識別情報を取得する、請求項1乃至6のいずれか一項に記載の画像表示装置。 - 前記拡張現実表示部は、
前記推定された第1光ビーコンの位置に、前記第1光ビーコンの識別情報に関連付けられた拡張現実に係る画像に射影変換を施した後に、現実の景色に重畳させて表示する、請求項1乃至7のいずれか一項に記載の画像表示装置。 - 予め定めた対象物の位置に応じて配置された第1光ビーコンから送信される信号であって、前記第1光ビーコンの識別情報を含む信号を受信するステップと、
少なくとも自装置を装着する装着者の瞳が撮像された画像データから、前記装着者の瞳に係る領域を検出し、前記検出された瞳の大きさと形状に基づいて、前記装着者の角膜球の中心位置を推定する、ステップと、
前記装着者の瞳に反射した第1光ビーコンの像の前記画像データにおける位置と、前記推定された角膜球の中心位置と、に基づき、前記装着者が視認する虚像の表示面における前記第1光ビーコンの位置を推定する、ステップと、
前記推定された第1光ビーコンの位置に、前記第1光ビーコンの識別情報に関連付けられた拡張現実に係る画像を、現実の景色に重畳させて表示する、ステップと、
を含む、画像表示方法。 - 予め定めた対象物の位置に応じて配置された第1光ビーコンから送信される信号であって、前記第1光ビーコンの識別情報を含む信号を受信する処理と、
少なくとも自装置を装着する装着者の瞳が撮像された画像データから、前記装着者の瞳に係る領域を検出し、前記検出された瞳の大きさと形状に基づいて、前記装着者の角膜球の中心位置を推定する、処理と、
前記装着者の瞳に反射した第1光ビーコンの像の前記画像データにおける位置と、前記推定された角膜球の中心位置と、に基づき、前記装着者が視認する虚像の表示面における前記第1光ビーコンの位置を推定する、処理と、
前記推定された第1光ビーコンの位置に、前記第1光ビーコンの識別情報に関連付けられた拡張現実に係る画像を、現実の景色に重畳させて表示する、処理と、
を画像表示装置に搭載されたコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015165159A JP6334477B2 (ja) | 2015-08-24 | 2015-08-24 | 画像表示装置、画像表示方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015165159A JP6334477B2 (ja) | 2015-08-24 | 2015-08-24 | 画像表示装置、画像表示方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017044756A true JP2017044756A (ja) | 2017-03-02 |
JP6334477B2 JP6334477B2 (ja) | 2018-05-30 |
Family
ID=58209938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015165159A Active JP6334477B2 (ja) | 2015-08-24 | 2015-08-24 | 画像表示装置、画像表示方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6334477B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112700586A (zh) * | 2019-10-23 | 2021-04-23 | 北京百度网讯科技有限公司 | 信息呈现方法和装置 |
CN112955933A (zh) * | 2018-11-05 | 2021-06-11 | 京瓷株式会社 | 控制器、位置判定装置、位置判定***、显示***、程序以及记录介质 |
US20230388014A1 (en) * | 2022-05-25 | 2023-11-30 | Qualcomm Incorporated | Beam management using an optical beacon |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08286141A (ja) * | 1995-04-14 | 1996-11-01 | Canon Inc | 注視点検出システム及びそれを用いた制御システム |
JP2004054890A (ja) * | 2002-05-29 | 2004-02-19 | Sony Corp | 画像表示装置および方法、送信装置および方法、画像表示システム、記録媒体、並びにプログラム |
JP2009538487A (ja) * | 2006-05-26 | 2009-11-05 | アイティーティー マニュファクチャリング エンタープライジーズ, インコーポレイテッド | 拡張現実を使用して装置の保守命令および動作命令を表示するシステムおよび方法 |
JP2013528406A (ja) * | 2010-03-22 | 2013-07-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 観察者の視線を追跡するシステム及び方法 |
WO2013179427A1 (ja) * | 2012-05-30 | 2013-12-05 | パイオニア株式会社 | 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 |
WO2014021169A1 (ja) * | 2012-07-31 | 2014-02-06 | 独立行政法人科学技術振興機構 | 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体 |
US20140361957A1 (en) * | 2012-01-24 | 2014-12-11 | The Arizonia Board Of Regents On Behalf Of The University Of Arizonz | Compact eye-tracked head-mounted display |
-
2015
- 2015-08-24 JP JP2015165159A patent/JP6334477B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08286141A (ja) * | 1995-04-14 | 1996-11-01 | Canon Inc | 注視点検出システム及びそれを用いた制御システム |
JP2004054890A (ja) * | 2002-05-29 | 2004-02-19 | Sony Corp | 画像表示装置および方法、送信装置および方法、画像表示システム、記録媒体、並びにプログラム |
JP2009538487A (ja) * | 2006-05-26 | 2009-11-05 | アイティーティー マニュファクチャリング エンタープライジーズ, インコーポレイテッド | 拡張現実を使用して装置の保守命令および動作命令を表示するシステムおよび方法 |
JP2013528406A (ja) * | 2010-03-22 | 2013-07-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 観察者の視線を追跡するシステム及び方法 |
US20140361957A1 (en) * | 2012-01-24 | 2014-12-11 | The Arizonia Board Of Regents On Behalf Of The University Of Arizonz | Compact eye-tracked head-mounted display |
WO2013179427A1 (ja) * | 2012-05-30 | 2013-12-05 | パイオニア株式会社 | 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 |
WO2014021169A1 (ja) * | 2012-07-31 | 2014-02-06 | 独立行政法人科学技術振興機構 | 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112955933A (zh) * | 2018-11-05 | 2021-06-11 | 京瓷株式会社 | 控制器、位置判定装置、位置判定***、显示***、程序以及记录介质 |
CN112955933B (zh) * | 2018-11-05 | 2024-05-24 | 京瓷株式会社 | 控制器、位置判定装置、位置判定***、显示***、程序以及记录介质 |
CN112700586A (zh) * | 2019-10-23 | 2021-04-23 | 北京百度网讯科技有限公司 | 信息呈现方法和装置 |
US20230388014A1 (en) * | 2022-05-25 | 2023-11-30 | Qualcomm Incorporated | Beam management using an optical beacon |
Also Published As
Publication number | Publication date |
---|---|
JP6334477B2 (ja) | 2018-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6586523B2 (ja) | 構造化光を用いた視線追跡 | |
JP6548171B2 (ja) | 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム | |
EP3453316B1 (en) | Eye tracking using eyeball center position | |
CN106168853B (zh) | 一种自由空间头戴式视线跟踪*** | |
US10409368B2 (en) | Eye-gaze detection system, displacement detection method, and displacement detection program | |
CN102812416B (zh) | 指示输入装置、指示输入方法、程序、记录介质以及集成电路 | |
JP5467303B1 (ja) | 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体 | |
US8094091B2 (en) | Information presenting apparatus, method, and computer program product | |
WO2016098406A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN113808160B (zh) | 视线方向追踪方法和装置 | |
WO2014128789A1 (ja) | 形状認識装置、形状認識プログラム、および形状認識方法 | |
JP2010259605A (ja) | 視線測定装置および視線測定プログラム | |
CN106575039A (zh) | 具有确定用户眼镜特性的眼睛跟踪设备的平视显示器 | |
WO2015035822A1 (en) | Pickup of objects in three-dimensional display | |
US10620454B2 (en) | System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping of camera images | |
US9928421B2 (en) | Method for helping determine the vision parameters of a subject | |
WO2017077279A1 (en) | Systems and methods for generating and using three-dimensional images | |
JP2019215688A (ja) | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム | |
JP6604271B2 (ja) | 注視位置検出装置、注視位置検出方法及び注視位置検出用コンピュータプログラム | |
JP6334477B2 (ja) | 画像表示装置、画像表示方法及びプログラム | |
IL275047B1 (en) | Install a complex display in mind | |
JP2018026120A (ja) | 視線検出システム、ずれ検出方法、ずれ検出プログラム | |
KR20170083225A (ko) | 동공 거리 결정 방법 및 장치 | |
JP2018099174A (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
CN105354825A (zh) | 自动识别读写场景中读物位置的智能装置及其应用 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180426 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6334477 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |