JP2010102508A - 入力装置 - Google Patents
入力装置 Download PDFInfo
- Publication number
- JP2010102508A JP2010102508A JP2008273365A JP2008273365A JP2010102508A JP 2010102508 A JP2010102508 A JP 2010102508A JP 2008273365 A JP2008273365 A JP 2008273365A JP 2008273365 A JP2008273365 A JP 2008273365A JP 2010102508 A JP2010102508 A JP 2010102508A
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- tactile display
- pressed
- input device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
【解決手段】ナビゲーション装置5の制御部51は、画像合成回路6に操作メニューの画像を出力するとともに、当該操作メニュー画像に含まれるボタン画像の位置を示す操作ボタンレイアウトを入力部3に出力する。画像合成回路6は、操作メニューの画像に対して、入力部3の操作面にかざされている操作者の手101の画像を合成して表示器2へと出力する。入力部3は、触覚ディスプレイと位置センサにより構成される。触覚ディスプレイは、ナビゲーション装置5から送られてくる操作ボタンレイアウトに応じた凹凸面を操作面上に形成し、位置センサは、操作者が操作面を押したときに、その位置を検出してナビゲーション装置に通知する。
【選択図】図3
Description
画面に表示された操作メニューに対する入力を受け付ける入力装置において、
前記操作メニューを表示する表示手段と、
凹凸面を形成する触覚ディスプレイと、
上記触覚ディスプレイ上の操作者の手を撮像する撮像手段と、
上記撮像手段により撮像された手画像を上記操作メニューに重畳して上記表示手段に表示する重畳表示手段と、
上記触覚ディスプレイの凹凸面に対する操作を検出する入力位置検出手段と、を備え、
上記触覚ディスプレイは、上記表示手段に表示されている操作メニューに応じた凹凸面を形成する入力装置である。
(A)この構成では、表示手段に操作メニューが表示されるとともに、表示手段に表示されている操作メニューに応じた凹凸面が触覚ディスプレイにより形成されるので、操作者は、表示手段によって視覚的に操作メニューを把握することができるとともに、触覚ディスプレイによって触覚的にも操作メニューを把握することができる。したがって、例えば操作者が表示手段を注視できない状況においても、操作者は主に触覚を頼りにして所望の入力操作を素早くかつ正確に行うことができる。
上記触覚ディスプレイは、上記表示手段により立体的に表現されているボタン画像の高さに対応するように、当該ボタン画像に対応する上記触覚ディスプレイにより形成される凸部の高さを制御するようにしてもよい。
上記操作メニューにおいて立体的に表現されているボタン画像に対応して上記触覚ディスプレイ上に形成された凸部が押された場合には、上記表示手段は、当該立体的に表現されているボタン画像の見た目の高さを、上記凸部が押されている深さに応じて変更するようにしてもよい。
上記表示手段は、画面から浮き出た3次元物体として知覚される立体操作メニューを表示し、
上記重畳表示手段は、上記撮像手段により互いに異なる方向から同時に撮像された手画像に基づいて、画面から浮き出た3次元物体として知覚される立体手画像を上記立体操作メニュー上に重畳表示するようにしてもよい。
以下、図面を参照して、本発明に係る入力装置の第1の実施形態について説明する。
図3を用いて、入力装置1の構成について更に詳しく説明する。図3は、車両内部の断面図および入力装置1内部の構成図である。図3に示すように、入力装置1は、画像の合成処理を行うための画像合成回路6を備える。画像合成回路6は、入力装置1の上位装置の一例としてのナビゲーション装置5に接続されている。
図4は、実施例1にかかる入力部3Aの断面図を示す。入力部3Aは、触覚ディスプレイ30、位置センサ33を備える。触覚ディスプレイ30は、基台31および複数のピン32を備える。基台31は、平面状に形成され、ピン32は、各々のピン32を駆動する図示しないアクチュエータによって、基台31の厚み方向に移動可能である。アクチュエータは、マイクロコンピュータにより制御される。マイクロコンピュータの制御によって各ピン32の位置(基台31の厚み方向に関する位置)を変化させることにより、入力部3Aの操作面に任意の形状の凹凸面を形成することができる。触覚ディスプレイ30のマイクロコンピュータは、ナビゲーション装置5から送られてくる操作ボタンレイアウトに基づいて、入力部3Aの操作面上に、表示器2に表示される操作メニューに応じた凹凸面を形成するように、アクチュエータを制御する。触覚ディスプレイ30は、以上の構成のほかに、各ピン32の高さを検出する機能を備えていてもよい。
図5は、入力部3の実施例2に係る入力部3Bを表す。図5(A)は、入力部3の断面図である。図5(A)に示すように、入力部3Bは、前述した入力部3Aに対し、位置センサ33が省略されているものであり、位置センサ33以外の構成については、同一の参照符号を付して、上記図3の説明を準用する。入力部3Bは、位置センサ33が無い代わりに、触覚ディスプレイ30がピン32の深さを検出する機能を有し、ピン32の深さの変化に基づいて、手101が入力部3Bの操作面を押したか否かを判断する。ピン32が所定の深さ以上押された場合には、入力部3Bは、操作面における当該ピン32の位置を、ナビゲーション装置5に出力する。
次に、図6の概念図、図7のフロー図を用いて、本発明の第1の実施形態に係る入力装置1の触覚ディスプレイの動作についてより詳しく説明する。図6(A)は、入力部3の断面の一部を表している。図6(B)は、操作メニューのボタンの状態を模式的に表している。図6(C)は、表示器2に表示されるボタン画像22の様子を示している。図6(A)、図6(B)間をつなぐ点線は、触覚ディスプレイにより形成される凸部(ボタンを模した凸部)の高さと操作メニューにおけるボタンの高さの対応関係を表している。
以下、図8の概念図、図9のフロー図を用いて、図6、図7の動作の応用例1を示す。上述の図6に示す入力装置1の動作の実施形態では、少なくとも、位置センサ33によって位置が検出されたことに応じて、操作メニューのボタンが図6(B)のタッチ前の状態からタッチ後の状態へと変更され、それに応じて、表示器2に表示されるボタン画像の見た目の高さと、入力部3の操作面の凸部36の高さが変更された。応用例1では、更に進んで、触覚ディスプレイ30は、パソコンのキーボードのようなメカニカルなボタンのように手101に反力を与えると共に、表示器2は、操作面の凸部36が押し下げられていく途中の段階においても、その押し下げられた深さに対応して、ボタン画像22の見た目の高さをリアルタイムで変化させる。
次に、図9を用いて第2の実施形態の入力装置10について説明する。入力装置10は、立体表示器20、入力部3、ステレオカメラ40を備える。立体表示器20、ステレオカメラ40、および図10に示す画像合成回路60以外の構成については第1の実施形態と同じであるため同一の参照符号を付し、ここでは、それらの構成の説明を省略する。
2…表示器
20…立体表示器
21…手画像
22…ボタン画像
3…入力部
30…触覚ディスプレイ
31…基台
32…ピン
33…位置センサ
34…曲線
35…曲線
36…凸部
4…カメラ
40…ステレオカメラ
41…第1カメラ
42…第2カメラ
5…ナビゲーション装置
50…ナビゲーション装置
51…制御部
52…制御部
6…画像合成回路
60…画像合成回路
65…左目用画像合成回路
66…右目用画像合成回路
67…立体画像生成回路
70…基準線
71…オフの状態の水準
72…オンの状態の水準
73…高さ
101…手
102…両目
Claims (11)
- 画面に表示された操作メニューに対する入力を受け付ける入力装置において、
前記操作メニューを表示する表示手段と、
凹凸面を形成する触覚ディスプレイと、
前記触覚ディスプレイ上の操作者の手を撮像する撮像手段と、
前記撮像手段により撮像された手画像を前記操作メニューに重畳して前記表示手段に表示する重畳表示手段と、
前記触覚ディスプレイの凹凸面が押されたときに、当該押された位置を検出する入力位置検出手段と、を備え、
前記触覚ディスプレイは、前記表示手段に表示されている操作メニューに応じた凹凸面を形成することを特徴とする入力装置。 - 前記触覚ディスプレイは、前記操作メニューに含まれるボタン画像の位置に対応するように、当該ボタン画像に対応する前記触覚ディスプレイにより形成される凸部の位置を制御することを特徴とする請求項1に記載の入力装置。
- 前記表示手段は、前記操作メニューに含まれるボタン画像を立体的に表現した画像を表示し、
前記触覚ディスプレイは、前記表示手段により立体的に表現されているボタン画像の高さに対応するように、当該ボタン画像に対応する前記触覚ディスプレイにより形成される凸部の高さを制御することを特徴とする請求項2に記載の入力装置。 - 前記触覚ディスプレイは、前記凹凸面の各点の高さを示す信号を出力する機能を備え、
前記触覚ディスプレイ上に形成された前記凸部が押された場合には、前記表示手段は、当該凸部に対応する前記ボタン画像の見た目の高さを、当該凸部が押されている深さに応じて変更することを特徴とする請求項3に記載の入力装置。 - 前記入力位置検出手段は、前記触覚ディスプレイの凹凸面が一定深さ以上押し下げられたことに応じて、当該押し下げられた位置を検出することを特徴とする請求項1に記載の入力装置。
- 前記触覚ディスプレイは、前記触覚ディスプレイ上に形成された凹凸面が押された場合には、当該凹凸面を押している物体に対して、当該凹凸面が押されていない状態へと戻る向きに反力を付与することを特徴とする請求項1に記載の入力装置。
- 前記触覚ディスプレイは、前記凹凸面が押された深さに応じて前記反力の大きさを変更することを特徴とする請求項6に記載の入力装置。
- 前記触覚ディスプレイは、前記凹凸面が一定深さ以上押された場合には、当該一定深さまで押される直前の状態と比較して前記反力を弱めることを特徴とする請求項7に記載の入力装置。
- 前記触覚ディスプレイは、当該触覚ディスプレイの凹凸面の凸部の一部が押されたときに、押された部分のみならず、当該凸部全体の高さを、当該押された部分の深さに応じて一様に変更することを特徴とする請求項1に記載の入力装置。
- 前記撮像手段は、前記触覚ディスプレイ上の操作者の手を少なくとも2つの互いに異なる方向から同時に撮像し、
前記表示手段は、画面から浮き出た3次元物体として知覚される立体操作メニューを表示し、
前記重畳表示手段は、前記撮像手段により互いに異なる方向から同時に撮像された手画像に基づいて、画面から浮き出た3次元物体として知覚される立体手画像を前記立体操作メニュー上に重畳表示することを特徴とする請求項1に記載の入力装置。 - 前記触覚ディスプレイは、平面状の基台と、前記基台の厚み方向に移動可能なピンが複数設けられて形成されていることを特徴とする請求項1に記載の入力装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008273365A JP5110438B2 (ja) | 2008-10-23 | 2008-10-23 | 入力装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008273365A JP5110438B2 (ja) | 2008-10-23 | 2008-10-23 | 入力装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010102508A true JP2010102508A (ja) | 2010-05-06 |
JP5110438B2 JP5110438B2 (ja) | 2012-12-26 |
Family
ID=42293105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008273365A Expired - Fee Related JP5110438B2 (ja) | 2008-10-23 | 2008-10-23 | 入力装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5110438B2 (ja) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010128788A (ja) * | 2008-11-27 | 2010-06-10 | Mitsubishi Electric Corp | 入力装置 |
JP2012205309A (ja) * | 2011-03-24 | 2012-10-22 | Visteon Global Technologies Inc | 携帯電子機器用の外付け触覚発生器 |
JP2012203798A (ja) * | 2011-03-28 | 2012-10-22 | Denso It Laboratory Inc | 情報提示システム |
JP2013514237A (ja) * | 2009-12-18 | 2013-04-25 | 本田技研工業株式会社 | 触覚制御用可変形パッド |
JP2013134509A (ja) * | 2011-12-23 | 2013-07-08 | Denso Corp | 表示システム、表示装置、及び操作装置 |
JP2013134719A (ja) * | 2011-12-27 | 2013-07-08 | Aisin Aw Co Ltd | 操作入力システム |
JP2013134720A (ja) * | 2011-12-27 | 2013-07-08 | Aisin Aw Co Ltd | 操作入力システム |
JP2013134716A (ja) * | 2011-12-27 | 2013-07-08 | Aisin Aw Co Ltd | 操作入力システム |
JP2013134721A (ja) * | 2011-12-27 | 2013-07-08 | Aisin Aw Co Ltd | 操作入力システム |
JP2013149193A (ja) * | 2012-01-23 | 2013-08-01 | Aisin Aw Co Ltd | 操作入力システム |
JP2013152688A (ja) * | 2011-12-27 | 2013-08-08 | Aisin Aw Co Ltd | 操作入力システム |
JP2013152689A (ja) * | 2011-12-27 | 2013-08-08 | Aisin Aw Co Ltd | 入力システム |
JP2013156778A (ja) * | 2012-01-27 | 2013-08-15 | Aisin Aw Co Ltd | 操作入力システム |
JP2015064703A (ja) * | 2013-09-24 | 2015-04-09 | 株式会社デンソー | 触覚提示装置 |
JP2016095832A (ja) * | 2014-11-06 | 2016-05-26 | Nltテクノロジー株式会社 | 電子機器、電子機器の操作制御方法および操作制御プログラム |
JP2016196293A (ja) * | 2010-09-10 | 2016-11-24 | パナソニック・アビオニクス・コーポレイションPanasonic Avionics Corporation | 統合ユーザインターフェースシステムおよび方法 |
JP2017059234A (ja) * | 2015-09-15 | 2017-03-23 | ビステオン グローバル テクノロジーズ インコーポレイテッド | モーフィング・パッド、モーフィング・パッドを実装するためのシステム及び方法 |
US9753563B2 (en) | 2012-12-03 | 2017-09-05 | Denso Corporation | Manipulation apparatus and manipulation teaching method for manipulation apparatus |
JP2018092315A (ja) * | 2016-12-01 | 2018-06-14 | パイオニア株式会社 | 操作入力装置 |
US11275440B2 (en) | 2014-11-06 | 2022-03-15 | Tianma Microelectronics Co., Ltd. | Electronic apparatus and electronic apparatus operation control method |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06332601A (ja) * | 1993-05-21 | 1994-12-02 | Matsushita Electric Ind Co Ltd | 凹凸表示装置およびその制御装置ならびにそれを用いた立体入出力インターフェース装置 |
JPH0981293A (ja) * | 1995-09-13 | 1997-03-28 | Brother Ind Ltd | タッチ入力装置 |
JP2000148393A (ja) * | 1998-11-06 | 2000-05-26 | Minolta Co Ltd | 視触覚情報伝達装置 |
JP2001282433A (ja) * | 2000-03-31 | 2001-10-12 | Sanyo Electric Co Ltd | 表示入力装置 |
JP2002236543A (ja) * | 2001-02-08 | 2002-08-23 | Sony Corp | 入力装置 |
JP2006047538A (ja) * | 2004-08-03 | 2006-02-16 | Nippon Hoso Kyokai <Nhk> | 触覚ディスプレイ装置および触覚情報伝達装置 |
JP2008016053A (ja) * | 2007-08-29 | 2008-01-24 | Hitachi Ltd | タッチパネルを備えた表示装置 |
JP2008210359A (ja) * | 2007-01-30 | 2008-09-11 | Toyota Motor Corp | 操作装置 |
JP2009087351A (ja) * | 2007-09-28 | 2009-04-23 | Ntt Docomo Inc | タッチスクリーン |
-
2008
- 2008-10-23 JP JP2008273365A patent/JP5110438B2/ja not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06332601A (ja) * | 1993-05-21 | 1994-12-02 | Matsushita Electric Ind Co Ltd | 凹凸表示装置およびその制御装置ならびにそれを用いた立体入出力インターフェース装置 |
JPH0981293A (ja) * | 1995-09-13 | 1997-03-28 | Brother Ind Ltd | タッチ入力装置 |
JP2000148393A (ja) * | 1998-11-06 | 2000-05-26 | Minolta Co Ltd | 視触覚情報伝達装置 |
JP2001282433A (ja) * | 2000-03-31 | 2001-10-12 | Sanyo Electric Co Ltd | 表示入力装置 |
JP2002236543A (ja) * | 2001-02-08 | 2002-08-23 | Sony Corp | 入力装置 |
JP2006047538A (ja) * | 2004-08-03 | 2006-02-16 | Nippon Hoso Kyokai <Nhk> | 触覚ディスプレイ装置および触覚情報伝達装置 |
JP2008210359A (ja) * | 2007-01-30 | 2008-09-11 | Toyota Motor Corp | 操作装置 |
JP2008016053A (ja) * | 2007-08-29 | 2008-01-24 | Hitachi Ltd | タッチパネルを備えた表示装置 |
JP2009087351A (ja) * | 2007-09-28 | 2009-04-23 | Ntt Docomo Inc | タッチスクリーン |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010128788A (ja) * | 2008-11-27 | 2010-06-10 | Mitsubishi Electric Corp | 入力装置 |
JP2013514237A (ja) * | 2009-12-18 | 2013-04-25 | 本田技研工業株式会社 | 触覚制御用可変形パッド |
US9529499B2 (en) | 2009-12-18 | 2016-12-27 | Honda Motor Co., Ltd. | Morphable pad for tactile control |
US9760175B2 (en) | 2009-12-18 | 2017-09-12 | Honda Motor Co., Ltd. | Morphable pad for tactile control |
JP2016196293A (ja) * | 2010-09-10 | 2016-11-24 | パナソニック・アビオニクス・コーポレイションPanasonic Avionics Corporation | 統合ユーザインターフェースシステムおよび方法 |
JP2012205309A (ja) * | 2011-03-24 | 2012-10-22 | Visteon Global Technologies Inc | 携帯電子機器用の外付け触覚発生器 |
JP2012203798A (ja) * | 2011-03-28 | 2012-10-22 | Denso It Laboratory Inc | 情報提示システム |
JP2013134509A (ja) * | 2011-12-23 | 2013-07-08 | Denso Corp | 表示システム、表示装置、及び操作装置 |
US9557894B2 (en) | 2011-12-23 | 2017-01-31 | Denso Corporation | Display system, display apparatus, manipulation apparatus and function selection apparatus |
JP2013134721A (ja) * | 2011-12-27 | 2013-07-08 | Aisin Aw Co Ltd | 操作入力システム |
JP2013152688A (ja) * | 2011-12-27 | 2013-08-08 | Aisin Aw Co Ltd | 操作入力システム |
JP2013152689A (ja) * | 2011-12-27 | 2013-08-08 | Aisin Aw Co Ltd | 入力システム |
JP2013134716A (ja) * | 2011-12-27 | 2013-07-08 | Aisin Aw Co Ltd | 操作入力システム |
JP2013134720A (ja) * | 2011-12-27 | 2013-07-08 | Aisin Aw Co Ltd | 操作入力システム |
JP2013134719A (ja) * | 2011-12-27 | 2013-07-08 | Aisin Aw Co Ltd | 操作入力システム |
JP2013149193A (ja) * | 2012-01-23 | 2013-08-01 | Aisin Aw Co Ltd | 操作入力システム |
JP2013156778A (ja) * | 2012-01-27 | 2013-08-15 | Aisin Aw Co Ltd | 操作入力システム |
US9753563B2 (en) | 2012-12-03 | 2017-09-05 | Denso Corporation | Manipulation apparatus and manipulation teaching method for manipulation apparatus |
JP2015064703A (ja) * | 2013-09-24 | 2015-04-09 | 株式会社デンソー | 触覚提示装置 |
JP2016095832A (ja) * | 2014-11-06 | 2016-05-26 | Nltテクノロジー株式会社 | 電子機器、電子機器の操作制御方法および操作制御プログラム |
US11275440B2 (en) | 2014-11-06 | 2022-03-15 | Tianma Microelectronics Co., Ltd. | Electronic apparatus and electronic apparatus operation control method |
JP2017059234A (ja) * | 2015-09-15 | 2017-03-23 | ビステオン グローバル テクノロジーズ インコーポレイテッド | モーフィング・パッド、モーフィング・パッドを実装するためのシステム及び方法 |
US10365736B2 (en) | 2015-09-15 | 2019-07-30 | Visteon Global Technologies, Inc. | Morphing pad, system and method for implementing a morphing pad |
JP2018092315A (ja) * | 2016-12-01 | 2018-06-14 | パイオニア株式会社 | 操作入力装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5110438B2 (ja) | 2012-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5110438B2 (ja) | 入力装置 | |
US20200409529A1 (en) | Touch-free gesture recognition system and method | |
US9030465B2 (en) | Vehicle user interface unit for a vehicle electronic device | |
US20190250714A1 (en) | Systems and methods for triggering actions based on touch-free gesture detection | |
JP4351599B2 (ja) | 入力装置 | |
CN101379455B (zh) | 输入装置及其方法 | |
JP6654743B2 (ja) | 電子機器、電子機器の操作制御方法および操作制御プログラム | |
CN109643219B (zh) | 用于与在车辆中的显示设备上呈现的图像内容进行交互的方法 | |
JP4783456B2 (ja) | 映像再生装置及び映像再生方法 | |
CN112136096B (zh) | 将物理输入设备显示为虚拟对象 | |
WO2006013783A1 (ja) | 入力装置 | |
TW200951777A (en) | Image recognizing device, operation judging method, and program | |
JP2010184600A (ja) | 車載用ジェスチャースイッチ装置 | |
WO2008062586A1 (fr) | Dispositif d'affichage, procédé d'affichage, programme d'affichage, et support d'enregistrement | |
JP4445582B2 (ja) | 仮想感覚提示装置 | |
CN114647317A (zh) | 由***设备启用的远程触摸检测 | |
JP4945694B2 (ja) | 映像再生装置及び映像再生方法 | |
JP6115421B2 (ja) | 入力装置および入力システム | |
US20220100276A1 (en) | Method for generating a haptic feedback for an interface, and associated interface | |
JP4757132B2 (ja) | データ入力装置 | |
JP6819537B2 (ja) | 表示制御装置 | |
JP2023006857A (ja) | ビュー表示装置およびビュー表示方法 | |
CN115705092A (zh) | 基于个体的相应位置生成和显示内容 | |
CN115731337A (zh) | 根据不同的显示模式显示渲染的体积表示 | |
JP2018122827A (ja) | 車載用情報入力装置および車載用情報入力システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101104 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110901 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120914 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120927 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151019 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5110438 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151019 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |