JP4828395B2 - 三次元地図表示装置 - Google Patents
三次元地図表示装置 Download PDFInfo
- Publication number
- JP4828395B2 JP4828395B2 JP2006346236A JP2006346236A JP4828395B2 JP 4828395 B2 JP4828395 B2 JP 4828395B2 JP 2006346236 A JP2006346236 A JP 2006346236A JP 2006346236 A JP2006346236 A JP 2006346236A JP 4828395 B2 JP4828395 B2 JP 4828395B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- map data
- gazing point
- unit
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
Description
三次元画像の表示範囲の変更は、カメラの位置と方向を制御することで実現している。
多くの三次元地図表示装置では、ユーザがマウスを操作することによってカメラの位置と方向を変更することができるようにしている。
例えば、以下の特許文献1に開示されている三次元地図表示装置では、カメラ方向と地平面の交点を注視点に定め、その注視点を固定したまま、カメラの位置を変更することにより、目標物を常に画面内に表示して、表示範囲の変更時における位置関係の把握を容易にしている。
例えば、三次元空間内を飛行する航空機から地図を見渡すような三次元画像を描画する場合、カメラ方向を水平にして、カメラを高い高度に配置し、カメラを前方に水平移動させることで実現することができる。この場合、カメラ方向を示す三次元画像の中心には、水平線が表示されることになるが、ユーザの注視点は三次元画像の中心の水平線ではなく、水平線よりも手前に位置する三次元画像の下部を注視していると考えられる。
このような場合、三次元画像の中心の水平線を注視点とするカメラの制御では、ユーザに対して自然な操作感を提供することは難しい。
図1はこの発明の実施の形態1による三次元地図表示装置を示す構成図であり、図において、視線方向推定部1は三次元空間上に仮想的に配置されているカメラに関するカメラ情報を用いて、そのカメラの配置位置を起点とするユーザの視線方向を推定する処理を実施する。なお、視線方向推定部1は視線方向推定手段を構成している。
ここで、カメラに関するカメラ情報としては、例えば、カメラの配置位置、カメラの配置方向、カメラの視野角、カメラの移動方向、カメラの移動速度、カメラが配置されている高度などを含む情報であり、また、ユーザによるカメラの移動操作に関する情報も含まれている。
注視点算出部3は三次元地図データ記憶部2に記憶されている地図データを参照して、視線方向推定部1により推定された視線方向が三次元空間における地平面(地図データ)と交差する注視点を算出する処理を実施する。なお、注視点算出部3は注視点算出手段を構成している。
地図データ収集部5は三次元地図データ記憶部2から注視点算出部3により算出された注視点を含む地図データを収集する処理を実施する。なお、地図データ収集部5は地図データ収集手段を構成している。
この実施の形態1では、視線方向が地平面と交差する点を注視点と定める例について記述しているが、三次元地図データ記憶部2に含まれる他の地図データとの交点を注視点として算出することも可能である。
ディスプレイ7は液晶やCRTなどの表示装置である。
なお、三次元画像描画部6及びディスプレイ7から三次元画像描画手段が構成されている。
視線方向上下角算出部12はカメラ上下角特定部11により特定されたカメラ上下角γと、予め設定されている水平時視線方向上下角α(カメラが水平に配置されている場合の水平軸に対する視線方向の角度)と、予め設定されている垂直時視線方向上下角β(カメラが垂直に配置されている場合の水平軸に対する視線方向の角度)とから視線方向上下角θを算出する処理を実施する。
視線方向算出部13は水平方向から視線方向上下角算出部12により算出された視線方向上下角θだけ傾いている方向である視線方向を算出する処理を実施する。
図3は三次元空間上に仮想的に配置されている仮想カメラと、仮想カメラの撮影範囲の一例を示す説明図である。
図において、仮想カメラ21は三次元空間上に仮想的に配置されているカメラであり、仮想カメラ21の撮影範囲22内の物体23,24が三次元画像として描画される。
なお、仮想カメラ21の配置方向を示すカメラ方向25には物体23が存在し、ユーザの視線方向26には物体24が存在している。
図において、注視点31は従来の三次元地図表示装置のように、カメラ方向25がユーザの視線方向26と一致しているとする場合の注視点であり、物体24の上に存在している。
上述したように、カメラ方向25がユーザの視線方向26と一致するとは限らず、カメラ方向25がユーザの視線方向26と一致しない場合には、誤った注視点31に基づく表示制御を行うことになり、ユーザに対して操作上の違和感を与えることになる。
注視点32は注視点算出部3により算出されるユーザの視線方向26の注視点(ユーザが実際に注視している点)であり、物体23の上に存在している。
視線方向推定部1は、三次元空間上に仮想的に配置されている仮想カメラ21に関するカメラ情報を入力すると、そのカメラ情報を用いて、その仮想カメラ21の配置位置を起点とするユーザの視線方向26を推定する。
以下、視線方向推定部1における視線方向の推定処理を具体的に説明する。
ここで、図5は三次元空間上に仮想的に配置されている仮想カメラ21を示す説明図であり、カメラ方向25及び視線方向26と、カメラ上下角γ及び視線方向上下角θの関係を示している。
また、図6は仮想カメラ21を水平に配置している場合(カメラ上下角γ=0の場合)の一例であり、図7は仮想カメラ21を垂直に配置している場合(カメラ上下角γ=90の場合)の一例である。
θ=(1−t)×α+t×β (1)
t=γ÷90
この場合、仮想カメラ21が真下を向いているときのユーザの視線方向が三次元画像の中心と一致する。
ここで、図8は仮想カメラ21を水平に設置してカメラ方向25が水平軸と一致している場合(水平時視線方向上下角αと視線方向上下角θが一致している場合)の注視点32を示す説明図である。
この場合、図9に示すように、三次元画像の中心はカメラ方向25と一致し、三次元画像の中心と異なる位置に注視点32が算出される。
この場合、ユーザの視線方向がカメラ方向25と一致するため、図11に示すように、注視点32が三次元画像の中心と一致する。
即ち、カメラ制御部4は、例えば、ユーザによる仮想カメラ21の移動操作がカメラの回転操作である場合、注視点算出部3により算出された注視点32に仮想カメラ21のカメラ方向21を向けた状態で、その注視点32を中心とする仮想カメラ21の回転移動を行う。
図12は仮想カメラ21の回転移動例を示す説明図である。
図12の例では、カメラ移動経路44に沿って、カメラ位置41にある仮想カメラ21をカメラ位置42に移動し、その後、仮想カメラ21をカメラ位置43に移動している様子を示している。
図13は仮想カメラ21の視線方向移動例を示す説明図である。
図13の例では、カメラ位置51にある仮想カメラ21をカメラ位置52に移動し、その後、仮想カメラ21をカメラ位置53に移動している様子を示している。
ただし、地図データ収集部5は、三次元地図データ記憶部2から仮想カメラ21の撮影範囲22内の地図データを収集する際、注視点32に近い地図データから優先的に収集する。
即ち、仮想カメラ21の撮影範囲22内の地図データが三次元地図データ記憶部2に多量に記憶されている場合、その地図データの全てを取得するには多くの時間を費やさなければならない。このため、全ての地図データを取得してから三次元画像を生成して描画処理の実行を開始するとすれば、三次元画像の描画が遅れるため、ユーザの操作感を損なうおそれがある。
そこで、地図データ収集部5は、注視点32に近い地図データから優先的に収集して、その地図データを三次元画像描画部6に与えることにより、三次元画像の段階的な描画を行えるようにしている。
図14は仮想カメラ21の撮影範囲22内の地図データを示す説明図である。
図14では、仮想カメラ21の撮影範囲22内の地図データが、エリアAの地図データと、エリアBの地図データと、エリアCの地図データとから構成されている例を示している。
地図データ収集部5は、仮想カメラ21の撮影範囲22内の地図データがエリアA,B,Cの地図データから構成されている場合、注視点算出部3により算出された注視点32からエリアA,B,Cまでの距離(例えば、エリアA,B,Cの中心までの距離)を算出する。
図14に示すように、注視点32からエリアAまでの距離がLA、注視点32からエリアBまでの距離がLB、注視点32からエリアCまでの距離がLCであるとき、LA<LB<LCの関係が成立するとすれば、エリアAの優先度が最も高く、次にエリアBの優先度が高く、エリアCの優先度が最も低いと認定する。
地図データ収集部5は、エリアA,B,Cの優先度を認定すると、最初に、三次元地図データ記憶部2から優先度が最も高いエリアAの地図データを収集し、エリアAの地図データを三次元画像描画部6に与える。これにより、三次元画像描画部6は、エリアAの地図データを用いて、後述する三次元画像の生成処理を開始する。
最後に、地図データ収集部5は、三次元地図データ記憶部2から最も優先度が低いエリアCの地図データを収集し、エリアCの地図データを三次元画像描画部6に与える。これにより、三次元画像描画部6は、エリアCの地図データを用いて、後述する三次元画像の生成処理を開始する。
以下、三次元画像描画部6における三次元画像の生成描画処理を具体的に説明する。
即ち、三次元画像描画部6は、地図データの座標系を、仮想カメラ21の配置位置を原点、仮想カメラ21のカメラ方向25(仮想カメラ21の配置方向)をZ軸とする座標系に変換する処理を実施する。
次に、三次元画像描画部6は、ビューイング変換後の地図データに対する射影変換を実施する。
即ち、三次元画像描画部6は、ビューイング変換後の地図データの座標系を、仮想カメラ21の配置位置から遠くに存在している物体ほど、小さく表現する座標系に変換する処理を実施する。
即ち、三次元画像描画部6は、三次元空間上に配置されている光源と、射影変換後の地図データの位置関係に基づいて陰影付けを行う処理を実施する。
次に、三次元画像描画部6は、照光処理後の地図データに対するクリップ処理を実施する。
即ち、三次元画像描画部6は、上記の座標系の変換処理によって、仮想カメラ21の撮影範囲22を逸脱することになった部分の地図データを切り取る処理を実施する。
三次元画像描画部6は、地図データに対するクリップ処理を実施すると、クリップ処理後の地図データを仮想カメラ21の投影面に投影し、その投影画像を三次元画像としてディスプレイ7に描画する。
図15はこの発明の実施の形態2による三次元地図表示装置の視線方向推定部1を示す構成図であり、図において、カメラ高度認識部14はカメラ情報から仮想カメラ21が配置されている高度Hを認識する処理を実施する。
視線方向上下角算出部15は仮想カメラ21が配置されている高度Hと、予め設定されている第1の設定高度Href1(例えば、仮想カメラ21の高度上限付近の高度)と、予め設定されている第2の設定高度Href2(例えば、仮想カメラ21の高度下限付近の高度)と、予め設定されている第1の設定高度時視線方向上下角δ(仮想カメラ21が第1の設定高度Href1に水平に配置されている場合の水平軸に対する視線方向の角度)と、予め設定されている第2の設定高度時視線方向上下角ε(仮想カメラ21が第2の設定高度Href2に水平に配置されている場合の水平軸に対する視線方向の角度)とから視線方向上下角θを算出する処理を実施する。
視線方向算出部16は水平方向から視線方向上下角算出部15により算出された視線方向上下角θだけ傾いている方向である視線方向を算出する処理を実施する。
視線方向推定部1における視線方向の推定処理内容のみが上記実施の形態1と相違しているので、視線方向推定部1における視線方向の推定処理内容のみを詳細に説明する。
視線方向推定部1は、三次元空間上に仮想的に配置されている仮想カメラ21に関するカメラ情報を入力すると、そのカメラ情報を用いて、その仮想カメラ21の配置位置を起点とするユーザの視線方向26を推定する。
視線方向推定部1の視線方向上下角算出部15は、カメラ高度認識部14が高度Hを認識すると、仮想カメラ21が配置されている高度Hなどを下記の補間式(2)を代入して、視線方向上下角θを算出する。
θ=(1−t)×δ+t×ε (2)
t=(H−Href1)÷(Href1−Href2)
また、Href2は予め設定されている第2の設定高度であり、例えば、仮想カメラ21の高度下限付近の高度に設定されている。
δは予め設定されている第1の設定高度時視線方向上下角であり、仮想カメラ21が第1の設定高度Href1に水平に配置されている場合の水平軸に対する視線方向の角度である。仮想カメラ21の高度が高い場合、ユーザは水平線より手前の領域を注視していると考えられるので、第1の設定高度時視線方向上下角δは、例えば、30〜50度の範囲の角度が設定される。
また、εは予め設定されている第2の設定高度時視線方向上下角であり、仮想カメラ21が第2の設定高度Href2に水平に配置されている場合の水平軸に対する視線方向の角度である。仮想カメラ21の高度が低い場合、ユーザは正面付近を注視していると考えられるので、第2の設定高度時視線方向上下角εは、例えば、60〜80度の範囲の角度が設定される。
図16はこの発明の実施の形態3による三次元地図表示装置の視線方向推定部1を示す構成図であり、図において、カメラ撮影範囲認識部17はカメラ情報から仮想カメラ21の撮影範囲22を認識する処理を実施する。
地図データ取得部18は三次元地図データ記憶部2からカメラ撮影範囲認識部17により認識された仮想カメラ21の撮影範囲22内の地図データを取得する処理を実施する。
地図オブジェクト選択部19は地図データ取得部18により取得された地図データに存在している地図オブジェクト(例えば、ビルなどの物体、山などの標高地)の中で最も特徴的な地図オブジェクトを選択する処理を実施する。
視線方向算出部20は地図オブジェクト選択部19により選択された地図オブジェクトに向かう方向をユーザの視線方向26として注視点算出部3に出力する。
視線方向推定部1における視線方向の推定処理内容のみが上記実施の形態1と相違しているので、視線方向推定部1における視線方向の推定処理内容のみを詳細に説明する。
視線方向推定部1は、三次元空間上に仮想的に配置されている仮想カメラ21に関するカメラ情報を入力すると、そのカメラ情報を用いて、その仮想カメラ21の配置位置を起点とするユーザの視線方向26を推定する。
視線方向推定部1の地図データ取得部18は、カメラ撮影範囲認識部17が仮想カメラ21の撮影範囲22を認識すると、三次元地図データ記憶部2から仮想カメラ21の撮影範囲22内の地図データを取得する。
ここで、最も特徴的な地図オブジェクトとは、ユーザが注視する可能性が最も高いオブジェクトであり、例えば、仮想カメラ21の配置位置から最も近くにある地図オブジェクトや、仮想カメラ21による撮像の面積が最も大きな地図オブジェクトや、予め定められた重要度が最も高い地図オブジェクトなどが該当する。
図17はこの発明の実施の形態4による三次元地図表示装置の地図データ収集部5を示す構成図であり、図において、カメラ撮影範囲認識部61はカメラ情報から仮想カメラ21の撮影範囲22を認識する処理を実施する。
地図データ取得部62は三次元地図データ記憶部2からカメラ撮影範囲認識部61により認識された仮想カメラ21の撮影範囲22内の地図データを取得する処理を実施する。
地図データ詳細度変更部63は地図データ取得部62から仮想カメラ21の撮影範囲22内の地図データを受けると、注視点算出部3により算出された注視点32からの距離に応じて上記地図データの詳細度を変更する処理を実施する。
地図データ収集部5における地図データの収集処理内容のみが上記実施の形態1と相違しているので、地図データ収集部5における地図データの収集処理内容のみを詳細に説明する。
この実施の形態4の地図データ収集部5は、地図データの詳細度を適宜変更するものであるが、地図データの詳細度は、地図データを構成するデータ量を表しており、例えば、画像データの場合には解像度の高いデータは詳細度が高く、解像度の低いデータは詳細度が低い。例えば、曲面において、詳細度の高いデータは多くの平面を組み合わせることで曲面を表現し、詳細度の低いデータは少ない平面によって曲面を表現している。
地図データ収集部5の地図データ取得部62は、カメラ撮影範囲認識部61が仮想カメラ21の撮影範囲22を認識すると、三次元地図データ記憶部2から仮想カメラ21の撮影範囲22内の地図データを取得する。
即ち、地図データ詳細度変更部63は、仮想カメラ21の撮影範囲22内の地図データのうち、注視点32から近い位置にある地図データほど、その詳細度を高める一方、注視点32から遠い位置にある地図データほど、その詳細度を下げる変更を行う。
Claims (9)
- 三次元空間上に仮想的に配置されているカメラに関するカメラ情報を用いて、上記カメラの配置位置を起点とするユーザの視線方向を推定する視線方向推定手段と、三次元空間における地図データを記憶している地図データ記憶手段と、上記地図データ記憶手段に記憶されている地図データを参照して、上記視線方向推定手段により推定された視線方向が三次元空間における地図データと交差する注視点を算出する注視点算出手段と、上記注視点算出手段により算出された注視点とユーザによるカメラの移動操作に応じて上記カメラの配置位置及び配置方向を制御するカメラ制御手段と、上記地図データ記憶手段から上記注視点算出手段により算出された注視点を含む地図データを収集する地図データ収集手段と、上記地図データ収集手段により収集された地図データを用いて、上記カメラ制御手段により配置位置及び配置方向が制御されたカメラの撮像に相当する三次元画像を生成し、上記三次元画像を描画する三次元画像描画手段とを備えた三次元地図表示装置。
- 視線方向推定手段は、カメラ情報からカメラの配置方向を認識して、水平軸に対する上記配置方向の角度を特定し、水平軸に対する上記配置方向の角度と、予め設定されている上記カメラが水平に配置されている場合の水平軸に対する視線方向の角度及び上記カメラが垂直に配置されている場合の水平軸に対する視線方向の角度とからユーザの視線方向を推定することを特徴とする請求項1記載の三次元地図表示装置。
- カメラが垂直に配置されている場合の水平軸に対する視線方向の角度が90度に設定されていることを特徴とする請求項2記載の三次元地図表示装置。
- 視線方向推定手段は、カメラ情報からカメラが配置されている高度を認識し、上記カメラが配置されている高度と、予め設定されている上記カメラが所定の高度に水平に配置されている場合の水平軸に対する視線方向の角度とからユーザの視線方向を推定することを特徴とする請求項1記載の三次元地図表示装置。
- 視線方向推定手段は、カメラ情報からカメラの撮影範囲を認識して、地図データ記憶手段から上記カメラの撮影範囲内の地図データを取得し、上記地図データに存在している地図オブジェクトの中で最も特徴的な地図オブジェクトの方向がユーザの視線方向であると推定することを特徴とする請求項1記載の三次元地図表示装置。
- カメラ制御手段は、ユーザによるカメラの移動操作がカメラの回転操作である場合、注視点算出手段により算出された注視点に上記カメラの配置方向を向けた状態で、上記注視点を中心とする上記カメラの回転移動を行うことを特徴とする請求項1から請求項5のうちのいずれか1項記載の三次元地図表示装置。
- カメラ制御手段は、ユーザによるカメラの移動操作が視線方向の移動操作である場合、注視点算出手段により算出された注視点に上記カメラの配置方向を向けた状態で、上記カメラを上記注視点に近づける移動又は上記注視点から遠ざける移動を行うことを特徴とする請求項1から請求項5のうちのいずれか1項記載の三次元地図表示装置。
- 地図データ収集手段は、地図データ記憶手段から地図データを収集する際、注視点に近い地図データから優先的に収集して三次元画像描画手段に出力することを特徴とする請求項1から請求項7のうちのいずれか1項記載の三次元地図表示装置。
- 地図データ収集手段は、地図データ記憶手段から地図データを収集すると、注視点算出手段により算出された注視点からの距離に応じて上記地図データの詳細度を変更することを特徴とする請求項1から請求項8のうちのいずれか1項記載の三次元地図表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006346236A JP4828395B2 (ja) | 2006-12-22 | 2006-12-22 | 三次元地図表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006346236A JP4828395B2 (ja) | 2006-12-22 | 2006-12-22 | 三次元地図表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008158770A JP2008158770A (ja) | 2008-07-10 |
JP4828395B2 true JP4828395B2 (ja) | 2011-11-30 |
Family
ID=39659612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006346236A Active JP4828395B2 (ja) | 2006-12-22 | 2006-12-22 | 三次元地図表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4828395B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101893769B1 (ko) * | 2012-01-19 | 2018-08-31 | 삼성전자주식회사 | 시청자의 시점 정보에 기초하여 3차원 객체 영상 모델을 생성하는 장치 및 방법 |
CN102708754B (zh) * | 2012-05-04 | 2015-09-02 | 深圳市凯立德科技股份有限公司 | 一种电子地图动态显示方法及终端 |
CN103879855A (zh) * | 2014-03-12 | 2014-06-25 | 江苏三上机电制造股份有限公司 | 防坠安全器 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07271999A (ja) * | 1994-03-31 | 1995-10-20 | Oki Electric Ind Co Ltd | 3次元地形出力方法 |
JP2003216983A (ja) * | 2002-01-25 | 2003-07-31 | Mitsubishi Electric Corp | 三次元地図表示装置 |
-
2006
- 2006-12-22 JP JP2006346236A patent/JP4828395B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2008158770A (ja) | 2008-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2020202551B2 (en) | Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor | |
US11972530B2 (en) | Rendering virtual objects in 3D environments | |
JP6586834B2 (ja) | 作業支援方法、作業支援プログラム、及び作業支援システム | |
US10657714B2 (en) | Method and system for displaying and navigating an optimal multi-dimensional building model | |
JP6586824B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US8947533B2 (en) | Parameter determining device, parameter determining system, parameter determining method, and recording medium | |
EP2189835A1 (en) | Terminal apparatus, display control method, and display control program | |
KR20140136943A (ko) | 정보 처리 장치, 정보 처리 시스템, 및 정보 처리 방법 | |
JP2016167688A (ja) | 画像生成方法、システム、装置、及び端末 | |
CN107950019B (zh) | 信息处理装置、信息处理方法和计算机可读存储介质 | |
US10070048B2 (en) | Panorama photographing method, panorama displaying method, and image capturing method | |
EP2274711A2 (en) | Estimating pose of photographic images in 3d earth model using human assistance | |
WO2017147748A1 (zh) | 一种可穿戴式***的手势控制方法以及可穿戴式*** | |
US10048808B2 (en) | Input operation detection device, projection apparatus, interactive whiteboard, digital signage, and projection system | |
TW202025719A (zh) | 圖像處理方法及裝置、電子設備及儲存介質 | |
JP2017191492A (ja) | 情報処理装置、情報処理方法および映像生成システム | |
JPWO2018051592A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2016162392A (ja) | 3次元画像処理装置および3次元画像処理システム | |
JP4828395B2 (ja) | 三次元地図表示装置 | |
US11443719B2 (en) | Information processing apparatus and information processing method | |
JP6314672B2 (ja) | 表示処理装置、表示処理方法、及びプログラム | |
CN113677412B (zh) | 信息处理装置、信息处理方法和程序 | |
US20220300120A1 (en) | Information processing apparatus, and control method | |
WO2018179176A1 (ja) | 表示制御装置、表示制御方法、及びプログラム | |
JP4563723B2 (ja) | 指示動作認識装置及び指示動作認識プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080704 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090917 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110826 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110906 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110914 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140922 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4828395 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |