JP2005332206A - 映像イベント判別装置及びそのプログラム、並びに、映像イベント判別用学習データ生成装置及びそのプログラム - Google Patents
映像イベント判別装置及びそのプログラム、並びに、映像イベント判別用学習データ生成装置及びそのプログラム Download PDFInfo
- Publication number
- JP2005332206A JP2005332206A JP2004149902A JP2004149902A JP2005332206A JP 2005332206 A JP2005332206 A JP 2005332206A JP 2004149902 A JP2004149902 A JP 2004149902A JP 2004149902 A JP2004149902 A JP 2004149902A JP 2005332206 A JP2005332206 A JP 2005332206A
- Authority
- JP
- Japan
- Prior art keywords
- video
- scene
- event
- feature quantity
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【解決手段】 映像イベント判別装置2は、入力された映像をシーン毎に分割するシーン分割手段12と、シーンに含まれる複数のフレーム画像から映像特徴量を抽出する特徴量抽出手段14と、予め類似する映像特徴量の代表値とその代表値を分類する数値データとを対応付けた特徴量分類データベースを参照して、映像特徴量を数値データに変換する特徴量数値化手段21と、予めイベントの種類と連続する複数のシーンを数値データのデータ列で表したシーン数値化列とを対応付けたイベントデータベースを参照して、特徴量数値化手段21で変換された数値データのデータ列に対応するイベントの種類を特定するイベント特定手段22とを備えていることを特徴とする。
【選択図】 図5
Description
また、前記した第二のイベント判別技術では、インターネット等から映像に連動した情報(中継データ)を取得することで、当該映像で発生するイベントの判別を行うため、映像以外の情報を取得する手段が必要となり、装置構成が複雑になってしまうという問題がある。さらに、第二のイベント判別技術では、リアルタイムで放送される映像においては、それに対応する中継データを取得することで、イベントを判別することができるが、録画等によって蓄積されている映像からは、イベントを判別することができないという問題もある。
そして、映像イベント判別用学習データ生成プログラムは、シーン数値化手段によって、シーン毎に、当該シーンに含まれるフレーム画像を識別するためのフレーム画像番号と、特徴量分類手段によって分類された映像特徴量の数値データとを対応付ける。
[映像イベント判別手法の概要]
まず、図1を参照して、本発明に係る映像イベント判別装置において、映像から映像内で発生するイベントを判別する手法について、その概要を説明する。図1は、映像イベント判別手法の概要を説明するための説明図である。ここでイベントとは、映像内における、ある意味を持った一連のシーンのことをいい、例えば、野球中継映像内において、「ホームラン」、「二塁打」等が発生したシーンを指す。図1では、野球中継映像からイベントとして「二塁打」を判別する例を示す。
このように、映像イベント判別手法は、映像を、映像特徴量に基づいて簡易化した数値データのデータ列で表現し、そのデータ列に基づいて、映像内で発生するイベント(映像イベント)を判別する。
最初に、図2を参照して、本発明に係る学習データ生成装置(映像イベント判別用学習データ生成装置)の構成について説明する。図2は、学習データ生成装置の構成を示すブロック図である。
なお、特徴量分類データベース10a及びイベントデータベース11aは、学習データ生成装置1内で生成されるものである。
この基準画像13aを、例えば、イベントの開始となる画像とすることで、シーン分割手段12は、イベントが発生する先頭フレーム画像から、確実にシーンを分割することが可能になる。
なお、ここで抽出された映像特徴量は、映像特徴量記憶手段15に記憶される。また、特徴量抽出手段14は、映像特徴量を映像特徴量記憶手段15に記憶した段階で、映像特徴量を抽出した旨を特徴量分類手段16に通知する。
ここで、図7を参照(適宜図2参照)して、節点追跡手段14aにおける節点の追跡について説明する。図7は、節点追跡手段における節点の追跡を視覚化した図で、(a)は、フレーム画像に節点を設置した状態を示す図、(b)は、フレーム画像上において節点を追跡した状態を示す図である。
そして、図7(b)に示すように、節点追跡手段14aは、前フレ−ム画像における節点PT(図中●印)の近傍領域の画像特徴量が、現フレ−ム画像で、予め定めた閾値以下で最も差が小さくなる位置PTB(図中×印)に節点を移動させる。これによって、画像特徴量が近似する領域が、シーン全体にわたって追跡されることになる。
図2に戻って説明を続ける。
これによって、特徴量抽出手段14(図2)は、図10に示すように、映像Vのシーンを複数の矩形領域R(R1、R2、R3)で簡易化し、その矩形領域Rの座標情報(位置、大きさ)、画像特徴量、動きベクトルとして、映像特徴量を抽出する。
図2に戻って説明を続ける。
また、特徴量分類データベース10aは、図11の特徴量分類データベースの構造図の例に示すように、クラスタ値C(C1、C2、…)と、代表映像特徴量CV(CV1、CV2、…)とを1対1で対応付けたデータベースである。
なお、シーン映像再生手段19は、映像の全時間軸における指定位置を指定可能なスライドバーを表示装置の画面上に表示させ、図示していないマウス等の入力手段によって、操作者が適宜、スライドバーを操作することで、対応するシーンを再生し、映像内で発生するイベントを再生映像として確認することとしてもよい。
次に、図3及び図4を参照して、本発明に係る学習データ生成装置(映像イベント判別用学習データ生成装置)の動作について説明する。ここでは、学習データ生成装置の動作を、特徴量分類データベースを生成する動作と、イベントデータベースを生成する動作とに分けて説明する。図3は、学習データ生成装置が特徴量分類データベースを生成する動作を示すフローチャートである。図4は、学習データ生成装置がイベントデータベースを生成する動作を示すフローチャートである。
最初に、図3を参照(適宜図2参照)して、学習データ生成装置1が、特徴量分類データベース10aを生成する動作について説明する。
まず、学習データ生成装置1は、シーン分割手段12によって、映像をフレーム画像単位で入力する(ステップS1)。そして、学習データ生成装置1は、イベント開始検出手段12aによって、入力された原フレーム画像と、基準画像記憶手段13に記憶されている基準画像13aとが類似するかどうかを判定する(ステップS2)。
ここで、シーン分割手段12は、原フレーム画像が、最初の切り替わり画像であるかどうかを判定し(ステップS5)、最初の切り替わり画像である場合(ステップS5でYes)は、原フレーム画像を図示していない記憶手段に記憶しておき、ステップS1に戻って、次のフレーム画像を入力する。
なお、図示していないが、ステップS1において、映像を入力できなくなった段階で、ステップS6に進むこととする。これによって、映像の最終シーンの映像特徴量が抽出されることになる。
以上説明したように、学習データ生成装置1は、入力された映像から、シーン毎の映像特徴量をクラスタリングした特徴量分類データベース10aを生成することができる。
次に、図4を参照(適宜図2参照)して、学習データ生成装置1が、イベントデータベース11aを生成する動作について説明する。なお、図4におけるステップS11からステップS16までの動作は、図3で説明したステップS1からステップS6までの動作と同じ動作であるため説明を省略し、ステップS17以降の動作について説明する。
そして、学習データ生成装置1は、入力された映像が終了したかどうかを判定し(ステップS18)、終了していない場合(ステップS18でNo)は、ステップS11に戻って動作を続ける。
以上説明したように、学習データ生成装置1は、入力された映像から、複数のシーンが連続したイベントに対して、映像特徴量のクラスタ値のデータ列を対応付けたイベントデータベース11aを生成することができる。
次に、図5を参照して、本発明に係る映像イベント判別装置の構成について説明する。図5は、映像イベント判別装置の構成を示すブロック図である。
図5に示すように、映像イベント判別装置2は、外部から入力される映像から、イベントの種類を判別するものである。ここでは、映像イベント判別装置2は、特徴量分類DB記憶手段10と、イベントDB記憶手段11と、シーン分割手段12と、基準画像記憶手段13と、特徴量抽出手段14と、映像特徴量記憶手段15と、特徴量数値化手段21と、イベント特定手段22とを備えている。
次に、図6を参照(適宜図5参照)して、本発明に係る映像イベント判別装置の動作について説明する。図6は、映像イベント判別装置の動作(イベント判別動作)を示すフローチャートである。なお、ステップS31〜ステップS36は、図3で説明した学習データ生成装置1(図2)の動作におけるステップS1〜ステップS6と同じ動作であるため説明を省略し、ステップS37以降の動作について説明する。
以上の動作によって、映像イベント判別装置2は、学習データ(特徴量分類データベース10a及びイベントデータベース11a)に基づいて、映像から、イベント(映像イベント)を判別することができる。
2 映像イベント判別装置
10 特徴量分類DB(データベース)記憶手段
10a 特徴量分類データベース
11 イベントDB(データベース)記憶手段
11a イベントデータベース
12 シーン分割手段
12a イベント開始検出手段
13 基準画像記憶手段
13a 基準画像
14 特徴量抽出手段
15 映像特徴量記憶手段
16 特徴量分類手段
17 シーン数値化手段
18 シーン分類DB(データベース)記憶手段
18a シーン分類データベース
19 シーン映像再生手段
20 イベント設定手段
21 特徴量数値化手段
22 イベント特定手段
Claims (6)
- 入力された映像の各シーンにおける映像特徴量に基づいて、前記映像内で発生するイベントの種類を判別する映像イベント判別装置であって、
類似する前記映像特徴量の代表値と、その代表値を分類する数値データとを予め対応付けた特徴量分類データベースを記憶した特徴量分類データベース記憶手段と、
前記イベントの種類と、連続する複数のシーンを前記数値データのデータ列で表したシーン数値化列とを予め対応付けたイベントデータベースを記憶したイベントデータベース記憶手段と、
入力された前記映像をシーン毎に分割するシーン分割手段と、
このシーン分割手段で分割されたシーンに含まれる複数のフレーム画像から、当該シーンにおける前記映像特徴量を抽出する特徴量抽出手段と、
前記特徴量分類データベース記憶手段に記憶されている特徴量分類データベースを参照して、前記特徴量抽出手段で抽出された映像特徴量を、前記数値データに変換する特徴量数値化手段と、
前記イベントデータベース記憶手段に記憶されているイベントデータベースを参照して、前記特徴量数値化手段で変換された数値データのデータ列に対応するイベントの種類を特定するイベント特定手段と、
を備えていることを特徴とする映像イベント判別装置。 - 前記映像内で発生するイベントの開始となる基準画像を予め記憶した基準画像記憶手段を備え、
さらに、前記シーン分割手段が、前記フレーム画像と前記基準画像とを比較することで、前記映像内におけるイベントの開始を、前記シーンの切り替わりの開始点として検出するイベント開始検出手段を備えていることを特徴とする請求項1に記載の映像イベント判別装置。 - 入力された映像の各シーンにおける映像特徴量に基づいて、前記映像内で発生するイベントの種類を判別するために、コンピュータを、
入力された前記映像をシーン毎に分割するシーン分割手段、
このシーン分割手段で分割されたシーンに含まれる複数のフレーム画像から、当該シーンにおける前記映像特徴量を抽出する特徴量抽出手段、
類似する前記映像特徴量の代表値と、その代表値を分類する数値データとを予め対応付けた特徴量分類データベースを参照して、前記特徴量抽出手段で抽出された映像特徴量を、前記数値データに変換する特徴量数値化手段、
前記イベントの種類と、連続する複数のシーンを前記数値データのデータ列で表したシーン数値化列とを予め対応付けたイベントデータベースを参照して、前記特徴量数値化手段で変換された数値データのデータ列に対応するイベントの種類を特定するイベント特定手段、
として機能させることを特徴とする映像イベント判別プログラム。 - 請求項1又は請求項2に記載の映像イベント判別装置で使用する学習データである特徴量分類データベース及びイベントデータベースを生成する映像イベント判別用学習データ生成装置であって、
入力された前記映像をシーン毎に分割するシーン分割手段と、
このシーン分割手段で分割されたシーンに含まれる複数のフレーム画像から、当該シーンにおける前記映像特徴量を抽出する特徴量抽出手段と、
この特徴量抽出手段で抽出された映像特徴量を、類似する映像特徴量の代表値毎に、数値データを対応付けて分類した特徴量分類データベースを生成する特徴量分類手段と、
前記シーン毎に、当該シーンに含まれるフレーム画像を識別するためのフレーム画像番号と、前記特徴量分類手段によって分類された前記映像特徴量の数値データとを対応付けるシーン数値化手段と、
このシーン数値化手段で対応付けられた前記シーン毎のフレーム画像番号に基づいて、前記シーンを再生するシーン映像再生手段と、
このシーン映像再生手段で再生された連続する複数のシーンに対して、イベントの種類を示すイベント識別情報を入力されることで、前記イベント識別情報と、前記複数のシーンに対応する前記映像特徴量の数値データのデータ列であるシーン数値化列とを対応付けた前記イベントデータベースを生成するイベント設定手段と、
を備えていることを特徴とする映像イベント判別用学習データ生成装置。 - 前記映像内で発生するイベントの開始となる基準画像を予め記憶した基準画像記憶手段を備え、
さらに、前記シーン検出手段が、前記フレーム画像と前記基準画像とを比較することで、前記映像内におけるイベントの開始を、前記シーンの切り替わりの開始点として検出するイベント開始検出手段を備えていることを特徴とする請求項4に記載の映像イベント判別用学習データ生成装置。 - 請求項1又は請求項2に記載の映像イベント判別装置で使用する学習データである特徴量分類データベース及びイベントデータベースを生成するために、コンピュータを、
入力された前記映像をシーン毎に分割するシーン分割手段、
このシーン分割手段で分割されたシーンに含まれる複数のフレーム画像から、当該シーンにおける前記映像特徴量を抽出する特徴量抽出手段、
この特徴量抽出手段で抽出された映像特徴量を、類似する映像特徴量の代表値毎に、数値データを対応付けて分類した特徴量分類データベースを生成する特徴量分類手段、
前記シーン毎に、当該シーンに含まれるフレーム画像を識別するためのフレーム画像番号と、前記特徴量分類手段によって分類された前記映像特徴量の数値データとを対応付けるシーン数値化手段、
このシーン数値化手段で対応付けられた前記シーン毎のフレーム画像番号に基づいて、前記シーンを再生するシーン映像再生手段、
このシーン映像再生手段で再生された連続する複数のシーンに対して、イベントの種類を示すイベント識別情報を入力されることで、前記イベント識別情報と、前記複数のシーンに対応する前記映像特徴量の数値データのデータ列であるシーン数値化列とを対応付けたイベントデータベースを生成するイベント設定手段、
として機能させることを特徴とする映像イベント判別用学習データ生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004149902A JP4546762B2 (ja) | 2004-05-20 | 2004-05-20 | 映像イベント判別用学習データ生成装置及びそのプログラム、並びに、映像イベント判別装置及びそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004149902A JP4546762B2 (ja) | 2004-05-20 | 2004-05-20 | 映像イベント判別用学習データ生成装置及びそのプログラム、並びに、映像イベント判別装置及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005332206A true JP2005332206A (ja) | 2005-12-02 |
JP4546762B2 JP4546762B2 (ja) | 2010-09-15 |
Family
ID=35486825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004149902A Expired - Fee Related JP4546762B2 (ja) | 2004-05-20 | 2004-05-20 | 映像イベント判別用学習データ生成装置及びそのプログラム、並びに、映像イベント判別装置及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4546762B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007158673A (ja) * | 2005-12-05 | 2007-06-21 | Hitachi Ltd | 危険映像検出方法、映像相違検出方法及び装置 |
JP2007304869A (ja) * | 2006-05-11 | 2007-11-22 | Sony Corp | 画像処理装置および方法、プログラム並びに記録媒体 |
JP2009093250A (ja) * | 2007-10-04 | 2009-04-30 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
JP2009163579A (ja) * | 2008-01-08 | 2009-07-23 | Olympus Corp | 画像処理装置および画像処理プログラム |
JP2009282660A (ja) * | 2008-05-21 | 2009-12-03 | Nippon Telegr & Teleph Corp <Ntt> | 画像辞書生成装置,画像辞書生成方法,および画像辞書生成プログラム |
JP4456181B1 (ja) * | 2008-10-27 | 2010-04-28 | パナソニック株式会社 | 移動体検出方法及び移動体検出装置 |
WO2010079556A1 (ja) * | 2009-01-09 | 2010-07-15 | パナソニック株式会社 | 移動体検出方法および移動体検出装置 |
JP2012043337A (ja) * | 2010-08-23 | 2012-03-01 | Nikon Corp | 画像処理装置、撮像システム、画像処理方法、およびプログラム |
JP2012185730A (ja) * | 2011-03-07 | 2012-09-27 | Fujitsu Ltd | 画像処理プログラムおよび画像処理方法並びに画像処理装置 |
KR20190125569A (ko) * | 2018-04-30 | 2019-11-07 | 연세대학교 산학협력단 | 영상 특징의 미분 및 지도 학습을 이용하여 비디오의 장면 상황 정보를 생성하는 방법 및 장치 |
WO2023011094A1 (zh) * | 2021-08-02 | 2023-02-09 | 北京百度网讯科技有限公司 | 视频编辑方法、装置、电子设备以及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07114567A (ja) * | 1993-10-20 | 1995-05-02 | Hitachi Ltd | ビデオの検索方法および装置 |
JP2001243236A (ja) * | 2000-02-28 | 2001-09-07 | Nippon Telegr & Teleph Corp <Ntt> | 映像特徴抽出方法、映像特徴抽出装置、映像検索方法、映像検索装置、およびそのプログラムを記録した記録媒体 |
-
2004
- 2004-05-20 JP JP2004149902A patent/JP4546762B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07114567A (ja) * | 1993-10-20 | 1995-05-02 | Hitachi Ltd | ビデオの検索方法および装置 |
JP2001243236A (ja) * | 2000-02-28 | 2001-09-07 | Nippon Telegr & Teleph Corp <Ntt> | 映像特徴抽出方法、映像特徴抽出装置、映像検索方法、映像検索装置、およびそのプログラムを記録した記録媒体 |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007158673A (ja) * | 2005-12-05 | 2007-06-21 | Hitachi Ltd | 危険映像検出方法、映像相違検出方法及び装置 |
JP2007304869A (ja) * | 2006-05-11 | 2007-11-22 | Sony Corp | 画像処理装置および方法、プログラム並びに記録媒体 |
JP2009093250A (ja) * | 2007-10-04 | 2009-04-30 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
US8165387B2 (en) | 2007-10-04 | 2012-04-24 | Sony Corporation | Information processing apparatus and method, program, and recording medium for selecting data for learning |
JP2009163579A (ja) * | 2008-01-08 | 2009-07-23 | Olympus Corp | 画像処理装置および画像処理プログラム |
US8724847B2 (en) | 2008-01-08 | 2014-05-13 | Olympus Corporation | Image processing apparatus and program storage medium |
JP2009282660A (ja) * | 2008-05-21 | 2009-12-03 | Nippon Telegr & Teleph Corp <Ntt> | 画像辞書生成装置,画像辞書生成方法,および画像辞書生成プログラム |
CN101983389B (zh) * | 2008-10-27 | 2012-11-21 | 松下电器产业株式会社 | 移动体检测方法以及移动体检测装置 |
JP4456181B1 (ja) * | 2008-10-27 | 2010-04-28 | パナソニック株式会社 | 移動体検出方法及び移動体検出装置 |
WO2010050110A1 (ja) * | 2008-10-27 | 2010-05-06 | パナソニック株式会社 | 移動体検出方法及び移動体検出装置 |
US8340357B2 (en) | 2008-10-27 | 2012-12-25 | Panasonic Corporation | Moving object detection method and moving object detection apparatus |
JP4542207B1 (ja) * | 2009-01-09 | 2010-09-08 | パナソニック株式会社 | 移動体検出方法および移動体検出装置 |
US8213681B2 (en) | 2009-01-09 | 2012-07-03 | Panasonic Corporation | Moving object detection method and moving object detection apparatus |
WO2010079556A1 (ja) * | 2009-01-09 | 2010-07-15 | パナソニック株式会社 | 移動体検出方法および移動体検出装置 |
JP2012043337A (ja) * | 2010-08-23 | 2012-03-01 | Nikon Corp | 画像処理装置、撮像システム、画像処理方法、およびプログラム |
JP2012185730A (ja) * | 2011-03-07 | 2012-09-27 | Fujitsu Ltd | 画像処理プログラムおよび画像処理方法並びに画像処理装置 |
KR20190125569A (ko) * | 2018-04-30 | 2019-11-07 | 연세대학교 산학협력단 | 영상 특징의 미분 및 지도 학습을 이용하여 비디오의 장면 상황 정보를 생성하는 방법 및 장치 |
KR102120453B1 (ko) | 2018-04-30 | 2020-06-08 | 연세대학교 산학협력단 | 영상 특징의 미분 및 지도 학습을 이용하여 비디오의 장면 상황 정보를 생성하는 방법 및 장치 |
WO2023011094A1 (zh) * | 2021-08-02 | 2023-02-09 | 北京百度网讯科技有限公司 | 视频编辑方法、装置、电子设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP4546762B2 (ja) | 2010-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
D’Orazio et al. | A review of vision-based systems for soccer video analysis | |
Zhu et al. | Event tactic analysis based on broadcast sports video | |
US7203366B2 (en) | Video retrieval method and apparatus | |
CN101639354B (zh) | 对象跟踪的设备和方法 | |
JP4227241B2 (ja) | 画像処理装置及び方法 | |
US5923365A (en) | Sports event video manipulating system for highlighting movement | |
JP4956273B2 (ja) | 投球球種識別装置、識別器生成装置、投球球種識別プログラム及び識別器生成プログラム | |
JP2008048279A (ja) | 映像再生装置、方法およびプログラム | |
JP4546762B2 (ja) | 映像イベント判別用学習データ生成装置及びそのプログラム、並びに、映像イベント判別装置及びそのプログラム | |
CA2392530A1 (en) | Coordination and combination of video sequences with spatial and temporal normalization | |
JP4886707B2 (ja) | オブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラム | |
CN101807393A (zh) | Ktv***及其实现方法、电视机 | |
JP6649231B2 (ja) | 検索装置、検索方法およびプログラム | |
CN112312142B (zh) | 视频播放控制方法、装置和计算机可读存储介质 | |
JP2006195525A (ja) | 映像オブジェクト軌跡付加装置及び映像オブジェクト軌跡付加プログラム | |
JP6983049B2 (ja) | オブジェクト追跡装置及びそのプログラム | |
US7231088B2 (en) | Method for team play analysis | |
JP6853528B2 (ja) | 映像処理プログラム、映像処理方法、及び映像処理装置 | |
JP6464616B2 (ja) | 情報処理プログラム、方法、及び装置 | |
JP6394184B2 (ja) | 判定プログラム、方法、及び装置 | |
JP7420245B2 (ja) | 映像処理装置、映像処理方法、及び、プログラム | |
KR102299459B1 (ko) | 중계 영상을 활용한 야구 경기 분석 장치 및 방법과 요약 비디오 생성 방법 | |
JP2006042229A (ja) | 映像オブジェクト抽出装置、映像オブジェクト軌跡合成装置、その方法及びそのプログラム | |
Bertini et al. | Highlights modeling and detection in sports videos | |
JP2010081531A (ja) | 映像処理装置及びその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100608 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100702 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4546762 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140709 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |