JP2004534343A - 所定の領域内の人間の実際位置を識別するための方法及び装置並びに方法及び/又は装置の使用 - Google Patents
所定の領域内の人間の実際位置を識別するための方法及び装置並びに方法及び/又は装置の使用 Download PDFInfo
- Publication number
- JP2004534343A JP2004534343A JP2003512932A JP2003512932A JP2004534343A JP 2004534343 A JP2004534343 A JP 2004534343A JP 2003512932 A JP2003512932 A JP 2003512932A JP 2003512932 A JP2003512932 A JP 2003512932A JP 2004534343 A JP2004534343 A JP 2004534343A
- Authority
- JP
- Japan
- Prior art keywords
- person
- human
- area
- image
- image recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000011156 evaluation Methods 0.000 claims abstract description 26
- 238000001454 recorded image Methods 0.000 claims abstract 2
- 238000001514 detection method Methods 0.000 claims description 9
- 230000011664 signaling Effects 0.000 claims description 2
- 238000005286 illumination Methods 0.000 claims 1
- 241000282412 Homo Species 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 210000000038 chest Anatomy 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Air Bags (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】
技術分野
本発明は、所定の領域内の人間の実際位置を識別するための方法及び装置に関し、この際所定の領域は画像記録装置でもって監視される。並びに、本発明は方法及び/又は装置の使用に関する。
【0002】
従来技術
冒頭で述べたような方法及び装置が公知である。例えばUS-PS 5,983,147から、ビデオセンサ、殊に自動車の同乗者シートのシーンを監視するステレオカメラを用いることが公知である。撮影されたシーンの評価によって同乗者シートが占有されているか否かが識別される。同乗者シートが占有されていることが確認されると、これに基づいて大きい人間(大人)または小さい人間(子供)またはその他の対象が存在するか否かをさらに求めることができる。取得されたこの識別に依存して、同乗者用エアバッグの制御に影響を及ぼすことができる。公知のやり方によれば、殊に小さい人間に対するエアバッグのトリガは(エアバッグまでの距離が比較的短いために)エアバッグのトリガ時の負傷の高い危険を含んでいる。US-PS 5,983,147から公知の方法によって、エアバッグ展開領域における同乗者の頭部/胸部領域が識別されると、事故状況時に同乗者用エアバッグをトリガすべきでないか(または完全にはトリガすべきではないか)否かを決定することができる。
【0003】
このような画像監視に使用されるビデオカメラは、毎秒約25画像の時間的な解像度で数百万画素の高い光学的な解像度を有する画像を供給する。このことは40msごとの1つの画像のインターバルに相応する。このような時間的な解像度は統計的な監視に適している。しかしながら動的な監視が行われる場合、公知の方法においては比較的高い不正確性が生じることは欠点である。公知のやり方では事故状況時に、実際位置の非常に急速な変化をもたらす車両内の人間に作用する大きな遅延が生じるので、人間の相対的な位置はこの人間に対してエアバッグがトリガされる前に変化している。したがって、画像評価は時間遅延によって、人間は危険領域外にいることを検出するが、しかしながら他方では人間は実際には危険領域内にいるという危険が生じる。
【0004】
発明の開示、課題、解決手段、利点
本発明の課題は、信頼性を殊に動的な状況において改善することができる、冒頭で述べたような方法及び装置を提供することである。
【0005】
この課題は請求項1記載の特徴を有する方法によって解決される。
【0006】
所定の領域が画像記録装置でもって監視され、撮影された画像が評価装置によって処理され、所定の領域内の人間が識別されると人間の少なくとも1つの著しい特徴が検出され(求められ)、さらなる評価がこの少なくとも1つの著しい特徴に制限され、この少なくとも1つの著しい特徴の位置が相対的に変化した場合にはイベント信号が発生されることによって、殊に人間の頭部/胸部領域のような人間の固有の身体部位の位置を、これまでの通常の画像記録ないし画像評価の率を大きく上回る反復率でもって識別することが有利には可能である。これによって殊に監視すべき領域内の人間の動的な特性が実際位置の識別の際に最適に考慮される。殊にさらなる評価を人間の少なくとも1つの著しい特徴に制限することによって、評価の際のデータを大幅に低減することができるので、既存の計算容量を比較的高い反復率のために使用することができる。
【0007】
本発明によれば課題はさらに請求項10記載の特徴を有する装置によって解決される。装置が所定の領域を検知するための画像記録装置及び検知された画像を処理するための評価装置を包含し、評価装置には識別された人間の少なくとも1つの著しい特徴を検出できる(求めることができる)手段と、少なくとも1つの著しい特徴の相対的な位置変化を識別及びシグナリングできる手段とが設けられていることによって、所定の領域内の人間の実際位置を簡単なやり方で確実且つ迅速に検知できる。
【0008】
それに加え課題は請求項16記載の特徴を有する使用によって解決される。自動車の少なくとも1つの安全装置を制御するための装置及び/又は方法が使用されることによって、安全装置の機能を個別に車両乗員のタイプ及び/又は瞬間的な実際位置、殊に同乗者シート上にいる人間に適応させることができる。殊に、例えば小さな子供及び/又は身体の小さい人間のような特に危険に晒される乗員グループの安全性を高めることが達成される。さらに身体の大きい人間に対しても少なくとも1つの安全装置の状況に応じた制御が可能である。
【0009】
本発明の別の有利な実施形態は従属請求項に記載されている特徴から生じる。
【0010】
図面の簡単な説明
以下では本発明を付属の図面に基づいた実施例において詳細に説明する。ここで、
図1は自動車の概略図であり、
図2は本発明による方法のフローチャートであり、
図3は人間の著しい特徴の例である。
【0011】
発明を実施するための最良の形態
図1は、全体を参照記号10でもって表した自動車を概略的に示す。自動車10は少なくとも1つの車両シート12を有し、この車両シート12上に人間14が着座する。以下の説明では、自動車10の同乗者を取り扱うものとする。本発明を簡単に、以下でさらに説明する安全装置が設けられているところであれば、自動車10のドライバ及び/又は図示していない後部座席に着座する人間にも転用することができる。
【0012】
それぞれの人間14は能動的な安全装置、例えば操縦装置16及び/又は制動装置及び受動的な安全装置、例えばエアバッグ18、図示していないシートベルトに配属されている。能動的及び/又は受動的な安全装置は制御装置20によって制御することができる。
【0013】
車両シート12は画像記録装置22に配属されており、この画像記録装置22を用いて一定に調節された所定の領域24を監視することができる。この際、各車両シート12には固有に割り当てられた所定の領域24を有する画像記録装置22を配属することができるか、複数の車両シート12に1つの共通の画像記録装置22が配属される。画像記録装置22は例えばCMOSステレオカメラである。画像記録装置22は選択的に領域24を照明するための照明装置26に配属されている。照明装置26は例えば赤外線領域において動作することができる。画像記録装置22は評価装置28と接続されており、この評価装置28は制御装置20と接続されている。
【0014】
図1に示された配置構成100の機能は以下において図2のフローチャートに基づき明らかにされる。
【0015】
例えば自動車10の原動機械の点火によりトリガすることができる開始30の後に、画像記録装置22を用いて監視すべき領域24の瞬間的な画像が撮影される(ステップ32)。領域24における実際の結像に相応する画像記録装置22からの信号が評価装置28に供給される。例えば画像記録装置22によって例えば数10msの間隔をおいて画像が読み出される。評価装置28は、画像記録装置22から供給される信号を評価するための少なくとも1つのプロセッサを包含する。プロセッサとして例えばマルチタスク能力を備えたプロセッサまたはマルチタスク能力を備えていないプロセッサも使用することができる。
【0016】
画像記録装置22はステレオカメラとして構成されているので、ステレオカメラの2つの画像の間での画像内容のずれに基づいて、例えば三角測量法を用いて領域24内の対象の画像記録装置22までの距離が検出される。複数の個々の画素を結合することによって、領域24に生じるシーンが3次元の形態で検出される(ステップ34)。別の変形実施形態によれば、三角測量法の代わりに画像記録装置22から送出された光パルスの経過時間の測定による3次元検出も実現できる(距離撮像装置)。
【0017】
引き続きステップ36では領域24内に人間14が存在するか否かが検出される。3次元の形態に変換される画像信号から人間14を検出することは、例えば典型的な輝度パターンまたは典型的な形態(頭部形状、上半身の形状との比における頭部形状など)に基づいて行うことができる。人間14の検出と同時に人間の分類が行われる。分類を人間の外見に基づいてそれぞれの適用に関連するカテゴリで行うことができる。エアバッグ18を制御するためには例えば以下のようなカテゴリにすることができる。すなわち、人間は後ろ向きにされたチャイルドシート内の乳幼児である、人間は3歳の子供である、人間は6歳の子供である、人間は身体の小さいの大人である、人間は身体の大きい大人である、など。
【0018】
ステップ36における信号処理は、人間14が領域24に存在するか否かを判断する判定ステップ38に引き渡される。否定の場合には方法が新たに開始され、ステップ32を再度始める。肯定の場合には、領域24における撮影のさらなる詳細な評価への移行40が行われる。この移行と同時に、領域24における人間14の検出及び分類の処理が再度開始される。
【0019】
撮影のさらなる評価は移行40によって開始される(ステップ40′)。この瞬間に存在する領域24内の人間14の撮影から、人間14の少なくとも1つの著しい特徴が検出される。人間14のこの著しい特徴は図3に示したように頭部42の領域にあっても良く、また目44及び/又は鼻46及び/又は口48の位置によって規定することができる。人間14のこの少なくとも1つの著しい特徴の検出後に、評価装置28を介して画像記録装置22は、全体の画像のさらに少なくとも1つの画像領域がさらに検知されて評価されるように制御される。この画像領域は図3において例えば参照記号50でもって表されており、この画像領域内には著しい特徴44、46及び48が存在する。必要に応じて、著しい特徴44、46または48の内の1つへと監視される画像領域をさらに縮小することが可能である。このさらに監視される画像領域を例えば8×8画素の大きさのブロックとすることができる。
【0020】
さらに監視すべき画像領域50を検出するためにステップ52(図2)では、過去における人間14の関連する身体個所の位置から目下の実際位置が予測される。簡単な場合最後に検出された位置の周辺の領域が使用される。別の変形実施形態では位置は線形に、事前に求められた位置から検出される。p(k)及びp(k−1)が最後の時点t(k)において、またその1つ前の時点t(k−1)までに求められた関連する画像領域50の位置を表すならば、目下の予測は次式から算出される。すなわち、
p(k+1)=p(k)+[p(k)-p(k-1)]*[t(k+1)-t(k)]/[t(k)-t(k-1)]
【0021】
画像領域50ないし人間14の少なくとも1つの著しい特徴に相応する画像領域50のこの予測により、画像領域50は画像記録装置22によってさらに撮影され、この画像領域50においてのみさらなる評価が実施される(ステップ54)。ここでこの少なくとも1つの画像領域50(人間14の少なくとも1つの著しい特徴)の相対的な位置変化が生じるか否かが監視される(ステップ56)。判定ステップ58では人間14の少なくとも1つの著しい特徴、したがって人間14がさらに領域24に存在するか否か、また人間14はどのような瞬間的な実際位置を取っているかが検査される。人間14がもはや領域24に存在しない、ないし所定の限界値、例えばエアバッグ18までの最小距離を下回る場合には、評価装置28を介して制御装置20に供給することができるイベント信号60がトリガされる。制御装置20はこのイベント信号60に基づいて、(事故時に)エアバッグ18のトリガを阻止することができるか、例えばエアバッグ18を部分的にしか展開しないようにトリガすることができる。
【0022】
上記の説明に基づき、前もって領域24において人間14の基本的な識別を行った後、またそれに続く少なくとも1つの画像領域50したがって人間14の少なくとも1つの著しい特徴へと監視を制限した後では評価の非常に高い反復率を可能にするので、自動車10の衝突時における遅延に基づいた動的な経過、例えば人間14の急速な位置変化も即座に識別し、エアバッグ18の制御もこれに適応させることができる。
【0023】
評価の反復率をさらに高めることは、判定ステップ58において人間14がさらに領域24に存在する、ないしエアバッグ18までの最小距離を下回っていないことが識別されると、人間14の検出及び/又は分類の処理が少なくとも短時間行われない(ステップ62)ことによって達成することができる。これによって検出ないし分類に使用される計算リソースを反復率の向上に使用することができる。
【図面の簡単な説明】
【0024】
【図1】自動車の概略図である。
【図2】本発明による方法のフローチャートである。
【図3】人間の特徴的な目印の例である。
Claims (18)
- 所定の領域内の人間の実際位置を識別する方法において、
前記所定の領域を画像記録装置でもって監視し、記録された画像を評価装置によって処理し、監視される領域において人間が識別されると該人間の少なくとも1つの著しい特徴を検出し、さらなる評価を該少なくとも1つの著しい特徴に制限し、該少なくとも1つの著しい特徴の位置が所定の最小基準を上回って相対的に変化した場合にイベント信号を発生させることを特徴とする、所定の領域内の人間の実際位置を識別する方法。 - 監視すべき領域(24)内に生じるシーンの瞬間的な画像を3次元の形態で検出する、請求項1記載の方法。
- 前記3次元の形態に基づいて、人間(14)が前記監視すべき領域(24)内に存在するか否かを検出する、請求項1または2記載の方法。
- 人間(14)の前記検出を典型的な輝度パターンまたは人間(14)の典型的な形態に基づいて行う、請求項1から3までのいずれか1項記載の方法。
- 前記検出された人間(14)の分類を行う、請求項1から4までのいずれか1項記載の方法。
- 前記分類を検出された人間(14)の年齢、小さい身体または大きい身体に応じて行う、請求項5記載の方法。
- 人間(14)の少なくとも1つの著しい特徴(44、46、48)を検出及び監視するために、前記画像記録装置(22)から供給される画像の検知を少なくとも1つの画像領域に制限する、請求項1から6までのいずれか1項記載の方法。
- さらに監視すべき前記少なくとも1つの画像領域を検出するために、過去における少なくとも1つの著しい特徴(44、46、48)の位置から目下の実際位置を予測する、請求項7記載の方法。
- 前記少なくとも1つの著しい特徴(44、46、48)が検出されて監視されると、人間(14)の検出及び/又は分類の処理を少なくとも短時間行わない、請求項1から8までのいずれか1項記載の方法。
- 所定の領域内の人間の実際位置を識別する装置において、
前記所定の領域(24)を検知するための画像記録装置(22)と、検知された画像を処理するための評価装置(28)とを有し、
該評価装置(28)は、識別された人間(14)の少なくとも1つの著しい特徴(44、46、48)を求める手段と、該少なくとも1つの著しい特徴(44、46、48)の相対的な位置変化を識別してシグナリングする手段とを包含することを特徴とする、所定の領域内の人間の実際位置を識別する装置。 - 前記画像記録装置(22)はステレオカメラ、例えばCMOSステレオカメラである、請求項10記載の装置。
- 前記画像記録装置(22)には照明装置(26)が配属されている、請求項10または11記載の装置。
- 前記評価装置(28)は、マルチタスク能力を備えた少なくとも1つのプロセッサまたはマルチタスク能力を備えていない少なくとも1つのプロセッサを包含する、請求項10から12までのいずれか1項記載の装置。
- 前記画像記録装置(22)は1つの領域(24)または複数の領域(24)に割り当てられている、請求項10から13までのいずれか1項記載の装置。
- 評価装置(28)は複数の画像記録装置(22)に配属されている、請求項10から13までのいずれか1項記載の装置。
- 自動車の少なくとも1つの安全装置を制御するための請求項1から9までのいずれか1項記載の方法及び/又は請求項10から15までのいずれか1項記載の装置の使用。
- 前記安全装置は受動的な安全装置である、請求項16記載の使用。
- 前記受動的な安全装置はエアバッグなどである、請求項17記載の使用。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10133386A DE10133386A1 (de) | 2001-07-10 | 2001-07-10 | Verfahren und Vorrichtung zum Erkennen einer Ist-Position einer Person innerhalb eines vorgebbaren Bereiches und Verwendung des Verfahrens und/oder der Vorrichtung |
PCT/DE2002/002500 WO2003007244A1 (de) | 2001-07-10 | 2002-07-09 | Erkennen der positionsänderung eines fahrzeuginsassen in einer bildsequenz |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004534343A true JP2004534343A (ja) | 2004-11-11 |
Family
ID=7691212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003512932A Pending JP2004534343A (ja) | 2001-07-10 | 2002-07-09 | 所定の領域内の人間の実際位置を識別するための方法及び装置並びに方法及び/又は装置の使用 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20040249567A1 (ja) |
EP (1) | EP1407421A1 (ja) |
JP (1) | JP2004534343A (ja) |
DE (1) | DE10133386A1 (ja) |
WO (1) | WO2003007244A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005025963A1 (de) * | 2005-05-23 | 2006-12-14 | Conti Temic Microelectronic Gmbh | Verfahren zur Erfassung von Objekten auf dem Sitz eines Fahrzeugs |
US8228382B2 (en) * | 2005-11-05 | 2012-07-24 | Ram Pattikonda | System and method for counting people |
DE102007010186A1 (de) | 2007-03-02 | 2008-09-04 | Robert Bosch Gmbh | Vorrichtung, Verfahren und Computerprogramm zur bildgestützten Verfolgung von Überwachungsobjekten |
US8154398B2 (en) * | 2007-10-23 | 2012-04-10 | La Crosse Technology | Remote location monitoring |
DE102010044449B4 (de) * | 2009-12-31 | 2014-05-08 | Volkswagen Ag | Erkennen des Grades der Fahrfähigkeit des Fahrers eines Kraftfahrzeugs |
IL246387A (en) * | 2016-06-22 | 2017-05-29 | Pointgrab Ltd | METHOD AND SYSTEM FOR DETERMINING A BODY POSITION OF PRESENT |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6270116B1 (en) * | 1992-05-05 | 2001-08-07 | Automotive Technologies International, Inc. | Apparatus for evaluating occupancy of a seat |
US6553296B2 (en) * | 1995-06-07 | 2003-04-22 | Automotive Technologies International, Inc. | Vehicular occupant detection arrangements |
US5016282A (en) * | 1988-07-14 | 1991-05-14 | Atr Communication Systems Research Laboratories | Eye tracking image pickup apparatus for separating noise from feature portions |
US5943295A (en) * | 1997-02-06 | 1999-08-24 | Automotive Technologies International Inc. | Method for identifying the presence and orientation of an object in a vehicle |
DE4414216C1 (de) * | 1994-04-23 | 1995-04-06 | Daimler Benz Ag | Fremdnutzungsschutzeinrichtung für ein Kraftfahrzeug mit Personalisierung der Fahrberechtigung |
JP3279913B2 (ja) * | 1996-03-18 | 2002-04-30 | 株式会社東芝 | 人物認証装置、特徴点抽出装置及び特徴点抽出方法 |
US5983147A (en) * | 1997-02-06 | 1999-11-09 | Sandia Corporation | Video occupant detection and classification |
US6005958A (en) * | 1997-04-23 | 1999-12-21 | Automotive Systems Laboratory, Inc. | Occupant type and position detection system |
JPH11142520A (ja) * | 1997-11-06 | 1999-05-28 | Omron Corp | 測距装置の軸調整方法及び軸ずれ検出方法並びに測距装置 |
JP2001058552A (ja) * | 1999-08-04 | 2001-03-06 | Takata Corp | 車両衝突被害軽減システム |
WO2001085497A1 (en) * | 2000-05-10 | 2001-11-15 | Wallace Michael W | Vehicle occupant classification system and method |
-
2001
- 2001-07-10 DE DE10133386A patent/DE10133386A1/de not_active Withdrawn
-
2002
- 2002-07-09 US US10/478,671 patent/US20040249567A1/en not_active Abandoned
- 2002-07-09 EP EP02754334A patent/EP1407421A1/de not_active Ceased
- 2002-07-09 JP JP2003512932A patent/JP2004534343A/ja active Pending
- 2002-07-09 WO PCT/DE2002/002500 patent/WO2003007244A1/de active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP1407421A1 (de) | 2004-04-14 |
DE10133386A1 (de) | 2003-01-23 |
WO2003007244A1 (de) | 2003-01-23 |
US20040249567A1 (en) | 2004-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7607509B2 (en) | Safety device for a vehicle | |
US6757009B1 (en) | Apparatus for detecting the presence of an occupant in a motor vehicle | |
EP1801730B1 (en) | Method of detecting vehicle-operator state | |
US6608910B1 (en) | Computer vision method and apparatus for imaging sensors for recognizing and tracking occupants in fixed environments under variable illumination | |
JP4658899B2 (ja) | 車両の乗員検知装置 | |
US20040220705A1 (en) | Visual classification and posture estimation of multiple vehicle occupants | |
EP1251465A2 (en) | Motor vehicle occupant detection system employing ellipse shape models and bayesian classification | |
JP2008199515A (ja) | 同乗者着座姿勢検出・判定装置及び方法 | |
KR20010005883A (ko) | 탑승자 유형 및 위치 검출 시스템 | |
JP4469508B2 (ja) | シーン内の物体の位置を求めるための方法および装置 | |
JP4788620B2 (ja) | 飲酒運転防止支援システム | |
WO2014188648A1 (ja) | ドライバ確認装置 | |
CN110949302B (zh) | 车辆的乘员监视装置以及乘员保护*** | |
US20150125126A1 (en) | Detection system in a vehicle for recording the speaking activity of a vehicle occupant | |
US11625927B2 (en) | Abnormality determination apparatus | |
CN110949301A (zh) | 车辆的乘员监视装置以及乘员保护*** | |
US10579867B2 (en) | Method and device for detecting an object in a vehicle | |
CN110949303B (zh) | 车辆的乘员监视装置以及乘员保护*** | |
KR20140107880A (ko) | 졸음 운전 방지 시스템 및 그 방법 | |
JP2004534343A (ja) | 所定の領域内の人間の実際位置を識別するための方法及び装置並びに方法及び/又は装置の使用 | |
JP2010195139A (ja) | 乗員拘束制御装置および乗員拘束制御方法 | |
US7403635B2 (en) | Device and method for detection of an object or a person in the interior of a motor vehicle | |
WO2020179656A1 (ja) | 運転者監視装置 | |
JPH11304428A (ja) | 運転者監視装置及び自動車運転支援システム | |
JP3751467B2 (ja) | 車載機器制御装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050708 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080417 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080715 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080919 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081217 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20081225 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090119 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090126 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090217 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090313 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090416 |