JP2003187231A - 物体認識装置 - Google Patents
物体認識装置Info
- Publication number
- JP2003187231A JP2003187231A JP2001384352A JP2001384352A JP2003187231A JP 2003187231 A JP2003187231 A JP 2003187231A JP 2001384352 A JP2001384352 A JP 2001384352A JP 2001384352 A JP2001384352 A JP 2001384352A JP 2003187231 A JP2003187231 A JP 2003187231A
- Authority
- JP
- Japan
- Prior art keywords
- image
- database
- image data
- recognition
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 認識率を維持しつつデータベースの画像情報
の量を低減することが可能な物体認識装置を実現する。 【解決手段】 3次元の対象物の画像データと予め構築
されたデータベースの画像情報とを比較して対象物の認
識を行う物体認識装置において、対象物の画像データを
取り込む画像入力装置と、データベースとして複数の対
象物の基準画像の画像情報が蓄積された記憶手段と、画
像入力装置から得られた画像データが基準画像である場
合はそのまま出力し、基準画像でない場合には画像デー
タの軸対称画像を生成し、画像データと軸対称画像とか
ら基準画像を生成して出力する前処理手段と、この前処
理手段から出力される基準画像とデータベースとを照合
して対象物を認識する認識処理手段とを設ける。
の量を低減することが可能な物体認識装置を実現する。 【解決手段】 3次元の対象物の画像データと予め構築
されたデータベースの画像情報とを比較して対象物の認
識を行う物体認識装置において、対象物の画像データを
取り込む画像入力装置と、データベースとして複数の対
象物の基準画像の画像情報が蓄積された記憶手段と、画
像入力装置から得られた画像データが基準画像である場
合はそのまま出力し、基準画像でない場合には画像デー
タの軸対称画像を生成し、画像データと軸対称画像とか
ら基準画像を生成して出力する前処理手段と、この前処
理手段から出力される基準画像とデータベースとを照合
して対象物を認識する認識処理手段とを設ける。
Description
【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、撮影等された3次
元の対象物の画像データと予め構築されたデータベース
の画像情報とを比較して当該対象物の認識を行う物体認
識装置に関し、特に認識率を維持しつつデータベースの
画像情報の量を低減することが可能な物体認識装置に関
する。
元の対象物の画像データと予め構築されたデータベース
の画像情報とを比較して当該対象物の認識を行う物体認
識装置に関し、特に認識率を維持しつつデータベースの
画像情報の量を低減することが可能な物体認識装置に関
する。
【0002】
【従来の技術】従来の物体認識装置は、カメラ、スキャ
ナ、ビデオカメラ等の画像入力装置から取得された3次
元の対象物の画像データと予めデータベースに蓄積され
た認識対象である複数の対象物の画像情報とを比較し
て、両者の特徴量が一致した場合に、データベースの情
報に基づき対象物が何であるかを認識するものである。
ナ、ビデオカメラ等の画像入力装置から取得された3次
元の対象物の画像データと予めデータベースに蓄積され
た認識対象である複数の対象物の画像情報とを比較し
て、両者の特徴量が一致した場合に、データベースの情
報に基づき対象物が何であるかを認識するものである。
【0003】図8はこのような従来の物体認識装置の一
例を示す構成ブロック図である。図8において1はビデ
オカメラ等の画像入力装置、2はコンピュータ等の認識
処理手段、3,4及び5はハードディスクやCD−RO
M(Compact Disc Read OnlyMemory)等の記憶手段であ
る。また、2,3,4及び5は認識処理装置50を構成
している。
例を示す構成ブロック図である。図8において1はビデ
オカメラ等の画像入力装置、2はコンピュータ等の認識
処理手段、3,4及び5はハードディスクやCD−RO
M(Compact Disc Read OnlyMemory)等の記憶手段であ
る。また、2,3,4及び5は認識処理装置50を構成
している。
【0004】画像入力装置1の出力は認識処理手段2に
接続され、記憶手段3,4及び5の入出力は認識処理手
段2にそれぞれ相互に接続される。
接続され、記憶手段3,4及び5の入出力は認識処理手
段2にそれぞれ相互に接続される。
【0005】ここで、図8に示す従来例の動作を図9、
図10及び図11を用いて説明する。図9はデータベー
スの構築方法を説明する説明図、図10は認識処理手段
2の動作を説明するフロー図、図11は認識時の動作を
説明する説明図である。
図10及び図11を用いて説明する。図9はデータベー
スの構築方法を説明する説明図、図10は認識処理手段
2の動作を説明するフロー図、図11は認識時の動作を
説明する説明図である。
【0006】先ず第1に、記憶手段3,4及び5に構築
されるデータベースには認識対象の対象物の右斜め前方
の画像、正面画像及び左斜め前方の画像がそれぞれ蓄積
される。
されるデータベースには認識対象の対象物の右斜め前方
の画像、正面画像及び左斜め前方の画像がそれぞれ蓄積
される。
【0007】例えば、図9中”OB11”に示す対象物
に対して、画像入力装置1aを用いて図9中”RD1
1”に示す右斜め前方の画像を取得し記憶手段3に格納
する。同様に、画像入力装置1b及び1cを用いて図9
中”FD11”及び”LD11”に示す正面画像及び左
斜め前方の画像を取得し記憶手段4及び5にそれぞれ格
納する。
に対して、画像入力装置1aを用いて図9中”RD1
1”に示す右斜め前方の画像を取得し記憶手段3に格納
する。同様に、画像入力装置1b及び1cを用いて図9
中”FD11”及び”LD11”に示す正面画像及び左
斜め前方の画像を取得し記憶手段4及び5にそれぞれ格
納する。
【0008】図10中”S001”において認識処理手
段2は、画像入力装置1から画像データを取り込む。例
えば、認識処理手段2は画像入力装置1で撮影した図8
中”OB01”に示す対象物の画像データを画像入力装
置1から取得する。
段2は、画像入力装置1から画像データを取り込む。例
えば、認識処理手段2は画像入力装置1で撮影した図8
中”OB01”に示す対象物の画像データを画像入力装
置1から取得する。
【0009】図10中”S002”において認識処理手
段2は取得された画像データと記憶手段3に構築された
データベースの画像情報と照合する。
段2は取得された画像データと記憶手段3に構築された
データベースの画像情報と照合する。
【0010】例えば、図11中”CD21”に示すよう
な画像データを取得した認識処理手段2は記憶手段3に
格納されている図11中”RD11”に示す右斜め前方
の画像情報と照合する。
な画像データを取得した認識処理手段2は記憶手段3に
格納されている図11中”RD11”に示す右斜め前方
の画像情報と照合する。
【0011】図10中”S003”において、もし、認
識処理手段2が対象物を認識した場合、言い換えれば、
図11中”CD21”に示す画像データと、図11中”
RD11”に示す右斜め前方の画像情報とが一致した場
合、図10中”S008”に示す対象物認識後の処理を
行う。
識処理手段2が対象物を認識した場合、言い換えれば、
図11中”CD21”に示す画像データと、図11中”
RD11”に示す右斜め前方の画像情報とが一致した場
合、図10中”S008”に示す対象物認識後の処理を
行う。
【0012】図10中”S003”において、もし、認
識処理手段2が対象物を認識しない場合、図10中”S
004”において認識処理手段2は取得された画像デー
タと記憶手段4に構築されたデータベースの画像情報と
照合する。
識処理手段2が対象物を認識しない場合、図10中”S
004”において認識処理手段2は取得された画像デー
タと記憶手段4に構築されたデータベースの画像情報と
照合する。
【0013】例えば、図11中”CD21”に示すよう
な画像データを取得した認識処理手段2は記憶手段4に
格納されている図11中”FD11”に示す正面の画像
情報と照合する
な画像データを取得した認識処理手段2は記憶手段4に
格納されている図11中”FD11”に示す正面の画像
情報と照合する
【0014】図10中”S005”において、もし、認
識処理手段2が対象物を認識した場合、言い換えれば、
図11中”CD21”に示す画像データと、図11中”
FD11”に示す正面の画像情報とが一致した場合、図
10中”S008”に示す対象物認識後の処理を行う。
識処理手段2が対象物を認識した場合、言い換えれば、
図11中”CD21”に示す画像データと、図11中”
FD11”に示す正面の画像情報とが一致した場合、図
10中”S008”に示す対象物認識後の処理を行う。
【0015】図10中”S005”において、もし、認
識処理手段2が対象物を認識しない場合、図10中”S
006”において認識処理手段2は取得された画像デー
タと記憶手段5に構築されたデータベースの画像情報と
照合する。
識処理手段2が対象物を認識しない場合、図10中”S
006”において認識処理手段2は取得された画像デー
タと記憶手段5に構築されたデータベースの画像情報と
照合する。
【0016】例えば、図11中”CD21”に示すよう
な画像データを取得した認識処理手段2は記憶手段5に
格納されている図11中”LD11”に示す左斜め前方
の画像情報と照合する。
な画像データを取得した認識処理手段2は記憶手段5に
格納されている図11中”LD11”に示す左斜め前方
の画像情報と照合する。
【0017】図10中”S007”において、もし、認
識処理手段2が対象物を認識した場合、言い換えれば、
図11中”CD21”に示す画像データと、図11中”
LD11”に示す左斜め前方の画像情報とが一致した場
合、図10中”S008”に示す対象物認識後の処理を
行う。
識処理手段2が対象物を認識した場合、言い換えれば、
図11中”CD21”に示す画像データと、図11中”
LD11”に示す左斜め前方の画像情報とが一致した場
合、図10中”S008”に示す対象物認識後の処理を
行う。
【0018】図10中”S007”において、もし、認
識処理手段2が対象物を認識しない場合、図10中”S
001”に示すステップに戻る。
識処理手段2が対象物を認識しない場合、図10中”S
001”に示すステップに戻る。
【0019】この結果、画像入力装置から取得された3
次元の対象物の画像データと予めデータベースに蓄積さ
れた認識対象である複数の対象物の画像情報とを比較し
て、両者の特徴量が一致した場合に、データベースの情
報に基づき対象物が何であるかを認識することが可能に
なる。
次元の対象物の画像データと予めデータベースに蓄積さ
れた認識対象である複数の対象物の画像情報とを比較し
て、両者の特徴量が一致した場合に、データベースの情
報に基づき対象物が何であるかを認識することが可能に
なる。
【0020】
【発明が解決しようとする課題】しかし、図8に示すよ
うな従来例では画像入力装置1から取得される3次元の
対象物の画像データはその方向が一方向のみと限定でき
ないので、図8等に示すように複数方向(図8に示す従
来例では3方向)の画像情報のデーターベース、或い
は、3次元の画像情報のデーターベースを構築しなけれ
ばならないと言った問題点があった。
うな従来例では画像入力装置1から取得される3次元の
対象物の画像データはその方向が一方向のみと限定でき
ないので、図8等に示すように複数方向(図8に示す従
来例では3方向)の画像情報のデーターベース、或い
は、3次元の画像情報のデーターベースを構築しなけれ
ばならないと言った問題点があった。
【0021】このため、記憶手段の記憶容量が大きくな
り、また、データベースに蓄積された大量の画像情報と
取得された画像データとの照合処理に時間がかかってし
まうと言った問題点が生じる。
り、また、データベースに蓄積された大量の画像情報と
取得された画像データとの照合処理に時間がかかってし
まうと言った問題点が生じる。
【0022】また、データベースに取得された画像デー
タと同一方向の画像情報が存在しない場合には認識自体
ができなくなると言った問題点があった。例えば、デー
タベースに正面の画像情報及び右斜め前方の画像情報し
か蓄積されていない場合に、右斜め前方から撮影等され
た対象物の画像データを取得した場合、対象物が同一で
あったとしても認識ができなくなってしまう。
タと同一方向の画像情報が存在しない場合には認識自体
ができなくなると言った問題点があった。例えば、デー
タベースに正面の画像情報及び右斜め前方の画像情報し
か蓄積されていない場合に、右斜め前方から撮影等され
た対象物の画像データを取得した場合、対象物が同一で
あったとしても認識ができなくなってしまう。
【0023】言い換えれば、記憶手段の記憶容量を低減
する等のためにデータベースの画像情報の量を削減する
と対象物の認識率が低下してしまうと言った問題点があ
った。従って本発明が解決しようとする課題は、認識率
を維持しつつデータベースの画像情報の量を低減するこ
とが可能な物体認識装置を実現することにある。
する等のためにデータベースの画像情報の量を削減する
と対象物の認識率が低下してしまうと言った問題点があ
った。従って本発明が解決しようとする課題は、認識率
を維持しつつデータベースの画像情報の量を低減するこ
とが可能な物体認識装置を実現することにある。
【0024】
【課題を解決するための手段】このような課題を達成す
るために、本発明のうち請求項1記載の発明は、3次元
の対象物の画像データと予め構築されたデータベースの
画像情報とを比較して前記対象物の認識を行う物体認識
装置において、前記対象物の画像データを取り込む画像
入力装置と、前記データベースとして複数の対象物の基
準画像の画像情報が蓄積された記憶手段と、前記画像入
力装置から得られた前記画像データが基準画像である場
合はそのまま出力し、基準画像でない場合には前記画像
データの軸対称画像を生成し、前記画像データと前記軸
対称画像とから基準画像を生成して出力する前処理手段
と、この前処理手段から出力される基準画像と前記デー
タベースとを照合して前記対象物を認識する認識処理手
段とを備えたことにより、対象物が幾何学的に左右対称
な場合に認識率を維持しつつデータベースの画像情報の
量を低減することが可能になる。
るために、本発明のうち請求項1記載の発明は、3次元
の対象物の画像データと予め構築されたデータベースの
画像情報とを比較して前記対象物の認識を行う物体認識
装置において、前記対象物の画像データを取り込む画像
入力装置と、前記データベースとして複数の対象物の基
準画像の画像情報が蓄積された記憶手段と、前記画像入
力装置から得られた前記画像データが基準画像である場
合はそのまま出力し、基準画像でない場合には前記画像
データの軸対称画像を生成し、前記画像データと前記軸
対称画像とから基準画像を生成して出力する前処理手段
と、この前処理手段から出力される基準画像と前記デー
タベースとを照合して前記対象物を認識する認識処理手
段とを備えたことにより、対象物が幾何学的に左右対称
な場合に認識率を維持しつつデータベースの画像情報の
量を低減することが可能になる。
【0025】請求項2記載の発明は、3次元の対象物の
画像データと予め構築されたデータベースの画像情報と
を比較して前記対象物の認識を行う物体認識装置におい
て、前記対象物の異なる方向からの画像データをそれぞ
れ取り込む2つの画像入力装置と、前記データベースと
して複数の対象物の基準画像の画像情報が蓄積された記
憶手段と、前記2つの画像入力装置から得られた前記画
像データのどちらか一方が基準画像である場合はその基
準画像を出力し、両方とも基準画像でない場合には前記
2つの画像データから基準画像を生成して出力する前処
理手段と、この前処理手段から出力される基準画像と前
記データベースとを照合して前記対象物を認識する認識
処理手段とを備えたことにより、対象物が幾何学的に左
右対称でない場合でも認識率を維持しつつデータベース
の画像情報の量を低減することが可能になる。
画像データと予め構築されたデータベースの画像情報と
を比較して前記対象物の認識を行う物体認識装置におい
て、前記対象物の異なる方向からの画像データをそれぞ
れ取り込む2つの画像入力装置と、前記データベースと
して複数の対象物の基準画像の画像情報が蓄積された記
憶手段と、前記2つの画像入力装置から得られた前記画
像データのどちらか一方が基準画像である場合はその基
準画像を出力し、両方とも基準画像でない場合には前記
2つの画像データから基準画像を生成して出力する前処
理手段と、この前処理手段から出力される基準画像と前
記データベースとを照合して前記対象物を認識する認識
処理手段とを備えたことにより、対象物が幾何学的に左
右対称でない場合でも認識率を維持しつつデータベース
の画像情報の量を低減することが可能になる。
【0026】請求項3記載の発明は、請求項1若しくは
請求項2記載の発明である物体認識装置において、前記
画像入力装置が、カメラであることにより、対象物が幾
何学的に左右対称な場合、若しくは、対象物が幾何学的
に左右対称でない場合でも、認識率を維持しつつデータ
ベースの画像情報の量を低減することが可能になる。
請求項2記載の発明である物体認識装置において、前記
画像入力装置が、カメラであることにより、対象物が幾
何学的に左右対称な場合、若しくは、対象物が幾何学的
に左右対称でない場合でも、認識率を維持しつつデータ
ベースの画像情報の量を低減することが可能になる。
【0027】請求項4記載の発明は、請求項1若しくは
請求項2記載の発明である物体認識装置において、前記
画像入力装置が、ビデオカメラであることにより、対象
物が幾何学的に左右対称な場合、若しくは、対象物が幾
何学的に左右対称でない場合でも、認識率を維持しつつ
データベースの画像情報の量を低減することが可能にな
る。
請求項2記載の発明である物体認識装置において、前記
画像入力装置が、ビデオカメラであることにより、対象
物が幾何学的に左右対称な場合、若しくは、対象物が幾
何学的に左右対称でない場合でも、認識率を維持しつつ
データベースの画像情報の量を低減することが可能にな
る。
【0028】請求項5記載の発明は、請求項1若しくは
請求項2記載の発明である物体認識装置において、前記
画像入力装置が、スキャナであることにより、対象物が
幾何学的に左右対称な場合、若しくは、対象物が幾何学
的に左右対称でない場合でも、認識率を維持しつつデー
タベースの画像情報の量を低減することが可能になる。
請求項2記載の発明である物体認識装置において、前記
画像入力装置が、スキャナであることにより、対象物が
幾何学的に左右対称な場合、若しくは、対象物が幾何学
的に左右対称でない場合でも、認識率を維持しつつデー
タベースの画像情報の量を低減することが可能になる。
【0029】請求項6記載の発明は、請求項1若しくは
請求項2記載の発明である物体認識装置において、前記
記憶手段が、書き換え可能な記憶手段であることによ
り、対象物が幾何学的に左右対称な場合、若しくは、対
象物が幾何学的に左右対称でない場合でも、認識率を維
持しつつデータベースの画像情報の量を低減することが
可能になる。
請求項2記載の発明である物体認識装置において、前記
記憶手段が、書き換え可能な記憶手段であることによ
り、対象物が幾何学的に左右対称な場合、若しくは、対
象物が幾何学的に左右対称でない場合でも、認識率を維
持しつつデータベースの画像情報の量を低減することが
可能になる。
【0030】請求項7記載の発明は、請求項1若しくは
請求項2記載の発明である物体認識装置において、前記
記憶手段が、読み出しのみの記憶手段であることによ
り、対象物が幾何学的に左右対称な場合、若しくは、対
象物が幾何学的に左右対称でない場合でも、認識率を維
持しつつデータベースの画像情報の量を低減することが
可能になる。
請求項2記載の発明である物体認識装置において、前記
記憶手段が、読み出しのみの記憶手段であることによ
り、対象物が幾何学的に左右対称な場合、若しくは、対
象物が幾何学的に左右対称でない場合でも、認識率を維
持しつつデータベースの画像情報の量を低減することが
可能になる。
【0031】請求項8記載の発明は、請求項1若しくは
請求項2記載の発明である物体認識装置において、人間
の顔の認識を行うことにより、認識率を維持しつつデー
タベースの画像情報の量を低減することが可能になる。
請求項2記載の発明である物体認識装置において、人間
の顔の認識を行うことにより、認識率を維持しつつデー
タベースの画像情報の量を低減することが可能になる。
【0032】請求項9記載の発明は、請求項1若しくは
請求項2記載の発明である物体認識装置において、製品
の形状から製品の認識及び選別を行うことにより、認識
率を維持しつつデータベースの画像情報の量を低減する
ことが可能になる。
請求項2記載の発明である物体認識装置において、製品
の形状から製品の認識及び選別を行うことにより、認識
率を維持しつつデータベースの画像情報の量を低減する
ことが可能になる。
【0033】
【発明の実施の形態】以下本発明を図面を用いて詳細に
説明する。図1は本発明に係る物体認識装置の一実施例
を示す構成ブロック図である。特に、対象物が幾何学的
に左右対称な3次元物体である場合の物体認識装置であ
る。
説明する。図1は本発明に係る物体認識装置の一実施例
を示す構成ブロック図である。特に、対象物が幾何学的
に左右対称な3次元物体である場合の物体認識装置であ
る。
【0034】図1において6はビデオカメラ等の画像入
力装置、7は軸対称画像生成手段、8は正面画像生成手
段、9はコンピュータ等の認識処理手段、10はハード
ディスクやCD−ROM等の記憶手段である。また、
7,8,9及び10は認識処理装置51を、7及び8は
前処理手段52をそれぞれ構成している。
力装置、7は軸対称画像生成手段、8は正面画像生成手
段、9はコンピュータ等の認識処理手段、10はハード
ディスクやCD−ROM等の記憶手段である。また、
7,8,9及び10は認識処理装置51を、7及び8は
前処理手段52をそれぞれ構成している。
【0035】画像入力装置6の出力は軸対称画像生成手
段7に接続され、軸対称画像生成手段7の出力は正面画
像生成手段8に接続される。正面画像生成手段8の出力
は認識処理手段9に接続され、記憶手段10の入出力は
認識処理手段9にそれぞれ相互に接続される。
段7に接続され、軸対称画像生成手段7の出力は正面画
像生成手段8に接続される。正面画像生成手段8の出力
は認識処理手段9に接続され、記憶手段10の入出力は
認識処理手段9にそれぞれ相互に接続される。
【0036】ここで、図1に示す実施例の動作を図2、
図3及び図4を用いて説明する。図2はデータベースの
構築方法を説明する説明図、図3は認識処理手段9の動
作を説明するフロー図、図4は各種画像の生成過程を説
明する説明図である。
図3及び図4を用いて説明する。図2はデータベースの
構築方法を説明する説明図、図3は認識処理手段9の動
作を説明するフロー図、図4は各種画像の生成過程を説
明する説明図である。
【0037】先ず第1に、記憶手段10に構築されるデ
ータベースには認識対象の対象物の特徴を最も良く表す
方向からの基準画像(例えば、対象物が顔の場合は正面
画像)のみが蓄積される。
ータベースには認識対象の対象物の特徴を最も良く表す
方向からの基準画像(例えば、対象物が顔の場合は正面
画像)のみが蓄積される。
【0038】例えば、対象物が顔の場合は、図2中”O
B41”に示す対象物に対して、画像入力装置6を用い
て基準画像である図2中”FD41”に示す正面画像を
取得し記憶手段10に格納する。
B41”に示す対象物に対して、画像入力装置6を用い
て基準画像である図2中”FD41”に示す正面画像を
取得し記憶手段10に格納する。
【0039】図3中”S101”において認識処理手段
9は、画像入力装置6から画像データを軸対称画像生成
手段7に取り込む。例えば、認識処理手段9は画像入力
装置6で撮影した図1中”OB31”に示す対象物の画
像データを画像入力装置6から取得して軸対称画像生成
手段7に取り込む。
9は、画像入力装置6から画像データを軸対称画像生成
手段7に取り込む。例えば、認識処理手段9は画像入力
装置6で撮影した図1中”OB31”に示す対象物の画
像データを画像入力装置6から取得して軸対称画像生成
手段7に取り込む。
【0040】図3中”S102”において認識処理手段
9は、取り込んだ画像データが正面画像であるか否かを
判断する。もし、取り込んだ画像データが正面画像でな
い場合には、認識処理手段9は図3中”S103”のス
テップを行い、取り込んだ画像データが正面画像である
場合には、認識処理手段9は図3中”S105”のステ
ップを行う。
9は、取り込んだ画像データが正面画像であるか否かを
判断する。もし、取り込んだ画像データが正面画像でな
い場合には、認識処理手段9は図3中”S103”のス
テップを行い、取り込んだ画像データが正面画像である
場合には、認識処理手段9は図3中”S105”のステ
ップを行う。
【0041】図3中”S103”において認識処理手段
9は、軸対称画像生成手段7を制御して画像入力装置6
から取得した画像データから軸対称な画像(軸対称画
像)を生成する。具体的には、画像データから対象物の
対称軸に関して対称な画像を生成する。
9は、軸対称画像生成手段7を制御して画像入力装置6
から取得した画像データから軸対称な画像(軸対称画
像)を生成する。具体的には、画像データから対象物の
対称軸に関して対称な画像を生成する。
【0042】例えば、画像入力装置6から図4中”CD
51”に示すような画像データ(左斜め前方の画像)を
取得した場合、図4中”PR51”に示すように軸対称
な画像である図4中”RD51”に示す画像、言い換え
れば、右斜め前方の画像を生成する。
51”に示すような画像データ(左斜め前方の画像)を
取得した場合、図4中”PR51”に示すように軸対称
な画像である図4中”RD51”に示す画像、言い換え
れば、右斜め前方の画像を生成する。
【0043】また、図3中”S104”において認識処
理手段9は、正面画像生成手段8を制御して、画像入力
装置6から取得した画像データと先に生成した軸対称画
像とから基準画像である正面画像を生成する。具体的に
は、画像データと生成した軸対称画像において、座標変
換と補間によって基準画像である正面画像に変換する。
理手段9は、正面画像生成手段8を制御して、画像入力
装置6から取得した画像データと先に生成した軸対称画
像とから基準画像である正面画像を生成する。具体的に
は、画像データと生成した軸対称画像において、座標変
換と補間によって基準画像である正面画像に変換する。
【0044】例えば、図4中”PR52”及び”PR5
3”に示すように、図4中”CD51”に示すような画
像データ(左斜め前方の画像)と、先に生成した図4
中”RD51”に示す画像(右斜め前方の画像)とから
正面画像である図4中”FD51”に示す画像を生成す
る。
3”に示すように、図4中”CD51”に示すような画
像データ(左斜め前方の画像)と、先に生成した図4
中”RD51”に示す画像(右斜め前方の画像)とから
正面画像である図4中”FD51”に示す画像を生成す
る。
【0045】図3中”S105”において認識処理手段
9は、画像入力装置6から取得した正面画像、若しく
は、生成した正面画像である基準画像を用いて記憶手段
10に構築されたデータベースの画像情報と照合する。
9は、画像入力装置6から取得した正面画像、若しく
は、生成した正面画像である基準画像を用いて記憶手段
10に構築されたデータベースの画像情報と照合する。
【0046】図3中”S106”において、もし、認識
処理手段9が対象物を認識した場合、言い換えれば、前
述の正面画像と記憶手段10に構築されたデータベース
の画像情報の一つが一致した場合、図3中”S107”
に示す対象物認識後の処理を行う。
処理手段9が対象物を認識した場合、言い換えれば、前
述の正面画像と記憶手段10に構築されたデータベース
の画像情報の一つが一致した場合、図3中”S107”
に示す対象物認識後の処理を行う。
【0047】また、図3中”S106”において、も
し、認識処理手段9が対象物を認識しない場合、図3
中”S101”に示すステップに戻る。
し、認識処理手段9が対象物を認識しない場合、図3
中”S101”に示すステップに戻る。
【0048】この結果、データベースとして基準画像
(正面画像)の画像情報のみを蓄積し、画像入力装置6
から得られた画像データが基準画像(正面画像)である
場合はそのままデータベースと照合することにより、デ
ータベースの画像情報を低減することが可能になる。
(正面画像)の画像情報のみを蓄積し、画像入力装置6
から得られた画像データが基準画像(正面画像)である
場合はそのままデータベースと照合することにより、デ
ータベースの画像情報を低減することが可能になる。
【0049】また、画像入力装置6から得られた画像デ
ータが基準画像(正面画像)でない場合には、画像デー
タの軸対称画像を生成し、画像データと当該軸対称画像
とから基準画像(正面画像)を生成してこれをデータベ
ースと照合することにより、対象物が幾何学的に左右対
称な場合に認識率を維持することが可能になる。
ータが基準画像(正面画像)でない場合には、画像デー
タの軸対称画像を生成し、画像データと当該軸対称画像
とから基準画像(正面画像)を生成してこれをデータベ
ースと照合することにより、対象物が幾何学的に左右対
称な場合に認識率を維持することが可能になる。
【0050】また、データベースとして基準画像(正面
画像)の画像情報のみを蓄積することにより、記憶手段
の記憶容量が小さくなり、また、データベースに蓄積さ
れた画像情報も少なくなるので照合処理の時間も短縮さ
れる。
画像)の画像情報のみを蓄積することにより、記憶手段
の記憶容量が小さくなり、また、データベースに蓄積さ
れた画像情報も少なくなるので照合処理の時間も短縮さ
れる。
【0051】さらに、図5は本発明に係る物体認識装置
の他の実施例を示す構成ブロック図である。特に、対象
物が幾何学的に左右対称ではない3次元物体である場合
の物体認識装置である。
の他の実施例を示す構成ブロック図である。特に、対象
物が幾何学的に左右対称ではない3次元物体である場合
の物体認識装置である。
【0052】図5において、6a及び6bはビデオカメ
ラ等の画像入力装置、11は正面画像生成手段、12は
コンピュータ等の認識処理手段、13はハードディスク
やCD−ROM等の記憶手段である。また、11,12
及び13は認識処理装置51aを、11は前処理手段5
2aをそれぞれ構成している。
ラ等の画像入力装置、11は正面画像生成手段、12は
コンピュータ等の認識処理手段、13はハードディスク
やCD−ROM等の記憶手段である。また、11,12
及び13は認識処理装置51aを、11は前処理手段5
2aをそれぞれ構成している。
【0053】画像入力装置6a及び6bの出力は正面画
像生成手段11に接続される。正面画像生成手段11の
出力は認識処理手段12に接続され、記憶手段13の入
出力は認識処理手段12にそれぞれ相互に接続される。
像生成手段11に接続される。正面画像生成手段11の
出力は認識処理手段12に接続され、記憶手段13の入
出力は認識処理手段12にそれぞれ相互に接続される。
【0054】ここで、図5に示す実施例の動作を図6及
び図7を用いて説明する。図6は認識処理手段12の動
作を説明するフロー図、図7は各種画像の生成過程を説
明する説明図である。
び図7を用いて説明する。図6は認識処理手段12の動
作を説明するフロー図、図7は各種画像の生成過程を説
明する説明図である。
【0055】先ず第1に、図1に示す実施例と同様に、
記憶手段13に構築されるデータベースには認識対象の
対象物の特徴を最も良く表す方向からの基準画像(例え
ば、対象物が顔の場合は正面画像)のみが蓄積される。
記憶手段13に構築されるデータベースには認識対象の
対象物の特徴を最も良く表す方向からの基準画像(例え
ば、対象物が顔の場合は正面画像)のみが蓄積される。
【0056】また、2つの画像入力装置6a及び6b
は、図5中”OB61”に示す対象物を互いに異なる方
向から撮影する位置に配置される。
は、図5中”OB61”に示す対象物を互いに異なる方
向から撮影する位置に配置される。
【0057】図6中”S201”において認識処理手段
12は、画像入力装置6a及び6bから画像データを正
面画像生成手段11に取り込む。例えば、認識処理手段
12は画像入力装置6a及び6bで撮影した図5中”O
B61”に示す対象物の画像データを画像入力装置6a
及び6bから取得して正面画像生成手段11に取り込
む。
12は、画像入力装置6a及び6bから画像データを正
面画像生成手段11に取り込む。例えば、認識処理手段
12は画像入力装置6a及び6bで撮影した図5中”O
B61”に示す対象物の画像データを画像入力装置6a
及び6bから取得して正面画像生成手段11に取り込
む。
【0058】図6中”S202”において認識処理手段
12は、取り込んだ画像データのどちらか一方が正面画
像であるか否かを判断する。もし、取り込んだ画像デー
タが両方とも正面画像でない場合には、認識処理手段1
2は図6中”S203”のステップを行い、取り込んだ
画像データのどちらか一方が正面画像である場合には、
認識処理手段12は図6中”S204”のステップを行
う。
12は、取り込んだ画像データのどちらか一方が正面画
像であるか否かを判断する。もし、取り込んだ画像デー
タが両方とも正面画像でない場合には、認識処理手段1
2は図6中”S203”のステップを行い、取り込んだ
画像データのどちらか一方が正面画像である場合には、
認識処理手段12は図6中”S204”のステップを行
う。
【0059】図6中”S203”において認識処理手段
12は、正面画像生成手段11を制御して画像入力装置
6a及び6bから取得した2つの画像データから基準画
像である正面画像を生成する。具体的には、画像データ
と生成した軸対称画像において、座標変換と補間によっ
て基準画像である正面画像に変換する。
12は、正面画像生成手段11を制御して画像入力装置
6a及び6bから取得した2つの画像データから基準画
像である正面画像を生成する。具体的には、画像データ
と生成した軸対称画像において、座標変換と補間によっ
て基準画像である正面画像に変換する。
【0060】例えば、画像入力装置6a及び6bから図
7中”CD71”及び”CD72”に示すような2つの
画像データ(左斜め前方の画像及び右斜め前方の画像)
を取得した場合、図7中”PR71”及び”PR72”
に示すように図7中”FD71”に示す画像、言い換え
れば、基準画像である正面画像を生成する。
7中”CD71”及び”CD72”に示すような2つの
画像データ(左斜め前方の画像及び右斜め前方の画像)
を取得した場合、図7中”PR71”及び”PR72”
に示すように図7中”FD71”に示す画像、言い換え
れば、基準画像である正面画像を生成する。
【0061】図6中”S204”において認識処理手段
12は、画像入力装置6a若しくは画像入力装置6bか
ら取得した正面画像、若しくは、生成した正面画像を用
いて記憶手段10に構築されたデータベースの画像情報
と照合する。
12は、画像入力装置6a若しくは画像入力装置6bか
ら取得した正面画像、若しくは、生成した正面画像を用
いて記憶手段10に構築されたデータベースの画像情報
と照合する。
【0062】図6中”S205”において、もし、認識
処理手段12が対象物を認識した場合、言い換えれば、
前述の正面画像と記憶手段13に構築されたデータベー
スの画像情報の一つが一致した場合、図6中”S20
6”に示す対象物認識後の処理を行う。
処理手段12が対象物を認識した場合、言い換えれば、
前述の正面画像と記憶手段13に構築されたデータベー
スの画像情報の一つが一致した場合、図6中”S20
6”に示す対象物認識後の処理を行う。
【0063】また、図6中”S205”において、も
し、認識処理手段12が対象物を認識しない場合、図6
中”S201”に示すステップに戻る。
し、認識処理手段12が対象物を認識しない場合、図6
中”S201”に示すステップに戻る。
【0064】この結果、データベースとして基準画像
(正面画像)の画像情報のみを蓄積し、2つの画像入力
装置6及び6bから得られた画像データのどちらか一方
が基準画像(正面画像)である場合はそのままデータベ
ースと照合することにより、データベースの画像情報を
低減することが可能になる。
(正面画像)の画像情報のみを蓄積し、2つの画像入力
装置6及び6bから得られた画像データのどちらか一方
が基準画像(正面画像)である場合はそのままデータベ
ースと照合することにより、データベースの画像情報を
低減することが可能になる。
【0065】また、画像入力装置6a及び6bから得ら
れた2つの画像データが両方とも基準画像(正面画像)
でない場合には、2つの画像データから基準画像(正面
画像)を生成してこれをデータベースと照合することに
より、対象物が幾何学的に対称でなくても認識率を維持
することが可能になる。
れた2つの画像データが両方とも基準画像(正面画像)
でない場合には、2つの画像データから基準画像(正面
画像)を生成してこれをデータベースと照合することに
より、対象物が幾何学的に対称でなくても認識率を維持
することが可能になる。
【0066】また、データベースとして基準画像(正面
画像)の画像情報のみを蓄積することにより、記憶手段
の記憶容量が小さくなり、また、データベースに蓄積さ
れた画像情報も少なくなるので照合処理の時間も短縮さ
れる。
画像)の画像情報のみを蓄積することにより、記憶手段
の記憶容量が小さくなり、また、データベースに蓄積さ
れた画像情報も少なくなるので照合処理の時間も短縮さ
れる。
【0067】なお、図1若しくは図5では画像入力装置
としてビデオカメラを例示しいるが、対象物の画像デー
タを出力可能なものであれば、何でも良く、対象物を走
査して画像データを得るスキャナ、静止画像を得るカメ
ラ(ディジタルカメラ等も含む)等であっても構わな
い。
としてビデオカメラを例示しいるが、対象物の画像デー
タを出力可能なものであれば、何でも良く、対象物を走
査して画像データを得るスキャナ、静止画像を得るカメ
ラ(ディジタルカメラ等も含む)等であっても構わな
い。
【0068】また、図1若しくは図5では記憶手段とし
てハードディスクやCD−ROM等を例示しているが、
勿論これに限定される訳ではなく、データベースを格納
できるものであれば、書き換え可能か否かに関わりなく
何でも良い。
てハードディスクやCD−ROM等を例示しているが、
勿論これに限定される訳ではなく、データベースを格納
できるものであれば、書き換え可能か否かに関わりなく
何でも良い。
【0069】例えば、書き換え可能な記憶手段として、
DVD−RAM(Digital Versatile Disc Random Acce
ss Memory),CD−RW(Compact Disc ReWritbl
e),MO(magneto-optic)、メモリーカード等があ
り、読み出しのみの記憶手段としては、DVD−ROM
(Digital Versatile Disc Read Only Memory)、CD
−R(Compact Disc Recordable)等がある。
DVD−RAM(Digital Versatile Disc Random Acce
ss Memory),CD−RW(Compact Disc ReWritbl
e),MO(magneto-optic)、メモリーカード等があ
り、読み出しのみの記憶手段としては、DVD−ROM
(Digital Versatile Disc Read Only Memory)、CD
−R(Compact Disc Recordable)等がある。
【0070】また、データベースの蓄積情報となる基準
画像としては、例えば、対象物が顔の場合には正面画像
のみとしているが、勿論、対象物によっては複数枚の基
準画像を用いても構わない。
画像としては、例えば、対象物が顔の場合には正面画像
のみとしているが、勿論、対象物によっては複数枚の基
準画像を用いても構わない。
【0071】また、図1等で例示したように、本願発明
の物体認識装置を用いることにより、人間の正面の顔写
真(正面画像)のみで人間の顔の認識を行うことが可能
になる。
の物体認識装置を用いることにより、人間の正面の顔写
真(正面画像)のみで人間の顔の認識を行うことが可能
になる。
【0072】また、本願発明の物体認識装置を用いるこ
とにより、多様化する製品の形状から製品の認識及び選
別を行うことが可能になる。
とにより、多様化する製品の形状から製品の認識及び選
別を行うことが可能になる。
【0073】
【発明の効果】以上説明したことから明らかなように、
本発明によれば次のような効果がある。請求項1,3,
4,5,6,7,8及び請求項9の発明によれば、デー
タベースとして基準画像の画像情報のみを蓄積し、画像
入力装置から得られた画像データが基準画像である場合
はそのままデータベースと照合し、画像データが基準画
像でない場合には、画像データの軸対称画像を生成し、
画像データと当該軸対称画像とから基準画像を生成して
これをデータベースと照合することにより、対象物が幾
何学的に左右対称な場合に認識率を維持しつつデータベ
ースの画像情報を低減することが可能になる。また、記
憶手段の記憶容量が小さくなり、データベースに蓄積さ
れた画像情報も少なくなるので照合処理の時間も短縮さ
れる。
本発明によれば次のような効果がある。請求項1,3,
4,5,6,7,8及び請求項9の発明によれば、デー
タベースとして基準画像の画像情報のみを蓄積し、画像
入力装置から得られた画像データが基準画像である場合
はそのままデータベースと照合し、画像データが基準画
像でない場合には、画像データの軸対称画像を生成し、
画像データと当該軸対称画像とから基準画像を生成して
これをデータベースと照合することにより、対象物が幾
何学的に左右対称な場合に認識率を維持しつつデータベ
ースの画像情報を低減することが可能になる。また、記
憶手段の記憶容量が小さくなり、データベースに蓄積さ
れた画像情報も少なくなるので照合処理の時間も短縮さ
れる。
【0074】また、請求項2,3,4,5,6,7,8
及び請求項9の発明によれば、データベースとして基準
画像の画像情報のみを蓄積し、2つの画像入力装置から
得られた画像データのどちらか一方が基準画像である場
合はそのままデータベースと照合し、2つの画像データ
が両方とも基準画像でない場合には、2つの画像データ
から基準画像を生成してこれをデータベースと照合する
ことにより、対象物が幾何学的に左右対称でなくても認
識率を維持しつつデータベースの画像情報を低減するこ
とが可能になる。また、記憶手段の記憶容量が小さくな
り、データベースに蓄積された画像情報も少なくなるの
で照合処理の時間も短縮される。
及び請求項9の発明によれば、データベースとして基準
画像の画像情報のみを蓄積し、2つの画像入力装置から
得られた画像データのどちらか一方が基準画像である場
合はそのままデータベースと照合し、2つの画像データ
が両方とも基準画像でない場合には、2つの画像データ
から基準画像を生成してこれをデータベースと照合する
ことにより、対象物が幾何学的に左右対称でなくても認
識率を維持しつつデータベースの画像情報を低減するこ
とが可能になる。また、記憶手段の記憶容量が小さくな
り、データベースに蓄積された画像情報も少なくなるの
で照合処理の時間も短縮される。
【図1】本発明に係る物体認識装置の一実施例を示す構
成ブロック図である。
成ブロック図である。
【図2】データベースの構築方法を説明する説明図であ
る。
る。
【図3】認識処理手段の動作を説明するフロー図であ
る。
る。
【図4】各種画像の生成過程を説明する説明図である。
【図5】本発明に係る物体認識装置の他の実施例を示す
構成ブロック図である。
構成ブロック図である。
【図6】認識処理手段の動作を説明するフロー図であ
る。
る。
【図7】各種画像の生成過程を説明する説明図である。
【図8】従来の物体認識装置の一例を示す構成ブロック
図である。
図である。
【図9】データベースの構築方法を説明する説明図であ
る。
る。
【図10】認識処理手段の動作を説明するフロー図であ
る。
る。
【図11】認識時の動作を説明する説明図である。
1,6,6a,6b 画像入力装置
2,9,12 認識処理手段
3,4,5,10,13 記憶手段
7 軸対称画像生成手段
8,11 正面画像生成手段
50,51,51a 認識処理装置
52,52a 前処理手段
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 伊賀 亮達
東京都武蔵野市中町2丁目9番32号 横河
電機株式会社内
(72)発明者 深野 元太朗
東京都武蔵野市中町2丁目9番32号 横河
電機株式会社内
Fターム(参考) 5B057 AA20 BA02 BA19 CH12 DA11
DB03 DB09 DC33 DC39
5L096 AA02 AA06 AA09 CA05 EA18
HA08 MA05
Claims (9)
- 【請求項1】3次元の対象物の画像データと予め構築さ
れたデータベースの画像情報とを比較して前記対象物の
認識を行う物体認識装置において、 前記対象物の画像データを取り込む画像入力装置と、 前記データベースとして複数の対象物の基準画像の画像
情報が蓄積された記憶手段と、 前記画像入力装置から得られた前記画像データが基準画
像である場合はそのまま出力し、基準画像でない場合に
は前記画像データの軸対称画像を生成し、前記画像デー
タと前記軸対称画像とから基準画像を生成して出力する
前処理手段と、 この前処理手段から出力される基準画像と前記データベ
ースとを照合して前記対象物を認識する認識処理手段と
を備えたことを特徴とする物体認識装置。 - 【請求項2】3次元の対象物の画像データと予め構築さ
れたデータベースの画像情報とを比較して前記対象物の
認識を行う物体認識装置において、 前記対象物の異なる方向からの画像データをそれぞれ取
り込む2つの画像入力装置と、 前記データベースとして複数の対象物の基準画像の画像
情報が蓄積された記憶手段と、 前記2つの画像入力装置から得られた前記画像データの
どちらか一方が基準画像である場合はその基準画像を出
力し、両方とも基準画像でない場合には前記2つの画像
データから基準画像を生成して出力する前処理手段と、 この前処理手段から出力される基準画像と前記データベ
ースとを照合して前記対象物を認識する認識処理手段と
を備えたことを特徴とする物体認識装置。 - 【請求項3】前記画像入力装置が、 カメラであることを特徴とする請求項1若しくは請求項
2記載の物体認識装置。 - 【請求項4】前記画像入力装置が、 ビデオカメラであることを特徴とする請求項1若しくは
請求項2記載の物体認識装置。 - 【請求項5】前記画像入力装置が、 スキャナであることを特徴とする請求項1若しくは請求
項2記載の物体認識装置。 - 【請求項6】前記記憶手段が、 書き換え可能な記憶手段であることを特徴とする請求項
1若しくは請求項2記載の物体認識装置。 - 【請求項7】前記記憶手段が、 読み出しのみの記憶手段であることを特徴とする請求項
1若しくは請求項2記載の物体認識装置。 - 【請求項8】人間の顔の認識を行うことを特徴とする請
求項1若しくは請求項2記載の物体認識装置。 - 【請求項9】製品の形状から製品の認識及び選別を行う
ことを特徴とする請求項1若しくは請求項2記載の物体
認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001384352A JP2003187231A (ja) | 2001-12-18 | 2001-12-18 | 物体認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001384352A JP2003187231A (ja) | 2001-12-18 | 2001-12-18 | 物体認識装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003187231A true JP2003187231A (ja) | 2003-07-04 |
Family
ID=27594101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001384352A Withdrawn JP2003187231A (ja) | 2001-12-18 | 2001-12-18 | 物体認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003187231A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006146413A (ja) * | 2004-11-17 | 2006-06-08 | Mitsubishi Electric Corp | 対象追従装置 |
JP2009025874A (ja) * | 2007-07-17 | 2009-02-05 | Nec Corp | 顔画像登録装置、顔識別装置、顔画像登録方法、顔識別方法、顔画像登録プログラム |
-
2001
- 2001-12-18 JP JP2001384352A patent/JP2003187231A/ja not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006146413A (ja) * | 2004-11-17 | 2006-06-08 | Mitsubishi Electric Corp | 対象追従装置 |
JP2009025874A (ja) * | 2007-07-17 | 2009-02-05 | Nec Corp | 顔画像登録装置、顔識別装置、顔画像登録方法、顔識別方法、顔画像登録プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101510297B (zh) | 图像处理方法和图像处理装置 | |
US6466262B1 (en) | Digital wide camera | |
WO2021157234A1 (en) | Scene-aware video dialog | |
US8139854B2 (en) | Method and apparatus for performing conversion of skin color into preference color by applying face detection and skin area detection | |
US7187787B2 (en) | Method and apparatus for facial identification enhancement | |
JP2007110193A (ja) | 画像処理装置 | |
JP2006330800A (ja) | 画像合成システム、画像合成方法、この方法のプログラム | |
CN109766918B (zh) | 基于多层次上下文信息融合的显著性物体检测方法 | |
JP2009042876A (ja) | 画像処理装置及びその方法 | |
JP2010118868A (ja) | 情報処理装置およびその制御方法 | |
WO2020009777A1 (en) | Production of modified image inventories | |
Zhang et al. | Boosting-based multimodal speaker detection for distributed meeting videos | |
CN116168329A (zh) | 基于关键帧筛选像素块的视频动作检测方法、设备及介质 | |
JP2002222427A (ja) | デジタルカメラにおける動き検出方法 | |
Selbes et al. | Multimodal vehicle type classification using convolutional neural network and statistical representations of MFCC | |
US20060103736A1 (en) | Sequential processing of video data | |
CN111368763A (zh) | 基于头像的图像处理方法、装置及计算机可读存储介质 | |
JP2003187231A (ja) | 物体認識装置 | |
JP2006512644A (ja) | 3次元画像情報記述装置とその方法及びこれを利用した3次元画像情報検索装置及びその方法 | |
JPH11259673A (ja) | 空間散策映像表示方法及び空間内オブジェクト検索方法及び空間内オブジェクト抽出方法及びそれらの装置及びそれらの方法を記録した記録媒体 | |
JP5061877B2 (ja) | 動画像同定装置 | |
WO2020040934A1 (en) | Manufacture of inventories of image products | |
JP3045087B2 (ja) | 画像合成装置 | |
JP7010780B2 (ja) | 物体領域抽出装置及び物体領域抽出方法 | |
WO2004051574A1 (ja) | 映像システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061013 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061017 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20061201 |