JP3483039B2 - 画像信号による識別装置 - Google Patents
画像信号による識別装置Info
- Publication number
- JP3483039B2 JP3483039B2 JP24569093A JP24569093A JP3483039B2 JP 3483039 B2 JP3483039 B2 JP 3483039B2 JP 24569093 A JP24569093 A JP 24569093A JP 24569093 A JP24569093 A JP 24569093A JP 3483039 B2 JP3483039 B2 JP 3483039B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- unit
- fish
- understanding
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Farming Of Fish And Shellfish (AREA)
- Processing Of Meat And Fish (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、ＣＣＤカメラなどで取
得した画像信号を処理することにより、ＣＣＤカメラに
よる被写体の識別を高速で行うことができる画像信号に
よる識別装置に関するものである。
得した画像信号を処理することにより、ＣＣＤカメラに
よる被写体の識別を高速で行うことができる画像信号に
よる識別装置に関するものである。
【０００２】
【従来の技術】従来、魚体の形状より魚種の選別を行う
ために、白黒画像処理技術を用いたものがある。
ために、白黒画像処理技術を用いたものがある。
【０００３】すなわち、かかる装置は、半透明のベルト
コンベア状を流れてくる魚体を、半透明のベルトコンベ
アの下より光を当て、シルエット状の魚体を白黒カメラ
で検出し、濃淡画像により認識を行うものである。
コンベア状を流れてくる魚体を、半透明のベルトコンベ
アの下より光を当て、シルエット状の魚体を白黒カメラ
で検出し、濃淡画像により認識を行うものである。
【０００４】かかる計測処理では、魚体の区別を濃度変
換の画像処理技術で行うものであり、魚体の輪郭を求
め、体高、体長等を計測することにより魚種の選別を試
みている。
換の画像処理技術で行うものであり、魚体の輪郭を求
め、体高、体長等を計測することにより魚種の選別を試
みている。
【０００５】
【発明が解決しようとする課題】しかしながら、上記の
ように濃淡画像により認識を行う装置では、同科の魚等
は形状が似ているため、形状の情報だけでは十分な認識
率が得られず、実用的とはいえない。そのため、実用化
されていない。
ように濃淡画像により認識を行う装置では、同科の魚等
は形状が似ているため、形状の情報だけでは十分な認識
率が得られず、実用的とはいえない。そのため、実用化
されていない。
【０００６】この認識率を良くするためには、白黒カメ
ラの白黒画像を用いるのではなく、カラーカメラで撮影
したカラー画像を用いて形状特徴と色特徴の両方を抽出
したほうが有効と思われる。
ラの白黒画像を用いるのではなく、カラーカメラで撮影
したカラー画像を用いて形状特徴と色特徴の両方を抽出
したほうが有効と思われる。
【０００７】しかし、従来のカラー画像処理装置を用い
ようとすると、同カラー画像処理装置は１画面の全ての
データを処理対象としており、必要最小限の魚体の情報
を取り込んで高速で処理するようにはできておらず、そ
のため、大容量のメモリを要し、更に、無駄なアクセス
に時間がかかり、高速で魚種を識別することができない
という問題がある。
ようとすると、同カラー画像処理装置は１画面の全ての
データを処理対象としており、必要最小限の魚体の情報
を取り込んで高速で処理するようにはできておらず、そ
のため、大容量のメモリを要し、更に、無駄なアクセス
に時間がかかり、高速で魚種を識別することができない
という問題がある。
【０００８】
【課題を解決するための手段】そこで本発明では、画像
信号を出力する検出部と、同検出部から出力された画像
信号から所定位置の画像信号を抽出して出力する画像信
号分配部と、同画像信号分配部から出力された所定位置
の画像信号を用いて行った識別の結果を外部に出力する
理解部と、検出部と画像信号分配部と理解部の動作を制
御・モニタするホストコンピュータ部とを具備する画像
信号による識別装置において、はじめに、画像信号分配
部は、検出部から出力された１画面分の画像信号をあら
かじめ設定したメッシュ状に区分して、区分したメッシ
ュ状の各領域における所定位置の画像信号のみを理解部
に入力し、同理解部では入力された画像信号に基づいて
背景画像との識別を行うことにより１画面中における存
在位置をメッシュ状の領域単位で認識し、１つあるいは
複数のメッシュ状の領域からなる小領域を特定し、次い
で、画像信号分配部は、理解部で特定した小領域の画像
信号を理解部に入力し、同理解部では入力された画像信
号に基づいて、背景画像との識別を行うことにより形状
抽出を行い、抽出した形状情報に基づいて識別を行うべ
く構成した画像信号による識別装置を提供せんとするも
のである。
信号を出力する検出部と、同検出部から出力された画像
信号から所定位置の画像信号を抽出して出力する画像信
号分配部と、同画像信号分配部から出力された所定位置
の画像信号を用いて行った識別の結果を外部に出力する
理解部と、検出部と画像信号分配部と理解部の動作を制
御・モニタするホストコンピュータ部とを具備する画像
信号による識別装置において、はじめに、画像信号分配
部は、検出部から出力された１画面分の画像信号をあら
かじめ設定したメッシュ状に区分して、区分したメッシ
ュ状の各領域における所定位置の画像信号のみを理解部
に入力し、同理解部では入力された画像信号に基づいて
背景画像との識別を行うことにより１画面中における存
在位置をメッシュ状の領域単位で認識し、１つあるいは
複数のメッシュ状の領域からなる小領域を特定し、次い
で、画像信号分配部は、理解部で特定した小領域の画像
信号を理解部に入力し、同理解部では入力された画像信
号に基づいて、背景画像との識別を行うことにより形状
抽出を行い、抽出した形状情報に基づいて識別を行うべ
く構成した画像信号による識別装置を提供せんとするも
のである。
【０００９】また、理解部は、形状抽出により抽出した
形状情報に基づいて色特徴抽出のための色特徴抽出領域
を特定し、特定した色特徴抽出領域における画像信号に
基づいて、濃度値のヒストグラムの分布を解析すること
により色特徴抽出に基づく識別を行うべく構成したこと
にも特徴を有するものである。
形状情報に基づいて色特徴抽出のための色特徴抽出領域
を特定し、特定した色特徴抽出領域における画像信号に
基づいて、濃度値のヒストグラムの分布を解析すること
により色特徴抽出に基づく識別を行うべく構成したこと
にも特徴を有するものである。
【００１０】
【発明の作用】本発明の画像信号による識別装置を魚種
識別装置として用いた場合には、例えば、漁船で捕獲さ
れ氷づけされた大量の魚体を、水槽等で氷を溶かして、
魚体を１尾づつに分離し、所定の間隔をあけ、水切り装
置等で魚体表面の水分を除去して魚体表面の水膜からの
反射を防止し、コンベア等の搬送装置で、１尾づつに分
離し、所定の間隔をあけて、搬送されている魚体を魚種
識別の対象としている。
識別装置として用いた場合には、例えば、漁船で捕獲さ
れ氷づけされた大量の魚体を、水槽等で氷を溶かして、
魚体を１尾づつに分離し、所定の間隔をあけ、水切り装
置等で魚体表面の水分を除去して魚体表面の水膜からの
反射を防止し、コンベア等の搬送装置で、１尾づつに分
離し、所定の間隔をあけて、搬送されている魚体を魚種
識別の対象としている。
【００１１】検出部では、魚体をカラーＣＣＤカメラで
撮影し、アナログ画像信号として画像信号分配部に送
る。
撮影し、アナログ画像信号として画像信号分配部に送
る。
【００１２】画像信号分配部は、ステップ１で、１画面
分の画像信号をあらかじめ設定したメッシュ状に区分し
て、区分したメッシュ状の各領域における所定位置の画
像信号のみをディジタル画像信号に変換して理解部に入
力し、ステップ２では、ステップ１で後述するように理
解部が特定した小領域の画像信号のみをディジタル画像
信号に変換して理解部に入力している。
分の画像信号をあらかじめ設定したメッシュ状に区分し
て、区分したメッシュ状の各領域における所定位置の画
像信号のみをディジタル画像信号に変換して理解部に入
力し、ステップ２では、ステップ１で後述するように理
解部が特定した小領域の画像信号のみをディジタル画像
信号に変換して理解部に入力している。
【００１３】理解部では、ステップ１で、入力された画
像信号に基づいてカラーＣＣＤカメラ被写体の背景画像
との識別を行うことにより１画面中における存在位置を
メッシュ状の領域単位で認識し、１つあるいは複数のメ
ッシュ状の領域からなる小領域を特定し、ステップ２
で、上記結果から形状を更に詳しく計測するための複数
の領域及び色特徴抽出のための領域の画像情報を画像信
号分配部から入力し、理解部の複数のプロセッサユニッ
トの画像専用プロセッサに割り当てる。なお、画像専用
プロセッサは画像メモリを併用している。そして、複数
の画像専用プロセッサが各プロセッサユニットの汎用プ
ロセッサの制御・支援のもとに詳細な形状特徴抽出を行
い、形状特徴だけの情報で識別が行える場合は結果を魚
種分配装置に送り、形状特徴だけの情報で識別が行えな
い場合は、形状特徴の情報を基にして色特徴抽出のため
の領域の大きさ及び位置を決定し、複数のプロセッサユ
ニットで、色平均、ヒストグラム、共起行列、ＦＦＴ処
理、ＨＳＶ変換等の処理を色特徴抽出領域に対して行
い、形状、色特徴抽出の情報を総合的に判断し、魚体の
詳細な識別を行い、魚種や大きさを識別する。
像信号に基づいてカラーＣＣＤカメラ被写体の背景画像
との識別を行うことにより１画面中における存在位置を
メッシュ状の領域単位で認識し、１つあるいは複数のメ
ッシュ状の領域からなる小領域を特定し、ステップ２
で、上記結果から形状を更に詳しく計測するための複数
の領域及び色特徴抽出のための領域の画像情報を画像信
号分配部から入力し、理解部の複数のプロセッサユニッ
トの画像専用プロセッサに割り当てる。なお、画像専用
プロセッサは画像メモリを併用している。そして、複数
の画像専用プロセッサが各プロセッサユニットの汎用プ
ロセッサの制御・支援のもとに詳細な形状特徴抽出を行
い、形状特徴だけの情報で識別が行える場合は結果を魚
種分配装置に送り、形状特徴だけの情報で識別が行えな
い場合は、形状特徴の情報を基にして色特徴抽出のため
の領域の大きさ及び位置を決定し、複数のプロセッサユ
ニットで、色平均、ヒストグラム、共起行列、ＦＦＴ処
理、ＨＳＶ変換等の処理を色特徴抽出領域に対して行
い、形状、色特徴抽出の情報を総合的に判断し、魚体の
詳細な識別を行い、魚種や大きさを識別する。
【００１４】以上の動作を画像信号分配部、理解部を構
成する汎用プロセッサ間の高速通信及び搬送部、検出
部、画像信号分配部を統合して制御・モニタを行うホス
トコンピュータ部の働きにより、パイプライン動作で高
速にデータの処理を行って、魚体の識別を迅速かつ確実
に行うことができる。
成する汎用プロセッサ間の高速通信及び搬送部、検出
部、画像信号分配部を統合して制御・モニタを行うホス
トコンピュータ部の働きにより、パイプライン動作で高
速にデータの処理を行って、魚体の識別を迅速かつ確実
に行うことができる。
【００１５】本発明の画像信号による識別装置では、上
記のようにしてＣＣＤカメラによる被写体の識別を行う
ものであり、識別装置が魚体識別装置であれば、識別結
果を、例えば、自動的に魚体を分配するように構成した
魚種分配装置等に送って、魚種及び大きさごとに分別し
て、一定数量ごとに箱詰めする等の処理を行うことがで
きる。
記のようにしてＣＣＤカメラによる被写体の識別を行う
ものであり、識別装置が魚体識別装置であれば、識別結
果を、例えば、自動的に魚体を分配するように構成した
魚種分配装置等に送って、魚種及び大きさごとに分別し
て、一定数量ごとに箱詰めする等の処理を行うことがで
きる。
【００１６】
【実施例】以下、本発明の実施例を図面を参照しながら
説明する。
説明する。
【００１７】図１は、本発明に係る画像信号による識別
装置を魚種識別装置Ｋとして用いた場合を示しており、
Ａは未選別の魚体を一尾づつ所定間隔を保持して順序よ
く並べ、かつ、魚体表面の水分を除去しながら搬送する
搬送部、Ｋは魚種及び大きさを識別する魚体理解装置、
Ｅは理解部Ｄより得られた識別結果に応じて魚体を魚種
ごとに分離し箱詰めする魚種分配装置、Ｆは上記搬送部
Ａ、画像信号分配部Ｃ、理解部Ｄ及び魚種分配装置Ｅの
動作を制御・モニタするホストコンピュータ部である。
装置を魚種識別装置Ｋとして用いた場合を示しており、
Ａは未選別の魚体を一尾づつ所定間隔を保持して順序よ
く並べ、かつ、魚体表面の水分を除去しながら搬送する
搬送部、Ｋは魚種及び大きさを識別する魚体理解装置、
Ｅは理解部Ｄより得られた識別結果に応じて魚体を魚種
ごとに分離し箱詰めする魚種分配装置、Ｆは上記搬送部
Ａ、画像信号分配部Ｃ、理解部Ｄ及び魚種分配装置Ｅの
動作を制御・モニタするホストコンピュータ部である。
【００１８】搬送部Ａは、投入された氷づけ魚体の氷を
溶かし、１尾づつに分離する水槽４と、同水槽４との間
で水を循環させて、魚体を１尾づつ水切り装置３に運ぶ
水流運搬装置５と、スポンジと冷風によって魚体表面の
水分を一時的に除去する水切り装置３と、水切りした魚
体を１尾づつ検出部ＢのカラーＣＣＤカメラ２の下に魚
体を運ぶ運搬装置７とで構成している。
溶かし、１尾づつに分離する水槽４と、同水槽４との間
で水を循環させて、魚体を１尾づつ水切り装置３に運ぶ
水流運搬装置５と、スポンジと冷風によって魚体表面の
水分を一時的に除去する水切り装置３と、水切りした魚
体を１尾づつ検出部ＢのカラーＣＣＤカメラ２の下に魚
体を運ぶ運搬装置７とで構成している。
【００１９】水槽４中には、図２に示すように、魚体を
１尾づつに分離するための分離装置４ａを設置してい
る。分離装置４ａは、モータ駆動によって一定の速度で
回転する回転軸４ｂに、自動的に伸縮・屈折する腕４ｃ
を放射状に突設し、同腕４ｃの先端に魚体載せ皿４ｄを
連設し、この分離装置４ａの回転によって、水槽４中の
魚体を魚体載せ皿４ｄで１尾づつすくいあげ、魚体載せ
皿４ｄが水流運搬装置５の始端より高位置に達すると、
腕４ｃを伸長させ、次いで腕４ｃを下方に屈折させて魚
体載せ皿４ｄを下向きにすることにより、魚体を１尾づ
つ水流運搬装置５に運搬すべく構成している。
１尾づつに分離するための分離装置４ａを設置してい
る。分離装置４ａは、モータ駆動によって一定の速度で
回転する回転軸４ｂに、自動的に伸縮・屈折する腕４ｃ
を放射状に突設し、同腕４ｃの先端に魚体載せ皿４ｄを
連設し、この分離装置４ａの回転によって、水槽４中の
魚体を魚体載せ皿４ｄで１尾づつすくいあげ、魚体載せ
皿４ｄが水流運搬装置５の始端より高位置に達すると、
腕４ｃを伸長させ、次いで腕４ｃを下方に屈折させて魚
体載せ皿４ｄを下向きにすることにより、魚体を１尾づ
つ水流運搬装置５に運搬すべく構成している。
【００２０】なお、水槽４中に設置する分離装置４ａの
数によって、水流運搬装置５に１尾づつ運搬する魚体の
数を増加することができる。
数によって、水流運搬装置５に１尾づつ運搬する魚体の
数を増加することができる。
【００２１】また、魚体載せ皿４ｄの形状、大きさ等の
調整によって、確実に魚体を１尾づつすくいあげること
ができる。
調整によって、確実に魚体を１尾づつすくいあげること
ができる。
【００２２】かかる構成の搬送部Ａでは、魚体を搬送す
るのに主として水流を用いているので、魚体を傷付ける
ことを防止できる。
るのに主として水流を用いているので、魚体を傷付ける
ことを防止できる。
【００２３】水切り装置３は、図３に示すように、網状
またはスノコ状等透水性のコンベア３ａと、モータ駆動
により上下するスポンジ体６ａと、冷風噴出し機６ｂと
で構成しており、コンベア３ａで１尾づつ搬送する魚体
表面の水分を落とし、スポンジ体６ａで残った表面の水
分を吸取り、更に冷風噴出し機６ｂからの冷風で魚体表
面の水分を除去して、魚体の水膜からの反射による撮影
の支障を防止している。
またはスノコ状等透水性のコンベア３ａと、モータ駆動
により上下するスポンジ体６ａと、冷風噴出し機６ｂと
で構成しており、コンベア３ａで１尾づつ搬送する魚体
表面の水分を落とし、スポンジ体６ａで残った表面の水
分を吸取り、更に冷風噴出し機６ｂからの冷風で魚体表
面の水分を除去して、魚体の水膜からの反射による撮影
の支障を防止している。
【００２４】魚体理解装置Ｋは、検出部Ｂと、画像信号
分配部Ｃと、理解部Ｄと、これらを制御するホストコン
ピュータ部Ｆとで構成している。
分配部Ｃと、理解部Ｄと、これらを制御するホストコン
ピュータ部Ｆとで構成している。
【００２５】検出部Ｂは、図１に示すように、運搬装置
７の上方に配設した照明ランプ１と、電子シャッタ付の
カラーＣＣＤカメラ２とで構成しており、照明ランプ１
の光を当てた運搬装置７上の魚体をカラーＣＣＤカメラ
２で撮影してアナログＲＧＢ画像信号を取得し、同アナ
ログＲＧＢ画像信号を画像信号分配部Ｃに入力してい
る。
７の上方に配設した照明ランプ１と、電子シャッタ付の
カラーＣＣＤカメラ２とで構成しており、照明ランプ１
の光を当てた運搬装置７上の魚体をカラーＣＣＤカメラ
２で撮影してアナログＲＧＢ画像信号を取得し、同アナ
ログＲＧＢ画像信号を画像信号分配部Ｃに入力してい
る。
【００２６】画像信号分配部Ｃでは、図４に示すよう
に、カラーＣＣＤカメラ２から入力したアナログＲＧＢ
画像信号をディジタル画像信号に変換し、同信号を後述
する理解部Ｄの第１プロセッサユニット１４―１と、第
２プロセッサユニット１４―２と、第３プロセッサユニ
ット１４―３に分配して入力するＡ／Ｄ変換・画像信号
分配ボード１１と、同ボード１１の動作を制御する画像
信号分配制御用ＤＳＰボード１２とで構成している。
に、カラーＣＣＤカメラ２から入力したアナログＲＧＢ
画像信号をディジタル画像信号に変換し、同信号を後述
する理解部Ｄの第１プロセッサユニット１４―１と、第
２プロセッサユニット１４―２と、第３プロセッサユニ
ット１４―３に分配して入力するＡ／Ｄ変換・画像信号
分配ボード１１と、同ボード１１の動作を制御する画像
信号分配制御用ＤＳＰボード１２とで構成している。
【００２７】理解部Ｄは、図４に示すように、第１プロ
セッサユニット１４―１と、第２プロセッサユニット１
４―２と、第３プロセッサユニット１４―３とで構成し
ている。各プロセッサユニット１４―１，１４―２，１
４―３は、図５に示すように、それぞれ複数の画像専用
プロセッサ基板１５―１〜１５―ｎと、プレーンメモリ
基板１６と、汎用プロセッサ基板１７とで構成してい
る。各画像専用プロセッサ基板１５―１〜１５―ｎは、
それぞれ第１ブロックメモリ１５―ａと、第２ブロック
メモリ１５―ｂと、マトリックスゲート１５―ｃと、画
像専用プロセッサ１５―ｄとで構成している。
セッサユニット１４―１と、第２プロセッサユニット１
４―２と、第３プロセッサユニット１４―３とで構成し
ている。各プロセッサユニット１４―１，１４―２，１
４―３は、図５に示すように、それぞれ複数の画像専用
プロセッサ基板１５―１〜１５―ｎと、プレーンメモリ
基板１６と、汎用プロセッサ基板１７とで構成してい
る。各画像専用プロセッサ基板１５―１〜１５―ｎは、
それぞれ第１ブロックメモリ１５―ａと、第２ブロック
メモリ１５―ｂと、マトリックスゲート１５―ｃと、画
像専用プロセッサ１５―ｄとで構成している。
【００２８】そして、上記画像信号分配部Ｃと理解部Ｄ
の構成要素は画像信号バス１３で接続している。
の構成要素は画像信号バス１３で接続している。
【００２９】画像信号分配部Ｃでは、検出部Ｂから入力
したアナログＲＧＢ画像信号のうち、ステップ１では、
図６に示すように、１画面分の画像信号をあらかじめ設
定したメッシュ状に区分して、区分したメッシュ状の各
領域における所定位置の画像信号のみをディジタル画像
信号に変換して画像信号バス１３を通して理解部Ｄに入
力し、ステップ２では、ステップ１で後述するように理
解部Ｄが特定した小領域Ｇの画像信号のみをディジタル
画像信号に変換して画像信号バス１３を通して理解部Ｄ
に入力し、理解部Ｄに設けた第１プロセッサユニット１
４―１と、第２プロセッサユニット１４―２と、第３プ
ロセッサユニット１４―３に分配して処理している。
したアナログＲＧＢ画像信号のうち、ステップ１では、
図６に示すように、１画面分の画像信号をあらかじめ設
定したメッシュ状に区分して、区分したメッシュ状の各
領域における所定位置の画像信号のみをディジタル画像
信号に変換して画像信号バス１３を通して理解部Ｄに入
力し、ステップ２では、ステップ１で後述するように理
解部Ｄが特定した小領域Ｇの画像信号のみをディジタル
画像信号に変換して画像信号バス１３を通して理解部Ｄ
に入力し、理解部Ｄに設けた第１プロセッサユニット１
４―１と、第２プロセッサユニット１４―２と、第３プ
ロセッサユニット１４―３に分配して処理している。
【００３０】各プロセッサユニット１４―１，１４―
２，１４―３にディジタル画像信号を入力する場合に
は、パイプライン処理によって第１ブロックメモリ１５
―ａと第２ブロックメモリ１５―ｂのうち、処理中では
ない第１ブロックメモリ１５―ａと第２ブロックメモリ
１５―ｂのいずれか一方に入力してディジタル画像信号
をストアし、ディジタル画像信号伝達の高速化をはかっ
ている。そして、第１ブロックメモリ１５―ａまたは第
２ブロックメモリ１５―ｂにストアしたディジタル画像
信号を用いて画像専用プロセッサ１５―ｄによる演算を
行い、演算結果を汎用プロセッサ基板１７に入力してい
る。
２，１４―３にディジタル画像信号を入力する場合に
は、パイプライン処理によって第１ブロックメモリ１５
―ａと第２ブロックメモリ１５―ｂのうち、処理中では
ない第１ブロックメモリ１５―ａと第２ブロックメモリ
１５―ｂのいずれか一方に入力してディジタル画像信号
をストアし、ディジタル画像信号伝達の高速化をはかっ
ている。そして、第１ブロックメモリ１５―ａまたは第
２ブロックメモリ１５―ｂにストアしたディジタル画像
信号を用いて画像専用プロセッサ１５―ｄによる演算を
行い、演算結果を汎用プロセッサ基板１７に入力してい
る。
【００３１】ホストコンピュータ部Ｆは、複数の画像専
用プロセッサ基板１５―１〜１５―ｎ及び複数のプレー
ンメモリ基板１６―１〜１６―ｎの並列処理を実行させ
ることによって処理の高速化を実現している。
用プロセッサ基板１５―１〜１５―ｎ及び複数のプレー
ンメモリ基板１６―１〜１６―ｎの並列処理を実行させ
ることによって処理の高速化を実現している。
【００３２】そして、これらの結果を用い、汎用プロセ
ッサ基板１７でＦＦＴ処理等の高速演算処理及び識別を
行っており、更に、第１プロセッサユニット１４―１
と、第２プロセッサユニット１４―２と、第３プロセッ
サユニット１４―３とを並列処理することで、形状特徴
及び色特徴抽出及び魚種識別を高速で行うことができ
る。
ッサ基板１７でＦＦＴ処理等の高速演算処理及び識別を
行っており、更に、第１プロセッサユニット１４―１
と、第２プロセッサユニット１４―２と、第３プロセッ
サユニット１４―３とを並列処理することで、形状特徴
及び色特徴抽出及び魚種識別を高速で行うことができ
る。
【００３３】このようにして、１画面中の必要なディジ
タル画像信号のみを選ぶことによりデータ量を圧縮して
処理の高速化をはかる働きは画像分配部Ｃが担い、並列
処理を行って演算速度及び識別の高速化をはかる働きは
理解部Ｄが担い、更に、システム全体のパイプライン処
理による高速化は、２個のブロックメモリ１５―ａ，１
５―ｂとホストコンピュータ部Ｆが担い、これらの相乗
効果によってカラー画像による魚種識別の高速化を実現
している。
タル画像信号のみを選ぶことによりデータ量を圧縮して
処理の高速化をはかる働きは画像分配部Ｃが担い、並列
処理を行って演算速度及び識別の高速化をはかる働きは
理解部Ｄが担い、更に、システム全体のパイプライン処
理による高速化は、２個のブロックメモリ１５―ａ，１
５―ｂとホストコンピュータ部Ｆが担い、これらの相乗
効果によってカラー画像による魚種識別の高速化を実現
している。
【００３４】次に、前述した領域設定について説明す
る。
る。
【００３５】図６及び図７は形状特徴抽出の一例とし
て、全長及び体高を計測するためのエッジ抽出を行う小
領域Ｇの設定方式の説明図であり、ステップ１では、画
像信号分配部Ｃで、図６で示すように、横Ｘ×縦Ｙ画素
の原画像をあらかじめ設定したメッシュ状に区分して、
区分したメッシュ状の各領域における所定位置の画素の
画像信号だけを取出し、理解部Ｄでキルシュオペレータ
或いは魚体と背景画像の色平均との差等を３原色に対し
て行って、１画面中における存在位置をメッシュ状の領
域単位で認識し、１つあるいは複数のメッシュ状の領域
からなる小領域Ｇを特定する。
て、全長及び体高を計測するためのエッジ抽出を行う小
領域Ｇの設定方式の説明図であり、ステップ１では、画
像信号分配部Ｃで、図６で示すように、横Ｘ×縦Ｙ画素
の原画像をあらかじめ設定したメッシュ状に区分して、
区分したメッシュ状の各領域における所定位置の画素の
画像信号だけを取出し、理解部Ｄでキルシュオペレータ
或いは魚体と背景画像の色平均との差等を３原色に対し
て行って、１画面中における存在位置をメッシュ状の領
域単位で認識し、１つあるいは複数のメッシュ状の領域
からなる小領域Ｇを特定する。
【００３６】次に、ステップ２で、上記ステップ１で理
解部Ｄにより特定した小領域Ｇに基づき、画像信号分配
部Ｃは、小領域Ｇの画像信号を理解部Ｄに入力し、同理
解部Ｄでは入力された画像信号に基づいて、背景画像と
の識別を行うことにより形状抽出を行い、抽出した形状
情報に基づいて識別を行う。
解部Ｄにより特定した小領域Ｇに基づき、画像信号分配
部Ｃは、小領域Ｇの画像信号を理解部Ｄに入力し、同理
解部Ｄでは入力された画像信号に基づいて、背景画像と
の識別を行うことにより形状抽出を行い、抽出した形状
情報に基づいて識別を行う。
【００３７】特に、抽出した形状情報を用いることによ
って、魚種識別の場合、まず、識別する魚の全長及び体
高等を計測することができる。
って、魚種識別の場合、まず、識別する魚の全長及び体
高等を計測することができる。
【００３８】そして、計測した全長情報及び体高情報に
基づいて色特徴抽出のための領域Ｈの特定等を行う。
基づいて色特徴抽出のための領域Ｈの特定等を行う。
【００３９】次に、色特徴抽出による魚種識別について
説明する。
説明する。
【００４０】一例として、同科のゴマサバとマサバを魚
種識別の対象とし、図９で示すように、色特徴抽出領域
Ｈを色特徴が良く現れる魚体の腹部に設定するのである
が、前記したように、魚体の全長及び体高が±１０％以
下の誤差範囲で計測されるので、色抽出のための領域の
位置を設定する場合、±１０％の誤差が生じても色特徴
の抽出が可能な領域の大きさを確保すればよいことにな
る。
種識別の対象とし、図９で示すように、色特徴抽出領域
Ｈを色特徴が良く現れる魚体の腹部に設定するのである
が、前記したように、魚体の全長及び体高が±１０％以
下の誤差範囲で計測されるので、色抽出のための領域の
位置を設定する場合、±１０％の誤差が生じても色特徴
の抽出が可能な領域の大きさを確保すればよいことにな
る。
【００４１】図１０は、ゴマサバの全長方向における濃
度分布であり、図９の破線ｘ上を頭部から腹部の色特徴
抽出領域Ｈを通って尾鰭方向に走査しており、腹部にお
いて濃度分布が安定しているので、色特徴抽出領域Ｈの
全長方向における大きさ及び位置のずれが、色特徴の抽
出結果に与える影響が小さいことがわかり、色特徴抽出
領域Ｈをかなり小さく設定しても色特徴抽出が可能なこ
とがわかる。
度分布であり、図９の破線ｘ上を頭部から腹部の色特徴
抽出領域Ｈを通って尾鰭方向に走査しており、腹部にお
いて濃度分布が安定しているので、色特徴抽出領域Ｈの
全長方向における大きさ及び位置のずれが、色特徴の抽
出結果に与える影響が小さいことがわかり、色特徴抽出
領域Ｈをかなり小さく設定しても色特徴抽出が可能なこ
とがわかる。
【００４２】図１１〜図１３に色特徴抽出領域Ｈの大き
さを変え、図９における設定位置を縦方向に±１０画素
（体高の±１０％程度）変動させた場合のゴマサバの濃
度値のヒストグラムを示している。
さを変え、図９における設定位置を縦方向に±１０画素
（体高の±１０％程度）変動させた場合のゴマサバの濃
度値のヒストグラムを示している。
【００４３】色特徴抽出領域Ｈの大きさを、図１１では
横３２画素、縦４画素、図１２では横３２、縦２４画
素、図１３では横３２、縦３２画素にしており、図１１
のように色特徴抽出領域Ｈが小さくなると、濃度値のヒ
ストグラムの分布は±１０画素の変動に対して大きく変
化するが、図１２のように、横３２画素、縦２４画素程
度の大きさにすれば、位置設定の誤差が現れず、濃度値
のヒストグラムの平均値の変化は７１〜７９、分散の変
化は７７〜８６であり、同様にして抽出したマサバの濃
度値ヒストグラム（図１４）の平均値の変化９１〜９
４、分散の変化３０〜５３であるから、両者の値を充分
に分離できることになる。
横３２画素、縦４画素、図１２では横３２、縦２４画
素、図１３では横３２、縦３２画素にしており、図１１
のように色特徴抽出領域Ｈが小さくなると、濃度値のヒ
ストグラムの分布は±１０画素の変動に対して大きく変
化するが、図１２のように、横３２画素、縦２４画素程
度の大きさにすれば、位置設定の誤差が現れず、濃度値
のヒストグラムの平均値の変化は７１〜７９、分散の変
化は７７〜８６であり、同様にして抽出したマサバの濃
度値ヒストグラム（図１４）の平均値の変化９１〜９
４、分散の変化３０〜５３であるから、両者の値を充分
に分離できることになる。
【００４４】したがって、このような手順で決定した色
特徴抽出領域Ｈで濃度値ヒストグラムの分布を解析する
ことによって、充分に魚種の識別が可能であり、しかも
色特徴抽出領域Ｈが小さいため、前記形状特徴抽出を含
め、高速で魚種の識別が可能である。
特徴抽出領域Ｈで濃度値ヒストグラムの分布を解析する
ことによって、充分に魚種の識別が可能であり、しかも
色特徴抽出領域Ｈが小さいため、前記形状特徴抽出を含
め、高速で魚種の識別が可能である。
【００４６】なお、魚種の識別には、色特徴抽出領域Ｈ
の大きさが、横３２画素、縦２４画素（図１２）程度の
大きさにすれば充分であり、横３２、縦３２画素（図１
３）程の大きさを要しないことがわかる。
の大きさが、横３２画素、縦２４画素（図１２）程度の
大きさにすれば充分であり、横３２、縦３２画素（図１
３）程の大きさを要しないことがわかる。
【００４７】また、上記色特徴抽出領域Ｈを複数設定す
ることにより、識別精度を高めることができる。
ることにより、識別精度を高めることができる。
【００４８】魚種分配装置Ｅは、水流運搬装置８と、水
流分配仕分け装置９と、複数の仕分け箱９ｄ―１〜９ｄ
―ｎとで構成されている。
流分配仕分け装置９と、複数の仕分け箱９ｄ―１〜９ｄ
―ｎとで構成されている。
【００４９】水流運搬装置８は、水流を用いて運搬装置
７から水流分配仕分け装置９に魚体を運搬するものであ
る。
７から水流分配仕分け装置９に魚体を運搬するものであ
る。
【００５０】水流分配仕分け装置９は、図１５で示すよ
うに、搬送方向に付設した中央水路９ａと、中央水路９
ａから分岐した複数の分岐水路９ｂ―１〜９ｂ―ｎと、
各分岐水路９ｂ―１〜９ｂ―ｎの始端にそれぞれ対向し
て設けた水流噴出し口９ｃ―１〜９ｃ―ｎとで構成して
おり、各分岐水路９ｂ―１〜９ｂ―ｎの終端には、氷が
入った仕分け箱９ｄ―１〜９ｄ―ｎが配設しており、水
流運搬装置８から受取った魚体は、理解部Ｄで得られた
魚種識別情報に基づいて選定した水流噴出し口から噴出
する水によって、魚種別に分岐水路９ｂ―１〜９ｂ―ｎ
を流下し、該当する魚種の仕分け箱９ｄ―１〜９ｄ―ｎ
に分別収集する。
うに、搬送方向に付設した中央水路９ａと、中央水路９
ａから分岐した複数の分岐水路９ｂ―１〜９ｂ―ｎと、
各分岐水路９ｂ―１〜９ｂ―ｎの始端にそれぞれ対向し
て設けた水流噴出し口９ｃ―１〜９ｃ―ｎとで構成して
おり、各分岐水路９ｂ―１〜９ｂ―ｎの終端には、氷が
入った仕分け箱９ｄ―１〜９ｄ―ｎが配設しており、水
流運搬装置８から受取った魚体は、理解部Ｄで得られた
魚種識別情報に基づいて選定した水流噴出し口から噴出
する水によって、魚種別に分岐水路９ｂ―１〜９ｂ―ｎ
を流下し、該当する魚種の仕分け箱９ｄ―１〜９ｄ―ｎ
に分別収集する。
【００５１】
【発明の効果】請求項１記載の発明によれば、画像信号
を出力する検出部と、同検出部から出力された画像信号
から所定位置の画像信号を抽出して出力する画像信号分
配部と、同画像信号分配部から出力された所定位置の画
像信号を用いて行った識別の結果を外部に出力する理解
部と、検出部と画像信号分配部と理解部の動作を制御・
モニタするホストコンピュータ部とを具備する画像信号
による識別装置において、はじめに、画像信号分配部
は、検出部から出力された１画面分の画像信号をあらか
じめ設定したメッシュ状に区分して、区分したメッシュ
状の各領域における所定位置の画像信号のみを理解部に
入力し、同理解部では入力された画像信号に基づいて背
景画像との識別を行うことにより１画面中における存在
位置をメッシュ状の領域単位で認識し、１つあるいは複
数のメッシュ状の領域からなる小領域を特定し、次い
で、画像信号分配部は、理解部で特定した小領域の画像
信号を理解部に入力し、同理解部では入力された画像信
号に基づいて、背景画像との識別を行うことにより形状
抽出を行い、抽出した形状情報に基づいて識別を行うべ
く構成したことによって、処理するデータ量を非常に少
なくして、画像処理を高速化し、識別処理を高速化する
ことができる。
を出力する検出部と、同検出部から出力された画像信号
から所定位置の画像信号を抽出して出力する画像信号分
配部と、同画像信号分配部から出力された所定位置の画
像信号を用いて行った識別の結果を外部に出力する理解
部と、検出部と画像信号分配部と理解部の動作を制御・
モニタするホストコンピュータ部とを具備する画像信号
による識別装置において、はじめに、画像信号分配部
は、検出部から出力された１画面分の画像信号をあらか
じめ設定したメッシュ状に区分して、区分したメッシュ
状の各領域における所定位置の画像信号のみを理解部に
入力し、同理解部では入力された画像信号に基づいて背
景画像との識別を行うことにより１画面中における存在
位置をメッシュ状の領域単位で認識し、１つあるいは複
数のメッシュ状の領域からなる小領域を特定し、次い
で、画像信号分配部は、理解部で特定した小領域の画像
信号を理解部に入力し、同理解部では入力された画像信
号に基づいて、背景画像との識別を行うことにより形状
抽出を行い、抽出した形状情報に基づいて識別を行うべ
く構成したことによって、処理するデータ量を非常に少
なくして、画像処理を高速化し、識別処理を高速化する
ことができる。
【００５２】請求項２記載の発明によれば、形状抽出に
より抽出した形状情報に基づいて色特徴抽出のための色
特徴抽出領域を特定し、特定した色特徴抽出領域におけ
る画像信号に基づいて、濃度値のヒストグラムの分布を
解析することにより色特徴抽出に基づく識別を行うべく
構成したことによって、確実な識別処理を可能とするこ
とができる。
より抽出した形状情報に基づいて色特徴抽出のための色
特徴抽出領域を特定し、特定した色特徴抽出領域におけ
る画像信号に基づいて、濃度値のヒストグラムの分布を
解析することにより色特徴抽出に基づく識別を行うべく
構成したことによって、確実な識別処理を可能とするこ
とができる。
【図１】本発明に係る魚種識別装置の構成を示す説明
図。
図。
【図２】搬送部の水槽及び水流運搬装置の側面図。
【図３】搬送部の水切り装置の側面図。
【図４】画像信号分配部と魚体理解部の構成を示す説明
図。
図。
【図５】魚体理解部の構成を示す説明図。
【図６】小領域設定方式の説明図。
【図７】小領域設定方式の説明図。
【図８】小領域の画素数とブロックメモリ容量との関係
を示すグラフ。
を示すグラフ。
【図９】色特徴抽出領域の設定位置と大きさを示す説明
図。
図。
【図１０】体長方向の濃度値ヒストグラム。
【図１１】色特徴抽出領域の濃度値ヒストグラム（ゴマ
サバ）。
サバ）。
【図１２】色特徴抽出領域の濃度値ヒストグラム（ゴマ
サバ）。
サバ）。
【図１３】色特徴抽出領域の濃度値ヒストグラム（ゴマ
サバ）。
サバ）。
【図１４】色特徴抽出領域の濃度値ヒストグラム（マサ
バ）。
バ）。
【図１５】水流分配仕分け装置の平面図。
Ｂ 検出部
Ｃ 画像信号分配部
Ｄ 理解部
Ｆ ホストコンピュータ部
Ｇ 小領域
Ｈ 色特徴抽出領域
２ カラーＣＣＤカメラ
１４―１ 第１プロセッサユニット
１４―２ 第２プロセッサユニット
１４―３ 第３プロセッサユニット
１７ 汎用プロセッサ基板
１５―ａ 第１ブロックメモリ
１５―ｂ 第２ブロックメモリ
１５―ｃ マトリックスゲート
１５―ｄ 画像専用プロセッサ
１５―１〜１５―ｎ 画像専用プロセッサ基板
１６―１〜１６―ｎ プレーンメモリ基板
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 長田 純夫
長崎県大村市宮小路３−６−204
(72)発明者 指方 顕
長崎県佐世保市広田三丁目３−２−302
(56)参考文献 特開 平６−6793（ＪＰ，Ａ)
特開 平５−159064（ＪＰ，Ａ)
特開 平５−20455（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 7/00 - 7/60
G06T 1/00
H04N 7/18
Claims (2)
- 【請求項１】 画像信号を出力する検出部（Ｂ）と、同
検出部（Ｂ）から出力された画像信号から所定位置の画
像信号を抽出して出力する画像信号分配部（Ｃ）と、同
画像信号分配部（Ｃ）から出力された所定位置の画像信
号を用いて行った識別の結果を外部に出力する理解部
（Ｄ）と、検出部（Ｂ）と画像信号分配部（Ｃ）と理解
部（Ｄ）の動作を制御・モニタするホストコンピュータ
部（Ｆ）とを具備する画像信号による識別装置におい
て、 はじめに、画像信号分配部（Ｃ）は、検出部（Ｂ）から
出力された１画面分の画像信号をあらかじめ設定したメ
ッシュ状に区分して、区分したメッシュ状の各領域にお
ける所定位置の画像信号のみを理解部（Ｄ）に入力し、
同理解部（Ｄ）では入力された画像信号に基づいて背景
画像との識別を行うことにより１画面中における存在位
置をメッシュ状の領域単位で認識し、１つあるいは複数
のメッシュ状の領域からなる小領域（Ｇ）を特定し、 次いで、画像信号分配部（Ｃ）は、理解部（Ｄ）で特定
した小領域（Ｇ）の画像信号を理解部（Ｄ）に入力し、
同理解部（Ｄ）では入力された画像信号に基づいて、背
景画像との識別を行うことにより形状抽出を行い、抽出
した形状情報に基づいて識別を行うべく構成したことを
特徴とする画像信号による識別装置。 - 【請求項２】 理解部（Ｄ）は、形状抽出により抽出し
た形状情報に基づいて色特徴抽出のための色特徴抽出領
域（Ｈ）を特定し、特定した色特徴抽出領域（Ｈ）にお
ける画像信号に基づいて、濃度値のヒストグラムの分布
を解析することにより色特徴抽出に基づく識別を行うべ
く構成したことを特徴とする請求項１記載の画像信号に
よる識別装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24569093A JP3483039B2 (ja) | 1993-09-30 | 1993-09-30 | 画像信号による識別装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24569093A JP3483039B2 (ja) | 1993-09-30 | 1993-09-30 | 画像信号による識別装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07231733A JPH07231733A (ja) | 1995-09-05 |
| JP3483039B2 true JP3483039B2 (ja) | 2004-01-06 |
Family
ID=17137367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24569093A Expired - Fee Related JP3483039B2 (ja) | 1993-09-30 | 1993-09-30 | 画像信号による識別装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3483039B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4324170B2 (ja) | 2005-03-17 | 2009-09-02 | キヤノン株式会社 | 撮像装置およびディスプレイの制御方法 |
| JP5171468B2 (ja) | 2008-08-06 | 2013-03-27 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
| KR101269790B1 (ko) | 2009-12-10 | 2013-05-30 | 한국전자통신연구원 | 데이터 플로우 병렬 처리 장치 및 방법 |
| ES2552397B1 (es) * | 2014-05-27 | 2016-09-14 | Tecnología Marina Ximo, S.L. | Sistema y método para la estimación de atunes capturados por especie a bordo de embarcaciones pesqueras |
| KR101656635B1 (ko) * | 2014-12-10 | 2016-09-09 | 가부시기가이샤니레꼬 | 어종 판별 장치 및 어종 판별 방법 |
| JP6632042B2 (ja) * | 2016-08-26 | 2020-01-15 | Ｎｅｃソリューションイノベータ株式会社 | 生存魚管理システム |
| CN106598114A (zh) * | 2016-10-26 | 2017-04-26 | 陈鸽 | 基于远程服务器的鱼缸控制*** |
| JP7126858B2 (ja) * | 2018-05-18 | 2022-08-29 | 古野電気株式会社 | 魚種推定システム、魚種推定方法、及びプログラム |
| JP6702370B2 (ja) * | 2018-07-24 | 2020-06-03 | 日本電気株式会社 | 計測装置、計測システム、計測方法およびコンピュータプログラム |
| JP7155375B1 (ja) * | 2021-10-13 | 2022-10-18 | マルハニチロ株式会社 | 測定システム、情報処理装置、情報処理方法およびプログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3030126B2 (ja) * | 1991-07-15 | 2000-04-10 | 三洋電機株式会社 | 画像処理方法 |
| JPH05159064A (ja) * | 1991-12-09 | 1993-06-25 | Nippon Telegr & Teleph Corp <Ntt> | 画像探索装置 |
| JP3358142B2 (ja) * | 1992-06-23 | 2002-12-16 | 博文 松尾 | 物体識別システム |
-
1993
- 1993-09-30 JP JP24569093A patent/JP3483039B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07231733A (ja) | 1995-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5253765A (en) | Sorting and grading system | |
| JP3483039B2 (ja) | 画像信号による識別装置 | |
| Zhang et al. | Separation of touching grain kernels in an image by ellipse fitting algorithm | |
| Zion et al. | Sorting fish by computer vision | |
| Paliwal et al. | Grain kernel identification using kernel signature | |
| French et al. | Deep neural networks for analysis of fisheries surveillance video and automated monitoring of fish discards | |
| KR101743270B1 (ko) | 다수의 플랑크톤이 응집 혹은 산재해 있는 현미경 영상에서 딥러닝을 이용하여 개개 플랑크톤을 분리 및 인식하는 방법 | |
| JP2007017163A (ja) | 粒状製品の評価方法 | |
| CN108918093B (zh) | 一种滤光片镜面缺陷检测方法、装置及终端设备 | |
| US4566123A (en) | Standard memory take in method | |
| CN109051629B (zh) | 物料掉落的确定方法、装置及*** | |
| CN113171666B (zh) | 一种基于数字图像处理技术的干雾除尘控制方法 | |
| WO2015170348A1 (en) | Batching with vision | |
| JP2001503897A (ja) | 医学的および生物学的画像分析のためのパイプラインプロセッサー | |
| JP3401590B2 (ja) | 飲食物識別装置 | |
| CN114708192A (zh) | 一种目标物计数方法、***、存储介质及计算机设备 | |
| JP3783835B2 (ja) | 魚道を遡上する魚類の数量計測装置 | |
| Correia et al. | Underwater video analysis for Norway lobster stock quantification using multiple visual attention features | |
| JPH07113969B2 (ja) | 画像処理方法 | |
| Tan et al. | Detection of marine species on underwater video images | |
| JP3055205B2 (ja) | 青果物の傷検出装置 | |
| JPH067171B2 (ja) | 移動物体の検知方法 | |
| CN118196639A (zh) | 玉米产量估算方法及装置 | |
| GB2333628A (en) | Detection of contaminants in granular material | |
| Uthaisombut | Detecting defects in cherries using machine vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030902 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |