JP2002358529A - 画像処理方法及び画像処理装置 - Google Patents
画像処理方法及び画像処理装置Info
- Publication number
- JP2002358529A JP2002358529A JP2001167016A JP2001167016A JP2002358529A JP 2002358529 A JP2002358529 A JP 2002358529A JP 2001167016 A JP2001167016 A JP 2001167016A JP 2001167016 A JP2001167016 A JP 2001167016A JP 2002358529 A JP2002358529 A JP 2002358529A
- Authority
- JP
- Japan
- Prior art keywords
- image
- target
- resolution
- target object
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims description 28
- 238000003672 processing method Methods 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 abstract description 6
- 238000003860 storage Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 230000009466 transformation Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 102100032704 Keratin, type I cytoskeletal 24 Human genes 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012615 high-resolution technique Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
から抽出された複数枚の画像に基づいた高解像度化処理
により対象物体上の文字や記号情報を読み取ることがで
きる画像処理方法及び装置を提供する。 【解決手段】 対象物体を撮影した映像から複数の時系
列画像に基づいて、対象物体に係る文字又は記号情報を
含む画像領域p0〜p3を各々探索して取り出す。前記対
象物体が移動する運動状態を、例えば、等速直線運動L
と想定し、画像領域p0〜p3の位置を、運動Lに沿って
時刻t0〜t3において等間隔となるように修正する位置
合わせを行う。位置が合わされた画像領域p0〜p3を重
ね合わせ高解像度処理を行い、高解像度化画像に含まれ
る文字や記号を読み取る。同一対象物体に対し位置合わ
せされた複数の画像領域を用いることで、高解像度処理
の精度を向上できる。
Description
号を自動で読み取り可能にする画像処理方法および画像
処理装置に関し、特に、抽出された複数枚の画像から高
解像度で文字や記号を読み取ることができる画像処理に
関する。
いて、建物の出入り口にカメラを設置しておき、出入り
する人物の身体に付けられた名札の文字を読み取ること
が行われている。この読み取られた名札の文字に基づい
て、建物への人の出入を管理するシステムが設置されて
いた。
て、出荷物をベルトコンベア上に流して仕分けする際、
現場に設置されているカメラにより、ベルトコンベア上
を流れ移動している荷物の映像を撮影し、その映像から
荷物に貼られているシールの文字を読み取ることで、移
動する各荷物を自動的に送り先ごとに仕分けする物流監
視システムなどが使用されている。
る技術を、例えば、図1に示されるような、ベルトコン
ベア2、照明装置3、カメラ4、認識装置5、そしてモ
ニタを備えた物流監視システムを用いて説明する。生産
工場などにおいて、ベルトコンベア2の傍らに設置され
ているカメラ4によって、移動する出荷物1の映像を撮
影し、認識装置5でその映像から出荷物1に貼られてい
るラベル7の文字を読み取り、出荷物1を送り先などに
仕分けするというように、出荷物1の物流監視が行われ
ている。
み取る方法は、例えば、テンプレートマッチング(テレ
ビジョン学会編、「画像工学 −画像のエレクトロニク
ス−」、pp.132-133)と呼ばれる画像処理方法を用いて
いた。この技術は、物体中の文字が書かれている部分
を、予め「辞書」として持っている文字のテンプレート
と照合させ、辞書のテンプレートと最も類似しているも
のを読み取り、その結果を出力している。
4と出荷物4とが離れているため、ラベル7に書かれて
いる文字が小さくなると、文字自体が潰れてしまい、他
の文字と似通ったものとなり、読み取ったときの文字認
識が困難になる。その結果、ある程度大きく映っている
文字を対象とせざるを得ない。そのため、この技術によ
り、ラベル7上の文字や記号を読み取る場合、文字や記
号を大きく撮影する必要があり、カメラ4の撮影範囲が
限定されることとなる。しかし、例えば、物流監視シス
テムにおいては、ベルトコンベア2上を移動する出荷物
1には、様々な大きさのものがあることや、出荷物1の
種類によっては貼られたラベル7の位置が異なるなどの
理由により、確実にラベル7を検出できるようにするた
めに、カメラ4の撮影範囲をできるだけ広くとる必要性
がでてくる。
監視するためには、例えば、特開平11−284981
号公報に見られるように、広い範囲を複数の領域に分
け、複数台のカメラを用いて各カメラに各領域を割り当
てるようにすることが開示されている。しかし、この手
法では、カメラ台数が増加するばかりでなく、その増加
に伴って照明装置、処理装置等の周辺機器も増えるた
め、コスト面や設置場所の確保などの問題があった。
来技術による読み取り方法では、「カメラの台数」と
「文字や記号の読み取り可能範囲」とにトレードオフの
関係があった。そのため、少ないカメラ台数で広い範囲
を撮影した場合、対象となる文字や記号の解像度が低く
なり、文字や模様の情報が不足するため、一部分が潰れ
たり欠けたりして、それらを読み取ることができないと
いう問題がある。
り画像の解像度を上げる高解像度化技術が開発(例え
ば、青木ら、「複数のディジタル画像からの超解像度処
理」、第2回画像センシングシンポジウム、pp.65-70)
されている。この高解像度化技術は、映像中の複数枚の
画像を用い、各画像の画素の情報を足し合わせること
で、高い解像度かつ鮮明な画像を生成するというもので
ある。
化処理の原理を以下に説明する。高解像度化とは、画像
形成過程をモデル化し、その逆問題を解くことで形成さ
れた画像の原因となる高精細な画像を推定することであ
る。具体的には、例えば、以下のような解法により高解
像度画像を生成する。F(X、Y)を理想的な高解像度画像
とし、F(X、Y)を座標変換することによって得られるk
番目のフレームにおける高解像度画像をFk(X、Y)とす
る。つまり、座標変換式を X=Xk(x、y)、Y=Yk(x、y) …(1) とすると、k番目のフレームにおける高解像度画像は Fk(X、Y)=F(Xk(x、y)、Yk(x、y)) …(2) となる。
とおくと、
空間位置や開口特性によって定まる窓関数(PSF)で
ある。ここ整数値(i、j)に対して w(i、j;x、y)=1、 i−0.5<x<i+0.5、j−0.5<y<j+0.5 =0、 その他 …(4) であることを仮定する。これは各受光素子が正方形であ
り、隙間無く画像面を覆っていることを意味している。
なお、w(i、j;x、y)が別の形の関数であっても、以下
の議論は成立する。(2)式及び(3)式より
座標変換の逆変換である。また、(δ(x、y)/δ(X、Y))
は変数変換のヤコビアン(各場所毎に面積が何倍になっ
ているかを表すスケールファクタ)であり、 wk(i、j;X、Y) =w(i、j:xk(X、Y)、yk(X、Y))(δ(x、y)/δ(X、Y)) …(6) とおくと
して観測される画像Gk(i、j)と高解像度の理想画像F
(X、Y)の関係を表す。観測画像Gk(i、j)が与えられた
ときに、その基となる高解像度の理想画像F(X、Y)を求
めたいというのが解くべき問題である。この(7)式自身
はF(X、Y)が任意に高解像度(X、Yが任意の実数)であっ
ても成立するが、あまり解像度が高いと未知数の数が多
すぎ、解が一意に定まらない。そこで、F(X、Y)が整数
格子上でのみ値を持つ離散的な画像H(I、J)から先に定
義した窓関数w(I、J;X、Y)を使って
Y)は階段関数となり、未知数の数は整数格子点の数に削
減される。なお、画像の離散表現は別の方法も有り得る
が、任意の窓関数に対してこの議論は成り立つ。
満たす高解像度画像H(I、J)を求めればよい。つまり、
次の評価関数
い。以上のような処理により、高解像度化画像が生成さ
れる。しかしながら、このような高解像度化技術では、
各画像の各画素を対応づけ画素値を重ね合わせること
で、高解像度化画像を生成していくため、1画素以下の
精度で各画像の位置を合わせる必要があり、各画像のう
ち1枚でもその位置がずれていると、鮮明な高解像度画
像は得られない。このため、各画像の位置合わせが重要
となる。しかし、対象の画像自体が低解像度になってい
る場合、画像中の対象の大きさが小さいため厳密に位置
合わせを行うことは難しい。
対象物体の動きに合わせて、読み取りの対象物体の各画
像で切り出された位置を拘束することで、画像全体を通
して厳密な位置合わせを可能とし、高解像度をより向上
する画像処理装置及び画像処理方法を提供することを目
的とする。
めに、本発明では、移動する対象物体を撮影した映像か
ら当該対象物体に係る対象情報を自動で読み取る画像処
理方法において、前記映像における時系列の複数の画像
毎に、前記対象情報を含む所定範囲の画像領域を探索す
る探索段階と、探索された各々の前記画像領域の位置
を、前記対象物体の移動に合った位置に修正して、各画
像領域の位置合わせを行う位置合わせ段階と、位置合わ
せされた前記各画像領域を重ね合わせて高解像度処理を
行う高解像度化画像処理段階とを含めた。
含まれ、前記探索段階では、前記画像の各々において、
前記文字又は記号に係るレイアウト情報に基づいて前記
画像領域を探索するようにした。さらに、前記位置合わ
せ段階では、前記対象物体の移動が等速直線運動である
として、前記各画像領域の位置を該等速直線上の位置に
修正して位置合わせを行い、前記画像領域の位置が前記
対象物体の移動位置から所定値を超えてずれているとき
には、当該画像領域を位置合わせ処理の対象から除くよ
うにした。
影した映像から当該対象物体に係る対象情報を自動で読
み取る画像処理装置において、前記映像における時系列
の複数の画像毎に、前記対象情報を含む所定範囲の画像
領域を探索する探索手段と、探索された各々の前記画像
領域の位置を、前記対象物体の移動に合った位置に修正
して、各画像領域の位置合わせを行う位置合わせ手段
と、位置合わせされた前記各画像領域を重ね合わせて高
解像度処理を行う高解像度化画像処理手段とを備えるこ
ととした。
化技術を用いた文字認識処理装置に適用した場合の実施
形態を説明する。 〔第1の実施形態〕図1に示されるように、固定された
カメラ4によって、ベルトコンベア2上に載せられて移
動する荷物1を撮影すると、モニタ6に映し出される荷
物1に係る画像は、ベルトコンベアの移動に従って画面
中を移動していくとする。ここで、対象である移動する
荷物1に係る画像を含む複数枚の各画像から文字らしい
領域を、例えば、対象中の文字列の配置情報により切り
出す。切り出した文字領域の位置には、荷物1の振動な
どによって多少の誤差を含むため、各画像間での誤差が
累積され全体として大きなずれが発生する。
ている対象の動きを、微小時間において何らかの運動で
表現し、例えば、ベルトコンベア2上の荷物1の運動
は、微小時間においては「等速直線運動」で表されると
し、読み取りの対象である荷物1に貼られているラベル
7に係る各画像で切り出された位置が「等速直線運動」
をするように対象の位置を拘束することで、画像全体を
通して厳密な位置合わせを行うことができるようにし
た。このような位置合わせ処理により、良好な高解像度
化処理が行うことができ、対象中の文字や記号の解像度
を高くできるため、ラベル7に書かれた文字や記号を容
易に読み取ることができる。
む文字認識処理装置のブロック構成を図2に示す。文字
認識処理装置10には、カメラ4などの画像入力装置か
ら得られるアナログ映像入力信号、又は画像記録装置か
らの出力などのディジタル映像入力信号が供給される。
入力信号がアナログ映像信号である場合には、そのアナ
ログ映像信号をA/D変換部11でディジタル信号に変
換した後に、或いは入力信号が画像記録装置からの出力
などのディジタル映像信号である場合には、そのディジ
タル信号のまま入力される画像制御部12を有する。そ
して、画像制御部12で入力された画像を記憶する第1
画像記憶部13と、対象探索部15や位置合わせ処理部
16で処理された結果を記憶する第2画像記憶部14
と、与えられたレイアウトに基づき、移動している対象
を探索する対象探索部15と、各時刻での画像における
対象の位置を合わせる位置合わせ処理部16と、各時刻
での対象の位置を合わせた結果から高解像度化処理を行
う高解像度化処理部17と、高解像度化した画像に対し
て文字列や記号の読み取りを行う文字認識部18を備え
ている。
装置10の動作について、ブロック毎に詳細に説明す
る。 ・入力された画像のA/D変換 カメラ4などの画像入力装置から得られるアナログ映像
をA/D変換部11によりディジタル化し、後段の画像
制御部12へ出力する。ただし、入力映像がディジタル
映像の場合は、A/D変換部11のない構成となる。 ・A/D変換された画像の制御 画像制御部12は、A/D変換部11からの出力画像又
は画像記録装置などからの出力画像によるディジタル映
像信号を制御し、第1画像記憶部13に画像を記憶する
とともに、後段の対象探索部15に送る。 ・画像の記憶 第1画像記憶部13には、画像制御部12に入力された
ディジタル映像信号に係る画像データを記憶する。ま
た、ある程度の時間の画像データを記憶できるだけのメ
モリ容量を持っているため、後段の対象探索部15で処
理を行っている間も入力される画像データを記憶するこ
とができる。 ・処理結果の記憶 第2画像記憶部14には、対象探索部15や位置合わせ
処理部16で処理された結果を記憶する。なお、第2画
像記憶部14を第1画像記憶部13と別に示したが、記
憶部としての構成としては、一つのものでもよく、説明
の便宜上、個別の構成として示した。 ・認識対象の探索 対象探索部15では、画像制御部12から送られた映像
信号による画像に対象となる画像が含まれているかどう
かを探す。
時刻tのタイミングで撮影された画像に、対象が存在す
るかどうかを調べる。具体的には、入力された画像に対
して2値化、ラベリング処理を行うことで、図3(a)
のように文字らしい部分を検出する。同図中では、文字
らしい部分を、丸形状又は楕円形状で示した。次に、例
えば、図3(b)に示されるような、名札のように、予
め、対象の文字列などの配置関係を示すレイアウト情報
を与える。このとき、レイアウト情報は、どんな文字又
は記号であるかは必要なく、それらの配置関係を判別す
ることができる程度のものである。
報と類似している所定範囲の領域を見つける。レイアウ
ト情報との類似度が、ある閾値以下の場合は、「対象な
し」を表す信号を画像制御部12に送り、画像制御部1
2は、第1画像記憶部13に記憶している次の時刻の画
像を対象探索部15へ出力し、次いで、対象探索部15
は、その画像に対して探索を行う。
似度がある閾値以上の場合は、類似していると判断し、
図3(a)に示されるように、次の時刻における所定範
囲を有する領域Pの四隅の座標(x1、y1)、(x2、y
2)、(x3、y3)、(x4、y4)と、領域Pに係る画像デー
タとを第2画像記憶部14へ出力し記憶する。これと同
時に、「対象あり」を表す信号を画像制御部12に送
る。
画像記憶部13に記憶している時刻tが時刻t0から時
刻tn-1までであれば、各時刻の画像を対象探索部15
に順次入力する。そして、対象探索部15では、順次入
力される画像について順次探索処理を行う。ここで、入
力される画像の枚数nは、高解像度化処理部17で用い
る枚数である。
を追跡する。具体的には、例えば、時刻t0で検出した
対象の四隅の座標(x10、y10)、(x20、y20)、(x3
0、y30)、(x40、y40)から検出した領域p0をテンプ
レートとしたテンプレートマッチングにより対象の追跡
を実現する。追跡により得られた各時刻tiでの対象領
域piの四隅の座標(x1i、y1i)、(x2i、y2i)、(x3
i、y3i)、(x4i、y4i)と、領域piに係る画像データ
を第2画像記憶部14へ出力し記憶していく。ここで、
処理枚数がnであれば、i=0〜(n−1)である。
域の具体例を、n=4の場合について示した。対象領域
が、p0〜p3の四角枠で示される。以上の処理を、処理
枚数分nだけ繰り返すことにより、各時刻における対象
領域の四隅の座標が求まる。この四隅の座標を基に、後
段の位置合わせ処理部16で各画像の対象領域について
位置合わせを行う。 ・各画像の位置合わせ処理 対象探索部15での処理が終了すると、第2画像記憶部
14に記憶された各時刻の画像と各画像での対象領域の
四隅の座標が、位置合わせ処理部16に順次入力され
る。入力された時刻t0から時刻tn-1までのn枚の画像
における対象の位置合わせを行う。
ある大きさに拡大した画像(以下基準画像と呼ぶ)を作成
する。その画像に対応するように、残りの(n−1)枚
の画像の位置を合わせるための射影変換を求める。拡大
する大きさが、高解像度化処理により生成される画像の
大きさとなる。一般に、2枚の画像間で4点の対応関係
が与えられると、2枚の画像を結び付ける射影変換が定
まる。そこで、m番目(m<n)の入力画像における4頂
点を(xm1、ym1)、(xm2、ym2)、(xm3、ym3)、(xm
4、ym4)とし、基準画像における座標を(xM1、yM1)、
(xM2、yM2)、(xM3、yM3)、(xM4、yM4)とし、基準
画像をm番目の入力画像に変換する射影変換は、 xmi=(a1・xMi+a2・yMi+a3)/(a7・xMi+a8・yMi+a9) ymi=(a4・xMi+a5・yMi+a6)/(a7・xMi+a8・yMi+a9) (4頂点であるので、i=1、2、3、4) …(13) となる。
の座標を、(13)式に代入する。このことにより、変換係
数a1〜a9の9個の未知数に対して8個の線形方程式を
与えることになるが、(13)式は、a1〜a9を定数倍して
も変化しないスケール不変性があるので、例えば、a9
=1であるという制約を与えれば、解が一意的に定ま
る。以上の処理により、基準画像をm番目の入力画像に
変換する射影変換が求められる。この逆変換をm番目の
入力画像に施せば、基準画像と位置が合うことになる。
像度が低いため、求まった対象領域の位置には、誤差を
含んでいる。そこで、対象物体の運動に対応して、位置
合わせを修正する。移動している対象物体は、微小時間
の間隔で見た場合、決められた所定の運動をしていると
見ることができる。その運動を満足するように、各時刻
で検出された対象領域の位置を修正してやることによ
り、対象領域の位置合わせを厳密に行うことができる。
t0〜t3での各逆射影変換による対象領域p0〜p3の位
置が表されている場合、図5に示されるように、微小時
間における対象領域の運動を所定の運動に当て嵌める。
例えば、対象物体の運動が等速直線運動と見なす。図5
においては、破線Lによる矢印のように運動していると
する。同図は、対象物体の運動をモニタ6上の画面で見
た状態で示している。
対応する点のうち、領域p0〜p3の左上の点が領域を代
表する位置であるとして、それらの座標を、図5中に丸
印で示されるように、(x10、y10)、(x11、y11)、
(x12、y12)、(x13、y13)とする。そこで、図6に示
すように、図5に丸印で示されるような各対象領域の代
表位置について、対象物体の運動を表す直線L上に並ぶ
ように修正する。図示のように、各座標は、(xm10、y
m10)、(xm11、ym11)、(xm12、ym12)、(xm13、ym1
3)に修正される。しかし、ここでは、各座標が直線L上
に位置されたに過ぎず、まだ等速運動に修正されていな
い。
される等速運動をしているとするために、各時間間隔の
移動量が等しくなるように修正される。(13)式による射
影変換を用い、各対象領域の画像データに対して再計算
する。修正された後の各座標は、図7に示されるよう
に、(xM10、yM10)、(xM11、yM11)、(xM12、yM1
2)、(xM13、yM13)となって、対象領域p0〜p3が、直
線Lに沿った等速直線運動となるように、各領域の座標
が修正される。
より拘束することで、各時刻の画像間で生じる誤差を累
積することがないため、大きなずれのない厳密な位置合
わせを可能とする。また、対象の運動により拘束せず
に、四隅の点の対応のみで射影変換を求める場合も含
む。以上のように、各時刻t0〜t3での対象の位置を合
わせ、重ね合わした画像をつくり、その画像を高解像度
化処理部17へ出力する。 ・重ね合わされた画像の高解像度化処理 高解像度化処理部17では、位置合わせ処理部16で生
成されたn枚の画像に対して高解像度化処理を行う。こ
こで行う高解像度化とは、画像形成過程をモデル化し、
その逆問題を解くことで形成された画像の原因となる高
精細な画像を推定することであり、具体的には、前述の
(1)乃至(12)式による高解像度化処理である。(12)式で
表される評価関数を最小にするようなH(I、J)が求めら
れる。このような処理により生成された高解像度化画像
が、を文字認識部18に出力される。 ・高解像度化画像からの文字認識 文字認識処理部18は、高解像度化処理部17から出力
された画像を用いて文字認識を行う。
まれる可能性のある文字(漢字、数字、アルファベット
など)の大きさや位相の異なるパターンを認識するため
に、予め辞書として用意しておく。そこで、高解像度化
処理を施された画像中の文字と辞書画像とのテンプレー
トマッチングを行い、マッチング度が高いものを文字な
どの認識結果として出力する。テンプレートマッチング
の方法としては、入力画像(X、Y)におけるi番目の
画素Xi、Yiについて、(14)式の計算を行い、マッチン
グ度Mが小さいほど似通った領域であるとする。ただ
し、M≧0である。
ベルトコンベア2の下流において別途用意されている仕
分け装置に出力する。その仕分け装置によって、対象物
体である荷物1の仕分けを自動で行うことや、モニタ6
に出力して作業員が荷物1の仕分けをすることなどのよ
うに、物流監視システムを構築できる。 〔第2の実施形態〕第2の実施形態による文字認識処理
装置10のブロック構成を図8に示す。
認識処理装置10において、位置合わせ処理部16の後
段に、画像選択処理部19を加えたものである。第1の
実施形態では、対象が発見された時刻t0からtn-1まで
の各時刻での画像であるn枚の入力画像を用い高解像度
化処理を行っている。しかし、入力されたn枚の画像に
は、位置合わせがうまく行えていない画像など高解像度
化処理に不適な画像も含まれている可能性が高い。その
ような画像を高解像度化処理に用いた場合、悪い影響を
与えることがある。
から位置ずれの大きい画像を除去することにより、良好
な高解像度化が得られるようにした。具体的には、例え
ば、上述した高解像度化処理における(12)式に示すテン
プレートマッチングを、位置合わせを行った各画像と基
準画像との間で行う、マッチング度Mの値が大きい画像
ほど、位置ずれが大きいと考えられる。よって、画像選
択処理部19によりマッチング度を計算し、その値が閾
値より大きい画像を除去した後で、比較的位置ずれが少
ない画像に基づいて高解像度化処理を行う。
不適当な画像を処理対象から取り除くことにより、一層
精度の高い処理を行うことができる。これまで、物流監
視システムを例にして説明してきたが、これに限られ
ず、建物への人の出入チェックシステムなど、移動する
物に付けられている対象情報を認識する必要があるよう
なところに、本実施形態による複数画像を用いた高解像
度化画像処理を適用することができる。
なく、物体中の特定形状などによる図形でもよい。この
場合には、高解像度化処理部の後段にある文字認識部の
代わりに、図形認識部を置く。本実施形態による高解像
度化処理を適用した文字認識処理装置の動作として、探
索対象とする物体が等速直線運動に従って移動している
例を挙げて説明したが、探索対象物体がカメラで撮影さ
れる範囲内で、決まった経路で移動することが把握され
ているならば、その経路を探索対象の運動としてそれに
拘束するように各対象領域を修正するようにしてもよ
い。
内において、一つの対象物体の探索を行う例を説明した
が、同時に2以上の対象物体を探索することもでき、こ
の場合には、各対象物体のそれぞれの運動を予め決定し
ておくことにより、各対象物体について、一つのカメラ
による撮影画像に基づいて広範囲の監視を実現すること
ができる。
揺らいでいるような場合、対象物体が止まっていても、
決まった経路として各対象領域を停止運動に拘束するこ
とで、より鮮明な高解像度化画像を作成することができ
る。 (付記1) 移動する対象物体を撮影した映像から当該
対象物体に係る対象情報を自動で読み取る画像処理方法
であって、前記映像における時系列の複数の画像毎に、
前記対象情報を含む所定範囲の画像領域を探索する探索
段階と、探索された各々の前記画像領域の位置を、前記
対象物体の移動に合った位置に修正して、各画像領域の
位置合わせを行う位置合わせ段階と、位置合わせされた
前記各画像領域を重ね合わせて高解像度処理を行う高解
像度化画像処理段階とを含むことを特徴とする画像処理
方法。 (付記2) 前記対象情報が文字又は記号を含み、前記
探索段階では、前記画像の各々において、前記文字又は
記号に係るレイアウト情報に基づいて前記画像領域を探
索することを特徴とする付記1に記載の画像処理方法。 (付記3) 前記位置合わせ段階では、前記対象物体が
微小時間毎に移動しているとし、前記画像領域の位置を
前記時間に対応する前記対象物体の移動位置に従って修
正し位置合わせを行うことを特徴とする付記1又は2に
記載の画像処理方法。 (付記4) 前記位置合わせ段階では、前記対象物体の
移動が等速直線運動であるとして、前記各画像領域の位
置を該等速直線上の位置に修正して位置合わせを行うこ
とを特徴とする付記3に記載の画像処理方法。 (付記5) 前記位置合わせ段階では、前記画像領域の
位置が前記対象物体の移動位置から所定値を超えてずれ
ているとき、当該画像領域を位置合わせ処理の対象から
除くことを特徴とする付記1乃至4のいずれか一つに記
載の画像処理方法。 (付記6) 前記高解像度化画像に基づいて前記文字又
は記号情報の認識を行う文字認識処理段階を含むことを
特徴とする付記2乃至5のいずれか一つに記載の画像処
理方法。 (付記7) 移動する対象物体を撮影した映像から当該
対象物体に係る対象情報を自動で読み取る画像処理装置
であって、前記映像における時系列の複数の画像毎に、
前記対象情報を含む所定範囲の画像領域を探索する探索
手段と、探索された各々の前記画像領域の位置を、前記
対象物体の移動に合った位置に修正して、各画像領域の
位置合わせを行う位置合わせ手段と、位置合わせされた
前記各画像領域を重ね合わせて高解像度処理を行う高解
像度化画像処理手段とを有することを特徴とする画像処
理装置。 (付記8) 前記対象情報が文字又は記号を含み、前記
探索手段は、前記画像の各々において、前記文字又は記
号に係るレイアウト情報に基づいて前記画像領域を探索
することを特徴とする付記7に記載の画像処理装置。 (付記9) 前記位置合わせ手段は、前記対象物体が微
小時間毎に移動しているとし、前記画像領域の位置を前
記時間に対応する前記対象物体の移動位置に従って修正
し位置合わせを行うことを特徴とする付記7又は8に記
載の画像処理装置。 (付記10) 前記位置合わせ手段は、前記対象物体の
移動が等速直線運動であるとして、前記各画像領域の位
置を該等速直線上の位置に修正して位置合わせを行うこ
とを特徴とする付記9に記載の画像処理装置。 (付記11) 前記位置合わせ手段には、前記画像領域
の位置が前記対象物体の移動位置から所定値を超えてず
れているとき、当該画像領域を位置合わせ処理の対象か
ら除く画像選択手段を備えたことを特徴とする付記7乃
至10のいずれか一つに記載の画像処理装置。 (付記12) 前記高解像度化画像に基づいて前記文字
又は記号情報の認識を行う文字認識処理手段を有するこ
とを特徴とする付記8乃至11のいずれか一つに記載の
画像処理装置。
含む移動している対象の各時刻での位置を、対象の運動
により拘束することで厳密に合わせることができるた
め、高解像度化処理が良好に行え、自動で文字や記号を
読み取ることができる。それにより、カメラの撮影範囲
を広げることができ、例えば、物流監視システムに適用
した場合、複数台のベルトコンベアを1台のカメラでの
監視が可能となり、システムの大幅なコストダウンにつ
ながる。
係るブロック構成を示した図である。
る図である。
置を示した図である。
めの該対象画像の代表点を特定した状態を説明する図で
ある。
の運動による画像位置の修正について説明する図であ
る。
画像を各時間の移動量が等しくなるように修正した状態
を示す図である。
係るブロック構成を示した図である。
Claims (5)
- 【請求項1】 移動する対象物体を撮影した映像から当
該対象物体に係る対象情報を自動で読み取る画像処理方
法であって、 前記映像における時系列の複数の画像毎に、前記対象情
報を含む所定範囲の画像領域を探索する探索段階と、 探索された各々の前記画像領域の位置を、前記対象物体
の移動に合った位置に修正して、各画像領域の位置合わ
せを行う位置合わせ段階と、 位置合わせされた前記各画像領域を重ね合わせて高解像
度処理を行う高解像度化画像処理段階とを含むことを特
徴とする画像処理方法。 - 【請求項2】 前記対象情報が文字又は記号を含み、 前記探索段階では、前記画像の各々において、前記文字
又は記号に係るレイアウト情報に基づいて前記画像領域
を探索することを特徴とする請求項1に記載の画像処理
方法。 - 【請求項3】 前記位置合わせ段階では、前記対象物体
の移動が等速直線運動であるとして、前記各画像領域の
位置を該等速直線上の位置に修正して位置合わせを行う
ことを特徴とする請求項1又は2に記載の画像処理方
法。 - 【請求項4】 前記位置合わせ段階では、前記画像領域
の位置が前記対象物体の移動位置から所定値を超えてず
れているとき、当該画像領域を位置合わせ処理の対象か
ら除くことを特徴とする請求項1乃至4のいずれか一項
に記載の画像処理方法。 - 【請求項5】 移動する対象物体を撮影した映像から当
該対象物体に係る対象情報を自動で読み取る画像処理装
置であって、 前記映像における時系列の複数の画像毎に、前記対象情
報を含む所定範囲の画像領域を探索する探索手段と、 探索された各々の前記画像領域の位置を、前記対象物体
の移動に合った位置に修正して、各画像領域の位置合わ
せを行う位置合わせ手段と、 位置合わせされた前記各画像領域を重ね合わせて高解像
度処理を行う高解像度化画像処理手段とを有することを
特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001167016A JP4509423B2 (ja) | 2001-06-01 | 2001-06-01 | 画像処理方法及び画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001167016A JP4509423B2 (ja) | 2001-06-01 | 2001-06-01 | 画像処理方法及び画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002358529A true JP2002358529A (ja) | 2002-12-13 |
JP4509423B2 JP4509423B2 (ja) | 2010-07-21 |
Family
ID=19009463
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001167016A Expired - Fee Related JP4509423B2 (ja) | 2001-06-01 | 2001-06-01 | 画像処理方法及び画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4509423B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006195856A (ja) * | 2005-01-17 | 2006-07-27 | Tokyo Institute Of Technology | 超解像処理のパラメータ設計方法 |
JP2007000205A (ja) * | 2005-06-21 | 2007-01-11 | Sanyo Electric Co Ltd | 画像処理装置及び画像処理方法並びに画像処理プログラム |
JP2009146245A (ja) * | 2007-12-17 | 2009-07-02 | Nec Corp | 画像照合方法及び画像照合装置並びに画像照合プログラム |
JP2011060138A (ja) * | 2009-09-11 | 2011-03-24 | Toshiba Corp | ナンバプレート読取装置およびナンバプレート読取方法 |
US20110135158A1 (en) * | 2009-12-08 | 2011-06-09 | Nishino Katsuaki | Image processing device, image processing method and program |
-
2001
- 2001-06-01 JP JP2001167016A patent/JP4509423B2/ja not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006195856A (ja) * | 2005-01-17 | 2006-07-27 | Tokyo Institute Of Technology | 超解像処理のパラメータ設計方法 |
JP4724826B2 (ja) * | 2005-01-17 | 2011-07-13 | 国立大学法人東京工業大学 | 超解像処理のパラメータ設計方法 |
JP2007000205A (ja) * | 2005-06-21 | 2007-01-11 | Sanyo Electric Co Ltd | 画像処理装置及び画像処理方法並びに画像処理プログラム |
JP2009146245A (ja) * | 2007-12-17 | 2009-07-02 | Nec Corp | 画像照合方法及び画像照合装置並びに画像照合プログラム |
JP4518141B2 (ja) * | 2007-12-17 | 2010-08-04 | 日本電気株式会社 | 画像照合方法及び画像照合装置並びに画像照合プログラム |
JP2011060138A (ja) * | 2009-09-11 | 2011-03-24 | Toshiba Corp | ナンバプレート読取装置およびナンバプレート読取方法 |
US20110135158A1 (en) * | 2009-12-08 | 2011-06-09 | Nishino Katsuaki | Image processing device, image processing method and program |
US8630453B2 (en) * | 2009-12-08 | 2014-01-14 | Sony Corporation | Image processing device, image processing method and program |
Also Published As
Publication number | Publication date |
---|---|
JP4509423B2 (ja) | 2010-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4636064B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP4814375B2 (ja) | 検出装置、検出方法および検出用集積回路 | |
US9129163B2 (en) | Detecting common geographic features in images based on invariant components | |
US20100329504A1 (en) | Detecting Geographic Features in Images Based on Invariant Components | |
KR101645959B1 (ko) | 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법 | |
US20080050012A1 (en) | Image processing method, image processing apparatus, image processing program and program recording medium | |
CN104820965A (zh) | 一种低空无人机影像无地理编码快速拼接方法 | |
CN109785661A (zh) | 一种基于机器学习的停车引导方法 | |
JP2000011133A (ja) | 移動物体検出装置及びその方法 | |
JP2006119591A (ja) | 地図情報生成方法、地図情報生成プログラム及び地図情報収集装置 | |
JP2005234603A (ja) | 地図情報更新方法及び地図更新装置 | |
WO2017199498A1 (ja) | レーン特定方法およびレーン特定装置 | |
JP2010244207A (ja) | 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム | |
CN112364709A (zh) | 基于编码识别的机柜智能资产盘点方法 | |
JP2002296010A (ja) | 画像を用いた自己位置同定方法 | |
JP2002358529A (ja) | 画像処理方法及び画像処理装置 | |
CN105740818B (zh) | 一种应用于增强现实的人工标志检测方法 | |
KR960007265B1 (ko) | 전자 영상 조정 장치 및 그 방법 | |
Unsalan | Gradient-magnitude-based support regions in structural land use classification | |
JPH05181949A (ja) | 画像位置合わせ装置 | |
JP2015228164A (ja) | 物体検出システムおよび物体検出方法 | |
WO2016194770A1 (ja) | 行列末尾認識用の画像処理装置 | |
JP3333223B2 (ja) | 移動車の走行路認識装置 | |
US6373897B1 (en) | Moving quantity detection apparatus and method | |
JP2007188268A (ja) | 画像上移動物体追跡方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060921 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090914 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100210 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100420 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100428 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140514 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |