JP3577185B2 - Moving object position detection device - Google Patents

Moving object position detection device Download PDF

Info

Publication number
JP3577185B2
JP3577185B2 JP32927096A JP32927096A JP3577185B2 JP 3577185 B2 JP3577185 B2 JP 3577185B2 JP 32927096 A JP32927096 A JP 32927096A JP 32927096 A JP32927096 A JP 32927096A JP 3577185 B2 JP3577185 B2 JP 3577185B2
Authority
JP
Japan
Prior art keywords
unit
description
storage unit
moving object
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32927096A
Other languages
Japanese (ja)
Other versions
JPH10170292A (en
Inventor
陽治 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP32927096A priority Critical patent/JP3577185B2/en
Publication of JPH10170292A publication Critical patent/JPH10170292A/en
Application granted granted Critical
Publication of JP3577185B2 publication Critical patent/JP3577185B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、人、動物、車、移送荷物等の各種移動体の現在位置を検出する移動***置検出装置に関する。移動体(人、動物、車、移送荷物等)の現在位置を知る技術にはいろいろな応用価値がある。例えば、カーナビゲーションはGPS(Global Positioning System )の仕組みを利用して、車の現在位置を割り出し、運転者に現在位置を知らせると共に、目的地までの行き方をディスプレイ装置の画面に表示するものである。
【0002】
また、徘徊老人発見システムはPHS(Personal Handyphone System)の仕組みを利用して、人の現在位置を割り出し、捜査者に徘徊老人の現在位置を知らせるものである。ところで、この2つの場合に位置の測定は連続的であり、移動体の移動を連続的に追跡することができる。
【0003】
しかしながら、位置の測定が連続的である必要がない場合もある。例えば、前記移動体の行動範囲を大雑把に把握したい場合がある。本発明は、このように移動体の移動を連続的に把握する必要がない場合の、移動体の位置を検出する位置検出装置に関する。
【0004】
【従来の技術】
従来、移動体(人、動物、車、移送荷物等)の現在位置を知る移動***置検出装置として、カーナビゲーションシステム、徘徊老人発見システム等が知られていた。前記カーナビゲーションシステムは、GPSの仕組みを利用して車の現在位置を割り出し、運転者に車の現在位置を知らせると共に、目的地までの行き方をディスプレイ装置の画面に表示するものである。
【0005】
また、徘徊老人発見システムは、PHSの仕組みを利用して徘徊老人の現在位置を割り出し、捜査者に徘徊老人の現在位置を知らせるものである。すなわち、このシステムは、徘徊老人にPHSを携帯させ、そのPHSと交換局との間で情報の送受信を行うことにより、交換局がPHSの現在位置を把握する(交換局はPHSがどの領域にあるかを、常に把握している)。そして、交換局が把握した情報を基に、捜査者が徘徊老人の現在位置を知るシステムである。
【0006】
【発明が解決しようとする課題】
前記のような従来のものにおいては、次のような課題があった。
(1) :前記GPSによる移動***置検出装置では、人工衛星がうまく捕捉できない状況では位置検出が不可能になる。特に、高い建物が立っている街の中では位置検出が難しくなり、建物の中に入ると全く位置検出ができなくなる。
【0007】
(2) :前記PHSによる移動***置検出装置では、移動体の現在位置が交換局に把握され、プライバシー保護が保たれない可能性がある。
本発明はこのような従来の課題を解決し、GPSやPHSを利用した位置検出装置のように、連続的に移動体の移動を追跡することはできないが、沢山の看板や広告塔などがある街の中を移動する移動体を大雑把に把握したい場合に好適な移動***置検出装置を実現することを目的とする。また、本発明は、電波のとどかない場所や、街の中のあらゆる場所で使用可能で、かつ、すべての処理を閉じて行った場合に、プライバシー情報の漏洩が防止できる移動***置検出装置を実現することを目的とする。
【0008】
【課題を解決するための手段】
図1は本発明の原理説明図である。本発明は前記の目的を達成するため、次のように構成した。
(1) :移動体の位置を検出する移動***置検出装置において、移動体の周囲の画像を取り込む画像取得部1A(例えば、ビデオカメラ、或いはディジタルカメラ)と、画像取得部1Aが取り込んだ画像の中から文字列を認識する文字列認識部3と、位置記述を含むテキスト情報を格納したデータベース7Aと、文字列認識部3により1個以上の文字列が認識された場合に、前記認識した文字列を検索キーとして前記データベース7Aから位置記述を検索する検索部6Aと、検索部6Aが検索した位置記述を格納する位置記憶部8を備え、位置記憶部8に移動体の最新の位置情報を保持できるようにし、更に、現在時刻を報告する時刻報告部と、位置履歴情報を格納する位置履歴記憶部と、前記位置履歴記憶部に格納された位置履歴情報から最も確からしい位置記述を選択する位置記述選択部を備えると共に、前記検索部6Aはデータベース7Aから検索した位置記述を位置記憶部に直接格納する代わりに、前記検索した位置記述と時刻報告部より報告された時刻記述を組にして前記位置履歴記憶部に追加格納する機能を備え、前記位置記述選択部は、時刻報告部より報告された時刻情報を用い、前記位置履歴記憶部に格納されている各位置記述と同じ組の時刻記述を参照することで、最近の最も確からしい位置記述を選択し、位置記憶部8に格納する機能を備えている。
【0009】
(2) :移動体の位置を検出する移動***置検出装置において、移動体の周囲の画像を取り込む画像取得部1Aと、画像取得部1Aが取り込んだ画像の中から図形を認識する図形認識部4と、位置記述を含む図形情報を格納したデータベース7Aと、図形認識部4により1個以上の図形が認識された場合に、前記認識した図形を検索キーとして前記データベース7Aから位置記述を検索する検索部6Aと、検索部6Aが検索した位置記述を格納する位置記憶部8を備え、位置記憶部8に移動体の最新の位置情報を保持できるようにし、更に、現在時刻を報告する時刻報告部と、位置履歴情報を格納する位置履歴記憶部と、前記位置履歴記憶部に格納された位置履歴情報から最も確からしい位置記述を選択する位置記述選択部を備えると共に、前記検索部6Aはデータベース7Aから検索した位置記述を位置記憶部に直接格納する代わりに、前記検索した位置記述と時刻報告部より報告された時刻記述を組にして前記位置履歴記憶部に追加格納する機能を備え、前記位置記述選択部は、時刻報告部より報告された時刻情報を用い、前記位置履歴記憶部に格納されている各位置記述と同じ組の時刻記述を参照することで、最近の最も確からしい位置記述を選択し、位置記憶部8に格納する機能を備えている。
【0010】
(3) :移動体の位置を検出する移動***置検出装置において、移動体の周囲の画像を取り込む画像取得部1Aと、画像取得部1Aが取り込んだ画像の中から文字列を認識する文字列認識部3と、画像取得部1Aが取り込んだ画像の中から図形を認識する図形認識部4と、位置記述を含むテキスト情報及びイメージ情報からなるマルチメディア情報を格納したデータベース7Aと、文字列認識部3或いは図形認識部4により1個以上の文字列或いは図形が認識された場合に、前記認識した文字列或いは図形を検索キーとして前記データベース7Aから位置記述を検索する検索部6Aと、検索部6Aが検索した位置記述を格納する位置記憶部8を備え、位置記憶部8に移動体の最新の位置情報を保持できるようにし、更に、現在時刻を報告する時刻報告部と、位置履歴情報を格納する位置履歴記憶部と、前記位置履歴記憶部に格納された位置履歴情報から最も確からしい位置記述を選択する位置記述選択部を備えると共に、前記検索部6Aはデータベース7Aから検索した位置記述を位置記憶部に直接格納する代わりに、前記検索した位置記述と時刻報告部より報告された時刻記述を組にして前記位置履歴記憶部に追加格納する機能を備え、前記位置記述選択部は、時刻報告部より報告された時刻情報を用い、前記位置履歴記憶部に格納されている各位置記述と同じ組の時刻記述を参照することで、最近の最も確からしい位置記述を選択し、位置記憶部8に格納する機能を備えている。
【0013】
(作用)
前記構成に基づく本発明の作用を、図1に基づいて説明する。
(a) :前記(1) 〜(3) の作用
移動体が移動した場合、その移動中に画像取得部1Aにより移動体の周囲の画像を移動***置検出装置内に取り込む。そして、取り込んだ画像は記憶部2Aに格納する。その後記憶部2Aに格納された画像は文字列認識部3と図形認識部4により走査され認識処理が行われる。前記走査し認識された結果発見された文字列や図形のリストは、文字列認識部3或いは図形認識部4により記憶部5Aへ格納される。
【0014】
次に、検索部6Aは記憶部5Aに格納されている文字列、或いは図形を検索キーとしてデータベース7Aを検索する。そして検索部6Aは前記検索キーの文字列、或いは図形が一つ以上発見されたか否かを判断し、発見されなかった場合は何もせずに、再び画像の取り込み処理を継続して行う。
【0015】
しかし、前記検索キーの文字列或いは図形が一つ以上発見された場合には、検索部6Aはデータベース7Aの全ての情報から該当する位置記述を抜き出し、最も多く発見された位置記述の一つを選択して位置記憶部8に格納する。そして、再び前記画像の取り込み処理を継続して行う。このようにして、位置記憶部8には移動体の最新の位置記述、すなわち、移動体の現在位置が格納される。
【0016】
このようにすれば、GPSやPHSを利用した位置検出装置のように、連続的に移動体の移動を追跡することはできないが、沢山の看板や広告塔などがある街の中を移動する移動体を大雑把に把握したい場合に好適な移動***置検出装置を実現することができる。また、電波のとどかない場所や、街の中のあらゆる場所において使用可能で、かつ、すべての処理を閉じて行った場合には、プライバシー情報の漏洩が防止できる。
【0017】
また、移動体が移動した場合、その移動中に画像取得部1Aにより移動体の周囲の画像を移動***置検出装置内に取り込む。そして、取り込んだ画像は記憶部2Aに格納する。その後、記憶部2Aに格納された画像は文字列認識部3と図形認識部4により走査され認識処理が行われる。前記走査し認識された結果発見された文字列や図形のリストは、前記文字列認識部3或いは図形認識部4により記憶部5Aに格納される。
【0018】
次に、検索部6Aは記憶部5Aに格納されている文字列或いは図形を検索キーとしてデータベース7Aの情報を検索する。そして、検索部6Aは前記検索キーの文字列、若しくは図形が一つ以上発見されたか否かを判断し、発見されなかった場合は、何もせずに前記画像の取り込み処理を継続して行う。
【0019】
しかし、前記検索キーの文字列、若しくは図形が一つ以上発見された場合、検索部6Aはそれぞれの情報から、位置記述を抜き出し、重複した位置記述を削除した上で、時刻報告部からの時刻記述を組にして、位置履歴記憶部へ追加格納する。次に位置記述選択部は、時刻報告部からの現在時刻に比較的近い時刻記述を持つ位置記述を位置履歴記憶部の中から探し、最も多く見つかった位置情報の一つを選択して位置記憶部8へ格納する。そして、再び、前記画像の取り込み処理を継続して行う。このようにして、位置記憶部8には移動体の最新の位置記述、すなわち、移動体の現在位置情報が格納される。
【0020】
このようにすれば、GPSやPHSを利用した位置検出装置のように、連続的に移動体の移動を追跡することはできないが、沢山の看板や広告塔などがある街の中を移動する移動体を大雑把に把握したい場合に好適な移動***置検出装置を実現することができる。
【0021】
また、電波のとどかない場所や、街の中のあらゆる場所において使用可能で、かつ、すべての処理を閉じて行った場合には、プライバシー情報の漏洩が防止できる。更に、過去の位置記述の履歴を取ることで、位置検出の精度を高めることができる。
【0024】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。以下に説明する移動***置検出装置の例は、GPSやPHSを利用した位置検出装置のように、連続的に移動体の移動を追跡することはできないが、沢山の看板や広告塔などがある街の中を移動する移動体を大雑把に把握したい場合に好適な移動***置検出装置の例である。
【0025】
§1:移動***置検出装置の一般的な説明
街の中には実に多くの看板や広告塔などがあり、例えば、看板には店名、電話番号、絵等が描かれている。街の中にある店の店名や電話番号が分かると、電話帳等のデータベースを検索することで、店の住所を知ることが出来る。そこで、移動体の周囲にある画像を解析し、その中の文字列や図形を抜き出し、位置記述を含んだデータベースを検索することで、移動体の居る場所を知ることができるはずである。
【0026】
画像(イメージデータ)から文字列や図形を認識する技術は、OCR(Optical Character Recognition )の技術を流用できる。また、文字列を検索キーにしてテキストデータベースを検索する技術はありふれたものであり、図形を検索キーにしてイメージデータを検索する技術も現在開発されつつある(いずれも公知技術)。従って、これらの技術を利用することにより、移動体の現在位置を検出することが可能である。
【0027】
勿論、実在の場所以外の所に宣伝の看板等も立っており、データベースを検索した結果得られる住所をそのまま信用することはできない。従って、認識結果を沢山集め、沢山の文字列や図形によってデータベースを検索し、最も確からしい位置記述を推定して採用することになる。これらの処理を、移動体自身で行う場合には、他に情報が漏れることはなく、プライバシー保護を達成できる。
【0028】
§2:移動***置検出装置例1の説明・・・図2参照
図2は移動***置検出装置例1のブロック図である。以下、図2に基づいて移動***置検出装置例1を説明する。この例はマルチメディア情報を利用して移動体の現在位置を検出する装置の例である。なお、マルチメディア情報は、テキスト情報及びイメージ情報を含む情報である。
【0029】
移動***置検出装置例1には、画像取得手段としてのカメラ1と、画像一時記憶部2と、文字列認識部3と、図形認識部4と、マルチメディア情報一時記憶部5と、マルチメディアデータベース検索部6と、マルチメディアデータベース部7と、位置記憶部8と、表示部9と、位置検出処理制御部10等を備えている。そして、前記構成の位置検出装置は移動体に取り付け、カメラ1から入力した画像(イメージデータ)を基に、移動体の位置検出を行うように構成されている。前記各部の機能等は次の通りである。
【0030】
(1) :カメラ1はビデオカメラ、ディジタルカメラ等で構成され、移動体の周囲にある街の風景を撮るものである。なお、カメラ1で撮影した画像は、位置検出処理制御部10の制御により画像一時記憶部2に格納される。
【0031】
(2) :画像一時記憶部2はカメラ1で撮影した画像(イメージデータ)を一時格納しておくもの(メモリ)である。
(3) :文字列認識部3は画像一時記憶部2に格納されている画像の中から文字列を認識するものである。なお、文字列認識部3は、文字列の認識処理において、1つでも文字列が認識できたら、その文字列をマルチメディア情報一時記憶部5に格納する処理を行う。
【0032】
(4) :図形認識部4は画像一時記憶部2に格納されている画像の中から図形を認識するものである。なお、図形認識部4は、図形の認識処理において、1つでも図形が認識できたら、その図形をマルチメディア情報一時記憶部5に格納する処理を行う。
【0033】
(5) :マルチメディア情報一時記憶部5は文字列認識部3で認識した文字列(テキスト情報)、及び図形認識部4により認識された図形(イメージ情報)を格納するもの(メモリ)である。
【0034】
(6) :マルチメディアデータベース検索部6は、マルチメディア情報一時記憶部5に格納されている文字列、及び図形を検索キーとしてマルチメディアデータベース部7を検索するものである。この検索により、前記検索キーを含むマルチメディア情報を探し、その中にある位置記述を抜き出し、位置記憶部8へ上書きするものである。
【0035】
(7) :マルチメディアデータベース部7は、マルチメディア情報(テキスト情報やイメージ情報を含む情報)を格納したデータベースである。
(8) :位置記憶部8は、マルチメディアデータベース検索部6により検索された位置記述(位置情報)を格納するもの(メモリ)である。なお、この位置記憶部8には移動体の現在位置が保持される。
【0036】
(9) :表示部9は、位置記憶部8に格納されている位置記述を画面に表示するものである。この場合、位置記憶部8の位置記述は、位置検出処理制御部10の制御により表示データに加工した後、表示部9の画面に表示する。
【0037】
(10):位置検出処理制御部10は、MPU等のプロセッサで構成され、移動***置検出装置内の各種制御(前記各部の起動制御、メモリ制御、カメラの制御、表示制御、電源制御等)を行うものである。
【0038】
§3:位置検出処理例1の説明・・・図3参照
図3は位置検出処理例1のフローチャートである。位置検出処理例1は、前記図2に示した移動***置検出装置例1における位置検出処理例である。以下、図3に基づいて位置検出処理例1を説明する。なお、S1〜S6は各処理ステップを示す。
【0039】
移動体の位置検出を行う場合は、前記移動***置検出装置を移動体の一部に取り付け、1次電池、或いは2次電池による電源を投入してカメラ1により移動体の周囲にある街の風景を撮影できるようにしておく。そして、位置検出処理制御部10の制御により次のようにして位置検出処理を行う。
【0040】
移動体が移動した場合、その移動中にカメラ1により移動体の周囲の風景を撮影し、その画像を移動***置検出装置内に取り込む。そして、取り込んだ画像は位置検出処理制御部10の制御により画像一時記憶部2に上書きする(S1)。その後、画像一時記憶部2に格納された画像は文字列認識部3と図形認識部4により走査され認識処理が行われる。なお、文字列認識部3による走査と図形認識部4による走査は順番に行っても良いし、並行して行っても良い。
【0041】
この場合、街の風景の中には、店の看板や街の標識が含まれている可能性が高く、前記文字列認識部3、或いは図形認識部4による画像一時記憶部2の走査で、これら看板や標識に描かれている店や街の名前や商標が見つかると期待される。前記走査した結果発見された文字列や図形のリストは、前記文字列認識部3、或いは図形認識部4によりマルチメディア情報一時記憶部5へ格納される(S2、S3)。
【0042】
次に、マルチメディアデータベース検索部6は、マルチメディア情報一時記憶部5に格納されている文字列、或いは図形を検索キーとして、マルチメディアデータベース部7のマルチメディア情報を検索する(S4)。そして、マルチメディアデータベース検索部6は、前記検索キーの文字列、若しくは図形を含むマルチメディア情報が一つ以上発見されたか否かを判断し(S5)、発見されなかった場合は何もせずに前記S1の処理から繰り返して行う。
【0043】
このようにして、前記検索キーの文字列、若しくは図形を含むマルチメディア情報が一つ以上発見された場合には、マルチメディアデータベース検索部6は、マルチメディアデータベース部7の全てのマルチメディア情報から、位置記述を抜き出し、最も多く発見された位置記述の一つを選択して、位置記憶部8に上書きする(S6)。そして、再び前記S1の処理から繰り返して行う。
【0044】
このようにして、位置記憶部8には移動体の最新の位置記述、すなわち、移動体の現在位置情報が格納される。そして、位置記憶部8に格納された位置記述は、位置検出処理制御部10の制御により表示部9の画面に表示する。
【0045】
§4:マルチメディア情報例の説明・・・図4参照
図4はマルチメディア情報例の説明図である。前記マルチメディアデータベース部7にはマルチメディア情報が格納されているが、その1例を図4に示す。前記マルチメディア情報の内、店に関する情報としては、店の名前、商標(登録商標、その他の商標等)、位置記述、サービス時間(例えば、店の営業時間:AM8.00よりPM12.00)、サービス内容などが含まれている。なお、前記位置記述には、店の所在地名(通称による所在地名、旧地名等)、或いは住所等が含まれている。
【0046】
§5:移動***置検出装置例2の説明・・・図5参照
図5は移動***置検出装置例2のブロック図である。以下、図5に基づいて移動***置検出装置例2を説明する。この例は、過去の位置記述の履歴を取ることで、移動***置検出装置例1に比べて、位置検出の確度を高めるようにした例である。
【0047】
移動***置検出装置例2には、画像取得手段としてのカメラ1と、画像一時記憶部2と、文字列認識部3と、図形認識部4と、マルチメディア情報一時記憶部5と、マルチメディアデータベース検索部6と、マルチメディアデータベース部7と、位置履歴記憶部12と、位置記述選択部13と、時刻報告部14と、位置記憶部8と、表示部9と、位置検出処理制御部10等を備えている。
【0048】
そして、前記構成の移動***置検出装置を移動体に取り付け、カメラ1から入力した画像データを基に、移動体の位置検出を行うように構成されている。前記時刻報告部14は、時刻機構(時計)を備え、位置記述選択部13、位置検出処理制御部10等に現在時刻(時刻記述)を報告するものである。前記位置履歴記憶部12は、マルチメディアデータベース検索部6が検索した位置記述と、時刻報告部14から報告された現在時刻とを組にした位置履歴情報を格納するもの(メモリ等の記憶手段)である。
【0049】
前記位置記述選択部13は、前記時刻報告部14から報告された現在時刻を用い、前記位置履歴記憶部12に記憶された位置履歴情報(位置記述+現在記述)を参照して、最も確からしい位置記述を選択し位置記憶部8に記憶するものである。なお、他の構成は図2に示した移動***置検出装置例1と同じである。
【0050】
§6:位置検出処理例2の説明・・・図6参照
図6は位置検出処理例2のフローチャートである。位置検出処理例2は、前記図5に示した移動***置検出装置例2における位置検出処理例である。以下、図6に基づいて位置検出処理例2を説明する。なお、S11〜S17は各処理ステップを示す。
【0051】
移動体の位置検出を行う場合は、前記移動***置検出装置を移動体の一部に取り付け、1次電池、或いは2次電池による電源を投入してカメラ1により移動体の周囲にある街の風景を撮影できるようにしておく。そして、位置検出処理制御部10の制御により次のようにして位置検出処理を行う。
【0052】
移動体が移動した場合、その移動中にカメラ1により移動体の周囲の風景を撮影し、その画像を位置検出装置内に取り込む。そして、取り込んだ画像は位置検出処理制御部10の制御により画像一時記憶部2に上書きする(S11)。その後、画像一時記憶部2に格納された画像は文字列認識部3と図形認識部4により走査され認識処理が行われる。なお、文字列認識部3による走査と図形認識部4による走査は順番に行っても良いし、並行して行っても良い。
【0053】
この場合、街の風景の中には、店の看板や街の標識が含まれている可能性が高く、前記文字列認識部3、或いは図形認識部4による画像一時記憶部2の走査で、これら看板や標識に描かれている店や街の名前や商標が見つかると期待される。前記走査した結果発見された文字列や図形のリストは、前記文字列認識部3、或いは図形認識部4によりマルチメディア情報一時記憶部5へ格納される(S12、S13)。
【0054】
次に、マルチメディアデータベース検索部6は、マルチメディア情報一時記憶部5に格納されている文字列、或いは図形を検索キーとして、マルチメディアデータベース部7のマルチメディア情報を検索する(S14)。そして、マルチメディアデータベース検索部6は、前記検索キーの文字列、若しくは図形を含むマルチメディア情報が一つ以上発見されたか否かを判断し(S15)、発見されなかった場合は何もせずに前記S11の処理から繰り返して行う。
【0055】
このようにして、前記検索キーの文字列、若しくは図形を含むマルチメディア情報が一つ以上発見された場合、マルチメディアデータベース検索部6は、それぞれのマルチメディア情報から位置記述を抜き出し重複した位置記述を削除した上で、時刻報告部14からの時刻記述を組にして位置履歴記憶部12へ追加格納する(S16)。
【0056】
次に、位置記述選択部13は、時刻報告部14から報告された現在時刻に比較的近い時刻記述を持つ位置記述を、位置履歴記憶部12の中から探し、最も多く見つかった位置情報の一つを選択して、位置記憶部8へ上書きする。そして、再び、前記S11の処理から繰り返して行う。このようにして、位置記憶部8には移動体の最新の位置記述、すなわち、移動体の現在位置情報が記憶される。そして、位置記憶部8に記憶された位置記述は、位置検出処理制御部10の制御により表示部9の画面に表示する。
【0057】
なお、前記処理において、更に、次のような処理を行っても良い。すなわち、マルチメディアデータベース検索部6は、検索した位置記述毎に検索の確からしさを示す検索確実度を求め、前記検索した位置記述と時刻報告部14より報告された時刻記述と検索確実度を組にして位置履歴記憶部12に追加格納する。そして、位置記述選択部13は、時刻報告部14より報告された時刻情報を用い、位置履歴記憶部12に格納されている各位置記述と同じ組の時刻記述と検索確実度を参照することで、最近の最も確からしい位置記述を選択し、位置記憶部8に格納する。
【0058】
§7:データ構造の説明・・・図7参照
図7はデータ構造説明図であり、A図は位置履歴記述部のデータ構造(その1)、B図は位置履歴記述部のデータ構造(その2)である。前記のように、マルチメディアデータベース検索部6は、マルチメディアデータベース部7を検索し、発見されたマルチメディア情報内の位置記述を位置履歴記憶部12へ現在時刻の記述(時刻記述)と共に追加格納する。
【0059】
この場合、位置履歴記憶部12のデータ構造は例えば、図7のA図に示したようになる。このデータ構造では、(位置記述1,時刻記述1)、(位置記述2,時刻記述2)、(位置記述3,時刻記述3)・・・(位置記述N,時刻記述N)のように、位置記述と時刻記述とか対になって格納されている。
【0060】
また、別の例としては図7のB図に示したように、現在時刻の記述に加え、マルチメディアデータベース検索部6の検索確実度を一緒に格納する。すなわち、このデータ構造では、(位置記述1,時刻記述1,検索確実度1)、(位置記述2,時刻記述2,検索確実度2)、(位置記述3,時刻記述3,検索確実度3)・・・(位置記述N,時刻記述N,検索確実度N)のように、位置記述と時刻記述と検索確実度が対になって格納されている。
【0061】
前記検索確実度は、発見された位置記述の確からしさを示す数値である。例えば、同じ位置記述が複数見つかった場合、その個数を確からしさの数値とする。確からしさが大きい程、その位置記述に信頼がおけると判断する。なお、前記位置検出処理例2において、位置記述選択部13は、位置履歴記憶部12の中を探し、現在時刻に比較的近い時刻記述と組になっている位置記述の中から、検索確実度の合計値が最も高いものを一つ選んで位置記憶部8へ格納する。
【0062】
(他の実施の形態)
以上実施の形態について説明したが、本発明は次のようにしても実施可能である。
【0063】
(1) :前記移動***置検出装置例1、及び2は、マルチメディア情報(テキスト情報、イメージ情報を含む情報)を使用して位置検出を行う例であるが、本発明は、このような例に限らず、テキスト情報のみを使用して位置検出を行う装置、或いはイメージ情報のみを使用して位置検出を行う装置としても実施可能である。
【0064】
(2) :移動体としては、人、動物、車、荷物など、各種の移動体に適用可能である。
(3) :前記位置記憶部に位置記述を格納する場合、メモリ容量の範囲で前の情報を消去することなく、全ての位置記述を記憶しておくようにしておいても良いし、前の情報を消去しながら新しい情報を格納(上書き)するようにしても実施可能である。いずれにしても位置記憶部に現在位置の位置記述が保存されていれば良い。
【0065】
なお、前記のように全ての位置記述を位置記憶部に記憶する場合、メモリ容量を越えると前の情報は消去されるが、消去する前に別の保存用メモリに位置記述を履歴情報として記憶させておくことも可能である。このようにすれば、後で移動体がどのような経路で移動したかの解析等を行うことが可能になる。
【0066】
(4) :前記位置記憶部に格納された位置記述は、表示部9の画面上に表示するだけでも良いが、例えば、移動体から移動***置検出装置を取り外した後、他のコンピュータ(例えば、パーソナルコンピュータ)に取り込んで記憶媒体に格納し、その情報を保存したり、前記コンピュータで解析処理等を行うことも可能である。
【0067】
(5) :前記移動***置検出装置内に、データ変換装置、通信制御手段(例えば、携帯電話機の通信機能)等を設けておき、前記位置記憶部に記憶された位置記述情報を一定時間間隔で他の装置(コンピュータ、ファクシミリ装置、電話機等)へ伝送することも可能である。また、他の装置からの指示に基づいて位置記述を伝送することも可能である。このようにすれば、前記他の装置側で移動体の現在位置を常時監視することが可能になる。
【0068】
【発明の効果】
以上説明したように、本発明によれば次のような効果がある。
(1) :移動体の周囲の画像から文字列や図形を切り出し、切り出した文字列や図形を検索キーとしてデータベース部を検索し、検索結果に含まれる位置記述を移動体の現在位置としている。このようにすれば、移動体の移動を連続的に位置検出することはできないが、例えば、電波の状態が悪い街の中でも使用でき、移動体の居場所を外部に漏らすことがない。
【0069】
(2) :GPSやPHSを利用した位置検出装置のように、連続的に移動体の移動を追跡することはできないが、沢山の看板や広告塔などがある街の中を移動する移動体を大雑把に把握したい場合に好適な移動***置検出装置を実現することが可能である。
【0070】
(3) :ビルの中などの電波のとどかない場所や、街の中のあらゆる場所で使用可能で、かつ、すべての処理を閉じて行った場合には、プライバシー情報の漏洩が防止できる。
【0071】
(4) :移動体の周囲の画像を取り込む画像取得部と、前記画像取得部が取り込んだ画像の中から文字列を認識する文字列認識部と、位置記述を含むテキスト情報を格納したデータベースと、文字列認識部により1個以上の文字列が認識された場合に前記認識した文字列を検索キーとしてデータベースから位置記述を検索する検索部と、検索部が検索した位置記述を格納する位置記憶部を備え、前記位置記憶部に移動体の最新の位置情報を保持できるようにしている。
【0072】
このようにすれば、GPSやPHSを利用した位置検出装置のように、連続的に移動体の移動を追跡することはできないが、沢山の看板や広告塔などがある街の中を移動する移動体を大雑把に把握したい場合に好適な移動***置検出装置を実現することができる。また、電波のとどかない場所や、街の中のあらゆる場所において使用可能で、かつ、すべての処理を閉じて行った場合には、プライバシー情報の漏洩が防止できる。
【0073】
(5) :移動体の周囲の画像を取り込む画像取得部と、前記画像取得部が取り込んだ画像の中から図形を認識する図形認識部と、位置記述を含む図形情報を格納したデータベースと、前記図形認識部により1個以上の図形が認識された場合に、前記認識した図形を検索キーとして前記データベースから位置記述を検索する検索部と、前記検索部が検索した位置記述を格納する位置記憶部を備え、前記位置記憶部に移動体の最新の位置情報を保持できるようにした。
【0074】
このようにすれば、GPSやPHSを利用した位置検出装置のように、連続的に移動体の移動を追跡することはできないが、沢山の看板や広告塔などがある街の中を移動する移動体を大雑把に把握したい場合に好適な移動***置検出装置を実現することができる。また、電波のとどかない場所や、街の中のあらゆる場所において使用可能で、かつ、すべての処理を閉じて行った場合には、プライバシー情報の漏洩が防止できる。
【0075】
(6) :移動体の周囲の画像を取り込む画像取得部と、前記画像取得部が取り込んだ画像の中から文字列を認識する文字列認識部と、前記画像取得部が取り込んだ画像の中から図形を認識する図形認識部と、位置記述を含むテキスト情報及びイメージ情報からなるマルチメディア情報を格納したデータベースと、前記文字列認識部或いは図形認識部により1個以上の文字列或いは図形が認識された場合に、前記認識した文字列或いは図形を検索キーとして前記データベースから位置記述を検索する検索部と、前記検索部が検索した位置記述を格納する位置記憶部を備え、前記位置記憶部に移動体の最新の位置情報を保持できるようにした。
【0076】
このようにすれば、GPSやPHSを利用した位置検出装置のように、連続的に移動体の移動を追跡することはできないが、沢山の看板や広告塔などがある街の中を移動する移動体を大雑把に把握したい場合に好適な移動***置検出装置を実現することができる。また、電波のとどかない場所や、街の中のあらゆる場所において使用可能で、かつ、すべての処理を閉じて行った場合には、プライバシー情報の漏洩が防止できる。
【0077】
(7) :現在時刻を報告する時刻報告部と、位置履歴情報を格納する位置履歴記憶部と、前記位置履歴記憶部に格納された位置履歴情報から最も確からしい位置記述を選択する位置記述選択部を備えると共に、前記検索部は、データベースから検索した位置記述を位置記憶部に直接格納する代わりに、前記検索した位置記述と時刻報告部より報告された時刻記述を組にして前記位置履歴記憶部に追加格納する機能を備え、前記位置記述選択部は、時刻報告部より報告された時刻情報を用い、前記位置履歴記憶部に格納されている各位置記述と同じ組の時刻記述を参照することで、最近の最も確からしい位置記述を選択し、位置記憶部に格納する機能を備えている。
【0078】
このようにすれば、GPSやPHSを利用した位置検出装置のように、連続的に移動体の移動を追跡することはできないが、沢山の看板や広告塔などがある街の中を移動する移動体を大雑把に把握したい場合に好適な移動***置検出装置を実現することができる。
【0079】
また、電波のとどかない場所や、街の中のあらゆる場所において使用可能で、かつ、すべての処理を閉じて行った場合には、プライバシー情報の漏洩が防止できる。更に、過去の位置記述の履歴を取ることで、位置検出の精度を高めることができる。
【図面の簡単な説明】
【図1】本発明の原理説明図である。
【図2】実施の形態における移動***置検出装置例1のブロック図である。
【図3】実施の形態における位置検出処理例1のフローチャートである。
【図4】実施の形態におけるマルチメディア情報例である。
【図5】実施の形態における移動***置検出装置例2のブロック図である。
【図6】実施の形態における位置検出処理例2のフローチャートである。
【図7】実施の形態におけるデータ構造説明図である。
【符号の説明】
1 カメラ
2 画像一時記憶部
3 文字列認識部
4 図形認識部
5 マルチメディア情報一時記憶部
6 マルチメディアデータベース検索部
7 マルチメディアデータベース部
8 位置記憶部
9 表示部
10 位置検出処理制御部
12 位置履歴記憶部
13 位置記述選択部
14 時刻報告部
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a moving object position detecting device that detects the current position of various moving objects such as people, animals, vehicles, and transported luggage. There are various application values for the technology for knowing the current position of a moving object (people, animals, vehicles, transported luggage, etc.). For example, car navigation utilizes the mechanism of GPS (Global Positioning System) to determine the current position of a car, inform the driver of the current position, and display the way to the destination on a screen of a display device. .
[0002]
In addition, the wandering old man detection system uses a PHS (Personal Handyphone System) mechanism to determine the current position of a person and informs an investigator of the current position of the wandering old man. By the way, in these two cases, the position measurement is continuous, and the movement of the moving body can be continuously tracked.
[0003]
However, in some cases, position measurements need not be continuous. For example, there is a case where it is desired to roughly grasp the action range of the moving object. The present invention relates to a position detection device that detects the position of a moving body when it is not necessary to continuously grasp the movement of the moving body.
[0004]
[Prior art]
2. Description of the Related Art Conventionally, a car navigation system, a wandering old man detection system, and the like have been known as moving body position detecting devices that know the current position of a moving body (a person, an animal, a car, a transported luggage, and the like). The car navigation system determines the current position of the vehicle by using a GPS mechanism, informs the driver of the current position of the vehicle, and displays the way to the destination on a screen of a display device.
[0005]
Further, the wandering old man discovery system uses the PHS mechanism to determine the current position of the wandering old man, and informs the investigator of the current position of the wandering old man. In other words, this system allows a wandering elderly person to carry a PHS and transmit and receive information between the PHS and the exchange, so that the exchange knows the current position of the PHS (the exchange has a PHS in any area). I always know if there is). Then, based on the information obtained by the exchange, the investigator knows the current position of the wandering old man.
[0006]
[Problems to be solved by the invention]
The above-described conventional device has the following problems.
(1): In the mobile object position detecting device using the GPS, the position cannot be detected in a situation where the artificial satellite cannot be captured well. In particular, position detection becomes difficult in a town where a tall building stands, and position detection cannot be performed at all when entering a building.
[0007]
(2): In the mobile object position detecting device based on the PHS, the current position of the mobile object is grasped by the exchange, and privacy protection may not be maintained.
The present invention solves such a conventional problem, and cannot track the movement of a moving object continuously like a position detecting device using GPS or PHS, but there are many signs and advertising towers. It is an object of the present invention to realize a moving object position detecting device suitable for roughly grasping a moving object moving in a city. Further, the present invention provides a mobile object position detecting device which can be used in places where radio waves do not reach or in any place in the city and which can prevent leakage of privacy information when all processes are closed. It is intended to be realized.
[0008]
[Means for Solving the Problems]
FIG. 1 is a diagram illustrating the principle of the present invention. The present invention is configured as follows to achieve the above object.
(1): In a moving object position detecting device for detecting the position of a moving object, an image acquiring unit 1A (for example, a video camera or a digital camera) for acquiring an image around the moving object, and an image acquired by the image acquiring unit 1A. A character string recognizing unit 3 for recognizing a character string, a database 7A storing text information including a position description, and when the character string recognizing unit 3 recognizes one or more character strings, the character string is recognized. A search unit 6A for searching a position description from the database 7A using a character string as a search key, and a position storage unit 8 for storing the position description searched by the search unit 6A, and the latest position information of the moving object is stored in the position storage unit 8. Can holdA time report unit for reporting the current time; a position history storage unit for storing position history information; and a position description selection unit for selecting a most probable position description from the position history information stored in the position history storage unit. And the searching unit 6A sets the searched position description and the time description reported by the time reporting unit as a set instead of directly storing the position description searched from the database 7A in the position storage unit. The position description selecting unit has a function of additionally storing the position description in the storage unit, and uses the time information reported by the time reporting unit to refer to the same set of time descriptions as the position descriptions stored in the position history storage unit. By doing so, it has a function of selecting the most likely recent position description and storing it in the position storage unit 8.
[0009]
(2): In a moving object position detecting device for detecting the position of a moving object, an image acquiring unit 1A for acquiring an image around the moving object, and a figure recognizing unit for recognizing a figure from the images acquired by the image acquiring unit 1A. 4, a database 7A storing graphic information including a position description, and, when at least one graphic is recognized by the graphic recognition unit 4, a position description is searched from the database 7A using the recognized graphic as a search key. A search unit 6A and a position storage unit 8 for storing the position description searched by the search unit 6A are provided so that the position storage unit 8 can hold the latest position information of the moving object.A time report unit for reporting the current time; a position history storage unit for storing position history information; and a position description selection unit for selecting a most probable position description from the position history information stored in the position history storage unit. And the searching unit 6A sets the searched position description and the time description reported by the time reporting unit as a set instead of directly storing the position description searched from the database 7A in the position storage unit. The position description selecting unit has a function of additionally storing the position description in the storage unit, and uses the time information reported by the time reporting unit to refer to the same set of time descriptions as the position descriptions stored in the position history storage unit. By doing so, it has a function of selecting the most likely recent position description and storing it in the position storage unit 8.
[0010]
(3): In a moving object position detecting device that detects the position of a moving object, an image acquiring unit 1A that acquires an image around the moving object, and a character string that recognizes a character string from the image acquired by the image acquiring unit 1A. A recognition unit 3; a figure recognition unit 4 for recognizing a figure from an image captured by the image acquisition unit 1A; a database 7A storing multimedia information including text information including position description and image information; When one or more character strings or graphics are recognized by the unit 3 or the graphic recognition unit 4, a search unit 6A that searches the database 7A for a position description using the recognized character strings or graphics as a search key, 6A is provided with a position storage unit 8 for storing the searched position description, so that the position storage unit 8 can hold the latest position information of the moving object.A time report unit for reporting the current time; a position history storage unit for storing position history information; and a position description selection unit for selecting a most probable position description from the position history information stored in the position history storage unit. And the searching unit 6A sets the searched position description and the time description reported by the time reporting unit as a set instead of directly storing the position description searched from the database 7A in the position storage unit. The position description selecting unit has a function of additionally storing the position description in the storage unit, and uses the time information reported by the time reporting unit to refer to the same set of time descriptions as the position descriptions stored in the position history storage unit. By doing so, it has a function of selecting the most likely recent position description and storing it in the position storage unit 8.
[0013]
(Action)
The operation of the present invention based on the above configuration will be described with reference to FIG.
(A): Actions of the above (1) to (3)
When the moving body moves, an image around the moving body is taken into the moving body position detection device by the image acquisition unit 1A during the movement. Then, the captured image is stored in the storage unit 2A. Thereafter, the image stored in the storage unit 2A is scanned by the character string recognition unit 3 and the graphic recognition unit 4 to perform recognition processing. The list of character strings and graphics found as a result of the scanning and recognition is stored in the storage unit 5A by the character string recognition unit 3 or the graphic recognition unit 4.
[0014]
Next, the search unit 6A searches the database 7A using a character string or a graphic stored in the storage unit 5A as a search key. Then, the search unit 6A determines whether or not one or more character strings or graphics of the search key has been found, and if not found, does nothing and continues the image capturing process again.
[0015]
However, when one or more character strings or figures of the search key are found, the search unit 6A extracts the corresponding position description from all the information in the database 7A, and selects one of the most frequently found position descriptions. Select and store in the position storage unit 8. Then, the image capturing process is performed again. In this way, the position storage unit 8 stores the latest position description of the moving object, that is, the current position of the moving object.
[0016]
In this way, it is not possible to continuously track the movement of a moving object like a position detection device using GPS or PHS, but a movement that moves in a city with many signboards and advertising towers. It is possible to realize a moving body position detecting device suitable for roughly grasping the body. In addition, if it can be used in places where radio waves do not reach or in any place in the city and all processing is closed, leakage of privacy information can be prevented.
[0017]
Also,When the moving body moves, an image around the moving body is taken into the moving body position detection device by the image acquisition unit 1A during the movement. Then, the captured image is stored in the storage unit 2A. Thereafter, the image stored in the storage unit 2A is scanned by the character string recognition unit 3 and the graphic recognition unit 4 to perform recognition processing. The list of character strings and graphics found as a result of the scanning and recognition is stored in the storage unit 5A by the character string recognition unit 3 or the graphic recognition unit 4.
[0018]
Next, the search unit 6A searches for information in the database 7A using the character string or graphic stored in the storage unit 5A as a search key. Then, the search unit 6A determines whether or not one or more character strings or graphics of the search key has been found, and if not found, continues the image capturing process without doing anything.
[0019]
However, when one or more character strings or figures of the search key are found, the search unit 6A extracts the position description from each piece of information, deletes the duplicated position description, and returns the time from the time report unit. A set of descriptions is additionally stored in the position history storage unit. Next, the position description selecting unit searches the position history storage unit for a position description having a time description relatively close to the current time from the time report unit, selects one of the most frequently found position information, and stores the position information. Stored in the unit 8. Then, the image capturing process is continuously performed again. In this way, the position storage unit 8 stores the latest position description of the moving object, that is, the current position information of the moving object.
[0020]
In this way, it is not possible to continuously track the movement of a moving object like a position detection device using GPS or PHS, but a movement that moves in a city with many signboards and advertising towers. It is possible to realize a moving body position detecting device suitable for roughly grasping the body.
[0021]
In addition, if it can be used in places where radio waves do not reach or in any place in the city and all processing is closed, leakage of privacy information can be prevented. Furthermore, by taking a history of past position descriptions, the accuracy of position detection can be improved.
[0024]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The example of the moving object position detecting device described below cannot continuously track the movement of the moving object like a position detecting device using GPS or PHS, but there are many signs and advertising towers. This is an example of a moving object position detection device suitable for roughly grasping a moving object moving in a city.
[0025]
§1: General description of moving object position detection device
There are indeed many signboards and advertising towers in the city. For example, the signboards are drawn with store names, telephone numbers, pictures and the like. When the name and telephone number of a store in the city are known, the address of the store can be known by searching a database such as a telephone directory. Therefore, it should be possible to know the location of the moving object by analyzing the image around the moving object, extracting the character strings and graphics therein, and searching a database including the position description.
[0026]
As a technique for recognizing a character string or a graphic from an image (image data), an OCR (Optical Character Recognition) technique can be used. Techniques for searching a text database using a character string as a search key are common, and techniques for searching for image data using a figure as a search key are currently being developed (all are known techniques). Therefore, by using these techniques, it is possible to detect the current position of the moving object.
[0027]
Of course, there are advertising signs and the like standing in places other than the actual place, and the address obtained as a result of searching the database cannot be directly trusted. Therefore, a lot of recognition results are collected, a database is searched with a lot of character strings and figures, and the most probable position description is estimated and adopted. When these processes are performed by the mobile body itself, no other information is leaked, and privacy protection can be achieved.
[0028]
§2: Description of moving object position detecting device example 1 ... see FIG.
FIG. 2 is a block diagram of a first example of the moving object position detecting device. Hereinafter, a moving object position detecting device example 1 will be described with reference to FIG. This example is an example of a device that detects the current position of a moving object using multimedia information. The multimedia information is information including text information and image information.
[0029]
The moving object position detecting device example 1 includes a camera 1 as an image acquisition unit, an image temporary storage unit 2, a character string recognition unit 3, a figure recognition unit 4, a multimedia information temporary storage unit 5, a multimedia It includes a database search unit 6, a multimedia database unit 7, a position storage unit 8, a display unit 9, a position detection processing control unit 10, and the like. The position detecting device having the above-mentioned configuration is configured to be attached to a moving body and to detect the position of the moving body based on an image (image data) input from the camera 1. The functions and the like of each unit are as follows.
[0030]
(1): The camera 1 is composed of a video camera, a digital camera, and the like, and captures a scene of a city around a moving object. The image captured by the camera 1 is stored in the image temporary storage unit 2 under the control of the position detection processing control unit 10.
[0031]
(2): The image temporary storage section 2 temporarily stores an image (image data) captured by the camera 1 (memory).
(3): The character string recognition unit 3 recognizes a character string from the image stored in the image temporary storage unit 2. In the character string recognition process, if at least one character string can be recognized in the character string recognition processing, the character string recognition unit 3 stores the character string in the multimedia information temporary storage unit 5.
[0032]
(4): The figure recognizing unit 4 recognizes a figure from the images stored in the image temporary storage unit 2. When at least one figure is recognized in the figure recognition process, the figure recognizing unit 4 performs processing for storing the figure in the multimedia information temporary storage unit 5.
[0033]
(5): The multimedia information temporary storage unit 5 stores the character string (text information) recognized by the character string recognition unit 3 and the graphic (image information) recognized by the graphic recognition unit 4 (memory). .
[0034]
(6): The multimedia database search unit 6 searches the multimedia database unit 7 using the character strings and graphics stored in the multimedia information temporary storage unit 5 as search keys. By this search, multimedia information including the search key is searched, a position description in the multimedia information is extracted, and the position description is overwritten on the position storage unit 8.
[0035]
(7): The multimedia database unit 7 is a database that stores multimedia information (information including text information and image information).
(8): The position storage unit 8 stores the position description (position information) searched by the multimedia database search unit 6 (memory). The position storage unit 8 holds the current position of the moving object.
[0036]
(9): The display unit 9 displays the position description stored in the position storage unit 8 on a screen. In this case, the position description in the position storage unit 8 is processed into display data under the control of the position detection processing control unit 10 and then displayed on the screen of the display unit 9.
[0037]
(10): The position detection processing control unit 10 is configured by a processor such as an MPU, and various controls in the moving object position detection device (startup control of each unit, memory control, camera control, display control, power control, etc.). Is what you do.
[0038]
§3: Description of position detection processing example 1 ... see FIG.
FIG. 3 is a flowchart of the position detection processing example 1. The position detection processing example 1 is a position detection processing example in the moving object position detection device example 1 shown in FIG. Hereinafter, position detection processing example 1 will be described with reference to FIG. In addition, S1 to S6 indicate each processing step.
[0039]
When detecting the position of a moving object, the moving object position detecting device is attached to a part of the moving object, a primary battery or a secondary battery is turned on, and a camera 1 is used to detect a position of a city around the moving object. Be prepared to shoot landscapes. Then, the position detection process is performed under the control of the position detection process control unit 10 as follows.
[0040]
When the moving body moves, the camera 1 captures a scene around the moving body during the movement, and captures the image into the moving body position detecting device. Then, the captured image overwrites the image temporary storage unit 2 under the control of the position detection processing control unit 10 (S1). Thereafter, the image stored in the image temporary storage unit 2 is scanned by the character string recognition unit 3 and the graphic recognition unit 4 to perform recognition processing. The scanning by the character string recognizing unit 3 and the scanning by the graphic recognizing unit 4 may be performed in order or may be performed in parallel.
[0041]
In this case, there is a high possibility that the scene of the town contains a signboard of a store or a sign of the town, and the character string recognition unit 3 or the graphic recognition unit 4 scans the image temporary storage unit 2 to It is expected that the names and trademarks of shops and towns depicted on these signs and signs will be found. The list of character strings and graphics found as a result of the scanning is stored in the multimedia information temporary storage unit 5 by the character string recognition unit 3 or the graphic recognition unit 4 (S2, S3).
[0042]
Next, the multimedia database search unit 6 searches the multimedia information of the multimedia database unit 7 using the character string or the graphic stored in the multimedia information temporary storage unit 5 as a search key (S4). Then, the multimedia database search unit 6 determines whether or not one or more multimedia information including the character string or the graphic of the search key is found (S5). If not found, nothing is performed. The process is repeated from the process of S1.
[0043]
In this way, when one or more multimedia information including the character string or the graphic of the search key is found, the multimedia database search unit 6 searches all multimedia information of the multimedia database unit 7 from the multimedia information. Then, the position description is extracted, and one of the position descriptions found most frequently is selected and overwritten in the position storage unit 8 (S6). Then, the process is repeated from the process of S1.
[0044]
In this way, the position storage unit 8 stores the latest position description of the moving object, that is, the current position information of the moving object. Then, the position description stored in the position storage unit 8 is displayed on the screen of the display unit 9 under the control of the position detection processing control unit 10.
[0045]
§4: Explanation of multimedia information example ... See FIG.
FIG. 4 is an explanatory diagram of an example of multimedia information. Multimedia information is stored in the multimedia database unit 7, an example of which is shown in FIG. Among the multimedia information, the information about the store includes the name of the store, a trademark (registered trademark, other trademark, etc.), a location description, a service time (for example, a store opening time: PM12.00 from AM8.00), The service contents are included. It should be noted that the location description includes a location name of the store (a location name by a so-called name, an old place name, etc.) or an address.
[0046]
§5: Description of moving object position detection device example 2 ... see FIG.
FIG. 5 is a block diagram of a moving object position detecting device example 2. Hereinafter, a moving object position detecting device example 2 will be described with reference to FIG. This example is an example in which the accuracy of position detection is increased by taking a history of previous position descriptions as compared with the mobile object position detection device example 1.
[0047]
The moving object position detecting device example 2 includes a camera 1 as an image acquisition unit, an image temporary storage unit 2, a character string recognition unit 3, a graphic recognition unit 4, a multimedia information temporary storage unit 5, a multimedia Database search unit 6, multimedia database unit 7, position history storage unit 12, position description selection unit 13, time report unit 14, position storage unit 8, display unit 9, position detection processing control unit 10 Etc. are provided.
[0048]
Then, the moving body position detecting device having the above configuration is attached to the moving body, and the position of the moving body is detected based on the image data input from the camera 1. The time reporting unit 14 includes a time mechanism (clock), and reports the current time (time description) to the position description selecting unit 13, the position detection processing control unit 10, and the like. The position history storage unit 12 stores position history information in which the position description searched by the multimedia database search unit 6 and the current time reported by the time report unit 14 are combined (storage means such as a memory). It is.
[0049]
The position description selecting unit 13 uses the current time reported from the time reporting unit 14 and refers to the position history information (position description + current description) stored in the position history storage unit 12 to be most likely. The position description is selected and stored in the position storage unit 8. The other configuration is the same as that of the moving object position detecting device example 1 shown in FIG.
[0050]
§6: Description of position detection processing example 2 ... see FIG.
FIG. 6 is a flowchart of the position detection processing example 2. The position detection process example 2 is a position detection process example in the moving object position detection device example 2 shown in FIG. Hereinafter, position detection processing example 2 will be described with reference to FIG. In addition, S11 to S17 indicate each processing step.
[0051]
When detecting the position of a moving object, the moving object position detecting device is attached to a part of the moving object, a primary battery or a secondary battery is turned on, and a camera 1 is used to detect a position of a city around the moving object. Be prepared to shoot landscapes. Then, the position detection process is performed under the control of the position detection process control unit 10 as follows.
[0052]
When the moving body moves, the camera 1 captures a scene around the moving body during the movement, and captures the image into the position detection device. Then, the captured image is overwritten in the image temporary storage unit 2 under the control of the position detection processing control unit 10 (S11). Thereafter, the image stored in the image temporary storage unit 2 is scanned by the character string recognition unit 3 and the graphic recognition unit 4 to perform recognition processing. The scanning by the character string recognizing unit 3 and the scanning by the graphic recognizing unit 4 may be performed in order or may be performed in parallel.
[0053]
In this case, there is a high possibility that the scene of the town contains a signboard of a store or a sign of the town, and the character string recognition unit 3 or the graphic recognition unit 4 scans the image temporary storage unit 2 to It is expected that the names and trademarks of shops and towns depicted on these signs and signs will be found. The list of character strings and graphics found as a result of the scanning is stored in the multimedia information temporary storage unit 5 by the character string recognition unit 3 or the graphic recognition unit 4 (S12, S13).
[0054]
Next, the multimedia database search unit 6 searches the multimedia information of the multimedia database unit 7 using the character string or the graphic stored in the multimedia information temporary storage unit 5 as a search key (S14). Then, the multimedia database search unit 6 determines whether or not one or more multimedia information including the character string or the graphic of the search key has been found (S15). The process is repeated from the process of S11.
[0055]
In this way, when one or more multimedia information including the character string or the graphic of the search key is found, the multimedia database search unit 6 extracts the position description from each multimedia information and duplicates the position description. Is deleted, and the time description from the time report unit 14 is added to the position history storage unit 12 as a set (S16).
[0056]
Next, the position description selecting unit 13 searches the position history storage unit 12 for a position description having a time description relatively close to the current time reported from the time report unit 14, and finds one of the position information items most frequently found. One is selected and overwritten on the position storage unit 8. Then, the process is repeated from the process of S11. In this way, the position storage unit 8 stores the latest position description of the moving object, that is, the current position information of the moving object. Then, the position description stored in the position storage unit 8 is displayed on the screen of the display unit 9 under the control of the position detection processing control unit 10.
[0057]
Note that, in the above-described processing, the following processing may be further performed. That is, the multimedia database search unit 6 obtains a search certainty indicating the certainty of the search for each searched position description, and combines the searched position description, the time description reported by the time report unit 14 and the search certainty. And additionally stored in the position history storage unit 12. Then, the position description selecting unit 13 uses the time information reported by the time reporting unit 14 and refers to the same set of time description and search certainty as each position description stored in the position history storage unit 12 by referring to it. , The most probable recent position description is selected and stored in the position storage unit 8.
[0058]
§7: Explanation of data structure ... see Fig. 7
FIG. 7 is an explanatory diagram of the data structure. FIG. 7A shows the data structure of the position history description unit (part 1), and FIG. 7B shows the data structure of the position history description unit (part 2). As described above, the multimedia database search unit 6 searches the multimedia database unit 7, and additionally stores the position description in the found multimedia information together with the description of the current time (time description) in the position history storage unit 12. I do.
[0059]
In this case, the data structure of the position history storage unit 12 is, for example, as shown in FIG. In this data structure, (position description 1, time description 1), (position description 2, time description 2), (position description 3, time description 3)... (Position description N, time description N) The position description and the time description are stored in pairs.
[0060]
As another example, as shown in FIG. 7B, the search certainty of the multimedia database search unit 6 is stored together with the description of the current time. That is, in this data structure, (position description 1, time description 1, search certainty 1), (position description 2, time description 2, search certainty 2), (position description 3, time description 3, search certainty 3 ) (Position description N, time description N, search certainty N), the position description, the time description, and the search certainty are stored in pairs.
[0061]
The search certainty factor is a numerical value indicating the certainty of the found location description. For example, when a plurality of the same position descriptions are found, the number is set as a certainty numerical value. The higher the certainty is, the more reliable the position description is. In the second example of the position detection processing, the position description selecting unit 13 searches the position history storage unit 12 and searches the position description paired with the time description relatively close to the current time to find the search certainty. Is selected and stored in the position storage unit 8.
[0062]
(Other embodiments)
Although the embodiment has been described above, the present invention can be implemented as follows.
[0063]
(1): The moving object position detecting apparatuses 1 and 2 are examples in which position detection is performed using multimedia information (information including text information and image information). The present invention is not limited to the example, and may be implemented as a device that performs position detection using only text information or a device that performs position detection using only image information.
[0064]
(2): Applicable to various types of moving objects such as people, animals, cars, and luggage.
(3): When a position description is stored in the position storage unit, all position descriptions may be stored without deleting previous information within the range of the memory capacity. The present invention can also be implemented by storing (overwriting) new information while erasing the information. In any case, it is sufficient that the position description of the current position is stored in the position storage unit.
[0065]
When all the position descriptions are stored in the position storage unit as described above, the previous information is erased when the memory capacity is exceeded, but the position description is stored in another storage memory as history information before erasing. It is also possible to let it. With this configuration, it is possible to analyze the route of the moving body afterwards, for example.
[0066]
(4): The position description stored in the position storage unit may be simply displayed on the screen of the display unit 9. For example, after removing the moving body position detecting device from the moving body, another computer (for example, , A personal computer) and store it in a storage medium to save the information, or to perform analysis processing and the like by the computer.
[0067]
(5): A data conversion device, a communication control means (for example, a communication function of a mobile phone) and the like are provided in the moving object position detecting device, and the position description information stored in the position storage section is transmitted at fixed time intervals. Can be transmitted to other devices (computers, facsimile machines, telephones, etc.). It is also possible to transmit the position description based on an instruction from another device. This makes it possible for the other device to constantly monitor the current position of the moving body.
[0068]
【The invention's effect】
As described above, the present invention has the following effects.
(1): A character string or figure is cut out from an image around the moving body, a database section is searched using the cut-out character string or figure as a search key, and the position description included in the search result is set as the current position of the moving body. In this way, the position of the movement of the moving object cannot be continuously detected, but it can be used, for example, even in a town with poor radio wave conditions, and the location of the moving object does not leak to the outside.
[0069]
(2): Unlike a position detection device using GPS or PHS, it is not possible to continuously track the movement of a moving object, but a moving object that moves in a city with many signboards, advertising towers, etc. It is possible to realize a moving object position detecting device suitable for roughly grasping.
[0070]
(3): It can be used in places where radio waves do not reach, such as in a building, or anywhere in the city, and when all processes are closed, leakage of privacy information can be prevented.
[0071]
(Four) : Moving objectAn image acquisition unit that captures an image surrounding the image, a character string recognition unit that recognizes a character string from the image captured by the image acquisition unit, a database that stores text information including a position description, and a character string recognition unit. A search unit that searches a database for a position description using the recognized character string as a search key when one or more character strings are recognized; a position storage unit that stores the position description searched by the search unit; The storage unit can hold the latest positional information of the moving object.
[0072]
In this way, it is not possible to continuously track the movement of a moving object like a position detection device using GPS or PHS, but a movement that moves in a city with many signboards and advertising towers. It is possible to realize a moving body position detecting device suitable for roughly grasping the body. In addition, if it can be used in places where radio waves do not reach or in any place in the city and all processing is closed, leakage of privacy information can be prevented.
[0073]
(Five) : Moving objectAn image acquisition unit that captures an image around the image, a figure recognition unit that recognizes a figure from the images captured by the image acquisition unit, a database that stores figure information including a position description, and one A search unit that searches for a position description from the database using the recognized figure as a search key when the figure is recognized; a position storage unit that stores the position description searched by the search unit; The latest position information of the moving object can be stored in the section.
[0074]
In this way, it is not possible to continuously track the movement of a moving object like a position detection device using GPS or PHS, but a movement that moves in a city with many signboards and advertising towers. It is possible to realize a moving body position detecting device suitable for roughly grasping the body. In addition, if it can be used in places where radio waves do not reach or in any place in the city and all processing is closed, leakage of privacy information can be prevented.
[0075]
(6) : Moving objectAn image acquisition unit that captures an image surrounding the image, a character string recognition unit that recognizes a character string from the image captured by the image acquisition unit, and a figure recognition that recognizes a graphic from the image captured by the image acquisition unit And a database storing multimedia information including text information and image information including a position description, and the character string recognition unit or graphic recognition unit recognizes one or more character strings or graphics when the character string recognition unit recognizes one or more character strings or graphics. A search unit for searching a position description from the database using the obtained character string or graphic as a search key; and a position storage unit for storing the position description searched by the search unit. Can be held.
[0076]
In this way, it is not possible to continuously track the movement of a moving object like a position detection device using GPS or PHS, but a movement that moves in a city with many signboards and advertising towers. It is possible to realize a moving body position detecting device suitable for roughly grasping the body. In addition, if it can be used in places where radio waves do not reach or in any place in the city and all processing is closed, leakage of privacy information can be prevented.
[0077]
(7) :CurrentA time reporting unit that reports time, a position history storage unit that stores position history information, and a position description selection unit that selects the most likely position description from the position history information stored in the position history storage unit, The search unit additionally stores the position description retrieved from the database in the position history storage unit as a set of the position description retrieved and the time description reported by the time report unit instead of directly storing the position description in the position storage unit. With the function, the position description selecting unit uses the time information reported by the time reporting unit, and refers to the same set of time descriptions as the position descriptions stored in the position history storage unit, thereby displaying the latest A function is provided for selecting the most likely position description and storing it in the position storage unit.
[0078]
In this way, it is not possible to continuously track the movement of a moving object like a position detection device using GPS or PHS, but a movement that moves in a city with many signboards and advertising towers. It is possible to realize a moving body position detecting device suitable for roughly grasping the body.
[0079]
In addition, if it can be used in places where radio waves do not reach or in any place in the city and all processing is closed, leakage of privacy information can be prevented. Furthermore, by taking a history of past position descriptions, the accuracy of position detection can be improved.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating the principle of the present invention.
FIG. 2 is a block diagram of a moving object position detecting device example 1 according to the embodiment;
FIG. 3 is a flowchart of a position detection processing example 1 in the embodiment.
FIG. 4 is an example of multimedia information in the embodiment.
FIG. 5 is a block diagram of a moving object position detection device example 2 in the embodiment.
FIG. 6 is a flowchart of a position detection processing example 2 in the embodiment.
FIG. 7 is an explanatory diagram of a data structure in the embodiment.
[Explanation of symbols]
1 camera
2 Temporary image storage
3 Character string recognition unit
4 Figure recognition unit
5 Multimedia information temporary storage
6 Multimedia database search section
7 Multimedia Database Department
8 Position storage unit
9 Display
10 Position detection processing control unit
12 Position history storage unit
13 Position description selector
14 Time report section

Claims (3)

移動体の位置を検出する移動***置検出装置において、
移動体の周囲の画像を取り込む画像取得部と、前記画像取得部が取り込んだ画像の中から文字列を認識する文字列認識部と、位置記述を含むテキスト情報を格納したデータベースと、前記文字列認識部により1個以上の文字列が認識された場合に、前記認識した文字列を検索キーとして前記データベースから位置記述を検索する検索部と、前記検索部が検索した位置記述を格納する位置記憶部を備え、前記位置記憶部に移動体の最新の位置情報を保持できるようにし、更に、
現在時刻を報告する時刻報告部と、位置履歴情報を格納する位置履歴記憶部と、前記位置履歴記憶部に格納された位置履歴情報から最も確からしい位置記述を選択する位置記述選択部を備えると共に、
前記検索部は、データベースから検索した位置記述を位置記憶部に直接格納する代わりに、前記検索した位置記述と時刻報告部より報告された時刻記述を組にして前記位置履歴記憶部に追加格納する機能を備え、
前記位置記述選択部は、時刻報告部より報告された時刻情報を用い、前記位置履歴記憶部に格納されている各位置記述と同じ組の時刻記述を参照することで、最近の最も確からしい位置記述を選択し、位置記憶部に格納する機能を備えていることを特徴とした移動***置検出装置。
In a moving object position detection device that detects the position of a moving object,
An image acquisition unit that captures an image around a moving object, a character string recognition unit that recognizes a character string from the image captured by the image acquisition unit, a database that stores text information including a position description, and the character string. A search unit that searches a position description from the database using the recognized character string as a search key when one or more character strings are recognized by a recognition unit; and a position storage that stores the position description searched by the search unit. Unit, so that the position storage unit can hold the latest position information of the moving body , further,
A time report unit that reports the current time, a position history storage unit that stores position history information, and a position description selection unit that selects the most likely position description from the position history information stored in the position history storage unit. ,
The search unit additionally stores the position description retrieved from the database in the position history storage unit as a set of the position description retrieved and the time description reported by the time report unit instead of directly storing the position description in the position storage unit. With features,
The position description selecting unit uses the time information reported by the time reporting unit, and refers to the same set of time descriptions as the position descriptions stored in the position history storage unit to obtain the latest most probable position. A moving object position detecting device having a function of selecting a description and storing it in a position storage unit .
移動体の位置を検出する移動***置検出装置において、
移動体の周囲の画像を取り込む画像取得部と、前記画像取得部が取り込んだ画像の中から図形を認識する図形認識部と、位置記述を含む図形情報を格納したデータベースと、前記図形認識部により1個以上の図形が認識された場合に、前記認識した図形を検索キーとして前記データベースから位置記述を検索する検索部と、前記検索部が検索した位置記述を格納する位置記憶部を備え、前記位置記憶部に移動体の最新の位置情報を保持できるようにし、更に、
現在時刻を報告する時刻報告部と、位置履歴情報を格納する位置履歴記憶部と、前記位置履歴記憶部に格納された位置履歴情報から最も確からしい位置記述を選択する位置記述選択部を備えると共に、
前記検索部は、データベースから検索した位置記述を位置記憶部に直接格納する代わりに、前記検索した位置記述と時刻報告部より報告された時刻記述を組にして前記位置履歴記憶部に追加格納する機能を備え、
前記位置記述選択部は、時刻報告部より報告された時刻情報を用い、前記位置履歴記憶部に格納されている各位置記述と同じ組の時刻記述を参照することで、最近の最も確からしい位置記述を選択し、位置記憶部に格納する機能を備えていることを特徴とした移動***置検出装置。
In a moving object position detection device that detects the position of a moving object,
An image acquisition unit that captures an image around a moving object, a graphic recognition unit that recognizes a graphic from the images captured by the image acquisition unit, a database that stores graphic information including a position description, and a graphic recognition unit. A search unit that searches a position description from the database using the recognized figure as a search key when one or more figures are recognized; a position storage unit that stores the position description searched by the search unit; The latest location information of the moving object can be stored in the location storage unit ,
A time report unit that reports the current time, a position history storage unit that stores position history information, and a position description selection unit that selects the most likely position description from the position history information stored in the position history storage unit. ,
The search unit additionally stores the position description retrieved from the database in the position history storage unit as a set of the position description retrieved and the time description reported by the time report unit instead of directly storing the position description in the position storage unit. With features,
The position description selecting unit uses the time information reported by the time reporting unit, and refers to the same set of time descriptions as the position descriptions stored in the position history storage unit to obtain the latest most probable position. A moving object position detecting device having a function of selecting a description and storing it in a position storage unit .
移動体の位置を検出する移動***置検出装置において、
移動体の周囲の画像を取り込む画像取得部と、前記画像取得部が取り込んだ画像の中から文字列を認識する文字列認識部と、前記画像取得部が取り込んだ画像の中から図形を認識する図形認識部と、位置記述を含むテキスト情報及びイメージ情報からなるマルチメディア情報を格納したデータベースと、前記文字列認識部或いは図形認識部により1個以上の文字列或いは図形が認識された場合に、前記認識した文字列或いは図形を検索キーとして前記データベースから位置記述を検索する検索部と、前記検索部が検索した位置記述を格納する位置記憶部を備え、前記位置記憶部に移動体の最新の位置情報を保持できるようにし、更に、
現在時刻を報告する時刻報告部と、位置履歴情報を格納する位置履歴記憶部と、前記位置履歴記憶部に格納された位置履歴情報から最も確からしい位置記述を選択する位置記述選択部を備えると共に、
前記検索部は、データベースから検索した位置記述を位置記憶部に直接格納する代わりに、前記検索した位置記述と時刻報告部より報告された時刻記述を組にして前記位置履歴記憶部に追加格納する機能を備え、
前記位置記述選択部は、時刻報告部より報告された時刻情報を用い、前記位置履歴記憶部に格納されている各位置記述と同じ組の時刻記述を参照することで、最近の最も確からしい位置記述を選択し、位置記憶部に格納する機能を備えていることを特徴とした移動***置検出装置。
In a moving object position detection device that detects the position of a moving object,
An image acquisition unit that captures an image around a moving object, a character string recognition unit that recognizes a character string from the image captured by the image acquisition unit, and a figure that recognizes a figure from the image captured by the image acquisition unit A graphic recognition unit, a database storing multimedia information including text information and image information including a position description, and a case where one or more character strings or graphics are recognized by the character string recognition unit or the graphic recognition unit. A search unit that searches the database for a position description using the recognized character string or graphic as a search key; and a position storage unit that stores the position description searched by the search unit. To be able to retain location information ,
A time report unit that reports the current time, a position history storage unit that stores position history information, and a position description selection unit that selects the most likely position description from the position history information stored in the position history storage unit. ,
The search unit additionally stores the position description retrieved from the database in the position history storage unit as a set of the position description retrieved and the time description reported by the time report unit instead of directly storing the position description in the position storage unit. With features,
The position description selecting unit uses the time information reported by the time reporting unit, and refers to the same set of time descriptions as the position descriptions stored in the position history storage unit to obtain the latest most probable position. A moving object position detecting device having a function of selecting a description and storing it in a position storage unit .
JP32927096A 1996-12-10 1996-12-10 Moving object position detection device Expired - Fee Related JP3577185B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32927096A JP3577185B2 (en) 1996-12-10 1996-12-10 Moving object position detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32927096A JP3577185B2 (en) 1996-12-10 1996-12-10 Moving object position detection device

Publications (2)

Publication Number Publication Date
JPH10170292A JPH10170292A (en) 1998-06-26
JP3577185B2 true JP3577185B2 (en) 2004-10-13

Family

ID=18219577

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32927096A Expired - Fee Related JP3577185B2 (en) 1996-12-10 1996-12-10 Moving object position detection device

Country Status (1)

Country Link
JP (1) JP3577185B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3891000C2 (en) * 1987-11-20 1991-11-21 Matsushita Electric Industrial Co., Ltd., Kadoma, Osaka, Jp
JP4208487B2 (en) 2002-05-29 2009-01-14 キヤノン株式会社 Information processing apparatus and position display method
JP6732675B2 (en) * 2017-02-09 2020-07-29 株式会社トヨタマップマスター Map creation device, map creation method and program, recording medium

Also Published As

Publication number Publication date
JPH10170292A (en) 1998-06-26

Similar Documents

Publication Publication Date Title
US8416309B2 (en) Camera-fitted information retrieval device
US7764811B2 (en) Image mapping to provide visual geographic path
JP4591353B2 (en) Character recognition device, mobile communication system, mobile terminal device, fixed station device, character recognition method, and character recognition program
KR101060066B1 (en) Methods and apparatus for specifying opportunities to capture content
KR100533033B1 (en) Position tracing system and method using digital video process technic
US20110060799A1 (en) Communication terminal device, and recording medium
JP2011094992A (en) Navigation device, navigation method and navigation program
CN110444039B (en) Parking positioning method, device and system and storage medium
CN114067270A (en) Vehicle tracking method and device, computer equipment and storage medium
JP2003345819A (en) Apparatus and system for information processing, and method and program for controlling the information processing apparatus
JP3577185B2 (en) Moving object position detection device
JP2003330953A (en) Server device, portable terminal, information provision system, information provision method, and information acquisition method
US8805027B2 (en) Image mapping to provide visual geographic path
JP3898440B2 (en) Information provision system
JP2009130697A (en) Station information acquisition system, portable terminal, station information providing server, station information acquisition method, station information acquisition program, and recording medium
JP2000331006A (en) Information retrieval device
CN111083446A (en) Tracking and positioning method, system and equipment combining visual signal and wireless signal
US9599486B2 (en) Image mapping to provide visual geographic path
CN111008297B (en) Addressing method and server
JPH09297532A (en) Terminal device
JP2004151523A (en) Map data update apparatus
KR100687740B1 (en) Location finding apparatus and method
JP2003331288A (en) Device and method for discriminating image
JP2002107174A (en) Navigator and retrieving method
JP2010224745A (en) Content retrieval system and content retrieval program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040302

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040709

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080716

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090716

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100716

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100716

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110716

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110716

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120716

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120716

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees