JP2020119515A - 設置物認識システム及びそのプログラム - Google Patents
設置物認識システム及びそのプログラム Download PDFInfo
- Publication number
- JP2020119515A JP2020119515A JP2019229995A JP2019229995A JP2020119515A JP 2020119515 A JP2020119515 A JP 2020119515A JP 2019229995 A JP2019229995 A JP 2019229995A JP 2019229995 A JP2019229995 A JP 2019229995A JP 2020119515 A JP2020119515 A JP 2020119515A
- Authority
- JP
- Japan
- Prior art keywords
- installation object
- image data
- installation
- specific installation
- object recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
従来、カメラで撮影した画像から物体を認識するシステムがあった。
画像認識の技術は、予め検出対象の画像のパターンをシステムの画像処理装置で認識させ、当該画像パターンとカメラで撮影した画像との相関を測定して、相関の高い撮影画像を検出対象の画像と判定するものがある。
尚、関連する先行技術文献として、特開2018−163654号公報「電気通信イベントリ管理のためのシステムおよび方法」(特許文献1)、特許第5462609号公報「停止線認識装置」(特許文献2)、特許第6411933号公報「車両状態判定装置」(特許文献3)がある。
特許文献2には、車載のカメラが赤信号を認識したときに、路上の停止線を認識する装置が記載されている。
特許文献3には、地図情報から道路の車線数を認識し、道路上の路側帯に停車する車両を判定する装置が記載されている。
上記従来例の問題点を解決するための本発明は、経路に沿って撮影された風景の画像データから特定の設置物を探索する設置物認識装置を備える設置物認識システムであって、設置物認識装置が、地図情報における経路が指定され、特定の設置物を探索する指示が与えられると、経路に沿って特定の設置物の画像データが風景の画像データに存在するか否かを判定し、特定の設置物の画像データが存在する場合には、特定の設置物の種類を判別し、位置情報と共に特定の設置物の種類を記憶することを特徴とする。
本発明は、上記設置物認識システムにおいて、設置物認識装置が、特定の設置物の画像データが存在する場合には、特定の設置物のサイズを判別し、位置情報と共に特定の設置物のサイズを記憶することを特徴とする。
本発明は、上記設置物認識システムにおいて、設置物認識装置が、表示部に表示した地図上に特定の設置物の種類及びサイズに応じたアイコンを位置情報に応じて表示することを特徴とする。
本発明は、上記設置物認識システムにおいて、設置物認識装置が、表示部に表示した地図上に特定の設置物の種類及びサイズに応じた3次元画像を位置情報に応じて表示することを特徴とする。
本発明は、上記設置物認識システムにおいて、設置物認識装置が、特定の設置物の画像データが風景の画像データに存在すると判定した場合は、当該風景の画像データにおける画像データ部分を記憶して機械学習させ、判定処理に利用することを特徴とする。
本発明は、設置物認識システムにおいて、設置物の画像データが、位置情報を取得する撮影装置で撮影されたものであることを特徴とする。
本発明は、経路に沿って撮影された風景の画像データから特定の設置物を探索する設置物認識装置で動作するプログラムであって、設置物認識装置を、地図情報における経路が指定され、特定の設置物を探索する指示が与えられると、経路に沿って特定の設置物の画像データが風景の画像データに存在するか否かを判定させ、特定の設置物の画像データが存在する場合には、特定の設置物の種類を判別させ、位置情報と共に特定の設置物の種類を記憶させるよう機能させることを特徴とする。
本発明は、上記プログラムにおいて、設置物認識装置を、特定の設置物の画像データが存在する場合には、特定の設置物のサイズを判別させ、位置情報と共に特定の設置物のサイズを記憶させるよう機能させることを特徴とする。
本発明は、上記プログラムにおいて、設置物認識装置を、表示部に表示した地図上に特定の設置物の種類及びサイズに応じたアイコンを位置情報に応じて表示させるよう機能させることを特徴とする。
本発明は、上記プログラムにおいて、設置物認識装置を、表示部に表示した地図上に特定の設置物の種類及びサイズに応じた3次元画像を位置情報に応じて表示させるよう機能させることを特徴とする。
本発明は、上記プログラムにおいて、設置物認識装置を、特定の設置物の画像データが風景の画像データに存在すると判定した場合は、当該風景の画像データにおける画像データ部分を記憶して機械学習させ、判定処理に利用させるよう機能させることを特徴とする。
本発明は、上記プログラムにおいて、設置物の画像データが、位置情報を取得する撮影装置で撮影されたものであることを特徴とする。
[実施の形態の概要]
本発明の実施の形態に係る設置物認識システム(本システム)は、道路に沿って撮影された風景の画像データから、指定された道路(経路)について、特定の設置物を探索する指示が入力されると、当該設置物の画像データを探索し、当該設置物があるか否かを判定し、当該設置物がある場合に、種類を判別して内容を分析し、設置物の特性を把握して地図上に種類等に応じたアイコンを表示するものであり、設置物の特性をアイコンで地図上に表示して容易に設置物の特性を把握できるので、マーケティング戦略に活用できるものである。
本システムについて図1を参照しながら説明する。図1は、本システムの概略図である。
本システムは、図1に示すように、設置物認識装置1と、画像データベース(DB)2と、地図データベース(DB)3と、ネットワーク4と、設置物データベース(DB)5とを備えている。
地図DB3は、座標データに対応した地図情報(地図データ)を記憶する記憶部である。
尚、画像DB2と地図DB3が一体になっている構成でもよい。
設置物DB5は、後述する探索した設置物の画像データと関連情報(設置物の種類、サイズ等)を設置物の情報として位置情報に対応付けて記憶する記憶部である。
制御部11は、記憶部12に記憶された処理プログラムを動作させ、後述する処理を実行する。
記憶部12は、処理プログラム、その他必要なデータを記憶する。
インタフェース部13は、ネットワーク4、表示部14、入力部15に接続する。
表示部14は、処理結果等を表示する。
入力部15は、処理を行うための指示等を入力する。
設置物認識装置1における処理内容について説明する。
制御部11は、記憶部12から処理プログラムを読み込み、入力部15からの指示により該当する地域の地図データを地図DB3から表示部14に表示させる。
表示された地図データについて探索対象の道路が指定され、探索対象の設置物(例えば、清涼飲料水の自動販売機等)が設定されると、制御部11は、当該道路に対応する風景画像データを画像DB2から読み込み、探索対象の設置物があるか否かを判定する。
地図データにおける道路の指定は、座標データを特定することにより行われるので、画像DB2でもその座標データを基に対応する風景画像データが特定されることになる。
この場合、具体的には、指定されたエリア内で、例えば、横方向に座標データをライン上にスキャンしながら該当する設置物の画像が存在するか否か探索を行うものである。
次に、探索した設置物について画面表示について図2を参照しながら説明する。図2は、本システムにおける設置物の表示例を示す図である。
設置物認識装置1の制御部11は、図2に示すように、地図データ上に探索した設置物のアイコンを表示する。アイコンは、種類別に色分けし、設置物のサイズに応じて大きさを調整するようにしてもよい。
図2では、アイコン内のA,B,Cの文字は、飲料メーカーの社名又は略称を示しており、アイコンの大きさは、自動販売機の大きさの違いを示している。アイコンを識別し易くするために、色分けして表示してもよい。
次に、本システムにおける設置物の探索処理について図3を参照しながら説明する。図3は、本システムにおける設置物探索処理のフロー図である。
設置物認識装置1の制御部11が記憶部12から処理プログラムを読み込み、実行すると設置物探索処理が開始される。
制御部11は、探索位置を地図上の経路に沿って進行させて(S13)、進行させた座標データから該当する画像データを画像DB2から読み込み、経路上の設置物の画像認識処理を実行する(S14)。
具体的には、探索して設置物の画像データとして設置物DB5に記憶させたデータを教師データとして深層学習させ、設置物判定のAIの学習モデルを生成する。その後、学習済み学習モデルを用いて判定処理を行えば、判別の精度を向上させることができる。
設置物の種類とは、清涼飲料のメーカーであり、画像認識の技術の精度が向上すれば画像のパターン認識によって販売表示されている商品の種類が含まれる。
また、設置物のサイズとは、自動販売機の大きさである。
指定された経路を終了していない場合(Noの場合)、処理S13に戻る。
また、判定処理S15で、該当する設置物がない場合(Noの場合)、処理S16を行わず処理S17に移行する。
次に、設置物の探索処理を行った結果、地図上に対応アイコンを表示する処理について図4を参照しながら説明する。図4は、本システムにおけるアイコン表示処理のフロー図である。
設置物認識装置1の制御部11が記憶部12から処理プログラムを読み込み、実行すると、処理を開始し、記憶部12に記憶されている取得した設置物の情報を読み出して分類処理を行う(S21)。
設置物の情報は、設置物の種類とサイズであるので、制御部11が該当(対応)するアイコンを記憶部12から選択する(S22)。
設置物が「自動販売機」の例を示したが、設置物が「自動車」であってもよい。その場合、車の形状(セダン、クーペ、トラック等)、製造会社、車種等を分析する。
また、設置物が「店舗」の場合、店舗の種類(コンビニ、飲食店、スーパーマーケット、スポーツジム等)、店舗の規模、駐車場の広さ等を分析する。店舗の分析は、出店戦略に利用できる。
更に、単に店舗だけを認識するのではなく、当該店舗の周辺の情報(人、車、自転車、バイク、バス停、駐車場、自動販売機等)も総合的に分析して、出店戦略に利用できる。
また、道路を人が歩く順にルート設定し、当該ルートに従って店舗画像を認識して分析し、その結果により出店計画を作成するようにしてもよい。
例えば、レンタサイクルなどの設置を行う場合に、設置スペースの有無、競合設置物の有無などを探索することで、レンタサイクルなどの設置戦略に活用できる。
また、主要観光施設までの道案内を探索することで、道案内の看板が適切に設置されているかどうかを把握でき、観光地の整備に利用できる。
本システムにおいて、画像データの収集について具体的に説明する。
画像データは、GPS機能付きの撮影装置で撮影されるもので、当該撮影装置を車両に搭載して道路沿いを撮影する。
撮影装置は、GPS機能を有し、GPS受信信号に基づいて位置情報と時刻情報を定期的に取得し、動画像データ又は特定間隔で撮影された静止画(写真)データを取得する。
位置情報をGPS受信信号から取得しているが、その他の通信手段で位置情報を取得するようにしてもよい。
撮影装置は、更に図1のネットワーク4に接続機能を備え、撮影された画像データを、ネットワーク4を介して画像DB2に送信し、時刻情報、位置情報と共に画像データが画像DB2に記憶される。
そして、設置物認識装置1における図3に示す設置物の探索処理を実行する。
設置物の画像認識は、設置物の静止画の画像データをAIに教師データとして機械学習させ、静止画の画像データ又は動画の画像データから学習済みAIモデルを用いて行う。
車から撮影される画像データは、設置物の遠くの小さい形状から近くの大きな形状に変化するので、その一連の形状変化をAIに学習させて、設置物を認識するようにしてもよい。
図2では、設置物を種類別、色別、サイズ別にアイコン表示した例を示したが、設置物を認識した画像データから3次元(3D:three dimensions)の画像を生成し、当該3D画像を用いて地図上に表示するようにしてもよい。この場合、設置物の3D画像に合わせて、地図は3Dの簡易マップとするものである。
3D画像は、奥行きを持っているので、撮影した車からの距離を測定することができる。従って、撮影した撮影装置の位置情報から設置物までの距離、方向によって、設置物のより正確な位置を算出することができる。
対象となる設置物について複数の種類、例えば、自動販売機、ガソリンスタンド、ファーストフード店等を別々に探索し、それぞれの集合(レイヤー)で設置物DB5に記憶しておき、レイヤーを任意に1つ又は複数選択して地図上にアイコン又は3D画像を表示するようにしてもよい。
これにより、様々な設置物を選択的に地図上に表示することができ、また、複数種類の設置物を組み合わせて地図上に表示することができる。この機能により、自動販売機や店舗の設置する場合などのマーケティングに利用できる。
これまで、設置物を認識することを示したが、設置物ではなく、移動中の人、自転車、車両等のパターンを認識するようにし、人の流れ、車の流れを把握するようにしてもよい。
これにより、人の流れから人の集まり易い場所が分かり、マーケティングに活用することができる。また、車の流れから交通渋滞等を認識し、渋滞緩和に利用することができる。
本システムによれば、設置物認識装置1が、道路に沿って撮影された風景の画像データから、指定された道路(経路)について、特定の設置物を探索する指示が入力されると、当該設置物の画像データを探索し、当該設置物があるか否かを判定し、当該設置物がある場合に、種類を判別して内容を分析し、設置物の特性を把握して地図上に種類等に応じたアイコンを表示するようにしているので、設置物の特性をアイコンで地図上に表示できるので、マーケティング戦略に活用できる効果がある。
Claims (12)
- 経路に沿って撮影された風景の画像データから特定の設置物を探索する設置物認識装置を備える設置物認識システムであって、
前記設置物認識装置は、地図情報における経路が指定され、前記特定の設置物を探索する指示が与えられると、前記経路に沿って前記特定の設置物の画像データが前記風景の画像データに存在するか否かを判定し、前記特定の設置物の画像データが存在する場合には、前記特定の設置物の種類を判別し、位置情報と共に前記特定の設置物の種類を記憶することを特徴とする設置物認識システム。 - 設置物認識装置は、特定の設置物の画像データが存在する場合には、前記特定の設置物のサイズを判別し、位置情報と共に前記特定の設置物のサイズを記憶することを特徴とする請求項1記載の設置物認識システム。
- 設置物認識装置は、表示部に表示した地図上に特定の設置物の種類及びサイズに応じたアイコンを位置情報に応じて表示することを特徴とする請求項2記載の設置物認識システム。
- 設置物認識装置は、表示部に表示した地図上に特定の設置物の種類及びサイズに応じた3次元画像を位置情報に応じて表示することを特徴とする請求項2記載の設置物認識システム。
- 設置物認識装置は、特定の設置物の画像データが風景の画像データに存在すると判定した場合は、当該風景の画像データにおける画像データ部分を記憶して機械学習させ、前記判定処理に利用することを特徴とする請求項1乃至4のいずれか記載の設置物認識システム。
- 設置物の画像データは、位置情報を取得する撮影装置で撮影されたものであることを特徴とする請求項1乃至5のいずれか記載の設置物認識システム。
- 経路に沿って撮影された風景の画像データから特定の設置物を探索する設置物認識装置で動作するプログラムであって、
前記設置物認識装置を、地図情報における経路が指定され、前記特定の設置物を探索する指示が与えられると、前記経路に沿って前記特定の設置物の画像データが前記風景の画像データに存在するか否かを判定させ、前記特定の設置物の画像データが存在する場合には、前記特定の設置物の種類を判別させ、位置情報と共に前記特定の設置物の種類を記憶させるよう機能させることを特徴とするプログラム。 - 設置物認識装置を、特定の設置物の画像データが存在する場合には、前記特定の設置物のサイズを判別させ、位置情報と共に前記特定の設置物のサイズを記憶させるよう機能させることを特徴とする請求項7記載のプログラム。
- 設置物認識装置を、表示部に表示した地図上に特定の設置物の種類及びサイズに応じたアイコンを位置情報に応じて表示させるよう機能させることを特徴とする請求項8記載のプログラム。
- 設置物認識装置を、表示部に表示した地図上に特定の設置物の種類及びサイズに応じた3次元画像を位置情報に応じて表示させるよう機能させることを特徴とする請求項8記載のプログラム。
- 設置物認識装置を、特定の設置物の画像データが風景の画像データに存在すると判定した場合は、当該風景の画像データにおける画像データ部分を記憶して機械学習させ、前記判定処理に利用させるよう機能させることを特徴とする請求項7乃至10のいずれか記載のプログラム。
- 設置物の画像データは、位置情報を取得する撮影装置で撮影されたものであることを特徴とする請求項7乃至11のいずれか記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021151246A JP2022003548A (ja) | 2019-01-25 | 2021-09-16 | 認識システム及びそのプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019011039 | 2019-01-25 | ||
JP2019011039 | 2019-01-25 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021151246A Division JP2022003548A (ja) | 2019-01-25 | 2021-09-16 | 認識システム及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020119515A true JP2020119515A (ja) | 2020-08-06 |
JP6951782B2 JP6951782B2 (ja) | 2021-10-20 |
Family
ID=71892143
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019229995A Active JP6951782B2 (ja) | 2019-01-25 | 2019-12-20 | 設置物認識システム及びそのプログラム |
JP2021151246A Pending JP2022003548A (ja) | 2019-01-25 | 2021-09-16 | 認識システム及びそのプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021151246A Pending JP2022003548A (ja) | 2019-01-25 | 2021-09-16 | 認識システム及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6951782B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022003548A (ja) * | 2019-01-25 | 2022-01-11 | 株式会社ベーシック | 認識システム及びそのプログラム |
WO2023127019A1 (ja) * | 2021-12-27 | 2023-07-06 | 楽天グループ株式会社 | 情報処理装置及び方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5325354B1 (ja) * | 2012-02-02 | 2013-10-23 | パナソニック株式会社 | サーバー、端末装置、画像検索方法、およびプログラム |
KR20140078011A (ko) * | 2012-12-13 | 2014-06-25 | (주)위드스마트 | 맞춤형 약도 서비스 시스템 및 방법 |
JP2016218760A (ja) * | 2015-05-20 | 2016-12-22 | 株式会社日立製作所 | 物体検出システム、物体検出方法、poi情報作成システム、警告システム、及び誘導システム |
JP2019148521A (ja) * | 2018-02-28 | 2019-09-05 | 株式会社Jvcケンウッド | 認識画像表示装置、認識画像表示方法、及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6951782B2 (ja) * | 2019-01-25 | 2021-10-20 | 株式会社ベーシック | 設置物認識システム及びそのプログラム |
-
2019
- 2019-12-20 JP JP2019229995A patent/JP6951782B2/ja active Active
-
2021
- 2021-09-16 JP JP2021151246A patent/JP2022003548A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5325354B1 (ja) * | 2012-02-02 | 2013-10-23 | パナソニック株式会社 | サーバー、端末装置、画像検索方法、およびプログラム |
KR20140078011A (ko) * | 2012-12-13 | 2014-06-25 | (주)위드스마트 | 맞춤형 약도 서비스 시스템 및 방법 |
JP2016218760A (ja) * | 2015-05-20 | 2016-12-22 | 株式会社日立製作所 | 物体検出システム、物体検出方法、poi情報作成システム、警告システム、及び誘導システム |
JP2019148521A (ja) * | 2018-02-28 | 2019-09-05 | 株式会社Jvcケンウッド | 認識画像表示装置、認識画像表示方法、及びプログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022003548A (ja) * | 2019-01-25 | 2022-01-11 | 株式会社ベーシック | 認識システム及びそのプログラム |
WO2023127019A1 (ja) * | 2021-12-27 | 2023-07-06 | 楽天グループ株式会社 | 情報処理装置及び方法 |
JP7457844B2 (ja) | 2021-12-27 | 2024-03-28 | 楽天グループ株式会社 | 情報処理装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2022003548A (ja) | 2022-01-11 |
JP6951782B2 (ja) | 2021-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6781711B2 (ja) | 駐車ゾーンを自動的に認識する方法及びシステム | |
CN110501018B (zh) | 一种服务于高精度地图生产的交通标志牌信息采集方法 | |
JP5901779B2 (ja) | 画像データベース地図サービスからアシストシステム内にデータを移す方法 | |
EP3836116A1 (en) | System and method to generate traffic congestion estimation data for calculation of traffic condition in a region | |
JP3958133B2 (ja) | 車両位置測定装置および方法 | |
US20170011270A1 (en) | Image acquiring system, terminal, image acquiring method, and image acquiring program | |
CN103770704A (zh) | 用于识别车辆的停车位标志线的***和方法 | |
WO2014151681A2 (en) | Methods and apparatus to estimate demography based on aerial images | |
CN108594244B (zh) | 基于立体视觉和激光雷达的障碍物识别迁移学习方法 | |
JP2022003548A (ja) | 認識システム及びそのプログラム | |
JP2018501543A (ja) | 現在存在する走行状況を特定するための方法及び装置 | |
WO2020007589A1 (en) | Training a deep convolutional neural network for individual routes | |
JP2003123197A (ja) | 道路標示等認識装置 | |
US20220357176A1 (en) | Methods and data processing systems for predicting road attributes | |
CN114639085A (zh) | 交通信号灯识别方法、装置、计算机设备和存储介质 | |
JP2016045678A (ja) | 価格表示システム、価格判定装置、表示装置、価格判定方法、および、価格判定プログラム | |
KR102562757B1 (ko) | 노면표시 정보의 예측 및 인식방법 및 도로 유지관리 방법 | |
CN112669615A (zh) | 一种基于摄像头的停车位检测方法和*** | |
JP6810723B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP4223309B2 (ja) | 経路誘導装置、経路誘導方法およびコンピュータプログラム | |
Panizzi et al. | Private or Public Parking Type Classifier on the Driver’s Smartphone | |
JP5962442B2 (ja) | 標識認識システム、標識認識方法、及び標識認識プログラム | |
KR102493800B1 (ko) | 주행환경 정적객체인지 ai 데이터 처리 방법 및 이를 위한 장치 | |
WO2023017317A1 (en) | Environmentally aware prediction of human behaviors | |
Hammoudi et al. | Towards a model of car parking assistance system using camera networks: Slot analysis and communication management |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210520 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210824 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210916 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6951782 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |