JP7013651B2 - サーバ装置、判別プログラム及び判別システム - Google Patents
サーバ装置、判別プログラム及び判別システム Download PDFInfo
- Publication number
- JP7013651B2 JP7013651B2 JP2017019293A JP2017019293A JP7013651B2 JP 7013651 B2 JP7013651 B2 JP 7013651B2 JP 2017019293 A JP2017019293 A JP 2017019293A JP 2017019293 A JP2017019293 A JP 2017019293A JP 7013651 B2 JP7013651 B2 JP 7013651B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- polarized
- road surface
- unit
- pixel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
Description
<1.判別システムのシステム構成>
はじめに、第1の実施形態に係る判別システムのシステム構成について説明する。図1は、判別システムのシステム構成の一例を示す図である。
次に、計測装置110の構成について説明する。図2は、計測装置の一構成例を示す図である。図2に示すように、計測装置110は、GPS(Global Positioning System)201、通信装置202、制御装置203、照明装置204、偏光カメラ205を有する。
次に、偏光カメラ205のハードウェア構成について説明する。本実施形態において、偏光カメラ205は、領域分割偏光フィルタを有しているものとする。
次に、計測装置110により送信される計測情報について説明する。図4は、計測情報の一例を示す図である。図4に示すように、計測装置110の偏光カメラ205は、時刻t1、t2、t3、t4、・・・の各時刻において、S成分画像401_1、・・・、401_4・・・、P成分画像402_1、・・・、404_2・・・を生成する。
次に、サーバ装置120のハードウェア構成について説明する。図5は、サーバ装置のハードウェア構成の一例を示す図である。図5に示すように、サーバ装置120は、CPU(Central Processing Unit)501、ROM(Read Only Memory)502、RAM(Random Access Memory)503を有する。CPU501、ROM502、RAM503は、いわゆるコンピュータを形成する。
次に、学習画像情報格納部124に格納される学習画像情報について説明する。図6は、学習画像情報の一例を示す図である。
次に、計測情報格納部125に格納される計測情報リストについて説明する。図7は、計測情報リストの一例を示す図である。
次に、サーバ装置120の各部(第1生成部121、第2生成部122、路面状態判別部123)の詳細について説明する。
はじめに、第1生成部121の詳細について説明する。図8は、第1生成部の機能構成の一例を示す図である。図8に示すように、第1生成部121は、学習画像情報入力部801、画像連結部802、圧縮器生成部803、比較部804を有する。
次に、第2生成部122について説明する。図11は、第2生成部の機能構成の一例を示す図である。図11に示すように、第2生成部122は、学習画像情報入力部1101、画像連結部1102、画像構造情報抽出部1103、平均偏光画素値算出部1104、輝度画像補正部1105、平均輝度画素値算出部1106を有する。また、第2生成部122は、データ連結部1107、判別器生成部1108、比較部1109を有する。
次に、路面状態判別部123について説明する。図13は、路面状態判別部の機能構成の一例を示す図である。図13に示すように、路面状態判別部123は、計測情報取得部1301、画像連結部1302、画像構造情報抽出部1303、平均偏光画素値算出部1304、輝度画像補正部1305、平均輝度画素値算出部1306を有する。また、路面状態判別部123は、データ連結部1307、判別部1308、出力部1309を有する。
次に、サーバ装置120による路面状態判別処理の流れについて説明する。図16は、路面状態判別処理の流れを示すフローチャートである。サーバ装置120の管理者により路面状態判別処理の開始指示が入力されると、図16に示す路面状態判別処理が開始される。
次に、サーバ装置120による路面状態判別処理の判別結果についての評価を、他の判別方法による判別結果と比較しながら説明する。図18は、判別結果に対する評価結果の一例を示す図である。
・輝度画像の平均輝度画素値と偏光画像の平均偏光画素値とに基づいて路面状態を判別する第1の判別方法(比較例)
・画像構造情報に基づいて路面状態を判別する第2の判別方法(比較例)
・輝度画像の平均輝度画素値と偏光画像の平均偏光画素値と画像構造情報とに基づいて路面状態を判別する第3の判別方法(本実施形態による判別方法)
評価結果1800において、第1の判別方法の場合、路面状態=「乾燥」と判別すべき計測情報のうち、51.2%の計測情報について、路面状態=「乾燥」と判別できたことを示している(すなわち、正答率が51.2%であったことを示している)。同様に、第1の判別方法の場合、路面状態=「湿潤」、「凍結」、「積雪」については、それぞれ、正答率が、89.0%、70.0%、99.6%であったことを示している。更に、平均の正答率が77.5%であったことを示している。
以上の説明から明らかなように、本実施形態におけるサーバ装置は、
・輝度画像と偏光画像とを取得するとともに、輝度画像と偏光画像とを連結した画像を低次元に圧縮することで、当該画像の画像構造情報を抽出する構成とした。
・取得した輝度画像の平均輝度画素値及び偏光画像の平均偏光画素値と、抽出した画像構造情報とを用いて、路面状態を判別する構成とした。
上記第1の実施形態では、連結データとして、画像構造情報、平均偏光画素値、平均輝度画素値を含むものとして説明した。しかしながら、連結データに含まれるデータはこれに限定されない。
上記第1及び第2の実施形態では、計測装置110に搭載する偏光カメラ205が、領域分割偏光フィルタを有する偏光カメラであるとして説明した。しかしながら、計測装置110に搭載する偏光カメラ205は、領域分割偏光フィルタを有する偏光カメラに限定されず、例えば、撮像素子の前面に偏光子を配し、偏光子を回転させながら、偏光角が異なる複数枚の画像を取得する偏光カメラであってもよい。
110 :計測装置
111 :車両
120 :サーバ装置
121 :第1生成部
122 :第2生成部
123 :路面状態判別部
130 :端末
201 :GPS装置
202 :通信装置
203 :制御装置
204 :照明装置
205 :偏光カメラ
600 :学習画像情報
700 :計測情報リスト
801 :学習画像情報入力部
802 :画像連結部
803 :圧縮器生成部
804 :比較部
1101 :学習画像情報入力部
1102 :画像連結部
1103 :画像構造情報抽出部
1104 :平均偏光画素値算出部
1105 :輝度画像補正部
1106 :平均輝度画素値算出部
1107 :データ連結部
1108 :判別器生成部
1109 :比較部
1301 :計測情報取得部
1302 :画像連結部
1303 :画像構造情報抽出部
1304 :平均偏光画素値算出部
1305 :輝度画像補正部
1306 :平均輝度画素値算出部
1307 :データ連結部
1308 :判別部
1309 :出力部
1700 :路面状態情報
1901 :計測情報取得部
1902 :データ連結部
1903 :判別部
Claims (7)
- 路面を撮影することで得られる輝度画像と偏光画像とを取得する取得手段と、
前記輝度画像と前記偏光画像とを連結した画像を入力データとし、該入力データと等しい出力データが出力されるよう機械学習されたオートエンコーダの、少なくとも入力層と中間層とを含む圧縮器に、新たに取得された輝度画像と偏光画像とを連結した画像を入力することで、該中間層より画像構造を示す情報を抽出する抽出手段と、
前記輝度画像の画素値の統計値及び前記偏光画像の画素値の統計値と、前記輝度画像と前記偏光画像とを連結した画像を前記圧縮器に入力することで抽出された画像構造を示す情報とを入力データとし、路面の状態が機械学習されたニューラルネットワークを含む判別器に、前記新たに取得された輝度画像の画素値の統計値及び前記新たに取得された偏光画像の画素値の統計値と、前記抽出手段により抽出された画像構造を示す情報とを入力することで、路面の状態を判別する判別手段と
を有することを特徴とするサーバ装置。 - 前記路面を撮影した位置を示す位置情報と、前記判別手段が判別した判別結果とを対応付けて出力する出力手段を更に有することを特徴とする請求項1に記載のサーバ装置。
- 前記判別手段は、前記新たに取得された輝度画像の平均画素値と、前記新たに取得された偏光画像の平均画素値と、前記抽出手段により抽出された画像構造を示す情報とを用いて、前記路面の状態を判別することを特徴とする請求項1、2のいずれか1項に記載のサーバ装置。
- 路面を撮影することで得られる輝度画像と偏光画像とを取得する取得工程と、
前記輝度画像と前記偏光画像とを連結した画像を入力データとし、該入力データと等しい出力データが出力されるよう機械学習されたオートエンコーダの、少なくとも入力層と中間層とを含む圧縮器に、新たに取得された輝度画像と偏光画像とを連結した画像を入力することで、該中間層より画像構造を示す情報を抽出する抽出工程と、
前記輝度画像の画素値の統計値及び前記偏光画像の画素値の統計値と、前記輝度画像と前記偏光画像とを連結した画像を前記圧縮器に入力することで抽出された画像構造を示す情報とを入力データとし、路面の状態が機械学習されたニューラルネットワークを含む判別器に、前記新たに取得された輝度画像の画素値の統計値及び前記新たに取得された偏光画像の画素値の統計値と、前記抽出工程において抽出された画像構造を示す情報とを入力することで、路面の状態を判別する判別工程と
をコンピュータに実行させるための判別プログラム。 - 路面を撮影する偏光カメラと、
前記偏光カメラによる撮影に基づき、輝度画像と偏光画像とを生成する制御装置と、を有する判別システムであって、
前記制御装置は、
前記輝度画像と前記偏光画像とを連結した画像を入力データとし、該入力データと等しい出力データが出力されるよう機械学習されたオートエンコーダの、少なくとも入力層と中間層とを含む圧縮器に、新たに取得された輝度画像と偏光画像とを連結した画像を入力することで、該中間層より画像構造を示す情報を抽出する抽出手段と、
前記輝度画像の画素値の統計値及び前記偏光画像の画素値の統計値と、前記輝度画像と前記偏光画像とを連結した画像を前記圧縮器に入力することで抽出された画像構造を示す情報とを入力データとし、路面の状態が機械学習されたニューラルネットワークを含む判別器に、前記新たに取得された輝度画像の画素値の統計値及び前記新たに取得された偏光画像の画素値の統計値と、前記抽出手段により抽出された画像構造を示す情報とを入力することで、路面の状態を判別する判別手段と
を有することを特徴とする判別システム。 - 前記判別システムは、前記制御装置と接続されるサーバ装置を更に有し、
前記サーバ装置は、
前記輝度画像と前記偏光画像とを連結した画像を、入力データとして前記オートエンコーダに入力した場合の出力データが、該入力データと等しくなるように前記オートエンコーダのパラメータを決定することで、前記抽出手段を生成する生成手段を有することを特徴とする請求項5に記載の判別システム。 - 前記判別手段は、前記新たに取得された輝度画像の平均画素値と、前記新たに取得された偏光画像の平均画素値と、前記抽出手段により抽出された画像構造を示す情報とを用いて、前記路面の状態を判別することを特徴とする請求項5または6に記載の判別システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017019293A JP7013651B2 (ja) | 2017-02-06 | 2017-02-06 | サーバ装置、判別プログラム及び判別システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017019293A JP7013651B2 (ja) | 2017-02-06 | 2017-02-06 | サーバ装置、判別プログラム及び判別システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018128265A JP2018128265A (ja) | 2018-08-16 |
JP7013651B2 true JP7013651B2 (ja) | 2022-02-01 |
Family
ID=63172432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017019293A Active JP7013651B2 (ja) | 2017-02-06 | 2017-02-06 | サーバ装置、判別プログラム及び判別システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7013651B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3852375A4 (en) * | 2018-09-12 | 2021-10-27 | Sony Group Corporation | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM |
JP7277699B2 (ja) * | 2018-12-05 | 2023-05-19 | 日本電信電話株式会社 | 画像処理装置、学習装置、画像処理方法、学習方法、及びプログラム |
JP7249589B2 (ja) * | 2019-03-20 | 2023-03-31 | 株式会社前田製作所 | 凍結防止剤の散布制御方法および定置式凍結防止剤散布装置 |
CN111753595A (zh) * | 2019-03-29 | 2020-10-09 | 北京市商汤科技开发有限公司 | 活体检测方法和装置、设备和存储介质 |
KR20230116068A (ko) * | 2019-11-30 | 2023-08-03 | 보스턴 폴라리메트릭스, 인크. | 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법 |
DE102020203293B4 (de) * | 2020-03-13 | 2022-09-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein | Eine Vorrichtung zum Erkennen von Wasser auf einer Oberfläche und ein Verfahren zum Erkennen von Wasser auf einer Oberfläche |
JP2022181641A (ja) * | 2021-05-26 | 2022-12-08 | 株式会社ブリヂストン | 路面状態判定装置、路面状態判定システム、車両、路面状態判定方法、及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080129541A1 (en) | 2006-12-01 | 2008-06-05 | Magna Electronics | Black ice detection and warning system |
US20130050570A1 (en) | 2011-08-30 | 2013-02-28 | Tomoko Ishigaki | Imaging apparatus, and image analyzer and moving apparatus using the imaging apparatus |
JP2013148504A (ja) | 2012-01-20 | 2013-08-01 | Ricoh Co Ltd | 画像処理システム及びそれを備えた車両 |
JP2015144421A (ja) | 2013-12-24 | 2015-08-06 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置 |
JP2017016414A (ja) | 2015-07-01 | 2017-01-19 | 株式会社リコー | 学習方法、プログラム及び学習装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11211659A (ja) * | 1998-01-23 | 1999-08-06 | Nagoya Denki Kogyo Kk | 路面状態判別方法およびその装置 |
-
2017
- 2017-02-06 JP JP2017019293A patent/JP7013651B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080129541A1 (en) | 2006-12-01 | 2008-06-05 | Magna Electronics | Black ice detection and warning system |
US20130050570A1 (en) | 2011-08-30 | 2013-02-28 | Tomoko Ishigaki | Imaging apparatus, and image analyzer and moving apparatus using the imaging apparatus |
JP2013066166A (ja) | 2011-08-30 | 2013-04-11 | Ricoh Co Ltd | 撮像装置、並びに、これを用いる画像解析装置及び移動装置 |
JP2013148504A (ja) | 2012-01-20 | 2013-08-01 | Ricoh Co Ltd | 画像処理システム及びそれを備えた車両 |
JP2015144421A (ja) | 2013-12-24 | 2015-08-06 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置 |
JP2017016414A (ja) | 2015-07-01 | 2017-01-19 | 株式会社リコー | 学習方法、プログラム及び学習装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2018128265A (ja) | 2018-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7013651B2 (ja) | サーバ装置、判別プログラム及び判別システム | |
CN110136199B (zh) | 一种基于摄像头的车辆定位、建图的方法和装置 | |
CN107087107B (zh) | 基于双摄像头的图像处理装置及方法 | |
WO2020042349A1 (zh) | 一种应用于车辆定位的定位初始化方法及车载终端 | |
US20070104354A1 (en) | Remote sensing system capable of coregistering data from sensors potentially having unique perspectives | |
JP4181800B2 (ja) | ステレオ画像を用いた地形計測システム及び記憶媒体並びにプログラム | |
US8548248B2 (en) | Correlated land change system and method | |
WO2020199205A1 (zh) | 一种混合型高光谱图像重构的方法及*** | |
US20220405883A1 (en) | System and method for super-resolution image processing in remote sensing | |
BR102012020775B1 (pt) | aparelho de captura de imagem, aparelho de processamento de imagem e método para processamento de imagem para geração de informação auxiliar para a imagem capturada | |
KR20200110120A (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
CN113808098A (zh) | 道路病害识别方法、装置、电子设备及可读存储介质 | |
CN114973028B (zh) | 一种航拍视频图像实时变化检测方法及*** | |
CN113408454B (zh) | 一种交通目标检测方法、装置、电子设备及检测*** | |
CN111275627A (zh) | 一种基于雪模型和深度学习融合的图像去雪算法 | |
WO2019026619A1 (ja) | 画像処理装置、画像処理方法、並びにプログラム | |
CN114280582A (zh) | 激光雷达的标定校准方法、装置、存储介质及电子设备 | |
CN110910432A (zh) | 一种遥感图像匹配方法、装置、电子设备及可读存储介质 | |
CN111316135B (zh) | 根据正在发生大气降水的环境的数字图像实时计算大气降水速率的*** | |
CN112154484A (zh) | 正射影像生成方法、***和存储介质 | |
Duthon et al. | Benchmark for the robustness of image features in rainy conditions | |
CN115240168A (zh) | 感知结果获取方法、装置、计算机设备、存储介质 | |
JP2022057784A (ja) | 撮像装置、撮像システムおよび撮像方法 | |
CN111292382A (zh) | 车载图像采集设备标定的方法和装置、电子设备、介质 | |
CN117237512B (zh) | 一种视频图像的三维场景映射方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220103 |