JP7419095B2 - 画像センサ、計算装置、および画像センサシステム - Google Patents
画像センサ、計算装置、および画像センサシステム Download PDFInfo
- Publication number
- JP7419095B2 JP7419095B2 JP2020024263A JP2020024263A JP7419095B2 JP 7419095 B2 JP7419095 B2 JP 7419095B2 JP 2020024263 A JP2020024263 A JP 2020024263A JP 2020024263 A JP2020024263 A JP 2020024263A JP 7419095 B2 JP7419095 B2 JP 7419095B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- image sensor
- unit
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 17
- 230000002159 abnormal effect Effects 0.000 claims description 16
- 230000007613 environmental effect Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000004148 unit process Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 27
- 238000004891 communication Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 11
- 238000007726 management method Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000004378 air conditioning Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
図1は、実施形態に係る画像センサを備える画像センサシステムの一例を示す模式図である。図1において、照明設備1、照明コントローラ4、および画像センサ3(3-1~3-n)は、ビル400の例えばフロアごとに設けられ、ゲートウェイ装置7と通信可能に接続される。各階のゲートウェイ装置7は、ビル内ネットワーク8を介して、例えばビル管理センタのBEMS(Building Energy Management System)サーバ5と通信可能に接続される。
変換部33bは、辞書データ32dに応じて画像データ32bを変換して、変換データ32cを作成する。また、変換部33bは、辞書データ32dに応じて特徴量32fを変換して、変換データ32cを作成する。作成された変換データは、メモリ32に記憶される(変換データ32c)。
(通常状態の人物センシングデータ)としては、在/不在、推定人数、歩行滞留、人物認識、動きベクトルなどがある。
(環境情報)としては、推定照度、活動量、混雑度などがある。
(異常状態の人物センシングデータ)としては、倒れている人、高齢者、車椅子に乗っている人などがある。
次に、上記構成における作用を説明する。
図8は、画像センサ3で取得された画像データの一例を示す図である。この画像データは、例えば床に倒れている人(枠で囲った部分)を含んでいるとする。この学習画像を、画像処理部33aの識別機への学習データとして用いることについて、以下に詳しく説明する。
図9に示されるように、例えば、画像センサ3で取得された画像データの視野をパノラマ化することにより、画像の向きを揃えることができる。
図11に示されるように、画像センサ3で取得された画像データを縮小することによっても、画像処理に適したデータを得ることができる。
図12に示されるように、画像センサ3で取得された画像データを拡大することによっても、画像処理に適したデータを得ることができる。この種の拡大縮小処理は、ピラミッド画像とも称して知られる。
図13に示されるように、画像センサ3の視野の歪みを補正することによっても、画像処理に適したデータを得ることができる。
図14は、特徴量に対して変換処理を施す一例を示す図である。例えば、特徴量の一つであるCoHOGに対して回転処理を施すことは、傾き方向のビンを順次入れ替えることと同様である。
図15に示されるように、画像データ内で向きの異なる学習画像ごとに、それぞれ個別に学習データとして採用することができる。すなわち辞書データは、異なる条件ごとに予め学習により作成されることができる。画像処理部33aは、異なる条件ごとの辞書データ32dを用いて変換データ32c(画像データ32b)を処理して、センシングデータ32eを生成する。
図17に示されるように、人物の姿勢、あるいは向きごとに学習データを作成することもできる。(a)仰向け、(b)うつ伏せ、(c)右向き、(d)左向き、(e)自由な姿勢、といった複数のカテゴリにわたって、複数の姿勢の画像データを学習データとして用いて辞書データを作成することができる。
図20に示されるように、一つの学習画像を異なる角度に回転させ(アフィン変換)、いわばデータを水増しすることができる。学習データの量が多いほど、学習により生成される辞書データの信頼度を高め、正確なセンシングを行えるようになる。
図21に示されるように、中央の教示位置の学習画像を少しずつずらすことにより、周辺位置(1)~(8)の学習画像を生成することもできる。なお、ぼかしやノイズ負荷などの画像処理をした画像により、学習データ水増ししてもよい。さらには、実際の画像でなく、CG(Computer Graphics)技術を用いた画像データにより学習画像を水増しすることもできる。
以上説明したようにこの実施形態では、画像センサ3-1~3-nにおいて、取得された画像データを自らの辞書データ32dに適した形態に変換し、変換データを画像処理してセンシングデータを得るようにした。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]
エリアを撮像して画像データを取得する撮像部と、
検知対象について予め作成された辞書データを記憶する記憶部と、
前記取得された画像データ、または、当該画像データから抽出された特徴量を前記辞書データに応じて変換して変換データを作成する変換部と、
前記辞書データを用いて前記変換データを処理して、前記エリアにおけるセンシングデータを生成する画像処理部とを具備する、画像センサ。
[2]
前記撮像部は、
前記エリアを見下し画角で視野内に捉える魚眼レンズと、
前記魚眼レンズから結像された像を撮像して前記画像データを生成するイメージセンサとを備える、[1]に記載の画像センサ。
[3]
前記記憶部は、異なる条件ごとに予め作成された複数の辞書データを記憶し、
前記変換部は、前記取得された画像データを前記複数の辞書データごとに応じて変換して変換データを作成し、
前記画像処理部は、前記異なる条件ごとの辞書データを用いて前記変換データを処理して前記センシングデータを生成する、[1]に記載の画像センサ。
[4]
前記変換部は、前記取得された画像データを変換して、当該取得された画像データよりも多数の変換データを作成する、[1]に記載の画像センサ。
[5]
さらに、前記変換データに基づく学習により前記辞書データを作成する作成部を具備する、[1]に記載の画像センサ。
[6]
前記センシングデータは、
前記エリアにおける異常状態の人物のセンシングデータを含む、[1]に記載の画像センサ。
[7]
前記センシングデータは、
さらに、前記エリアにおける通常状態の人物のセンシングデータ、および当該エリアの環境情報の少なくともいずれか1つを含む、[6]に記載の画像センサ。
[8]
前記異常状態の人物のセンシングデータと、前記エリアにおける通常状態の人物のセンシングデータ、および当該エリアの環境情報の少なくともいずれか1つとを統合的に判定した結果に基づいて、当該異常状態の人物のセンシングデータを生成する統合処理部をさらに具備する、[7]に記載の画像センサ。
[9]
エリアを撮像して画像データを取得する画像センサから前記画像データを取得する取得部と、
前記取得された画像データ、または、当該画像データから抽出された特徴量を前記画像センサで用いられる辞書データに応じて変換して、変換データを作成する変換部と、
前記変換データに基づいて、前記画像センサで用いられる辞書データを作成する作成部と、
前記作成された辞書データを前記画像センサに送信する送信部とを備える、計算装置。
[10]
対象をセンシングする複数の画像センサと、
前記画像センサと通信可能な計算装置とを具備し、
前記画像センサは、
エリアを撮像して画像データを取得する撮像部と、
検知対象について予め作成された辞書データを記憶する記憶部と、
前記取得された画像データ、または、当該画像データから抽出された特徴量を前記辞書データに応じて変換して変換データを作成する変換部と、
前記辞書データを用いて前記変換データを処理して、前記エリアにおけるセンシングデータを生成する画像処理部とを備え、
前記計算装置は、
前記画像センサから前記画像データを取得する取得部と、
前記画像データに基づいて、前記画像センサで用いられる辞書データを作成する作成部と、
前記作成された辞書データを前記画像センサに送信する送信部とを備える、画像センサシステム。
[11]
前記撮像部は、
前記エリアを見下し画角で視野内に捉える魚眼レンズと、
前記魚眼レンズから結像された像を撮像して前記画像データを生成するイメージセンサとを備える、[10]に記載の画像センサシステム。
[12]
前記記憶部は、異なる条件ごとに予め作成された複数の辞書データを記憶し、
前記変換部は、前記取得された画像データを前記複数の辞書データごとに応じて変換して変換データを作成し、
前記画像処理部は、前記異なる条件ごとの辞書データを用いて前記変換データを処理して前記センシングデータを生成する、[10]に記載の画像センサシステム。
[13]
前記変換部は、前記取得された画像データを変換して、当該取得された画像データよりも多数の変換データを作成する、[10]に記載の画像センサシステム。
[14]
前記作成部は、前記変換データに基づく学習により、前記画像センサで用いられる辞書データを作成する、[10]に記載の画像センサシステム。
Claims (12)
- エリアを撮像して画像データを取得する撮像部と、
前記取得された画像データのCoHOG特徴量に対して回転処理を施して正規化して変換データを作成する変換部と、
前記変換データに基づく機械学習により辞書データを作成する作成部と、
前記辞書データを用いて前記変換データを処理して、前記エリアにおけるセンシングデータを生成する画像処理部とを具備する、画像センサ。 - 前記撮像部は、
前記エリアを見下し画角で視野内に捉える魚眼レンズと、
前記魚眼レンズから結像された像を撮像して前記画像データを生成するイメージセンサとを備える、請求項1に記載の画像センサ。 - 画像データ内で向きが異なるという条件ごとに、または、画像データ内でサイズが異なるという条件ごとに予め作成された複数の辞書データを記憶する記憶部をさらに具備し、 前記変換部は、前記取得された画像データを前記複数の辞書データごとに応じて変換して変換データを作成し、
前記画像処理部は、前記異なる条件ごとの辞書データを用いて前記変換データを処理して前記センシングデータを生成する、請求項1に記載の画像センサ。 - 前記変換部は、前記取得された画像データを変換して、当該取得された画像データよりも多数の変換データを作成する、請求項1に記載の画像センサ。
- 前記センシングデータは、
前記エリアにおける異常状態の人物のセンシングデータを含む、請求項1に記載の画像センサ。 - 前記センシングデータは、
さらに、前記エリアにおける通常状態の人物のセンシングデータ、および当該エリアの環境情報の少なくともいずれか1つを含む、請求項5に記載の画像センサ。 - 前記異常状態の人物のセンシングデータと、前記エリアにおける通常状態の人物のセンシングデータ、および当該エリアの環境情報の少なくともいずれか1つとを統合的に判定した結果に基づいて、当該異常状態の人物のセンシングデータを生成する統合処理部をさらに具備する、請求項6に記載の画像センサ。
- エリアを撮像して画像データを取得する画像センサから前記画像データを取得する取得部と、
前記取得された画像データのCoHOG特徴量に対して回転処理を施して正規化して変換データを作成する変換部と、
前記変換データに基づく機械学習により辞書データを作成する作成部と、
前記作成された辞書データを前記画像センサに送信する送信部とを備える、計算装置。 - 対象をセンシングする複数の画像センサと、
前記画像センサと通信可能な計算装置とを具備し、
前記画像センサは、
エリアを撮像して画像データを取得する撮像部と、
前記取得された画像データのCoHOG特徴量に対して回転処理を施して正規化して変換データを作成する変換部と、
検知対象について予め作成された辞書データを記憶する記憶部と、
前記辞書データを用いて前記変換データを処理して、前記エリアにおけるセンシングデータを生成する画像処理部とを備え、
前記計算装置は、
前記画像センサから前記変換データを取得する取得部と、
前記変換データに基づく機械学習により辞書データを作成する作成部と、
前記作成された辞書データを前記画像センサに送信する送信部とを備える、画像センサシステム。 - 前記撮像部は、
前記エリアを見下し画角で視野内に捉える魚眼レンズと、
前記魚眼レンズから結像された像を撮像して前記画像データを生成するイメージセンサとを備える、請求項9に記載の画像センサシステム。 - 前記記憶部は、画像データ内で向きが異なるという条件ごとに、または、画像データ内でサイズが異なるという条件ごとに予め作成された複数の辞書データを記憶し、
前記変換部は、前記取得された画像データを前記複数の辞書データごとに応じて変換して変換データを作成し、
前記画像処理部は、前記異なる条件ごとの辞書データを用いて前記変換データを処理して前記センシングデータを生成する、請求項9に記載の画像センサシステム。 - 前記変換部は、前記取得された画像データを変換して、当該取得された画像データよりも多数の変換データを作成する、請求項9に記載の画像センサシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020024263A JP7419095B2 (ja) | 2020-02-17 | 2020-02-17 | 画像センサ、計算装置、および画像センサシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020024263A JP7419095B2 (ja) | 2020-02-17 | 2020-02-17 | 画像センサ、計算装置、および画像センサシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021128678A JP2021128678A (ja) | 2021-09-02 |
JP7419095B2 true JP7419095B2 (ja) | 2024-01-22 |
Family
ID=77488759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020024263A Active JP7419095B2 (ja) | 2020-02-17 | 2020-02-17 | 画像センサ、計算装置、および画像センサシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7419095B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023135726A1 (ja) * | 2022-01-14 | 2023-07-20 | 日本電気株式会社 | 情報処理装置、情報処理方法、及びコンピュータ可読媒体 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000322574A (ja) | 1999-05-10 | 2000-11-24 | Omron Corp | 画像認識装置 |
JP2008142876A (ja) | 2006-12-13 | 2008-06-26 | Mitsubishi Heavy Ind Ltd | ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステム |
JP2008165496A (ja) | 2006-12-28 | 2008-07-17 | Toyota Central R&D Labs Inc | 画像正規化装置、対象物検出装置、対象物検出システム及びプログラム |
JP2012083938A (ja) | 2010-10-12 | 2012-04-26 | Sony Corp | 学習装置、学習方法、識別装置、識別方法、およびプログラム |
JP2015184908A (ja) | 2014-03-24 | 2015-10-22 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 画像処理装置および画像処理プログラム |
JP2018182624A (ja) | 2017-04-18 | 2018-11-15 | キヤノン株式会社 | 画像処理装置、制御方法、およびプログラム |
JP2019087787A (ja) | 2017-11-01 | 2019-06-06 | 株式会社東芝 | 画像センサ、センシング方法、制御システム及びプログラム |
JP2019121045A (ja) | 2017-12-28 | 2019-07-22 | コニカミノルタ株式会社 | 姿勢推定システム、行動推定システム、および姿勢推定プログラム |
JP2020010204A (ja) | 2018-07-09 | 2020-01-16 | 株式会社東芝 | センシングシステム、保守端末装置、データ配布方法、および画像センサ |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3665430B2 (ja) * | 1996-09-12 | 2005-06-29 | 東京電力株式会社 | 画像特徴量判定装置及び画像特徴量判定方法 |
-
2020
- 2020-02-17 JP JP2020024263A patent/JP7419095B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000322574A (ja) | 1999-05-10 | 2000-11-24 | Omron Corp | 画像認識装置 |
JP2008142876A (ja) | 2006-12-13 | 2008-06-26 | Mitsubishi Heavy Ind Ltd | ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステム |
JP2008165496A (ja) | 2006-12-28 | 2008-07-17 | Toyota Central R&D Labs Inc | 画像正規化装置、対象物検出装置、対象物検出システム及びプログラム |
JP2012083938A (ja) | 2010-10-12 | 2012-04-26 | Sony Corp | 学習装置、学習方法、識別装置、識別方法、およびプログラム |
JP2015184908A (ja) | 2014-03-24 | 2015-10-22 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 画像処理装置および画像処理プログラム |
JP2018182624A (ja) | 2017-04-18 | 2018-11-15 | キヤノン株式会社 | 画像処理装置、制御方法、およびプログラム |
JP2019087787A (ja) | 2017-11-01 | 2019-06-06 | 株式会社東芝 | 画像センサ、センシング方法、制御システム及びプログラム |
JP2019121045A (ja) | 2017-12-28 | 2019-07-22 | コニカミノルタ株式会社 | 姿勢推定システム、行動推定システム、および姿勢推定プログラム |
JP2020010204A (ja) | 2018-07-09 | 2020-01-16 | 株式会社東芝 | センシングシステム、保守端末装置、データ配布方法、および画像センサ |
Also Published As
Publication number | Publication date |
---|---|
JP2021128678A (ja) | 2021-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7463582B2 (ja) | センシングシステム、保守端末装置、データ配布方法、および画像センサ | |
US9295141B2 (en) | Identification device, method and computer program product | |
JP7419095B2 (ja) | 画像センサ、計算装置、および画像センサシステム | |
WO2019087742A1 (ja) | 画像センサ、センシング方法、制御システム及びプログラム | |
US20170276549A1 (en) | System and method for monitoring abnormal behavior | |
JP2015103104A (ja) | 情報処理装置、情報処理方法、情報処理システム | |
JP2006059015A (ja) | 人体検出装置及び人体検出方法、並びにコンピュータ・プログラム | |
US11256910B2 (en) | Method and system for locating an occupant | |
JP7002912B2 (ja) | 画像センサ、人物検知方法、プログラムおよび制御システム | |
JP7237713B2 (ja) | センサシステム、画像センサ、およびセンシング方法 | |
JP2022117761A (ja) | センサシステム、画像センサ、サーバ装置、センシング方法、およびプログラム | |
JP7286747B2 (ja) | 画像センサ、動体検知方法、プログラムおよび制御システム | |
US20210289119A1 (en) | Information processing apparatus, imaging apparatus, method, and storage medium | |
JP7254570B2 (ja) | 画像センサシステム、計算装置、センシング方法、およびプログラム | |
JP2022020297A (ja) | 画像センサ、センシング方法、およびプログラム | |
JP7353964B2 (ja) | 誘導システム、サーバ、プログラムおよびサービス提供方法 | |
JP6991922B2 (ja) | 画像センサ、識別方法、制御システムおよびプログラム | |
JP2019143861A (ja) | 換気制御システム、換気制御装置、換気制御方法、およびプログラム | |
JP2019129505A (ja) | 画像センサ、センシングシステム、センシング方法およびプログラム | |
JP6524201B2 (ja) | ビル設備制御システム及び画像センサ装置 | |
JP2020048055A (ja) | 画像センサ、センシング方法、制御システム及びプログラム | |
JP7145693B2 (ja) | 座席状態センシングシステム、座席状態判定方法、および画像センサ | |
JP7465644B2 (ja) | 監視システム、及び監視方法 | |
US20180268554A1 (en) | Method and system for locating an occupant | |
JP2022141274A (ja) | 画像センサ、センシング方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220720 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20230105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7419095 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |