JP7494130B2 - 情報処理システム、情報処理方法およびプログラム - Google Patents
情報処理システム、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP7494130B2 JP7494130B2 JP2021006183A JP2021006183A JP7494130B2 JP 7494130 B2 JP7494130 B2 JP 7494130B2 JP 2021006183 A JP2021006183 A JP 2021006183A JP 2021006183 A JP2021006183 A JP 2021006183A JP 7494130 B2 JP7494130 B2 JP 7494130B2
- Authority
- JP
- Japan
- Prior art keywords
- moving
- information
- image data
- movement
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 58
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000001514 detection method Methods 0.000 claims description 69
- 238000000034 method Methods 0.000 claims description 64
- 230000008569 process Effects 0.000 claims description 49
- 238000004364 calculation method Methods 0.000 claims description 45
- 238000003384 imaging method Methods 0.000 claims description 21
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Description
第1の実施形態にかかる情報処理システムは、画像データから検出された物体(人物など)の周囲の移動領域を用いて、物体と連動して動作する他の物体(以下、動体という)の存否を判定する。これにより、例えば形状等が異なり得る動体であっても、より高精度に検出することが可能となる。また、移動領域を用いることで誤った関連付けも抑制することができる。
・ニューラルネットワークを用いた学習ベースの物体検出手法
・HOG(Histograms of Oriented Gradients)特徴などの特徴量を用いた物体検出手法
・物体情報が示す物体のサイズが大きいほど判定領域のサイズを大きくする。
・物体情報が示す物体の位置を基準として、その位置の周囲に判定領域を設定する。
・物体情報が示す物体の位置、および、追従結果などが示す物体の移動方向に基づいて物体に対する判定領域の位置を決定する。
(S1)判定領域内の移動領域情報が示す移動領域の面積
(S2)判定領域内の移動領域情報が示す移動方向と、物体情報(追従結果)が示す特定の物体の移動方向との差
(S3)判定領域内の移動領域情報が示す移動量と、物体情報(追従結果)が示す特定の物体の移動量との差
(S4)複数の指標(例えば(S1)の面積、および、(S2)の差の逆数など)を組み合わせた値
(P1)検出処理を定めるパラメータ
・物体を検出するための閾値(信頼度と比較する閾値など)
・適用する物体検出手法
・追従処理の適用有無
(P2)算出処理を定めるパラメータ
・適用する手法(背景差分を用いるか、オプティカルフローを用いるか、など)
(P3)判定処理を定めるパラメータ
・判定領域の設定方法
・スコアと比較する閾値
・適用する手法(スコアと閾値とを比較する手法か、学習器を用いる手法か、など)
第1の実施形態では、例えば物体が人物であることは検出できるが、人物を個別に識別すること(個人を識別すること)はできない場合がある。同様に、第1の実施形態では、例えば物体が運搬装置であることは検出できるが、運搬装置の個体(機種など)を識別することはできない場合がある。第2の実施形態にかかる情報処理システムは、検出された特定の物体を、さらに個別に識別し、識別結果も用いて動体の存否を判定する。
第1および第2の実施形態の情報処理装置は、例えば、論理的または物理的に1つの装置により実現される情報処理システムの一例と解釈することができる。情報処理システムの各機能は、論理的または物理的に異なる複数の装置により実現されてもよい。
101 受付部
102 出力制御部
103 設定部
110 物体検出部
111 追従部
120 領域算出部
130、130-2 判定部
131、131-2 領域設定部
140-2 識別部
151 撮像部
152 表示部
153 記憶部
100-3 サーバ装置
104-3 通信制御部
200-3 クライアント装置
201-3 通信制御部
300-3 撮像装置
301-3 通信制御部
400-3 ネットワーク
Claims (18)
- 撮像時刻が異なる複数の画像データを受け付ける受付部と、
前記画像データ内に撮像された特定の物体を検出し、検出結果を示す物体情報を出力する物体検出部と、
複数の前記画像データを用いて、前記画像データに含まれる1つ以上の画素の移動の状況を示す移動領域を算出し、算出結果を示す移動領域情報を出力する領域算出部と、
前記物体情報および前記移動領域情報を用いて、前記特定の物体と連動して移動する移動体の存否を判定する判定部と、を備え、
前記移動領域情報は、前記移動領域の移動方向および移動量のうち1つ以上を示す、
情報処理システム。 - 前記物体情報に応じて、移動体の存否を判定するための判定領域を設定する領域設定部をさらに備え、
前記判定部は、前記移動領域情報が示す前記移動領域のうち、前記判定領域に含まれる前記移動領域を用いて、前記特定の物体と連動して移動する移動体の存否を判定する、
請求項1に記載の情報処理システム。 - 前記判定部は、前記特定の物体の移動方向と前記移動領域の移動方向との間の差、および、前記特定の物体の移動量と前記移動領域の移動量との間の差、の少なくとも一方に基づくスコアと、閾値と、の比較結果に基づいて、前記特定の物体と連動して移動する移動体の存否を判定する、
請求項2に記載の情報処理システム。 - 前記判定部は、前記移動領域の面積に基づくスコアと、閾値と、の比較結果に基づいて、前記特定の物体と連動して移動する移動体の存否を判定する、
請求項2に記載の情報処理システム。 - 前記判定部は、前記移動領域情報が示す前記移動領域のうち、前記特定の物体が存在する領域を除く前記判定領域に含まれる前記移動領域を用いて、前記特定の物体と連動して移動する移動体の存否を判定する、
請求項2に記載の情報処理システム。 - 前記特定の物体の個体を一意に識別し、識別結果を出力する識別部をさらに備え、
前記判定部は、前記物体情報、前記移動領域情報および前記識別結果を用いて、前記特定の物体と連動して移動する移動体の存否を判定する、
請求項1に記載の情報処理システム。 - 前記領域算出部は、背景差分、または、オプティカルフローを用いて前記移動領域を算出する、
請求項1に記載の情報処理システム。 - 前記特定の物体は、貨物の運搬装置および人物の少なくとも一方であり、
前記判定部は、前記物体情報および前記移動領域情報を用いて、前記特定の物体と連動して移動する貨物である前記移動体の存否を判定する、
請求項1に記載の情報処理システム。 - 前記特定の物体は、人物であり、
前記判定部は、前記物体情報および前記移動領域情報を用いて、前記人物が搭乗して移動する前記移動体の存否を判定する、
請求項1に記載の情報処理システム。 - 複数の前記画像データに対して検出された複数の前記特定の物体を対応づける追従処理を行う追従部をさらに備え、
前記判定部は、前記追従処理の処理結果を含む前記物体情報、および、前記移動領域情報を用いて、前記特定の物体と連動して移動する移動体の存否を判定する、
請求項1に記載の情報処理システム。 - 前記判定部による判定結果を、表示装置および記憶装置の少なくとも一方に出力する処理を制御する出力制御部をさらに備える、
請求項1に記載の情報処理システム。 - 前記物体検出部による検出処理を定めるパラメータ、前記領域算出部による算出処理を定めるパラメータ、および、前記判定部による判定処理を定めるパラメータ、の少なくとも一部を設定する設定部をさらに備える、
請求項1に記載の情報処理システム。 - 撮像時刻が異なる複数の画像データを受け付ける受付部と、
前記画像データ内に撮像された特定の物体を検出し、検出結果を示す物体情報を出力する物体検出部と、
複数の前記画像データを用いて、前記画像データに含まれる1つ以上の画素の移動の状況を示す移動領域を算出し、算出結果を示す移動領域情報を出力する領域算出部と、
前記物体情報および前記移動領域情報を用いて、前記特定の物体と連動して移動する移動体の存否を判定する判定部と、を備え、
前記判定部は、前記特定の物体の移動方向と前記移動領域の移動方向との間の差、および、前記特定の物体の移動量と前記移動領域の移動量との間の差、の少なくとも一方に基づくスコアと、閾値と、の比較結果に基づいて、前記特定の物体と連動して移動する移動体の存否を判定する、
を備える情報処理システム。 - 撮像時刻が異なる複数の画像データを受け付ける受付部と、
前記画像データ内に撮像された特定の物体を検出し、検出結果を示す物体情報を出力する物体検出部と、
複数の前記画像データを用いて、前記画像データに含まれる1つ以上の画素の移動の状況を示す移動領域を算出し、算出結果を示す移動領域情報を出力する領域算出部と、
前記物体情報および前記移動領域情報を用いて、前記特定の物体と連動して移動する移動体の存否を判定する判定部と、を備え、
前記特定の物体は、貨物の運搬装置および人物の少なくとも一方であり、
前記判定部は、前記物体情報および前記移動領域情報を用いて、前記特定の物体と連動して移動する貨物である前記移動体の存否を判定する、
情報処理システム。 - 撮像時刻が異なる複数の画像データを受け付ける受付部と、
前記画像データ内に撮像された特定の物体を検出し、検出結果を示す物体情報を出力する物体検出部と、
複数の前記画像データを用いて、前記画像データに含まれる1つ以上の画素の移動の状況を示す移動領域を算出し、算出結果を示す移動領域情報を出力する領域算出部と、
前記物体情報および前記移動領域情報を用いて、前記特定の物体と連動して移動する移動体の存否を判定する判定部と、を備え、
前記特定の物体は、人物であり、
前記判定部は、前記物体情報および前記移動領域情報を用いて、前記人物が搭乗して移動する前記移動体の存否を判定する、
情報処理システム。 - 撮像時刻が異なる複数の画像データを受け付ける受付部と、
前記画像データ内に撮像された特定の物体を検出し、検出結果を示す物体情報を出力する物体検出部と、
複数の前記画像データを用いて、前記画像データに含まれる1つ以上の画素の移動の状況を示す移動領域を算出し、算出結果を示す移動領域情報を出力する領域算出部と、
前記物体情報および前記移動領域情報を用いて、前記特定の物体と連動して移動する移動体の存否を判定する判定部と、
複数の前記画像データに対して検出された複数の前記特定の物体を対応づける追従処理を行う追従部と、を備え、
前記判定部は、前記追従処理の処理結果を含む前記物体情報、および、前記移動領域情報を用いて、前記特定の物体と連動して移動する移動体の存否を判定する、
情報処理システム。 - 情報処理システムが実行する情報処理方法であって、
撮像時刻が異なる複数の画像データを受け付ける受付ステップと、
前記画像データ内に撮像された特定の物体を検出し、検出結果を示す物体情報を出力する物体検出ステップと、
複数の前記画像データを用いて、前記画像データに含まれる1つ以上の画素の移動の状況を示す移動領域を算出し、算出結果を示す移動領域情報を出力する領域算出ステップと、
前記物体情報および前記移動領域情報を用いて、前記特定の物体と連動して移動する移動体の存否を判定する判定ステップと、を含み、
前記移動領域情報は、前記移動領域の移動方向および移動量のうち1つ以上を示す、
情報処理方法。 - コンピュータに、
撮像時刻が異なる複数の画像データを受け付ける受付ステップと、
前記画像データ内に撮像された特定の物体を検出し、検出結果を示す物体情報を出力する物体検出ステップと、
複数の前記画像データを用いて、前記画像データに含まれる1つ以上の画素の移動の状況を示す移動領域を算出し、算出結果を示す移動領域情報を出力する領域算出ステップと、
前記物体情報および前記移動領域情報を用いて、前記特定の物体と連動して移動する移動体の存否を判定する判定ステップと、を実行させ、
前記移動領域情報は、前記移動領域の移動方向および移動量のうち1つ以上を示す、
プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021006183A JP7494130B2 (ja) | 2021-01-19 | 2021-01-19 | 情報処理システム、情報処理方法およびプログラム |
US17/465,777 US20220230333A1 (en) | 2021-01-19 | 2021-09-02 | Information processing system, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021006183A JP7494130B2 (ja) | 2021-01-19 | 2021-01-19 | 情報処理システム、情報処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022110648A JP2022110648A (ja) | 2022-07-29 |
JP7494130B2 true JP7494130B2 (ja) | 2024-06-03 |
Family
ID=82405307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021006183A Active JP7494130B2 (ja) | 2021-01-19 | 2021-01-19 | 情報処理システム、情報処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220230333A1 (ja) |
JP (1) | JP7494130B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006071471A (ja) | 2004-09-02 | 2006-03-16 | Giken Torasutemu Kk | 移動体高さ判別装置 |
JP2013045351A (ja) | 2011-08-25 | 2013-03-04 | Canon Inc | 動作認識装置および動作認識方法 |
JP2016009448A (ja) | 2014-06-26 | 2016-01-18 | 富士通株式会社 | 判定装置、判定方法及び判定プログラム |
JP2016057998A (ja) | 2014-09-12 | 2016-04-21 | 株式会社日立国際電気 | 物体識別方法 |
JP6444573B2 (ja) | 2016-11-09 | 2018-12-26 | 三菱電機株式会社 | 作業認識装置および作業認識方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009129001A (ja) * | 2007-11-20 | 2009-06-11 | Sanyo Electric Co Ltd | 運転支援システム、車両、立体物領域推定方法 |
JP6044079B2 (ja) * | 2012-02-06 | 2016-12-14 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6171374B2 (ja) * | 2013-02-06 | 2017-08-02 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び情報処理システム |
US20140253702A1 (en) * | 2013-03-10 | 2014-09-11 | OrCam Technologies, Ltd. | Apparatus and method for executing system commands based on captured image data |
JP6655878B2 (ja) * | 2015-03-02 | 2020-03-04 | キヤノン株式会社 | 画像認識方法及び装置、プログラム |
US10456685B2 (en) * | 2015-04-14 | 2019-10-29 | Nintendo Co., Ltd. | Identifying and tracking objects via lighting patterns |
US10025314B2 (en) * | 2016-01-27 | 2018-07-17 | Hand Held Products, Inc. | Vehicle positioning and object avoidance |
US11573574B2 (en) * | 2018-08-30 | 2023-02-07 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, information processing system, and storage medium |
US11941604B2 (en) * | 2018-12-17 | 2024-03-26 | Hanwha Vision Co., Ltd. | Automatic payment system |
US20220060617A1 (en) * | 2018-12-17 | 2022-02-24 | Hanwha Techwin Co., Ltd. | Camera control device and method to process captured image using at least one camera |
US11580785B1 (en) * | 2019-06-10 | 2023-02-14 | Amazon Technologies, Inc. | Detecting interactions with non-discretized items and associating interactions with actors using digital images |
EP4102326A4 (en) * | 2020-02-07 | 2023-08-02 | Panasonic Intellectual Property Management Co., Ltd. | POSITIONING SYSTEM |
WO2022180453A1 (en) * | 2021-02-25 | 2022-09-01 | Ricoh Company, Ltd. | Information processing apparatus, information processing system, information processing method, and recording medium |
-
2021
- 2021-01-19 JP JP2021006183A patent/JP7494130B2/ja active Active
- 2021-09-02 US US17/465,777 patent/US20220230333A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006071471A (ja) | 2004-09-02 | 2006-03-16 | Giken Torasutemu Kk | 移動体高さ判別装置 |
JP2013045351A (ja) | 2011-08-25 | 2013-03-04 | Canon Inc | 動作認識装置および動作認識方法 |
JP2016009448A (ja) | 2014-06-26 | 2016-01-18 | 富士通株式会社 | 判定装置、判定方法及び判定プログラム |
JP2016057998A (ja) | 2014-09-12 | 2016-04-21 | 株式会社日立国際電気 | 物体識別方法 |
JP6444573B2 (ja) | 2016-11-09 | 2018-12-26 | 三菱電機株式会社 | 作業認識装置および作業認識方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220230333A1 (en) | 2022-07-21 |
JP2022110648A (ja) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11270108B2 (en) | Object tracking method and apparatus | |
US11010905B2 (en) | Efficient object detection and tracking | |
JP6525453B2 (ja) | オブジェクト位置推定システム、及びそのプログラム | |
CN107358149B (zh) | 一种人体姿态检测方法和装置 | |
US11074461B2 (en) | People flow estimation device, display control device, people flow estimation method, and recording medium | |
US20130070105A1 (en) | Tracking device, tracking method, and computer program product | |
CN110991261A (zh) | 交互行为识别方法、装置、计算机设备和存储介质 | |
JP2007042072A (ja) | 追跡装置 | |
JP6362085B2 (ja) | 画像認識システム、画像認識方法およびプログラム | |
US10496874B2 (en) | Facial detection device, facial detection system provided with same, and facial detection method | |
JPWO2014192441A1 (ja) | 画像処理システム、画像処理方法及びプログラム | |
CN111382637A (zh) | 行人检测跟踪方法、装置、终端设备及介质 | |
JP2014238674A (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP2021089778A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2010146522A (ja) | 顔画像追跡装置及び顔画像追跡方法並びにプログラム | |
JP6305856B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20230326251A1 (en) | Work estimation device, work estimation method, and non-transitory computer readable medium | |
JP7494130B2 (ja) | 情報処理システム、情報処理方法およびプログラム | |
US11983242B2 (en) | Learning data generation device, learning data generation method, and learning data generation program | |
CN113632077A (zh) | 识别信息赋予装置、识别信息赋予方法以及程序 | |
US11314968B2 (en) | Information processing apparatus, control method, and program | |
US11620360B2 (en) | Methods and systems for recognizing object using machine learning model | |
US20230326252A1 (en) | Method for detecting interaction and apparatus therefor | |
US11922667B2 (en) | Object region identification device, object region identification method, and object region identification program | |
US20230401867A1 (en) | Image processing apparatus, image processing method, and non-transitory storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240522 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7494130 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |