JP6963038B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP6963038B2 JP6963038B2 JP2019568575A JP2019568575A JP6963038B2 JP 6963038 B2 JP6963038 B2 JP 6963038B2 JP 2019568575 A JP2019568575 A JP 2019568575A JP 2019568575 A JP2019568575 A JP 2019568575A JP 6963038 B2 JP6963038 B2 JP 6963038B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- input
- convolution
- pixel value
- foreground extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Description
すなわち、入力画像に含まれる特定オブジェクトを検出又は識別する画像処理装置において、前景抽出手段が、前記入力画像の背景領域に対応する位置の画素値として背景領域を示す値を設定し、前記入力画像の前景領域に対応する位置の画素値として前記入力画像上の画素値を設定した前景抽出画像を生成し、オブジェクト認識手段が、前景抽出手段により生成された前記前景抽出画像に対して畳み込みニューラルネットワーク処理を行って特定オブジェクトを検出又は識別することを特徴とする。
図1には、本発明に係る画像処理装置を備えた映像監視システムの構成例を示してある。映像監視システムは、ハードウェア資源としてCPU(Central Processing Unit)などのプロセッサやメモリを備えた電子計算機システムにより構成され、それぞれの機能が実行されるようになっている。なお、プロセッサとして、DSP(Digital Signal Proce
ssor)、FPGA(Field Programmable Gate Array)、GPU(Graphics Processing U
nit)などを用いてもよい。
映像取得部102は、撮像装置101または記録装置109から得られる信号を映像(画像データ)として取得する。
画像処理部103は、映像取得部102で取得した映像を入力として、画像処理により特定オブジェクトを検出・識別する。
記録制御部105は、画像処理部103で検出・識別した結果に基づいて、映像の記録制御や、記録映像の圧縮率や記録間隔の制御などを行う。
記録装置109は、記録制御部105による制御に従って、映像取得部102により取得された映像を記録・保持する。
発報装置107は、画像処理部103で検出・識別した結果を音声や光などでユーザに知らせる。
表示制御部106は、映像取得部102で取得した映像、画像処理部103で検出・識別した結果、または記録装置109に保存された情報の表示を制御する。
表示出力装置108は、表示制御部106による制御に従って、映像取得部102で取得した映像、画像処理部103で検出・識別した結果、または記録装置109に保存された情報を表示する。
ディープラーニング部202は、前景抽出画像に対してディープラーニングを用いた処理(具体的には、畳み込みニューラルネットワーク処理)を行って、特定オブジェクトの検出又は識別を行う。
以下、前景抽出部201およびディープラーニング部202の処理内容について、特定オブジェクトとして人を検出する場合を例にして説明する。なお、以下の例では、背景領域を示す値を0とし、前景領域を示す値を1として説明する。
まず、入力画像である着目画像301と、着目画像301のt1フレーム前の画像302とを用いて、これら画像の差分を計算し、差分が閾値T1以上となる位置の画素値を着目画像301と同じ位置の画素値とし、閾値T1未満となる位置の画素値を0として、第1の差分画像304を生成する。
同様に、着目画像301と、着目画像301のt2フレーム後の画像303とを用いて、これら画像の差分を計算し、差分が閾値T2以上となる位置の画素値を着目画像301と同じ位置の画素値とし、閾値T2未満となる位置の画素値を0として、第2の差分画像305を生成する。
その後、第1の差分画像304と第2の差分画像305とを用いて、これらの画像の論理積を計算し、その結果を前景抽出画像306として生成する。
ここで、t1とt2は同じ数値でもよく、異なる数値でもよい。また、T1とT2は同じ数値でもよく、異なる数値でもよい。
ここでは、前景抽出部201で生成した前景抽出画像306を、ディープラーニング部202が有するCNN部401に入力し、CNN部401により畳み込みニューラルネットワーク処理を行って、入力画像の前景領域が人(特定オブジェクト)であるか否かを示す処理結果402を取得する。なお、前景抽出画像306から動領域のみを切り出してCNN部401に入力してもよい。CNN部401のネットワーク構造は任意であり、複数であるN層の畳み込み層が含まれた構造であればよい。
畳み込み層の入力を前景抽出画像306としたとき、はじめにマスク画像501を生成する。具体的には、前景抽出画像306の着目画素の周囲kに画素値=0となる画素数が閾値T3を超えて存在する場合には、対応するマスク画像501上の値を0とする。反対に、前景抽出画像306の着目画素の周囲kに画素値=0となる画素数が閾値T3以下の場合には、対応するマスク画像501上の値を1とする。ここで、kは、対象畳み込み層のフィルタサイズとする。また、マスク画像501は、入力チャネル数毎に生成される。
<n≦N)の畳み込み層には、第(n−1)の畳み込み層による処理結果の画像が入力され、第Nの畳み込み層による処理結果の画像に基づいて、特定オブジェクトの検出又は識別を行うよう構成されている。
また、畳み込み演算を行う処理では、マスク画像に対してフィルタを用いてラスタスキャン順に畳み込み演算を行う。このとき、マスク画像におけるフィルタの中心位置の画素値が背景領域を示す値であれば、その位置での畳み込み演算を行わず、その位置の畳み込み演算の結果の画素値として0(背景領域を示す値)を設定する。
また、バイアスを加算する処理では、畳み込み演算を行う処理の結果のうちの背景画素に対しては、バイアスを加算しない。
このような構成により、畳み込み処理の計算量を大幅に削減できるだけでなく、背景領域の除去による計算量の削減効果が複数の畳み込み層のそれぞれで得られる。
また、上記の例では、マスク画像に対してフィルタを用いてラスタスキャン順に畳み込み演算を行っているが、スキャン順は任意であり、他のスキャン順で畳み込み演算を行っても構わない。
また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式をプロセッサやメモリ等のハードウェア資源を有するコンピュータにより実現するためのプログラム、そのプログラムを記憶する記憶媒体などとして提供することも可能である。
Claims (4)
- 入力画像に含まれる特定オブジェクトを検出又は識別する画像処理装置において、
前記入力画像の背景領域に対応する位置の画素値として背景領域を示す値を設定し、前記入力画像の前景領域に対応する位置の画素値として前記入力画像上の画素値を設定した前景抽出画像を生成する前景抽出手段と、
前景抽出手段により生成された前記前景抽出画像に対して畳み込みニューラルネットワーク処理を行って特定オブジェクトを検出又は識別するオブジェクト認識手段とを備え、
前記オブジェクト認識手段は、
複数であるN層の畳み込み層を持つ畳み込みニューラルネットワーク処理部を有し、
各畳み込み層で、入力された画像に基づいてマスク画像を生成する処理と、前記マスク画像に対して畳み込み演算を行う処理と、前記畳み込み演算の結果にバイアスを加算する処理とを行い、
第1の畳み込み層には、前記前景抽出画像が入力され、
第n(ただし、1<n≦N)の畳み込み層には、第(n−1)の畳み込み層による処理結果の画像が入力され、
第Nの畳み込み層による処理結果の画像に基づいて、特定オブジェクトの検出又は識別を行うことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記マスク画像を生成する処理は、入力された画像における着目画素の周囲に、背景領域を示す値を持つ画素である背景画素が所定数を超えて存在する場合に、前記マスク画像における前記着目画素に対応する位置の画素値として背景領域を示す値を設定し、前記背景画素が前記所定数を超えて存在しない場合に、前記マスク画像における前記着目画素に対応する位置の画素値として前景領域を示す値を設定することで、前記マスク画像を生成し、
前記畳み込み演算を行う処理は、前記マスク画像に対してフィルタを用いて所定のスキャン順に畳み込み演算を行い、前記マスク画像における前記フィルタの中心位置の画素値が背景領域を示す値であれば、その位置での畳み込み演算を行わず、その位置の畳み込み演算の結果の画素値として背景領域を示す値を設定することを特徴とする画像処理装置。 - 請求項2に記載の画像処理装置において、
前記バイアスを加算する処理は、前記畳み込み演算を行う処理の結果のうちの背景領域を示す値を持つ画素に対しては、バイアスを加算しないことを特徴とする画像処理装置。 - 入力画像に含まれる特定オブジェクトを検出又は識別する画像処理方法において、
前記入力画像の背景領域に対応する位置の画素値として背景領域を示す値を設定し、前記入力画像の前景領域に対応する位置の画素値として前記入力画像上の画素値を設定した前景抽出画像を生成する第1のステップと、
前記前景抽出画像に対して畳み込みニューラルネットワーク処理を行って特定オブジェクトを検出又は識別する第2のステップとを有し、
前記第2のステップでは、
複数であるN層の畳み込み層を持つ畳み込みニューラルネットワーク処理部を用い、
各畳み込み層で、入力された画像に基づいてマスク画像を生成する処理と、前記マスク画像に対して畳み込み演算を行う処理と、前記畳み込み演算の結果にバイアスを加算する処理とを行い、
第1の畳み込み層には、前記前景抽出画像が入力され、
第n(ただし、1<n≦N)の畳み込み層には、第(n−1)の畳み込み層による処理結果の画像が入力され、
第Nの畳み込み層による処理結果の画像に基づいて、特定オブジェクトの検出又は識別を行うことを特徴とする画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018013169 | 2018-01-30 | ||
JP2018013169 | 2018-01-30 | ||
PCT/JP2018/036366 WO2019150649A1 (ja) | 2018-01-30 | 2018-09-28 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019150649A1 JPWO2019150649A1 (ja) | 2020-12-17 |
JP6963038B2 true JP6963038B2 (ja) | 2021-11-05 |
Family
ID=67479025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019568575A Active JP6963038B2 (ja) | 2018-01-30 | 2018-09-28 | 画像処理装置および画像処理方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6963038B2 (ja) |
WO (1) | WO2019150649A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7446756B2 (ja) * | 2019-10-02 | 2024-03-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2024013068A (ja) * | 2022-07-19 | 2024-01-31 | オムロン株式会社 | 被写体検出装置、被写体検出方法及び被写体検出プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016095701A (ja) * | 2014-11-14 | 2016-05-26 | ソニー株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
JP6002796B1 (ja) * | 2015-03-30 | 2016-10-05 | エヌ・ティ・ティ・コムウェア株式会社 | 感性評価装置、感性評価方法、およびプログラム |
JP2017191501A (ja) * | 2016-04-14 | 2017-10-19 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2018
- 2018-09-28 JP JP2019568575A patent/JP6963038B2/ja active Active
- 2018-09-28 WO PCT/JP2018/036366 patent/WO2019150649A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JPWO2019150649A1 (ja) | 2020-12-17 |
WO2019150649A1 (ja) | 2019-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020192483A1 (zh) | 图像显示方法和设备 | |
CN109325954B (zh) | 图像分割方法、装置及电子设备 | |
EP3757890A1 (en) | Method and device for image processing, method and device for training object detection model | |
US10872262B2 (en) | Information processing apparatus and information processing method for detecting position of object | |
KR20230013243A (ko) | 프레임에서 타겟 오브젝트를 위한 고정된 크기 유지 | |
EP4109392A1 (en) | Image processing method and image processing device | |
US9158985B2 (en) | Method and apparatus for processing image of scene of interest | |
US10979622B2 (en) | Method and system for performing object detection using a convolutional neural network | |
EP3709266A1 (en) | Human-tracking methods, apparatuses, systems, and storage media | |
US11657513B2 (en) | Method and system for generating a tri-map for image matting | |
Sadgrove et al. | Real-time object detection in agricultural/remote environments using the multiple-expert colour feature extreme learning machine (MEC-ELM) | |
CN110176024B (zh) | 在视频中对目标进行检测的方法、装置、设备和存储介质 | |
US8577137B2 (en) | Image processing apparatus and method, and program | |
US9811882B2 (en) | Method and apparatus for processing super resolution image using adaptive preprocessing filtering and/or postprocessing filtering | |
CN110335216B (zh) | 图像处理方法、图像处理装置、终端设备及可读存储介质 | |
JP7419080B2 (ja) | コンピュータシステムおよびプログラム | |
EP2395748A2 (en) | Apparatus and method creating ghost-free high dynamic range image using filtering | |
CN110399842B (zh) | 视频处理方法、装置、电子设备及计算机可读存储介质 | |
JP2018170003A (ja) | ビデオ中のイベントの検出装置、方法及び画像処理装置 | |
JP6963038B2 (ja) | 画像処理装置および画像処理方法 | |
Wang et al. | Skip-connection convolutional neural network for still image crowd counting | |
CN107578053B (zh) | 轮廓提取方法及装置、计算机装置及可读存储介质 | |
CN108960130B (zh) | 视频文件智能处理方法和装置 | |
US9392146B2 (en) | Apparatus and method for extracting object | |
KR101592087B1 (ko) | 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210525 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210716 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211012 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211014 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6963038 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |