JP2023119326A - 映像解析装置および映像解析方法 - Google Patents
映像解析装置および映像解析方法 Download PDFInfo
- Publication number
- JP2023119326A JP2023119326A JP2022022167A JP2022022167A JP2023119326A JP 2023119326 A JP2023119326 A JP 2023119326A JP 2022022167 A JP2022022167 A JP 2022022167A JP 2022022167 A JP2022022167 A JP 2022022167A JP 2023119326 A JP2023119326 A JP 2023119326A
- Authority
- JP
- Japan
- Prior art keywords
- detection
- image data
- video
- neural network
- analysis apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010191 image analysis Methods 0.000 title abstract description 5
- 238000003703 image analysis method Methods 0.000 title abstract 2
- 238000001514 detection method Methods 0.000 claims abstract description 172
- 238000013528 artificial neural network Methods 0.000 claims abstract description 39
- 238000005070 sampling Methods 0.000 claims abstract description 12
- 238000004458 analytical method Methods 0.000 claims description 82
- 238000000034 method Methods 0.000 description 21
- 241000220225 Malus Species 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 235000021016 apples Nutrition 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
【課題】解像度の異なる複数の画像データを解析する映像解析装置および映像解析方法を提供する。【解決手段】一実施形態に係る映像解析装置は、映像フレームをデジタルサンプリングして得た画像データの解像度に応じてニューラルネットワークの検出窓のサイズ及びモデルパラメータを切り替えて、前記画像データから検出対象を検出する。【選択図】図1
Description
実施形態は、映像、画像を解析する映像解析装置および映像解析方法に関する。
ニューラルネットワークを用いた画像認識においては、画像の中から特定の情報を検出する際に、検出窓という一定のサイズ(画素数)の枠を用いる。例えば、映像フレームからデジタルサンプリングにより得た画像に対して、検出窓を用いて情報の検出をしようとした場合、画像の画角(撮影領域)が同一でも解像度が異なると、同じサイズの検出窓に含まれる情報には違いが出る(例えば低解像度の方がより広い領域の情報を拾うこととなる)。通常、画像を拡大したり縮小したりすることで、検出窓のサイズとのバランスが取られる。
しかしながら、解像度の異なる複数の画像から、同様の大きさの対象物をニューラルネットワークで検出する場合、検出窓内の情報の違いにより、安定した学習を行うことが困難であり、また検出窓に合わせて画像のサイズを縮小すると特徴量が失われてしまう問題がある。
本発明が解決しようとする課題は、解像度の異なる複数の画像データを解析する映像解析装置処理、方法およびプログラムを提供することを目的とする。
一実施形態に係る映像解析装置は、映像フレームをデジタルサンプリングして得た画像データの解像度に応じてニューラルネットワークの検出窓のサイズ及びモデルパラメータを切り替えて、前記画像データから検出対象を検出する。
以下、実施の形態について図面を参照して説明する。
(第1の実施形態)
例えば同じ場面を撮影した映像からデジタルサンプリングにより画像を取得する場合、デジタルサンプリングによっては画像の解像度が異なることがある。本実施形態においては、ニューラルネットワークを用いて、画角(撮影範囲)が同一もしくは同様であるが解像度の異なる複数の画像データからだいたい一定の大きさとなる対象(検出対象と称する)を検出する例を示す。
(第1の実施形態)
例えば同じ場面を撮影した映像からデジタルサンプリングにより画像を取得する場合、デジタルサンプリングによっては画像の解像度が異なることがある。本実施形態においては、ニューラルネットワークを用いて、画角(撮影範囲)が同一もしくは同様であるが解像度の異なる複数の画像データからだいたい一定の大きさとなる対象(検出対象と称する)を検出する例を示す。
図1は、実施形態に係る映像解析装置の構成図である。
映像解析装置1は、入力された映像や画像から検出対象を検出し、外部に出力する装置であり、CPUやメモリなどのコンピュータ、DSP(Digital Signal Processor)などのデジタル信号処理手段を備えていてもよい。
映像入力部11は、外部からデジタルデータである画像データを映像解析装置1に取り込み、画像データを出力する。入力される画像データは、映像データの静止画像など任意の画像データであってよい。映像入力部11は、入力された画像データからメタ情報(画素数または解像度)を取り出して、画角取得部12に画角情報としてメタ情報を出力する。
また、映像入力部11は、画像データを出力する際に、例えば解析を実行しようとする画像データのサンプルを用いて、サンプルに合わせるように出力する画像データの画角(撮影範囲)を調整することでもよい。
また、映像入力部11は、画像データを出力する際に、例えば解析を実行しようとする画像データのサンプルを用いて、サンプルに合わせるように出力する画像データの画角(撮影範囲)を調整することでもよい。
画角取得部12は、映像入力部11から画角情報を取得する。
検出用NN選択部13は、画角取得部12から入力される画角情報などに基づいて、画像データから検出対象を検出するためのニューラルネットワークNNを選択する。ニューラルネットワークNNは、例えばDeep Neural Network(DNN)であり、Convolutional Neural Network(CNN)を含んでもよい。また、ニューラルネットワークNNは、Recurrent Neural Network(RNN)、Long Term Short Memory(LTSM)など任意のニューラルネットワークを含めてもよい。各種ニューラルネットワークは一般的な技術であり、説明を省略する。
ニューラルネットワークNNは、検出窓サイズをパラメータとして備える。検出窓は、画像データから検出対象を検出するための画像データ上の領域を示し、検出窓サイズは、検出窓に含まれる画素数を示す。
記憶部14は、メモリであり、テーブル141やNNモデルパラメータ142など各種情報が格納される。
テーブル141は、映像入力部11から入力された画像データの画角情報ごとに、紐づけられたニューラルネットワークNNの検出窓サイズ、NNモデルなどが格納されている。すなわち、画像データの画角情報ごとにニューラルネットワークNNを紐づけられたNNモデルに変えることを示す。例えば、データTB1は、映像入力部11から入力された画像データの解像度が720[画素数]×480[画素数]の場合、NNモデルを検出用NN1とし、検出用NN1の検出窓サイズは、16×16とするニューラルネットワークNNを用いて、画像データを処理することを示す。テーブル141は、出荷時に設定されていることでもよいし、また映像解析装置1がインターネット経由でサーバなどからダウンロードして取得することでもよい。その他任意の方法でテーブル141を記憶部14に設定できるようにしてもよい。
NNモデルパラメータ142は、ニューラルネットワークNNで用いられるパラメータであり、テーブル141における使用NNモデルに相当するニューラルネットワークNNのパラメータである。例えば、データTB1の検出用NN1のモデルパラメータは、MP1であり、データTB2の検出用NN2のモデルパラメータは、MP2であり、データTB2の検出用NN2のモデルパラメータは、MP3であることを示す。NNモデルパラメータ142は、テーブル141で設定される検出窓サイズのデータで学習されて得られているものとする。
画像認識部15は、映像入力部11が取り込んだ画像データに対して、検出用NN選択部13によって選択されたニューラルネットワークNNを実行する。
特徴検出部151は、画像認識部15の機能の一部としてニューラルネットワークNNによる特徴検出を実行する。特徴検出部151は、例えばCNNであってもよい。
領域計算部152は、映像入力部11が取り込んだ画像データに対して、画像認識による特定の物体の検出を実行する。領域計算部152は、一般的なオブジェクト認識手法を用いてもよいし、ニューラルネットワークであってもよい。
結果出力部16は、画像認識部15によって解析した結果を図示せぬモニタなどの外部装置へ出力する。
図2は、実施形態に係る映像解析装置が解析処理するデータフローの例を示す模式図である。本実施形態の映像解析装置1は、リンゴを解析対象AOとし、リンゴ上の虫食いなどのキズを検出する。虫食いなどのキズを検出対象DOと称する。
映像解析装置1は、解析対象AOであるリンゴの撮影データのデジタルサンプリングによって、低解像度の画像データSD1のデータを得たとする。
画角取得部12は、低解像度の画像データSD1が入力されると、画角情報を取得し、検出用NN選択部13に入力する。検出用NN選択部13は、入力された画角情報の解像度に基づいて記憶部14から情報を取得し、検出窓サイズDW1を5×7、検出用NNのモデルを低解像度用のDNN(検出用のニューラルネットワークNN1)とする。画像認識部15は、ニューラルネットワークNN1で、画像データSD1を解析する。ここでニューラルネットワークNN1は、検出対象DOの含まれた検出窓サイズDW1のデータで学習されているものとする。画像認識部15の解析により、画像データSD1から検出対象DOが検出される。
同様に、映像解析装置1は、解析対象AOであるリンゴの撮影データのデジタルサンプリングによって、高解像度の画像データSD2のデータを得た場合、画像認識部15は、検出窓サイズDW2を25×37、検出用NNのモデルを高解像度用のDNN(検出用のニューラルネットワークNN2)で、画像データSD2を解析する。画像データSD2の画角は画像データSD1と同様であるものとし、図2に示すように画像データSD1、SD2において、画像データSDの大きさに対する解析対象AOであるりんごの大きさは同様であるものとする。ニューラルネットワークNN2は、検出対象DOの含まれた検出窓サイズDW2のデータで学習されているものとし、画像認識部15の解析により、画像データSD2から検出対象DOが検出される。
なお、画像データSD1またはSD2、検出窓サイズDW1またはDW2、ニューラルネットワークNN1またはNN2は、特に区別しない場合は、それぞれ画像データSD、検出窓サイズDW、ニューラルネットワークNNと称する。また、本実施形態において、映像解析装置1は、図1のテーブル141、NNモデルパラメータ142においてそれぞれ3つのデータを備える場合について示すが、3つ以上備えていてもよい。
図3は、実施形態に係る映像解析装置による解析処理を示すフローチャートである。
映像解析装置1において、映像入力部11は、解析対象AO(図2におけるりんごに相当する)を含む画像データSD(静止画像)を得ると、画角取得部12は、画像データSDの画角情報を取得する(ステップ101)。なお、画角取得部12は、静止画像を用いずに、別の経路で例えばユーザの設定などにより画角情報を取得してもよい。
検出用NN選択部13は、記憶部14のテーブル141(画角と検出窓サイズおよびNNモデルの関係テーブル)の情報を利用して、ステップS101において取得された画角情報に紐づけられた使用NNモデルを選択する(ステップS102)。図1のTB1の例でより具体的に説明すると、検出用NN選択部13は、ステップS101において取得された解像度情報「720×480」に紐づけられた検出窓サイズDW「16×16」、検出用NNのモデル「検出用NN1」を選択する。
検出用NN選択部13は、選択したNN情報および検出窓サイズを画像認識部15に伝えると、画像認識部15は、映像入力部が出力した画像データから対象となる物体(検出対象DO)の検出処理を行う(ステップ103)。より具体的にステップ103においては、画像SD全体を画像認識部15のNNへの入力に使うのではなく、検出窓DWの単位でNNへ入力する。検出窓DWは画像SDのサイズより小さいため、画像認識部15は、例えばまず画像SD上にて検出窓位置(範囲1とする)を決定して、範囲1についてNN計算して解析する。範囲1の解析が終了したら、また別の検出窓位置(範囲2とする)を決定して、範囲2についてNN計算するという流れで解析を実行する。以降、検出窓位置を少しずつずらして画像全体に対する解析を実行することでもよい。
NN計算の結果、検出対象が検出された場合、結果出力部16は、図示せぬモニタなどに出力することでもよい(ステップ104)。ステップ104における出力方法は、何かしらの映像を画面に出しても良いし、ログとして記憶部14などのファイルに保管する方法でもよい。
以上の手順により、画角は同様だが解像度の異なる複数の画像データSDに対して、各画像SD中において一定の大きさである検出対象DOを検出することができる。
図4は、実施形態に係る映像解析装置が解析処理する映像サンプリングデータの例を示す模式図である。映像入力部11への入力データの種類(映像、画像など)および検出対象DOなどの性質により、検出範囲DAを決定することが考えられる。
図4(a)は、画像データSD1に複数の検出対象DO11、DO12が存在する場合の例である。映像解析装置1は、画像データSD1全体に検出窓DWを移動させながら図3の処理を実行することにより、検出対象DO11、DO12が検出できる。例えば、製品の品質チェックにおいて、製品の撮影映像を映像解析装置1に入力することにより、解析対象の製品にいくつの異常があるかを検出することができる。また例えば製品の良品検査においては、1つでも異常が検出された時点で不合格とする場合、結果出力部16などが結果を出力するとともに、画像認識部15における認識プロセスを終了させることでもよい。図4(b)以降については、以下の実施形態において説明する。
(第2の実施形態)
本実施形態は、図4(b)のケースにおいて検出対象DOを検出する例を示す。
(第2の実施形態)
本実施形態は、図4(b)のケースにおいて検出対象DOを検出する例を示す。
図4(b)は、画像データSD2上の既知の特定領域に、1つもしくは複数の検出対象DOが存在する場合の例である。図4(b)のように、画像データSD2内において対象物が存在する領域DAが決まっている場合、映像解析装置1は、既知の特定領域を検出範囲DAとし、その検出範囲DAのみ認識を実行することでもよい。
図5は、第2の実施形態に係る映像解析装置による解析処理を示すフローチャートである。
画角取得部12は、入力画像データSD2の画角情報を取得し、検出用NN選択部13に入力する(ステップS201)。検出用NN選択部13は、検出対象DO、検出範囲DAを取得する(ステップS202)。検出対象DO、検出範囲DAは、映像解析装置1に接続された例えばキーボードなどからユーザが設定してもよいし、図4(b)のようなイメージを映像解析装置1に接続した図示せぬモニタなどに表示して、ユーザが検出対象DO、検出範囲DAを設定できるようにしてもよい。
検出用NN選択部13は、入力された画角情報、検出対象DO、検出範囲DAに従って、検出窓サイズおよびNNモデルを選択し、画像認識部15に設定する(ステップS202)。
図6は、第2の実施形態に係る映像解析装置が備えるテーブルデータの例である。
テーブル1411は、記憶部14に備えられたデータであり、図1のテーブル141の内容に加え、入力画像の解像度に「検出対象」、「検出範囲」が紐づけられている。例えば、データTB11は、映像入力部11から入力された画像データの解像度が720×480の場合、解析に使用するニューラルネットワークNNのモデルを「検出用NN1」、検出用NN1の検出窓サイズを「16×16」(例えば図4(b)のDW21とする)、検出対象DOを「X部の異常」(例えば図4(b)のDO21とする)、検出範囲DAを「360x100+320x120」(例えば図4(b)のDA21とする)とすることを示す。検出対象DO21は、「X部の異常」として予めキズなどの異常の種類が決まっており、さらに検出範囲DA21が座標(x1、y1)=(360、100)、(x2、y2)=(320x120)の2点を対角とする四角であることを示す。本実施形態における検出用NN1は、検出対象DO21「X部の異常」を含む検出窓DW21「16×16」の画像データで学習がなされる。
また例えば、データTB14は、映像入力部11から入力された画像データの解像度が720×480の場合、解析に使用するニューラルネットワークNNのモデルを「検出用NN1」、検出用NN1の検出窓サイズを「16×16」(例えば図4(b)のDW22とする)、検出対象DOを「Y部の異常」(例えば図4(b)のDO22とする)、検出範囲DAを「180x240+240x240」(例えば図4(b)のDA22とする)とすることを示す。本実施形態における検出用NN1は、データTB11による学習に加え、データTB14による学習もなされる。なお、図4(b)のDW21、DW22の例のように、検出対象DOの種類によって、検出窓DWのサイズを変更してもよい。この場合は、ニューラルネットワークNNは、それぞれの検出窓DWのサイズを用いて学習させ、異なるニューラルネットワークNNとすることでもよい。例えば図4(b)において、特に検出対象DO21(例えばX部異常とする)、検出対象DO21(例えばY部異常とする)の特徴が大きく異なるときには、それぞれ別に学習した専用のNNを使う方が、検出対象DOの認識精度が高くなることがある。
図5に戻り、検出用NN選択部13は、記憶部14などに格納されたテーブル1411の情報から使用NNモデルを選択する(ステップS203)。画像認識部15は、検出範囲DAにおける検出窓DWの範囲について、ステップS203で選択したNNにより検出対象DOの検出処理を実行する(ステップS204)。ステップS204において検出対象DOが検出された場合(例えば図4(b)のDW21とする)、結果出力部16は、検出した検出対象DOの位置などの情報を記憶部14などに格納することでもよい(ステップS205のYes、ステップS206)。なお、ステップS206の代わりにステップS208に移り、結果出力部16に結果を出力することでもよい。
ステップS204において検出対象DOが検出されなかった場合(例えば、図4(b)のDA23の例)、次の検出範囲DAに移り、ステップS203から同様の処理を繰り返す(ステップS205のNo、ステップS207のNo)。全ての検出範囲DAに対する処理が終了したら、ステップS206で格納した検出対象DOの情報を結果出力部16に結果を出力することでもよい(ステップS207のYes、ステップS208)。
以上の手順により、複数の検出範囲DAに対する画像認識が可能となる。本実施形態においては、検出対象DOの認識範囲を映像全体ではなく、事前に設定した範囲(検出範囲DA)にのみ行うため、短時間で処理ができる。
(第3の実施形態)
本実施形態においては、図4(c)の例のように、映像内に映っているある物体(解析対象AO)の領域において検出対象DOを検出する例について示す。本実施形態の映像解析装置1は、例えば、食品検査において、映像(画像データSD)に映っている解析対象AOの異常を検査しようとした場合、まず解析対象AOの検出を行い、その解析対象AOの領域に対して検出対象DOの検出を行う。
(第3の実施形態)
本実施形態においては、図4(c)の例のように、映像内に映っているある物体(解析対象AO)の領域において検出対象DOを検出する例について示す。本実施形態の映像解析装置1は、例えば、食品検査において、映像(画像データSD)に映っている解析対象AOの異常を検査しようとした場合、まず解析対象AOの検出を行い、その解析対象AOの領域に対して検出対象DOの検出を行う。
図7は、第3の実施形態に係る映像解析装置による解析処理を示すフローチャートである。以下、図4(c)を例として説明する。
画角取得部12は、入力画像データSD3の画角情報を取得し、検出用NN選択部13に入力する(ステップS301)。また同時に画像認識部15においては、領域計算部152が画像データSD3に対して解析対象AOの検出処理をする(ステップS302)。ステップS302において、画像認識部15は、解析対象AOに関する情報(例えば、りんご)が予め設定されていることでもよい。例えば映像解析装置1に接続されたキーボードなどから、ユーザが画像認識部15に解析対象AOに関する情報を設定することでもよい。
領域計算部152は、入力された画像データSD3から解析対象AOの検出およびその領域の特定を行う。例えばリンゴの品質管理を行う例において、画像データSD3内に複数のリンゴが存在した場合、それらリンゴの表示エリアを計算し、取得する。この特定には一般的なオブジェクト認識手法を用いる。表示エリアは、解析対象AOそのものの形としてもよいし、解析対象AOを含む矩形などとして表してもいいし、その他のフォーマットで表現しても良い。画像認識部15は、算出された表示エリアを検出範囲DAとする。図4(c)の例では、ステップS302において、解析対象AOとして解析対象AO3、解析対象AO31が検出される。
検出用NN選択部13は、入力された画角情報、検出対象DOを含む情報から、例えば図6のテーブル1411で紐づけられた検出窓サイズおよびNNモデルを選択し、画像認識部15に設定する(ステップS303)。画像認識部15は、入力映像の中の、領域計算部152から与えられた検出範囲DA(解析対象AOの表示エリアに相当)に対して、選択された検出用NNにより検出対象DOの検出処理を行う(ステップS304)。ステップS304における処理の結果はモニタなどに出力されることでもよい(ステップS305)。ステップS303からS305の手順を、ステップS302において検出された解析対象AOすべてに対して実行することでもよい。
本実施形態の映像解析装置1によれば、検出対象DOの認識範囲を映像全体ではなく、事前に取得した解析対象AOの表示エリアを検出範囲DAとすることで、短時間で検出対象DOの検出ができる。
(第4の実施形態)
本実施形態においては、図4(d)の例のように、画像データSD内に散らばっている検出対象DOを検出する例について示す。例えば、アナログデータである映像フィルム(フィルムの1枚1枚)には、フィルムグレインという現象が発生することがある。本実施形態の映像解析装置1は、例えば画像データSDにおいて、検出窓の位置をランダムに決めて、検出窓内の画像データに対してフィルムグレインの検出処理する例を示す。
(第4の実施形態)
本実施形態においては、図4(d)の例のように、画像データSD内に散らばっている検出対象DOを検出する例について示す。例えば、アナログデータである映像フィルム(フィルムの1枚1枚)には、フィルムグレインという現象が発生することがある。本実施形態の映像解析装置1は、例えば画像データSDにおいて、検出窓の位置をランダムに決めて、検出窓内の画像データに対してフィルムグレインの検出処理する例を示す。
図8は、第4の実施形態に係る映像解析装置による解析処理を示すフローチャートである。以下、図4(d)を例として説明する。
画角取得部12は、入力画像データSD4の画角情報を取得し、検出用NN選択部13に入力する(ステップS401)。検出用NN選択部13は、検出対象DO(フィルムグレインに相当する)の情報を取得する(ステップS402)。検出対象DOの情報は、映像解析装置1に接続された例えばキーボードなどからユーザが検出用NN選択部13に設定してもよい。
検出用NN選択部13は、取得した画角情報、検出対象DOに従って、例えば図6のテーブル1411から、紐づけられる検出窓サイズおよびNNモデルを選択し、画像認識部15に設定する(ステップS403)。ステップS403において選択されたニューラルネットワークNNは、例えば図6のテーブル1411における検出対象「フィルムグレイン」を含む検出窓サイズのデータで予めフィルムグレインが学習されている。
また、図6のテーブル1411において、検出対象「フィルムグレイン」に対してさらに紐づける項目を増やしてもよい。例えば、項目としてフィルムグレインを検出する映像フィルムの「撮影年代」、実写、アニメなどの「映像種類」が考えられる。また映像フィルムから画像データを取り出すプロセスの違い、例えば、アナログデータからデジタル化したデータか、デジタル化したデータをさらにサンプリングしたデータかなどの「デジタル化プロセス」、ブルーレイ、DVD、4K/2Kブルーレイなどの「データ源」、フィルムのサイズ(8mm、16mm、24mm、35mmなど)の「フィルムサイズ」などの項目も考えられる。これらの項目を考慮した場合には、それぞれに対してニューラルネットワークNNの検出窓サイズおよびNNモデルを設定することでもよい。また、項目の組み合わせによって、別々のNNモデルを設定することでもよく、組み合わせた項目に合致するデータを用いて紐づけられたNNモデルの学習を実施する。
画像認識部15は、検出窓DW4の位置を決定する(ステップS404)。ステップS204においては、画像データSD4中の任意の位置にランダムに検出窓DW4の位置を決定することでもよいし、ある規則に従って決定した画像データSD4中の位置を検出窓DW4の位置として決定することでもよい。
ステップS404において位置選択された検出窓DW4のデータに対して、図3のステップS103と同様に、ステップS403で選択したNNにより検出対象DOの検出処理を実行する(ステップS405)。検出対象DOが検出された場合(ステップS406のYes)、結果出力部16は、検出した検出対象DOの位置などの情報を、外部のモニタなどに出力することでもよい(ステップS407)。一方、検出対象DOが検出されなかった場合(ステップS406のNo)、ステップS404に戻り、検出窓DW4に対する次の位置を決定し、同様の処理を繰り返す。戻った場合のステップS404において画像認識部15は、前回までに決定された検出窓DW4の範囲に重ならないように検出窓DW4の位置を決定することが望ましい。
以上の手順により、映像フィルムをデジタルサンプリングして得た画像データSDに発生するフィルムグレインの検出が可能となる。
以上に述べた少なくとも1つの実施形態によれば、解像度の異なる複数の画像データを解析する映像解析装置および映像解析方法を提供することができる。
なお、図面に示した解析画面などに表示される条件パラメータやそれらに対する選択肢、値、評価指標などの名称や定義、種類などは、本実施形態において一例として示したものであり、本実施形態に示されるものに限定されるものではない。
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。さらにまた、請求項の各構成要素において、構成要素を分割して表現した場合、或いは複数を合わせて表現した場合、或いはこれらを組み合わせて表現した場合であっても本発明の範疇である。また、複数の実施形態を組み合わせてもよく、この組み合わせで構成される実施例も発明の範疇である。
また、図面は、説明をより明確にするため、実際の態様に比べて、各部の幅、厚さ、形状等について模式的に表される場合がある。ブロック図においては、結線されていないブロック間もしくは、結線されていても矢印が示されていない方向に対してもデータや信号のやり取りを行う場合もある。フローチャートに示す処理は、ICチップ、デジタル信号処理プロセッサ(Digital Signal ProcessorまたはDSP)などのハードウェアもしくはマイクロコンピュータを含めたコンピュータなどで動作させるソフトウェア(プログラムなど)またはハードウェアとソフトウェアの組み合わせによって実現してもよい。また請求項を制御ロジックとして表現した場合、コンピュータを実行させるインストラクションを含むプログラムとして表現した場合、及び前記インストラクションを記載したコンピュータ読み取り可能な記録媒体として表現した場合でも本発明の装置を適用したものである。また、使用している名称や用語についても限定されるものではなく、他の表現であっても実質的に同一内容、同趣旨であれば、本発明に含まれるものである。
1…映像解析装置、11…映像入力部、12…画角取得部、13…検出用NN選択部、14…記憶部、15…画像認識部、16…結果出力部、141…テーブル、142…NNモデルパラメータ、151…特徴検出部、152…領域計算部。
Claims (8)
- 映像フレームをデジタルサンプリングして得た画像データの解像度に応じてニューラルネットワークの検出窓のサイズ及びモデルパラメータを切り替えて、前記画像データから検出対象を検出する映像解析装置。
- 前記画像データは、表示範囲である画角が調整されたデータである請求項1に記載の映像解析装置。
- 前記解像度に紐づけられたニューラルネットワークの前記検出窓のサイズと前記モデルパラメータとを格納する記憶部を備える請求項1または請求項2のいずれか1項に記載の映像解析装置。
- 前記解像度と予め決められた検出対象とに紐づけられた前記ニューラルネットワークの前記検出窓のサイズと前記モデルパラメータとを格納する記憶部を備える請求項3に記載の映像解析装置。
- 前記解像度と予め決められた前記画像データ上の検出範囲とに紐づけられた前記ニューラルネットワークの前記検出窓のサイズと前記モデルパラメータとを格納する記憶部を備える請求項3に記載の映像解析装置。
- 前記画像データから特定の物体を検出し、前記物体から前記検出対象を検出する請求項1乃至請求項5のいずれか1項に記載の映像解析装置。
- 前記映像フレームのフレームグレインを前記検出対象として検出する請求項1乃至請求項5のいずれか1項に記載の映像解析装置。
- 映像フレームをデジタルサンプリングして得た画像データの解像度に応じてニューラルネットワークの検出窓のサイズ及びモデルパラメータを切り替えて、前記画像データから検出対象を検出する映像解析方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022022167A JP2023119326A (ja) | 2022-02-16 | 2022-02-16 | 映像解析装置および映像解析方法 |
CN202280007640.8A CN116806347A (zh) | 2022-02-16 | 2022-09-23 | 视像解析装置及视像解析方法 |
PCT/CN2022/120835 WO2023155433A1 (zh) | 2022-02-16 | 2022-09-23 | 视像解析装置及视像解析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022022167A JP2023119326A (ja) | 2022-02-16 | 2022-02-16 | 映像解析装置および映像解析方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023119326A true JP2023119326A (ja) | 2023-08-28 |
Family
ID=87577422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022022167A Pending JP2023119326A (ja) | 2022-02-16 | 2022-02-16 | 映像解析装置および映像解析方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2023119326A (ja) |
CN (1) | CN116806347A (ja) |
WO (1) | WO2023155433A1 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101807256B (zh) * | 2010-03-29 | 2013-03-20 | 天津大学 | 一种基于多分辨率框架的物体识别检测方法 |
US8406470B2 (en) * | 2011-04-19 | 2013-03-26 | Mitsubishi Electric Research Laboratories, Inc. | Object detection in depth images |
JP5743742B2 (ja) * | 2011-06-23 | 2015-07-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN112602091A (zh) * | 2018-07-30 | 2021-04-02 | 优创半导体科技有限公司 | 使用针对不同图像场训练的多个神经网络进行物体检测 |
CN110348531B (zh) * | 2019-07-17 | 2022-12-30 | 沈阳亚视深蓝智能科技有限公司 | 具有分辨率适应性的深度卷积神经网络构建方法及应用 |
CN112884803B (zh) * | 2020-08-18 | 2023-11-24 | 眸芯科技(上海)有限公司 | 基于dsp的实时智能监控目标检测方法及装置 |
-
2022
- 2022-02-16 JP JP2022022167A patent/JP2023119326A/ja active Pending
- 2022-09-23 WO PCT/CN2022/120835 patent/WO2023155433A1/zh active Application Filing
- 2022-09-23 CN CN202280007640.8A patent/CN116806347A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN116806347A (zh) | 2023-09-26 |
WO2023155433A1 (zh) | 2023-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110378900B (zh) | 产品缺陷的检测方法、装置及*** | |
US11176650B2 (en) | Data generation apparatus, data generation method, and data generation program | |
KR20230124713A (ko) | 결함 검출 방법, 장치 및 시스템 | |
US8145005B2 (en) | Method for discriminating textures regions and homogeneous or flat regions in an image and methods for estimating noise in an image sequence | |
US20170069075A1 (en) | Classifier generation apparatus, defective/non-defective determination method, and program | |
JP5956814B2 (ja) | 外観検査装置、外観検査方法及びコンピュータプログラム | |
US20220375215A1 (en) | Image analysis and processing pipeline with real-time feedback and autocapture capabilities, and visualization and configuration system | |
CN108156452B (zh) | 一种检测传感器的方法、装置、设备及存储介质 | |
CN110334768B (zh) | 一种冰柜陈列检测方法、***及电子设备 | |
US20200219269A1 (en) | Image processing apparatus and method, and image processing system | |
US5208870A (en) | Image inspection methods and apparatus | |
CN113807378A (zh) | 训练数据增量方法、电子装置与计算机可读记录介质 | |
US11527067B2 (en) | Electronic device, action instance generation method, and recording medium | |
JP2023119326A (ja) | 映像解析装置および映像解析方法 | |
US10631050B2 (en) | Determining and correlating visual context on a user device with user behavior using digital content on the user device | |
US11308342B2 (en) | Information processing apparatus, control method, and storage medium | |
JP4459945B2 (ja) | 抽出色範囲設定方法 | |
Perez-Daniel et al. | Rotten fruit detection using a one stage object detector | |
US20210027443A1 (en) | Examination apparatus, examination method, recording medium storing an examination program, learning apparatus, learning method, and recording medium storing a learning program | |
JP4494424B2 (ja) | プログラム及び検査装置 | |
US20230005120A1 (en) | Computer and Visual Inspection Method | |
EP3859667A1 (en) | Calculation program, calculation method, and calculation apparatus | |
EP1840823A1 (en) | Method for discriminating textures regions and homogeneous or flat regions in an image | |
JP7499337B2 (ja) | 検査システム、学習方法、検査方法、及び記憶媒体 | |
US20240212313A1 (en) | Image difference detection |