JP2022177651A - 画像認識装置、画像認識装置の方法、および画像認識装置プログラム - Google Patents

画像認識装置、画像認識装置の方法、および画像認識装置プログラム Download PDF

Info

Publication number
JP2022177651A
JP2022177651A JP2021084061A JP2021084061A JP2022177651A JP 2022177651 A JP2022177651 A JP 2022177651A JP 2021084061 A JP2021084061 A JP 2021084061A JP 2021084061 A JP2021084061 A JP 2021084061A JP 2022177651 A JP2022177651 A JP 2022177651A
Authority
JP
Japan
Prior art keywords
detected object
size
detected
image
image recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021084061A
Other languages
English (en)
Inventor
貴裕 堀
Takahiro Hori
郁奈 辻
Ayana Tsuji
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2021084061A priority Critical patent/JP2022177651A/ja
Priority to CN202280027596.7A priority patent/CN117136387A/zh
Priority to US18/287,022 priority patent/US20240202971A1/en
Priority to DE112022002620.0T priority patent/DE112022002620T5/de
Priority to PCT/JP2022/011802 priority patent/WO2022244424A1/ja
Publication of JP2022177651A publication Critical patent/JP2022177651A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

【課題】設置環境ごとに事前に入力して物体の大きさを登録する必要があり手間がかかる。【解決手段】画像認識装置は、画像を取得する画像取得部(11)と、前記画像から検出物体を検出する検出部(12)と、前記検出物体の位置および大きさの履歴から前記検出物体が目的物体であるか否かを判定する指標を作成する指標作成部(14)と、前記指標を用いて、前記検出物体が前記目的物体であるか否かを判定する判定部(15)と、を備え、前記指標は、前記履歴における前記検出物体の位置および大きさの分布の傾向を表す情報である。【選択図】図1

Description

本発明は画像認識装置に関する。
ネットワークカメラの普及により、撮像された撮像画像から人物や物体等を検出する技術が多く利用されている。撮像画像から人物を検出する場合、人物と形状が類似した物体や撮像画像内の形状の組み合わせを人物として誤検出してしまうことがある。このような誤検出が多発すると、適切な画像認識を行うことができない。
特許文献1には、魚眼画像における基準位置からの距離に応じて、特定の大きさの物体を検出対象の物体であると検出することで、検出対象の物体の検出精度を向上させる技術が開示されている。
特開2019-159739号公報
しかしながら、上述のような従来技術は、人物と判定すべき検出物体の大きさと検出物体の基準位置からの距離の関係が予め登録されている必要がある。そのため、カメラの撮像環境に関する情報、例えば、カメラの設置高さ、検出対象の高さ、画像における中心(基準位置)からの距離と実空間上の距離との関係などの情報をユーザが事前に入力する必要がある。このような入力作業はユーザに大きな負担を与えるものである。
そこで、本発明の一態様は、ユーザによる煩雑な事前の入力作業を必要とせずに、所望の物体をより精度良く検出する画像認識装置を実現することを目的とする。
上記の課題を解決するために、本発明の一態様に係る画像認識装置は、撮像画像を取得する画像取得部と、前記撮像画像から画像認識により所定の種類の物体を検出物体として検出する検出部と、前記検出部において検出された、前記検出物体の前記撮像画像における位置および大きさの履歴を記録する制御を行う記録制御部と、前記履歴に基づいて、前記検出物体が検出対象の目的物体であるか否かを判定するための指標を作成する指標作成部と、前記検出部において検出された、前記撮像画像における前記検出物体の位置および大きさと、前記指標とを比較することにより、前記検出物体が前記目的物体であるか否かを判定する判定部と、を備える。
上記の構成によれば、検出物体の位置および大きさとの履歴に基づいて指標を作り、指標に対する検出物体の位置および大きさとから、検出物体が目的物体であるか否かを判定することができる。そのため、ユーザが環境に応じて事前に情報を入力するなどの手間を必要とせずに、目的物体の検出精度を向上させることができる。
前記指標作成部は、前記指標として、前記検出物体の位置と前記検出物体の大きさとの関係を示す関数を作成してもよい。
上記の構成によれば、指標として、関数を導出することができる。関数を用いることで、任意の検出物体の位置における検出物体の大きさを一意に導出することができる。
前記判定部は、前記関数と、前記撮像画像における前記検出物体の位置および大きさとから定まる距離が所定の閾値未満の場合、前記検出物体が前記目的物体であると判定してもよい。
上記の構成によれば、判定部は、検出物体の位置および大きさによって定まる点と関数との距離を算出し、距離が所定の閾値未満であることで、検出物体が目的物体であるか否かを判定できる。
前記記録制御部は、前記撮像画像における所定の一軸方向での前記検出物体の一次元位置と前記検出物体の大きさとの対応関係を記録する制御を行い、前記関数は、前記検出物体の前記一次元位置と、前記検出物体の大きさとの二次元における近似曲線であり、前記距離は、前記検出物体の前記一次元位置と、前記検出物体の大きさと、を表す点と前記近似曲線との距離であってもよい。
上記の構成によれば、画像における上下方向のみを考慮して、検出物体が目的物体である大きさを決定し、検出物体の誤検出を判定することができる。
前記記録制御部は、前記撮像画像における所定の二軸方向での前記検出物体の二次元位置と前記検出物体の大きさとの対応関係を記録する制御を行い、前記関数は、前記検出物体の前記二次元位置と、前記検出物体の大きさとの三次元における近似曲面であり、前記距離は、前記検出物体の前記二次元位置と、前記検出物体の大きさと、を表す点と前記近似曲面との距離であってもよい。
上記の構成によれば、画像における上下左右方向を考慮して、検出物体の誤検出を判定することができる。左右方向をも判定に用いることで、撮像される空間に階段などの高低差がある場合であっても精度よく検出することができる。
別の態様に係る画像認識装置の方法は、撮像画像を取得する画像取得ステップと、前記撮像画像から画像認識により所定の種類の物体を検出物体として検出する検出ステップと、前記検出ステップにおいて検出された、前記検出物体の前記撮像画像における位置および大きさの履歴を記録する制御を行う記録制御ステップと、前記履歴に基づいて、前記検出物体が検出対象の目的物体であるか否かを判定するための指標を作成する指標作成ステップと、前記検出ステップにおいて検出された、前記撮像画像における前記検出物体の位置および大きさと、前記指標とを比較することにより、前記検出物体が前記目的物体であるか否かを判定する判定ステップと、を含む。
本発明の各態様に係る画像認識装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記画像認識装置が備える各部(ソフトウェア要素)として動作させることにより前記画像認識装置をコンピュータにて実現させる画像認識装置の画像認識プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明の一態様によれば、ユーザによる煩雑な事前の入力作業を必要とせずに、所望の物体をより正確に検出する画像認識装置を実現できる。
実施形態1に係る画像認識システムの要部の構成を示すブロック図である。 カメラを上方に取り付けし、見下げ方向で撮像する場合を示すモデル図である。 カメラを上方に取り付けし、見下げ方向で撮像した場合における撮像画像の時間変化を示す図である。 カメラを下方に取り付けし、見上げ方向で撮像する場合を示すモデル図である。 カメラを下方に取り付けし、見上げ方向で撮像した場合における撮像画像の時間変化を示す図である。 カメラを上方に取り付けした場合において、誤った物体を検出した事例である。 カメラを下方に取り付けした場合において、誤った物体を検出した事例である。 検出物体の位置(Y座標)と大きさの相関関係を示す図である。 実施形態1に係る画像認識システムの動作例を示すフローチャートである。
〔実施形態1〕
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」とも表記する)を、図面に基づいて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。
§1.適用例
図1は実施形態1に係る画像認識システム100の要部の構成を示すブロック図である。画像認識システム100は、カメラ20と、カメラ20で撮像された撮像画像を取得し画像認識を行う画像認識装置1と、を備える。カメラ20は、一度取り付けられると画角および撮像方向は変化せず、一定である。
画像認識装置1は、画像取得部11で取得した撮像画像から、検出部12によって所定の種類の物体を検出し、検出された検出物体に関して判定部15によって当該検出物体が検出対象の目的物体であるか否かを判定する。判定部15での判定にあたっては、記録制御部13によって取得された指標に基づき、検出物体が目的物体であるか否かを判定する。
当該指標には、撮像画像における検出物体の位置と、該位置での目的物体の大きさとの対応関係が予め定義されている。そのため、検出物体の大きさが、指標における、当該検出物体の撮像画像における位置に対応する大きさに近い場合、当該検出物体は目的物体と判定することができる。
§2.構成例
(画像認識装置1の構成)
画像認識装置1は、画像取得部11と、検出部12と、記録制御部13と、記憶部131と、指標作成部14と、判定部15と、を備える。
画像取得部11は、カメラ20で撮像された撮像画像を取得する。撮像画像を検出部12に出力する。
検出部12は、入力された撮像画像の中における所定の種類の物体を画像認識によって検出する。物体としては、人物が代表的であるが、人物に限定されず任意の物体であってもよい。検出部12による検出結果である検出物体の位置と大きさとを記録制御部13と、判定部15とに出力する。
ここで、検出物体の位置は、検出物体を囲う枠(検出枠)の中心である。検出物体の位置の導出方法は、この方法に限定されず、検出枠上のいずれかの点または、検出された検出物体の重心などの、他の導出方法であっても構わない。
また、検出物体の大きさとしては、検出枠の各種の長さであってよい。検出枠の長さの例としては、対角線の長さ、上下方向の長さ、左右方向の長さ、上下方向および左右方向のいずれか長い方の長さ、上下方向および左右方向のいずれか短い方の長さ、などが挙げられる。また、検出物体の大きさとして、検出枠の面積であってもよい。さらに、検出物体自体が占める領域が特定される場合には、検出物体の大きさとして、その領域の各種の長さあるいは面積であってもよい。
記録制御部13は、画像認識装置1のプログラム・様々なパラメータを記録する記憶部131に対し、記録するデータを制御する。具体的には、記録制御部13は、検出物体の位置と大きさとの対応関係を、検出履歴(履歴)として記憶部131に記録させる。記録制御部13は、記憶部131に記録されている検出履歴を指標作成部14に出力する。
記憶部131は、画像認識装置1の機能ブロックに限定されず、外部の装置に備えられていてもよい。すなわち、記録制御部13は、各種通信手段を介して外部の装置に備えられた記憶部131にアクセスし、検出履歴の記録および検出履歴の取得をしてもよい。
指標作成部14は、検出履歴に基づいて、検出物体の位置と大きさの分布の傾向を表す指標を作成する。指標は、例えば関数の形で表せる情報であり、検出物体が目的物体であるかの判定に用いられる。指標作成部14は、作成した指標を判定部15に出力する。
判定部15は、検出部12が検出した検出物体が目的物体であるか否かを、指標作成部14で作成した指標に基づき判定する。判定部15は、判定された結果を出力する。判定部15による判定結果の出力先としては、図示しない表示装置の表示制御部や、通信ネットワークを介して任意のサーバや端末装置に送信するための通信制御部などが挙げられる。
(カメラ20の取り付けに伴う撮像画像)
図2は、カメラ20を上方に取り付けし、見下げ方向で撮像する場合を示すモデル図である。図3は、カメラ20を上方に取り付けし、見下げ方向で撮像した場合における撮像画像の時間変化を示す図である。図4は、カメラ20を下方に取り付けし、見上げ方向で撮像する場合を示すモデル図である。図5は、カメラ20を下方に取り付けし、見上げ方向で撮像した場合における撮像画像の時間変化を示す図である。
画像認識装置1は、撮像画像の中から、人物と想定される物体を検出物体32として検出する。以降、撮像画像の左下に原点があり、左右方向にX軸が、上下方向にY軸があるものとして説明する。
まず、図2に示すように、カメラ20を上方に取り付け、見下げ方向で物体31を撮像する場合を考える。図3の画像41に示すように、カメラ20から遠方の物体は撮像画像の上部に小さく映り、図3の画像42に示すように、カメラ20の付近の物体は撮像画像の下部に大きく映る。
図3に示すように、カメラ20の遠方から、カメラ20の付近まで歩いてくる検出物体32は、カメラ20との距離が縮むため徐々に大きさが大きくなりつつ、撮像画像における位置が上方(Y座標が大)から下方(Y座標が小)に移動する。
また、図4に示すように、カメラ20を下方に取り付け、見上げ方向で物体31を撮像する場合を考える。図5の画像43に示すように、カメラ20から遠方の物体は撮像画像の下部に小さく映り、図5の画像44に示すようにカメラ20の付近の物体は撮像画像の上部に大きく映る。
図4に示すように、カメラ20の遠方からカメラ20の付近まで歩いてくる検出物体32は、カメラ20との距離が縮むため徐々に大きさが大きくなりつつ、撮像画像における位置が下方(Y座標が小)から上方(Y座標が大)に移動する。
すなわち、カメラ20の取り付け方法によらず、検出物体の動きに合わせて、検出物体の位置および大きさが変化する。
(カメラ20による誤検出)
図6は、カメラ20を上方に取り付けした場合において、誤った物体を検出した事例である。図7は、カメラ20を下方に取り付けした場合において、誤った物体を検出した事例である。
図6に示すように、カメラ20を上方に取り付けした場合において、画像認識装置1は、検出枠33に示す位置において人物でない物体を誤って検出する場合がある。これは、例えば背景画像が人体の形状と類似している場合などに生じる。人物でない物体を誤って検出した場合、検出枠33が表示されている位置(Y座標)における大きさが、上述した人物を検出した状況と異なる大きさになる可能性が高い。
同様に、図7に示すように、カメラ20を下方に取り付けした場合において、画像認識装置1は、検出枠33に示す位置において人物でない物体を誤って検出する場合がある。
つまり、図6では、カメラ20を上方に取り付けした場合において、画像の下方に検出枠33が表示されている。本来では検出枠33の位置が画像の下方なため、検出枠は比較的大きいはずであるが、検出された検出枠33は比較的小さくなっている。同様に、図7では、カメラ20を下方に取り付けした場合において、画像の上方に検出枠33が表示されている。本来では検出枠33の位置が画像の上方なため、検出枠は比較的大きいはずであるが、検出された検出枠33は比較的小さくなっている。このように、誤検出した際の検出枠の位置および大きさは、人物を検出した場合と異なる可能性が高い。よって、検出枠の位置および大きさを示す指標に基づいて、誤検出を判定することが可能である。
(検出物体32の位置と大きさの相関関係)
図8は、検出物体32の位置(Y座標)と大きさの相関関係を示す図である。記憶部131には、過去に検出した検出物体の位置と大きさとを対応付けた検出履歴が記録されている。この検出履歴を検出履歴分布として2軸の散布図にプロットした状態を図8に示す。この検出履歴分布では、横軸に検出物体の大きさが、縦軸に検出物体の位置(撮像画像の上下方向における位置(Y座標))がプロットされている。多数の点51は、ある程度の相関関係を示し、離散的な分布になっている。
指標作成部14は、記憶部131から検出履歴を取得し、多数の点51に基づいて近似曲線52を導出する。近似曲線52の導出方法は、例えば最小二乗法が挙げられるが、これに限定されるものではなく、任意の近似曲線導出手法でよい。
ここで、検出履歴を作成している段階において、検出履歴の中に誤検出したデータが含まれている場合、近似曲線から大きく外れる点があることが考えられる。しかしながら、当該大きく外れる点が他に対して少数であった場合は、近似曲線52に与える影響は少なく、無視できる。すなわち、誤検出の発生確率が低い場合には、検出履歴を作成している段階において誤検出データが含まれていても、十分に適切な指標を作成することが可能である。なお、検出履歴の数が一定数以上となった後は、判定部15によって検出物体が目的物体であると判定されたデータのみを検出履歴に追加することによって、誤検出のデータによる指標作成への悪影響をなくすことができる。
指標作成部14は、多数の点51の分布の傾向を示す近似曲線52を作成するが、これに限定されず、任意の指標となるものであればよい。例えば、関数などが挙げられる。関数を表す近似曲線52は連続な曲線に限定されず、位置および大きさの所定の範囲毎に不連続な曲線または直線であってもよい。また、関数は、位置および大きさの所定の範囲毎に値が決まるテーブル形式で表されていてもよい。
ここで、上記のような指標が得られた状態において、判定部15における判定処理について説明する。検出物体32が検出されると、判定部15は、該検出物体32の位置および大きさと指標としての上記関数とを比較する。この比較処理は、概念的には、該検出物体32の位置および大きさを図8に示す点53にプロットし、近似曲線52との距離54を算出し、所定値と比較することになる。ここで距離54は、点53点と近似曲線52との最短距離である。なお、距離54は、点53と近似曲線52とのY座標における差分でもよい。距離54の算出方法はこれらに制限されず、任意の算出方法でも構わない。
§3.動作例
図9は、実施形態1に係る画像認識システム100の動作例を示すフローチャートである。
S11において、画像取得部11は、カメラ20より撮像画像を取得する。取得した撮像画像を検出部12に出力する。検出部12は、入力された撮像画像の中から、物体31を検出し、検出物体32とする。
S12において、検出部12は、少なくとも一つの検出物体32を検出したかを判定する。少なくとも一つの検出物体32を検出しなかった場合(S12においてNo)、S13に進む。対して、少なくとも一つの検出物体32を検出した場合(S12においてYes)、S14に進む。
S13において、判定部15は、検出物体32がないことを表示する。
S14において、記録制御部13は、検出履歴が所定の数以上であるか否かを判定する。所定の数未満の場合(S14においてNo)、S19に進む。対して、所定の数以上の場合(S14においてYes)、S15に進む。
S15において、指標作成部14は、記憶部131から検出履歴を読み出し、指標として、検出履歴分布の傾向を反映した近似曲線52を導出する。
S16において、近似曲線52と、今回検出した検出物体32の位置および大きさに対応する点53との距離54を算出する。算出された距離54が所定の閾値以上の場合(S16においてNo)、S17に進む。対して、算出された距離54が所定の閾値未満の場合(S16においてYes)、S18に進む。
S17において、判定部15は、検出された検出物体32が人物(目的物体)ではなく、誤検出であると判定する。
S18において、判定部15は、検出された検出物体32が人物であると判定する。
S19において、記録制御部13は、検出物体の位置および大きさを検出履歴に記憶する。
S20において、判定部15は、検出部12および判定部15それぞれの結果を出力し、表示装置に表示する。
ここで、記録制御部13は、検出部12および判定部15のそれぞれの結果をユーザが目視し、明らかに誤検出または誤判定と考えられる検出物体に関しては、誤検出を示すフラグを立てることで、検出履歴分布での近似曲線の生成に使用しなくすることもできる。この操作により、検出物体中における目的物体の判定精度が向上する。
§4.作用・効果
カメラ20を上方に取り付けし見下げ方向で撮像した場合であっても、カメラ20を下方に取り付けし見上げ方向で撮像した場合であっても、ともに、画像上の物体である検出物体が動くことで、画像上の検出物体の位置と大きさは変化する。検出物体の位置と大きさの変化には関係性があるため、その関係性から得られる分布の傾向によって、指標を導出する。当該指標に対して検出物体の位置および大きさを比較することで、当該検出物体が検出する目的であった目的物体であるか否かを判定することができる。そのため、目的物体でない物体を誤検出しているか否かを判定することができ、目的物体の検出精度を向上させることができる。
したがって、検出された物体は、位置と大きさが自動で記録されていき、記録された位置と大きさとの組み合わせの個数が所定の数を越すことで、検出物体が目的とした物体(例えば、人物)であるか、他の物体であるかを判定することができるようになる。そのため、カメラ20の取り付け位置に応じた設置環境ごとに人物の大きさなどの情報を事前に入力することなく、人物の検出および判定ができるようになるため、使い勝手が良い。
検出物体の位置と大きさとの履歴が所定の数集まることで、検出物体の位置と大きさとの分布の傾向がわかり、精度良い指標を作成することができる。
特に、当該指標は関数、ひいては2次元空間における近似曲線であってもよく、画像における上下方向のみを考慮して、検出物体が目的物体であるか否かを判定することができる。
また、近似曲線を上下方向に対する検出物体の大きさで考えたが、これに限定されず、任意の一軸方向での一次元位置に対する検出物体の大きさであってもよい。すなわち、近似曲線は左右方向に対する検出物体の大きさでもよいし、撮像画像上の任意の傾きをもつ直線に対する検出物体の大きさでもよく、近似曲線は、一次元位置と検出物体の大きさとを表す点群から得られる関数であってもよい。例えば、カメラ20が、廊下の側壁に人体とほぼ同じ高さに設置され、廊下の遠方が撮像画像の左側、廊下の近傍が撮像画像の右側となるように撮像方向が決められている場合、目的物体の大きさは撮像画像の左側から右側に向けて大きくなる。この場合、近似曲線を撮像画像の左右方向に対する検出物体の大きさに応じたものとして設定すればよい。
〔変形例1〕
実施形態1では、検出物体の位置では、画像の上下方向のみを考慮していたが、変形例1では、画像の上下左右方向を考慮する例について説明する。すなわち、画像上のX座標、Y座標に検出物体の大きさを対応付ける。
そのため、検出履歴分布は、検出物体のX座標と、検出物体のY座標と、検出物体の大きさとの3軸における散布図として得られる。また、検出履歴分布によって導出される指標は、近似曲面となる。近似曲面は、関数で表せてもよい。また、関数を表す近似曲面は連続な曲面に限定されず、位置および大きさの所定の範囲毎に不連続な曲面または平面であってもよい。また、関数は、位置および大きさの所定の範囲毎に値が決まるテーブル形式で表されていてもよい。
したがって、変形例1では、検出物体のX座標とY座標と大きさとを三次元において表した新しい点は、当該近似曲面に対して距離が算出できる。距離の算出にあたっては、新しい点に最も近い近似曲面上の点との距離でもよい。また、新しい点におけるX座標とY座標とでの大きさに対応する近似曲面上の点との距離でもよい。これら距離が所定の値未満であれば、検出物体が目的物体(人物)であると判定される。
実施形態1に対し変形例1では、検出履歴分布が3軸の散布図で表せるため、立体的な奥行きの関係性を考慮した近似曲面を作成することができる。そのため、同じY座標であっても、X座標が異なれば大きさが異なる場合などに対応させることができる。
例えば、撮像される空間に階段などの高低差がある場合、撮像画像の位置に応じて目的物体の大きさの変化傾向が異なることがある。このような場合に、高低差に応じた近似曲面を設定することによって、的確に目的物体であるか否かの判断を行うことが可能となる。
さらに、壁などの物体が侵入できない領域が撮像画像の範囲にある場合に、当該壁などの領域に関しては、予め検出物体の大きさを0または極大値にしておくことで、物体が存在し得ない領域を明確に定義することもできる。ただし、この場合、ユーザによる検出物体の位置と大きさとの関係を表す情報に関する事前の入力が必要となる。
また、近似曲面をX座標とY座標との二次元空間に対する検出物体の大きさで考えたが、これに限定されず、所定の二軸方向での二次元位置に対する検出物体の大きさで考えてもよい。この場合、関数は、検出物体の二次元位置と検出物体の大きさとの三次元における近似曲面であってもよい。
〔変形例2〕
実施形態1では、カメラ20は鉛直方向に対し角度をつけていたが、変形例2では、光軸を鉛直方向に向けた場合に関して説明する。例えば、カメラ20を真下に向けて天井に取り付けた場合などである。
このような場合では、一般に魚眼レンズまたは広角レンズなどを用いることが一般的である。これらレンズでは、カメラ20から等距離であっても、カメラ20の光軸に対して角度が付いている位置する物体は、光軸上に位置する物体よりも撮像画像において像が小さくなる性質がある。
また、撮像画像は、光軸を中心に同心円状に像が配置される性質がある。そのため、検出履歴は、実施形態1の傾向と異なり、検出物体の位置はY座標ではなく、中心位置からの半径で表せる。
〔変形例3〕
実施形態1では、近似曲線と、検出物体の位置と大きさとの関係から、検出物体が目的物体であるか否かを判定した。変形例3では、近似曲線を用いずに、検出履歴分布と検出物体の位置と大きさとから、当該検出物体が目的物体であるか否かを、AI(Artificial Intelligence)によって判定する。例えば、外れ値判定のための機械学習などをしてもよい。
この場合でも、誤検出に相当する明らかな外れ値が検出履歴分布に混入している場合であっても、学習段階で外れ値の影響が極小化され問題にならなくなる。
〔ソフトウェアによる実現例〕
画像認識装置1(以下、「装置」と呼ぶ)の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック(特に画像認識装置1に含まれる各部)としてコンピュータを機能させるためのプログラムにより実現することができる。
この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも1つの制御装置(例えばプロセッサ)と少なくとも1つの記憶装置(例えばメモリ)を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、1または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
1 画像認識装置
11 画像取得部
12 検出部
13 記憶部
14 指標作成部
15 判定部
20 カメラ
31 物体
32 検出物体
33 誤検出枠
51 多数の点
52 近似曲線(指標)
53 新しい点
54 距離
100 画像認識システム

Claims (7)

  1. 撮像画像を取得する画像取得部と、
    前記撮像画像から画像認識により所定の種類の物体を検出物体として検出する検出部と、
    前記検出部において検出された、前記検出物体の前記撮像画像における位置および大きさの履歴を記録する制御を行う記録制御部と、
    前記履歴に基づいて、前記検出物体が検出対象の目的物体であるか否かを判定するための指標を作成する指標作成部と、
    前記検出部において検出された、前記撮像画像における前記検出物体の位置および大きさと、前記指標とを比較することにより、前記検出物体が前記目的物体であるか否かを判定する判定部と、を備える画像認識装置。
  2. 前記指標作成部は、前記指標として、前記検出物体の位置と前記検出物体の大きさとの関係を示す関数を作成する請求項1に記載の画像認識装置。
  3. 前記判定部は、前記関数と、前記撮像画像における前記検出物体の位置および大きさとから定まる距離が所定の閾値未満の場合、前記検出物体が前記目的物体であると判定する請求項2に記載の画像認識装置。
  4. 前記記録制御部は、前記撮像画像における所定の一軸方向での前記検出物体の一次元位置と前記検出物体の大きさとの対応関係を記録する制御を行い、
    前記関数は、前記検出物体の前記一次元位置と、前記検出物体の大きさとの二次元における近似曲線であり、
    前記距離は、前記検出物体の前記一次元位置と、前記検出物体の大きさと、を表す点と前記近似曲線との距離である請求項3に記載の画像認識装置。
  5. 前記記録制御部は、前記撮像画像における所定の二軸方向での前記検出物体の二次元位置と前記検出物体の大きさとの対応関係を記録する制御を行い、
    前記関数は、前記検出物体の前記二次元位置と、前記検出物体の大きさとの三次元における近似曲面であり、
    前記距離は、前記検出物体の前記二次元位置と、前記検出物体の大きさと、を表す点と前記近似曲面との距離である請求項3に記載の画像認識装置。
  6. 撮像画像を取得する画像取得ステップと、
    前記撮像画像から画像認識により所定の種類の物体を検出物体として検出する検出ステップと、
    前記検出ステップにおいて検出された、前記検出物体の前記撮像画像における位置および大きさの履歴を記録する制御を行う記録制御ステップと、
    前記履歴に基づいて、前記検出物体が検出対象の目的物体であるか否かを判定するための指標を作成する指標作成ステップと、
    前記検出ステップにおいて検出された、前記撮像画像における前記検出物体の位置および大きさと、前記指標とを比較することにより、前記検出物体が前記目的物体であるか否かを判定する判定ステップと、を含む画像認識装置の方法。
  7. 請求項1に記載の画像認識装置としてコンピュータを機能させるための画像認識プログラムであって、上記画像取得部、上記検出部、上記記録制御部、上記指標作成部、および上記判定部としてコンピュータを機能させるための画像認識装置プログラム。
JP2021084061A 2021-05-18 2021-05-18 画像認識装置、画像認識装置の方法、および画像認識装置プログラム Pending JP2022177651A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021084061A JP2022177651A (ja) 2021-05-18 2021-05-18 画像認識装置、画像認識装置の方法、および画像認識装置プログラム
CN202280027596.7A CN117136387A (zh) 2021-05-18 2022-03-16 图像识别装置、图像识别装置的方法及图像识别装置程序
US18/287,022 US20240202971A1 (en) 2021-05-18 2022-03-16 Image recognition device, method for image recognition device, and recording medium
DE112022002620.0T DE112022002620T5 (de) 2021-05-18 2022-03-16 Bilderkennungsvorrichtung, bilderkennungsvorrichtungsverfahren und bilderkennungsvorrichtungsprogramm
PCT/JP2022/011802 WO2022244424A1 (ja) 2021-05-18 2022-03-16 画像認識装置、画像認識装置の方法、および画像認識装置プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021084061A JP2022177651A (ja) 2021-05-18 2021-05-18 画像認識装置、画像認識装置の方法、および画像認識装置プログラム

Publications (1)

Publication Number Publication Date
JP2022177651A true JP2022177651A (ja) 2022-12-01

Family

ID=84140533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021084061A Pending JP2022177651A (ja) 2021-05-18 2021-05-18 画像認識装置、画像認識装置の方法、および画像認識装置プログラム

Country Status (5)

Country Link
US (1) US20240202971A1 (ja)
JP (1) JP2022177651A (ja)
CN (1) CN117136387A (ja)
DE (1) DE112022002620T5 (ja)
WO (1) WO2022244424A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6428144B2 (ja) * 2014-10-17 2018-11-28 オムロン株式会社 エリア情報推定装置、エリア情報推定方法、および空気調和装置
JP7059054B2 (ja) 2018-03-13 2022-04-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7192582B2 (ja) * 2019-03-11 2022-12-20 オムロン株式会社 物体追跡装置および物体追跡方法

Also Published As

Publication number Publication date
CN117136387A (zh) 2023-11-28
WO2022244424A1 (ja) 2022-11-24
US20240202971A1 (en) 2024-06-20
DE112022002620T5 (de) 2024-03-14

Similar Documents

Publication Publication Date Title
JP6755713B2 (ja) 追尾装置、追尾方法及びプログラム
JP7192582B2 (ja) 物体追跡装置および物体追跡方法
JP6352208B2 (ja) 三次元モデル処理装置およびカメラ校正システム
CN110537207B (zh) 脸部朝向推定装置及脸部朝向推定方法
WO2020202865A1 (ja) 人検出装置および人検出方法
KR20140056790A (ko) 영상 인식 장치 및 그 방법
JP2006343859A (ja) 画像処理装置及び画像処理方法
CN113052907B (zh) 一种动态环境移动机器人的定位方法
KR102295183B1 (ko) Cctv 프로젝션 모델을 이용한 cctv 영상의 객체 추적 방법
JP2019212148A (ja) 情報処理装置及び情報処理プログラム
JP2018173882A (ja) 情報処理装置、方法、及びプログラム
JP2002366958A (ja) 画像認識方法および画像認識装置
JP6336935B2 (ja) 移動物体追跡装置
JPWO2005096130A1 (ja) 撮像装置の指示位置検出方法および装置、撮像装置の指示位置検出用プログラム
WO2022244424A1 (ja) 画像認識装置、画像認識装置の方法、および画像認識装置プログラム
JP4415870B2 (ja) 転倒転落検知システム、及びプログラム
JP2016176816A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6374812B2 (ja) 三次元モデル処理装置およびカメラ校正システム
JPWO2017126072A1 (ja) 画像認識システム、カメラ状態推定装置及び記憶媒体
JP6448457B2 (ja) 撮影方向変動検出装置および撮影方向変動検出方法
WO2021157213A1 (ja) 画像処理装置および画像処理方法
JP7491035B2 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
JP5176523B2 (ja) 移動体検出装置、移動体検出方法および移動体検出プログラム
JP2021197572A (ja) カメラ制御装置及びプログラム
JP2022121280A (ja) ホモグラフィ算出方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240318