JP2016224547A - 画像処理装置、画像処理システム及び画像処理方法 - Google Patents
画像処理装置、画像処理システム及び画像処理方法 Download PDFInfo
- Publication number
- JP2016224547A JP2016224547A JP2015107721A JP2015107721A JP2016224547A JP 2016224547 A JP2016224547 A JP 2016224547A JP 2015107721 A JP2015107721 A JP 2015107721A JP 2015107721 A JP2015107721 A JP 2015107721A JP 2016224547 A JP2016224547 A JP 2016224547A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- camera
- state
- robot arm
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
Description
<全体構成例>
はじめに、本実施形態に係る画像処理装置を用いる全体構成の一例について説明する。
図2は、実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。図示するように、カメラ10は、CPU(Central Processing Unit)11と、HDD(Hard Disk Drive)12と、RAM(Random Access Memory)13と、ROM(Read Only Memory)14とを有する。さらに、カメラ10は、入力装置15と、表示装置16と、外部I/F(interface)17と、通信I/F18と、撮像素子19とを有する。カメラ10が有する各ハードウェアは、バスBで接続される。
学習処理及び判定処理は、例えば、特願2014−245194明細書等に記載された処理である。まず、カメラ10(図1)は、学習処理を行い、学習処理によって、カメラ10は、ロボットアーム2(図1)の動作を学習する。次に、学習処理後、カメラ10は、図1に示すように、撮像を行う。また、ロボットアーム2がピッキング等を実現する所定の動作(以下「正常動作」という。)とは異なる動作(以下「異常動作」という。)を行う場合がある。これに対して、カメラ10は、撮像によって生成される画像データに基づいて、判定処理を行い、判定処理によって、ロボットアーム2が行う動作のうち、異常動作を検出する。
図3は、実施形態に係る画像処理装置による学習処理の一例を示すフローチャートである。具体的には、まず、カメラ10(図1)が学習画像データを用いて学習処理を行う例を説明する。なお、学習画像データは、ロボットアーム2の正常動作をカメラ10が撮像して得られる画像データである。即ち、以降で説明する学習処理は、半教師あり学習である。
(1)カメラ10は、部品Aを撮像して得られる部品A画像データ、部品Bを撮像して得られる部品B画像データ及び部品Cを撮像して得られる部品C画像データをそれぞれ入力する。
(2)カメラ10は、部品A画像データをテンプレートとして、学習画像データに対して、テンプレートマッチングを行い、類似度を算出する。なお、類似度の算出は、例えばSSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)又はNCC(Normalized Cross−Correlation)等によって実現される。
(3)カメラ10は、算出された類似度があらかじめ設定される閾値以上となる(又は最大となる)画像を部品Aの学習画像データとする。これにより、部品Aの学習画像データが生成される。
(1)部品Aの学習画像データについて、2ピクセルごとに、SURF(Speeded Up Robust Features)特徴量の算出手法を用いて、所定のスケールσでオリエンテーションを算出する。なお、SURF特徴量の算出手法は、例えば、「H.Bay,"Speeded−Up Robust Features(SURF)",Computng Vision and Image Understanding, Vol.110 (3) June 2008, pp.346−359.」等で開示されている手法等である。また、特徴量の算出手法は、SIFT(Scale−Invariant Feature Transform)特徴量又はFerns特徴量の算出手法等でもよい。
(2)カメラ10は、上記(1)で得られる各3次元ベクトル(x,y,θxy)を部品Aの学習画像データの特徴量とする。
図5は、実施形態に係る画像処理装置による判定処理の一例を示すフローチャートである。なお、図5に示す処理は、カメラ10が図3に示す学習処理を行った後に行われる処理の例である。判定対象画像データは、図1に示すように、ロボットアーム2及びロボットアーム2の周辺をカメラ10が撮像した画像データである。
(1)カメラ10は、部品A画像データ、部品B画像データ及び部品C画像データをそれぞれ入力する。
(2)カメラ10は、(1)で入力される部品A画像データをテンプレートとして、ステップS11で入力される判定対象画像データに対して、テンプレートマッチングを行い、類似度を算出する。
(3)カメラ10は、算出される類似度があらかじめ設定される閾値以上となる(又は最大となる)画像を部品Aの判定対象画像データとする。
(1)カメラ10は、部品Aの判定対象画像データについて、キーポイントの検出を行う。キーポイントは、例えば、ヘッセ行列が用いられると、検出できる。以下、検出されるキーポイントをそれぞれ(x1,y1),(x2,y2),・・・,(xk,yk)とする。
(2)カメラ10は、(1)で検出されるキーポイント(x1,y1),(x2,y2),・・・,(xk,yk)に対して、スケールσjをそれぞれ算出する。ここで、j=1,・・・,kであるとする。
(3)カメラ10は、キーポイント(x1,y1),(x2,y2),・・・,(xk,yk)のうち、学習処理で用いた所定のスケールσとの関係で、|σ−σj|>εとなる(xj,yj)を除外する。このようにして得られるキーポイントを(x1,y1),(x2,y2),・・・,(xL,yL)とする。ここで、k≧Lである。また、上記のεは、あらかじめ設定される値である。これは、キーポイント(x1,y1),(x2,y2),・・・,(xk,yk)のうち、スケールσjの値がσと近い値となるキーポイント以外を除外することを意味する。なお、このようにして得られるキーポイント(x1,y1),(x2,y2),・・・,(xL,yL)が、当該部品(部品A)において異常な状態である場合を示す箇所の候補となる。
(4)カメラ10は、各キーポイント(x1,y1),(x2,y2),・・・,(xL,yL)に対して、それぞれのキーポイントにおけるオリエンテーションθjをそれぞれ算出する。そして、カメラ10は、これにより得られる3次元ベクトル(xj,yj,θj)(j=1,・・・,L)を部品Aの判定対象画像データの特徴量とする。
図6は、第1実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。具体的には、カメラ10は、特徴量算出部10F1と、検出部10F2と、処理部10F3と、認識部10F4とを含む。カメラ10には、学習画像データD1及び判定対象画像データD2等の画像データがそれぞれ入力される。
第2実施形態では、第1実施形態と同様の図2に示すカメラ10を用い、図3及び図5に示す処理を行う。したがって、ハードウェア構成、学習処理及び判定処理については、説明を省略する。また、第2実施形態について、第1実施形態と同様に、図1に示す構成である例で説明する。第2実施形態は、第1実施形態と比較して、機能構成が異なる。なお、説明では、同一の機能については、同一の符号を付し、説明を省略する。
図8は、第2実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。図示する機能構成は、第1実施形態の機能構成と比較すると、視線方向検出部10F5が追加される点が異なる。また、第2実施形態では、カメラ10は、計測部10F6を更に含んでもよい。以下、異なる点を中心に説明する。
第3実施形態では、第1実施形態と同様の図2に示すカメラ10を用い、図3及び図5に示す処理を行う。したがって、ハードウェア構成、学習処理及び判定処理については、説明を省略する。また、第3実施形態について、第1実施形態と同様に、図1に示す構成である例で説明する。第3実施形態は、第1実施形態と比較して、機能構成が異なる。なお、説明では、同一の機能については、同一の符号を付し、説明を省略する。
図10は、第3実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。図示する機能構成は、第1実施形態の機能構成と比較すると、判別部10F7が追加される点が異なる。以下、異なる点を中心に説明する。
第4実施形態では、第1実施形態と同様の図2に示すカメラ10を用い、図3及び図5に示す処理を行う。したがって、ハードウェア構成、学習処理及び判定処理については、説明を省略する。また、第4実施形態について、第1実施形態と同様に、図1に示す構成である例で説明する。第4実施形態は、第1実施形態と比較して、機能構成が異なる。なお、説明では、同一の機能については、同一の符号を付し、説明を省略する。
図11は、第4実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。図示する機能構成は、第1実施形態の機能構成と比較すると、取得部10F8が追加される点が異なる。以下、異なる点を中心に説明する。
第5実施形態では、第1実施形態と同様の図2に示すカメラ10を用い、図3及び図5に示す処理を行う。したがって、ハードウェア構成、学習処理及び判定処理については、説明を省略する。また、第5実施形態について、第1実施形態と同様に、図1に示す構成である例で説明する。第5実施形態は、第1実施形態と比較して、機能構成が異なる。なお、説明では、同一の機能については、同一の符号を付し、説明を省略する。
図13は、第5実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。図示する機能構成は、第1実施形態の機能構成と比較すると、生成部10F9が追加される点が異なる。以下、異なる点を中心に説明する。
以上の説明から明らかなように、本実施形態に係るカメラでは、
・特徴量算出部及び検出部は、正常動作である場合の学習データによって学習処理を行い、画像データに基づく判定処理によって異常動作を検出できる構成とした。
・処理部は、音若しくは光等を使用して人に通知を行う又はロボットアーム等の第1物体を減速若しくは停止させる制御を行える構成とした。
・視線方向検出部は、人の視線を検出し、視線方向に基づいて人がロボットアームを見ているか否かを判定して判定結果に基づいて処理部が行う通知及び制御を決定できる構成とした。
・計測部は、第1物体と人との距離、相対速度又は第1物体の速度のうち、いずれかの計測値を計測し、計測値に基づいて上記(表1)のように、処理部が行う通知及び制御を決定できる構成とした。
・判別部は、第2物体の種類を判別し、判別された種類に基づいて処理部が行う通知及び制御を決定できる構成とした。
・取得部は、環境状況として第1物体の周辺に係る状態又は正常動作の種類を取得し、第1物体の状態又は正常動作の種類により算出される重み係数に基づいて上記(表2)のように、処理部が行う通知及び制御を決定できる構成とした。
・生成部は、環境状況として第1物体の状態、第1物体の周辺に係る状態又は第2物体の状態を入力して、環境状況を示すデータ、画像データ、環境状況若しくは画像データに基づいて算出される算出値又はこれらを組み合わせたデータを生成できる構成とした。
2 ロボットアーム
3 人
4 部品
Claims (11)
- 第1物体及び前記第1物体の周辺を撮像する画像処理装置であって、
前記画像処理装置に入力される画像データに基づいて前記第1物体の異常動作を検出する検出部と、
前記検出によって前記異常動作が検出されると、前記第1物体の状態、前記第1物体の周辺に係る状態、前記第1物体の周辺にある第2物体の状態若しくは種類又は前記第1物体の正常動作の種類のうち、いずれかを含む環境状況に基づいて、前記異常動作の通知又は前記第1物体の制御を行う処理部と
を含む画像処理装置。 - 前記第1物体が可動機械であって、
前記環境状況に前記第1物体の状態が含まれ、
前記第1物体の状態が、前記可動機械の電源が切断されている状態、前記可動機械が停止するように制御されている状態又は前記可動機械が動作を開始する前の状態のいずれかであると、前記処理部は、前記通知又は前記制御を行う請求項1に記載の画像処理装置。 - 前記第2物体が人であって、
前記環境状況に前記人の状態が含まれ、
前記人の姿勢、前記人の顔の向き又は前記人の視線に基づいて視線方向を検出する視線方向検出部を更に含み、
前記視線方向に基づく前記人が前記第1物体を見ているか否かの判定結果によって、前記処理部は、前記通知又は前記制御を行う請求項1又は2に記載の画像処理装置。 - 前記第2物体が人であって、
前記第1物体と前記人との距離、前記第1物体と前記人との相対速度又は前記第1物体の速度のうち、いずれかの計測値を計測する計測部を更に含み、
前記計測値に基づいて、前記処理部は、前記通知又は前記制御のいずれかを行うかを決定する請求項1乃至3のいずれか一項に記載の画像処理装置。 - 前記第2物体の種類を判別する判別部を更に含み、
前記環境状況に前記第2物体の種類が含まれ、
前記種類に基づいて、前記処理部は、前記通知又は前記制御のいずれかを行うかを決定する請求項1乃至4のいずれか一項に記載の画像処理装置。 - 前記画像処理装置に入力される画像データに基づいて特徴量を算出する特徴量算出部と、
前記環境状況として前記第1物体の周辺に係る状態又は前記正常動作の種類を取得する取得部とを更に含み、
前記検出部は、前記特徴量のうち、前記第1物体の動作が所定の正常動作である場合の特徴量によって生成される学習データに基づいて、前記正常動作を検出し、
前記第1物体が可動機械であって、
前記処理部は、前記正常動作の種類に基づいて、重み係数を算出し、前記重み係数に基づいて前記通知又は前記制御のいずれかを行うかを決定する請求項1乃至5のいずれか一項に記載の画像処理装置。 - 前記環境状況に前記正常動作の種類が含まれ、
前記正常動作の種類が、前記可動機械が所定の動線上を動く動作であるか、前記可動機械が決定した動線上を動く動作であるかによって、前記処理部は、前記重み係数を算出する請求項6に記載の画像処理装置。 - 前記環境状況に前記第1物体の周辺に係る状態が含まれ、
前記可動機械が使用する部品の量、前記第1物体の周辺の明るさ又は時間帯によって、前記処理部は、前記重み係数を算出する請求項6又は7に記載の画像処理装置。 - 前記環境状況に前記第1物体の状態、前記第1物体の周辺に係る状態又は前記第2物体の状態が含まれ、
前記環境状況を示すデータ、前記画像データ、前記環境状況若しくは前記画像データに基づいて算出される算出値又はこれらを組み合わせたデータを生成する生成部を更に含む請求項1乃至8のいずれか一項に記載の画像処理装置。 - 第1物体及び前記第1物体の周辺を撮像して画像データを生成する画像処理装置と、前記画像データを処理する1以上の情報処理装置とを有する画像処理システムであって、
前記画像処理装置に入力される画像データに基づいて前記第1物体の異常動作を検出する検出部と、
前記検出によって前記異常動作が検出されると、前記第1物体の状態、前記第1物体の周辺に係る状態、前記第1物体の周辺にある第2物体の状態若しくは種類又は前記第1物体の正常動作の種類のうち、いずれかを含む環境状況に基づいて、前記異常動作の通知又は前記第1物体の制御を行う処理部と
を含む画像処理システム。 - 第1物体及び前記第1物体の周辺を撮像する画像処理装置が行う画像処理方法であって、
前記画像処理装置が、前記画像処理装置に入力される画像データに基づいて前記第1物体の異常動作を検出する検出手順と、
前記画像処理装置が、前記検出によって前記異常動作が検出されると、前記第1物体の状態、前記第1物体の周辺に係る状態、前記第1物体の周辺にある第2物体の状態若しくは種類又は前記第1物体の正常動作の種類のうち、いずれかを含む環境状況に基づいて、前記異常動作の通知又は前記第1物体の制御を行う処理手順と
を含む画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015107721A JP6544044B2 (ja) | 2015-05-27 | 2015-05-27 | 画像処理装置、画像処理システム及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015107721A JP6544044B2 (ja) | 2015-05-27 | 2015-05-27 | 画像処理装置、画像処理システム及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016224547A true JP2016224547A (ja) | 2016-12-28 |
JP6544044B2 JP6544044B2 (ja) | 2019-07-17 |
Family
ID=57745805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015107721A Expired - Fee Related JP6544044B2 (ja) | 2015-05-27 | 2015-05-27 | 画像処理装置、画像処理システム及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6544044B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018144157A (ja) * | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
WO2019014951A1 (zh) * | 2017-07-21 | 2019-01-24 | 深圳市萨斯智能科技有限公司 | 一种机器人的信息传输方法和机器人 |
JP2019042871A (ja) * | 2017-09-01 | 2019-03-22 | 川崎重工業株式会社 | ロボットシステム |
JP2019197373A (ja) * | 2018-05-09 | 2019-11-14 | 高砂熱学工業株式会社 | 通知装置、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム |
JP2020049623A (ja) * | 2018-09-28 | 2020-04-02 | Idec株式会社 | 安全制御システム |
JP2020059112A (ja) * | 2018-10-12 | 2020-04-16 | ファナック株式会社 | ロボット制御装置 |
WO2023170868A1 (ja) * | 2022-03-10 | 2023-09-14 | 株式会社Fuji | 安全装置およびロボットシステム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6016386A (ja) * | 1983-07-04 | 1985-01-28 | 松下電器産業株式会社 | 動作監視装置 |
JPH1048008A (ja) * | 1996-08-02 | 1998-02-20 | Omron Corp | 注目情報計測方法及び装置並びにそれを用いた各種システム |
JP2011089784A (ja) * | 2009-10-20 | 2011-05-06 | Nippon Signal Co Ltd:The | 物体方向推定装置 |
WO2013137412A1 (ja) * | 2012-03-15 | 2013-09-19 | オムロン株式会社 | 制御装置、電子機器、制御方法、制御プログラム、および、制御プログラムを格納したコンピュータ読取可能な記録媒体 |
-
2015
- 2015-05-27 JP JP2015107721A patent/JP6544044B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6016386A (ja) * | 1983-07-04 | 1985-01-28 | 松下電器産業株式会社 | 動作監視装置 |
JPH1048008A (ja) * | 1996-08-02 | 1998-02-20 | Omron Corp | 注目情報計測方法及び装置並びにそれを用いた各種システム |
JP2011089784A (ja) * | 2009-10-20 | 2011-05-06 | Nippon Signal Co Ltd:The | 物体方向推定装置 |
WO2013137412A1 (ja) * | 2012-03-15 | 2013-09-19 | オムロン株式会社 | 制御装置、電子機器、制御方法、制御プログラム、および、制御プログラムを格納したコンピュータ読取可能な記録媒体 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018144157A (ja) * | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
WO2019014951A1 (zh) * | 2017-07-21 | 2019-01-24 | 深圳市萨斯智能科技有限公司 | 一种机器人的信息传输方法和机器人 |
JP2019042871A (ja) * | 2017-09-01 | 2019-03-22 | 川崎重工業株式会社 | ロボットシステム |
JP7011910B2 (ja) | 2017-09-01 | 2022-01-27 | 川崎重工業株式会社 | ロボットシステム |
JP2019197373A (ja) * | 2018-05-09 | 2019-11-14 | 高砂熱学工業株式会社 | 通知装置、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム |
JP7131958B2 (ja) | 2018-05-09 | 2022-09-06 | 高砂熱学工業株式会社 | 通知装置、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム |
JP2020049623A (ja) * | 2018-09-28 | 2020-04-02 | Idec株式会社 | 安全制御システム |
JP7401965B2 (ja) | 2018-09-28 | 2023-12-20 | Idec株式会社 | 安全制御システム |
JP2020059112A (ja) * | 2018-10-12 | 2020-04-16 | ファナック株式会社 | ロボット制御装置 |
CN111045354A (zh) * | 2018-10-12 | 2020-04-21 | 发那科株式会社 | 机器人控制装置 |
US11254005B2 (en) | 2018-10-12 | 2022-02-22 | Fanuc Corporation | Robot control device |
WO2023170868A1 (ja) * | 2022-03-10 | 2023-09-14 | 株式会社Fuji | 安全装置およびロボットシステム |
Also Published As
Publication number | Publication date |
---|---|
JP6544044B2 (ja) | 2019-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6544044B2 (ja) | 画像処理装置、画像処理システム及び画像処理方法 | |
US11238717B2 (en) | Proximity-based personnel safety system and method | |
EP3422153A1 (en) | System and method for selective scanning on a binocular augmented reality device | |
US20200171667A1 (en) | Vision-based robot control system | |
CN105760824A (zh) | 一种运动人体跟踪方法和*** | |
JP2021500668A (ja) | 監視装置、産業用設備、監視方法及びコンピュータプログラム | |
JP2014204375A (ja) | 画像処理システム、画像処理装置、それらの制御方法、及びプログラム | |
US9691153B1 (en) | System and method for using image data to determine a direction of an actor | |
KR20150031985A (ko) | 모바일 기기와 협력하여 위험 상황을 추적하기 위한 시스템 및 그 방법 | |
US11756326B2 (en) | Keepout zone detection and active safety system | |
US20180203515A1 (en) | Monitoring | |
US11366450B2 (en) | Robot localization in a workspace via detection of a datum | |
Aliff et al. | Development of smart rescue robot with image processing (iROB-IP) | |
JP6885909B2 (ja) | ロボット制御装置 | |
US11501459B2 (en) | Information processing apparatus, method of information processing, and information processing system | |
WO2023162484A1 (ja) | 情報処理装置及びプログラム | |
Bexten et al. | Validation of workspace monitoring and human detection for soft safety with collaborative mobile manipulator using machine learning techniques in the | |
US20230252646A1 (en) | More efficient automatic door sensing | |
WO2016199508A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20240193806A1 (en) | Information processing system, information processing method, and information processing program | |
JP2017215263A (ja) | 位置検出方法及び位置検出システム | |
KR20230152146A (ko) | 위치 검지 장치, 위치 검지 방법, 및 위치 검지 프로그램 | |
JP6681278B2 (ja) | 位置検出システム及び位置検出方法 | |
US20230028920A1 (en) | Detection of seizure events | |
CN115908549A (zh) | 一种移动作业机器人的实时动态安全防护方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190603 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6544044 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |