JP6392478B1 - 情報処理装置、情報処理プログラム、及び、情報処理方法 - Google Patents
情報処理装置、情報処理プログラム、及び、情報処理方法 Download PDFInfo
- Publication number
- JP6392478B1 JP6392478B1 JP2018084683A JP2018084683A JP6392478B1 JP 6392478 B1 JP6392478 B1 JP 6392478B1 JP 2018084683 A JP2018084683 A JP 2018084683A JP 2018084683 A JP2018084683 A JP 2018084683A JP 6392478 B1 JP6392478 B1 JP 6392478B1
- Authority
- JP
- Japan
- Prior art keywords
- teacher
- image
- points
- label
- teacher label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
【解決手段】教師学習器20は、教師画像16及び教師ラベル18を学習データとして用いることで、教師画像16の画素毎に、人物像の基幹点に対応する画素である信頼度(期待度)を示す基幹点信頼度が表された基幹点信頼度マップ52a、及び、入力画像の画素毎に、人物像の基幹点間(Limb)の向き及び基幹点間の関連度の大きさを示すベクトルが表された関連度マップ52bを出力する。補正教師ラベル生成部26は、基幹点信頼度マップ52aを用いて教師ラベル18に含まれる基幹点信頼度マップ18aを補完し、関連度マップ52bを用いて教師ラベル18に含まれる関連度マップ18bを補完して補正教師ラベルを生成する。学習部28は、補正教師ラベルを用いて学習器22を学習させる。
【選択図】図1
Description
ここで、pは教師画像16の2次元座標(画素)を表し、jは基幹点の種類を表す。したがって、基幹点の種類毎に、教師画像16の各座標の基幹点信頼度を示す基幹点信頼度マップ18aが定義されることになる。複数の基幹点に対応する複数の基幹点信頼度マップ18aは教師ラベル18の一部を構成する。
ここで、pは教師画像16の2次元座標(画素)を表し、cはLimbの種類を表す。したがって、教師ラベル18においては、Limbの種類毎に、教師画像16の各座標に定義された単位ベクトルを含む関連度マップ18bが定義されることになる。複数のLimbに対応する複数の関連度マップ18bは教師ラベル18の一部を構成する。
学習器22の出力をPS=(HS,LS)
補正教師ラベルをyLC=(HLC,LLC)
と表現し、学習器22の出力と補正教師ラベルとの間の平均二乗誤差を
EL2(PS,yLC)
と表す。
EL2(PS,yLC)
で表され、
学習済みの教師学習器20の出力をPT=(HT,LT)と表すとすると、入力画像50に対する学習器22の出力と当該入力画像50に対する学習済みの教師学習器20の出力との間の平均二乗誤差は
EL2(PS,PT)
で表される。
EKD,LC=(1−λ)EL2(PS,yLC)+λEL2(PS,PT)
λは重みであり、適宜設定されてよい。
Claims (12)
- 教師画像と、前記教師画像に含まれる人物像の複数の基幹点の位置及び前記基幹点間の関連度を示す情報を含む教師ラベルとを用いて、入力画像に含まれる人物像の複数の基幹点の位置及び当該基幹点間の関連度を出力するように学習される教師学習器と、
学習済みの前記教師学習器が出力した前記関連度に基づいて、前記教師ラベルにおいて欠損している前記人物像の基幹点に係る前記関連度が前記教師ラベルの前記関連度を示す情報に補完された補正教師ラベルを生成する補正教師ラベル生成部と、
前記補正教師ラベルを用いて、入力画像に含まれる人物像の複数の基幹点の位置及び当該基幹点間の関連度を出力するように学習器を学習させる学習部と、
を備えることを特徴とする情報処理装置。 - 教師画像と、前記教師画像に含まれる人物像の複数の基幹点の位置及び前記基幹点間の関連度を示す情報を含む教師ラベルとを用いて、入力画像に含まれる人物像の複数の基幹点の位置及び当該基幹点間の関連度を出力するように学習される教師学習器と、
学習済みの前記教師学習器が出力した前記複数の基幹点に基づいて、前記教師ラベルにおいて欠損している前記人物像の基幹点の位置が前記教師ラベルの前記基幹点の位置を示す情報に補完された補正教師ラベルを生成する補正教師ラベル生成部と、
前記補正教師ラベルを用いて、入力画像に含まれる人物像の複数の基幹点の位置及び当該基幹点間の関連度を出力するように学習器を学習させる学習部と、
を備えることを特徴とする情報処理装置。 - 前記補正教師ラベル生成部は、学習済みの前記教師学習器が出力した前記複数の基幹点に基づいて、前記教師ラベルにおいて欠損している前記人物像の基幹点の位置が前記教師ラベルの前記基幹点の位置を示す情報に補完された前記補正教師ラベルを生成する、
ことを特徴とする請求項1に記載の情報処理装置。 - 前記関連度は、前記基幹点間のベクトルで表現され、
前記補正教師ラベル生成部は、学習済みの前記教師学習器が出力した基幹点間の前記ベクトルと、前記教師ラベルにおける当該基幹点間の前記ベクトルとのうち、ノルムが大きい方のベクトルを当該基幹点間の関連度とする、
ことを特徴とする請求項1又は3に記載の情報処理装置。 - 前記基幹点の位置は、前記教師画像の画素毎の、人物像の基幹点に対応する画素である信頼度を示す基幹点信頼度で表現され、
前記補正教師ラベル生成部は、前記補正教師ラベルの各画素の前記基幹点信頼度を、学習済みの前記教師学習器が出力した前記基幹点信頼度と、前記教師ラベルにおける前記基幹点信頼度のうち大きい方とする、
ことを特徴とする請求項2又は3に記載の情報処理装置。 - 前記教師学習器は、前記補正教師ラベルを用いてさらに学習され、
前記補正教師ラベル生成部は、前記補正教師ラベルを用いて学習済みの前記教師学習器の出力に基づいて、前記補正教師ラベルをさらに補完した再補正教師ラベルを生成し、
前記学習部は、前記再補正教師ラベルを用いて前記学習器を学習させる、
ことを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。 - 前記学習部は、前記入力画像に対する前記学習器の出力と前記補正教師ラベルとの間の誤差、及び、前記入力画像に対する前記学習器の出力と前記入力画像に対する学習済みの前記教師学習器の出力との間の誤差に基づいて、前記学習器を学習させる、
ことを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。 - 前記学習部は、前記入力画像に対する前記学習器の出力と前記再補正教師ラベルとの間の誤差、及び、前記入力画像に対する前記学習器の出力と前記入力画像に対する前記補正教師ラベルを用いて学習済みの前記教師学習器の出力との間の誤差に基づいて、前記学習器を学習させる、
ことを特徴とする請求項6に記載の情報処理装置。 - コンピュータを、
教師画像と、前記教師画像に含まれる人物像の複数の基幹点の位置及び前記基幹点間の関連度を示す情報を含む教師ラベルとを用いて、入力画像に含まれる人物像の複数の基幹点の位置及び当該基幹点間の関連度を出力するように学習される教師学習器と、
学習済みの前記教師学習器が出力した前記関連度に基づいて、前記教師ラベルにおいて欠損している前記人物像の基幹点に係る前記関連度が前記教師ラベルの前記関連度を示す情報に補完された補正教師ラベルを生成する補正教師ラベル生成部と、
前記補正教師ラベルを用いて、入力画像に含まれる人物像の複数の基幹点の位置及び当該基幹点間の関連度を出力するように学習器を学習させる学習部と、
として機能させることを特徴とする情報処理プログラム。 - コンピュータを、
教師画像と、前記教師画像に含まれる人物像の複数の基幹点の位置及び前記基幹点間の関連度を示す情報を含む教師ラベルとを用いて、入力画像に含まれる人物像の複数の基幹点の位置及び当該基幹点間の関連度を出力するように学習される教師学習器と、
学習済みの前記教師学習器が出力した前記複数の基幹点に基づいて、前記教師ラベルにおいて欠損している前記人物像の基幹点の位置が前記教師ラベルの前記基幹点の位置を示す情報に補完された補正教師ラベルを生成する補正教師ラベル生成部と、
前記補正教師ラベルを用いて、入力画像に含まれる人物像の複数の基幹点の位置及び当該基幹点間の関連度を出力するように学習器を学習させる学習部と、
として機能させることを特徴とする情報処理プログラム。 - 教師画像と、前記教師画像に含まれる人物像の複数の基幹点の位置及び前記基幹点間の関連度を示す情報を含む教師ラベルとを用いて、入力画像に含まれる人物像の複数の基幹点の位置及び当該基幹点間の関連度を出力するように学習された教師学習器が出力した前記関連度に基づいて、前記教師ラベルにおいて欠損している前記人物像の基幹点に係る前記関連度が前記教師ラベルの前記関連度を示す情報に補完された補正教師ラベルを生成する補正教師ラベル生成ステップと、
前記補正教師ラベルを用いて、入力画像に含まれる人物像の複数の基幹点の位置及び当該基幹点間の関連度を出力するように学習器を学習させる学習ステップと、
を含むことを特徴とする情報処理方法。 - 教師画像と、前記教師画像に含まれる人物像の複数の基幹点の位置及び前記基幹点間の関連度を示す情報を含む教師ラベルとを用いて、入力画像に含まれる人物像の複数の基幹点の位置及び当該基幹点間の関連度を出力するように学習された教師学習器が出力した前記複数の基幹点に基づいて、前記教師ラベルにおいて欠損している前記人物像の基幹点の位置が前記教師ラベルの前記基幹点の位置を示す情報に補完された補正教師ラベルを生成する補正教師ラベル生成ステップと、
前記補正教師ラベルを用いて、入力画像に含まれる人物像の複数の基幹点の位置及び当該基幹点間の関連度を出力するように学習器を学習させる学習ステップと、
を含むことを特徴とする情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018084683A JP6392478B1 (ja) | 2018-04-26 | 2018-04-26 | 情報処理装置、情報処理プログラム、及び、情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018084683A JP6392478B1 (ja) | 2018-04-26 | 2018-04-26 | 情報処理装置、情報処理プログラム、及び、情報処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018155241A Division JP2019192192A (ja) | 2018-08-22 | 2018-08-22 | 情報処理装置、情報処理プログラム、及び、情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6392478B1 true JP6392478B1 (ja) | 2018-09-19 |
JP2019191974A JP2019191974A (ja) | 2019-10-31 |
Family
ID=63580037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018084683A Active JP6392478B1 (ja) | 2018-04-26 | 2018-04-26 | 情報処理装置、情報処理プログラム、及び、情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6392478B1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020121713A (ja) * | 2019-01-30 | 2020-08-13 | 株式会社ストラドビジョンStradvision,Inc. | 人の状態識別のためのイメージ分析により検出された乗客のポイントを利用して車両占有を検出する方法及び装置 |
JP2020126638A (ja) * | 2019-01-31 | 2020-08-20 | 株式会社ストラドビジョン | 運転者の状態に応じて特化型のキャリブレーションのために運転者補助装置を自動で調整する方法及び装置 |
JP2020149683A (ja) * | 2019-03-13 | 2020-09-17 | 株式会社日立製作所 | 画像解析プログラムの自動ビルドの方法およびシステム |
EP3723000A1 (en) | 2019-04-09 | 2020-10-14 | Hitachi, Ltd. | Object recognition system and object regognition method |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102325072B1 (ko) * | 2020-09-18 | 2021-11-11 | 주식회사 위딧 | 포즈 매칭 방법 및 이를 수행하기 위한 장치 |
JPWO2022113349A1 (ja) * | 2020-11-30 | 2022-06-02 | ||
WO2022153481A1 (en) * | 2021-01-15 | 2022-07-21 | Nec Corporation | Posture estimation apparatus, learning model generation apparatus, method, and computer-readable recordingmedium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016212688A (ja) * | 2015-05-11 | 2016-12-15 | 日本電信電話株式会社 | 関節位置推定装置、方法、及びプログラム |
JP2017058930A (ja) * | 2015-09-16 | 2017-03-23 | 日本電信電話株式会社 | 学習データ生成装置、学習装置、画像評価装置、学習データ生成方法、学習方法、画像評価方法及び画像処理プログラム |
-
2018
- 2018-04-26 JP JP2018084683A patent/JP6392478B1/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016212688A (ja) * | 2015-05-11 | 2016-12-15 | 日本電信電話株式会社 | 関節位置推定装置、方法、及びプログラム |
JP2017058930A (ja) * | 2015-09-16 | 2017-03-23 | 日本電信電話株式会社 | 学習データ生成装置、学習装置、画像評価装置、学習データ生成方法、学習方法、画像評価方法及び画像処理プログラム |
Non-Patent Citations (1)
Title |
---|
ZHE CAO, ET AL.: "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR2017), JPN7018002671, 14 April 2017 (2017-04-14), US * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020121713A (ja) * | 2019-01-30 | 2020-08-13 | 株式会社ストラドビジョンStradvision,Inc. | 人の状態識別のためのイメージ分析により検出された乗客のポイントを利用して車両占有を検出する方法及び装置 |
JP2020126638A (ja) * | 2019-01-31 | 2020-08-20 | 株式会社ストラドビジョン | 運転者の状態に応じて特化型のキャリブレーションのために運転者補助装置を自動で調整する方法及び装置 |
JP2020149683A (ja) * | 2019-03-13 | 2020-09-17 | 株式会社日立製作所 | 画像解析プログラムの自動ビルドの方法およびシステム |
EP3723000A1 (en) | 2019-04-09 | 2020-10-14 | Hitachi, Ltd. | Object recognition system and object regognition method |
US11521021B2 (en) | 2019-04-09 | 2022-12-06 | Hitachi, Ltd. | Object recognition system and object recognition method |
Also Published As
Publication number | Publication date |
---|---|
JP2019191974A (ja) | 2019-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6392478B1 (ja) | 情報処理装置、情報処理プログラム、及び、情報処理方法 | |
JP6754619B2 (ja) | 顔認識方法及び装置 | |
JP6433149B2 (ja) | 姿勢推定装置、姿勢推定方法およびプログラム | |
CN106991388B (zh) | 关键点定位方法 | |
JP5772821B2 (ja) | 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム | |
CN111832383B (zh) | 姿态关键点识别模型的训练方法、姿态识别方法及装置 | |
JP2021503662A (ja) | ニューラルネットワークのモデルの訓練 | |
CN109063584B (zh) | 基于级联回归的面部特征点定位方法、装置、设备及介质 | |
US20180336407A1 (en) | Image processing system | |
JP6872044B2 (ja) | 対象物の外接枠を決定するための方法、装置、媒体及び機器 | |
US20210216759A1 (en) | Recognition method, computer-readable recording medium recording recognition program, and learning method | |
KR20190126857A (ko) | 이미지에서 오브젝트 검출 및 표현 | |
WO2022142854A1 (zh) | 一种人体姿态识别模型优化方法、装置和终端设备 | |
EP4053736B1 (en) | System and method for matching a test frame sequence with a reference frame sequence | |
JP6381368B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20230237777A1 (en) | Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium | |
CN114333046A (zh) | 舞蹈动作评分方法、装置、设备和存储介质 | |
JP2019192192A (ja) | 情報処理装置、情報処理プログラム、及び、情報処理方法 | |
US20220415085A1 (en) | Method of machine learning and facial expression recognition apparatus | |
JP6939608B2 (ja) | 画像認識装置、画像認識方法、および、画像認識プログラム | |
JP2011232845A (ja) | 特徴点抽出装置および方法 | |
WO2021166181A1 (ja) | 被写体別特徴点分離装置、被写体別特徴点分離方法及びコンピュータプログラム | |
CN111368594B (zh) | 用于检测关键点的方法和装置 | |
US20220172457A1 (en) | Teaching data correction method for training image, teaching data correction device and program | |
WO2020183656A1 (ja) | データ生成方法、データ生成装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180509 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180509 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180724 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180731 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180807 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6392478 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |