JP7352119B2 - 学習装置、学習方法及び学習プログラム、並びに、スコア推定装置、スコア推定方法及びスコア推定プログラム - Google Patents

学習装置、学習方法及び学習プログラム、並びに、スコア推定装置、スコア推定方法及びスコア推定プログラム Download PDF

Info

Publication number
JP7352119B2
JP7352119B2 JP2022511452A JP2022511452A JP7352119B2 JP 7352119 B2 JP7352119 B2 JP 7352119B2 JP 2022511452 A JP2022511452 A JP 2022511452A JP 2022511452 A JP2022511452 A JP 2022511452A JP 7352119 B2 JP7352119 B2 JP 7352119B2
Authority
JP
Japan
Prior art keywords
loss
video data
estimated
scores
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022511452A
Other languages
English (en)
Other versions
JPWO2021199392A1 (ja
Inventor
隆昌 永井
信哉 志水
良規 草地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021199392A1 publication Critical patent/JPWO2021199392A1/ja
Application granted granted Critical
Publication of JP7352119B2 publication Critical patent/JP7352119B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Description

本発明は、例えば、競技者の競技の採点の手法に関するノウハウを学習する学習装置、学習方法及び学習プログラム、並びに、学習結果に基づいて競技のスコアを推定するスコア推定装置、スコア推定方法及びスコア推定プログラムに関する。
スポーツ競技において、高飛び込みや体操などの選手が行った競技に対して、オフィシャルな審判員がスコアを採点し、採点したスコアに基づいて個々の競技の順位を決める競技がある。このような競技には、採点における定量的な採点基準が存在している。
近年、このような競技におけるスコアを自動的に推定するといったコンピュータビジョン分野での活動品質評価で使われる技術の検討が進められており、このような技術としてＡＱＡ（Action Quality Assessment）という技術が知られている。例えば、非特許文献１には、ＡＱＡを、ディープラーニングを用いて行う手法が開示されている。
非特許文献１に開示されている技術では、競技者による競技が撮影された動画データと、オフィシャルな審判員が当該競技に対して採点することにより得られた真値スコアとを訓練データとして取り込む。非特許文献１に開示されている技術では、次にディープニューラルネットワークを用いて、訓練データに含まれる動画データから特徴量を抽出する。非特許文献１に開示されている技術では、更に、抽出した特徴量から推定スコアを推定する。
非特許文献１に開示されている技術では、推定した推定スコアと、訓練データに含まれる真値スコアとの間の損失を算出する。非特許文献１に開示されている技術では、算出した損失に基づいて、損失が減少するようにディープニューラルネットワークの重みやバイアスを更新することを繰り返す。これにより、オフィシャルな審判員が行う採点の手法に関するノウハウを学習し、学習済みの重みやバイアスが適用されたディープニューラルネットワークを用いることで、任意の競技者が行う競技のスコアを推定することが可能になる。
非特許文献１に開示された技術では、推定スコアと真値スコアの間の損失を示す回帰損失に加えて、得られた推定スコア間の順序の正確性を高めることを目的としたラインキング損失を採用している。回帰損失のみを用いて学習を行うと、真値スコアが近い動画データの間では、スコアを推定の際の誤差により、推定スコアの順番と、真値スコアの順番が入れ替わる可能性があるという問題がある。この問題を解決するために、非特許文献１では、次式（１）に示されるランキング損失を採用することにより、このような誤りが発生する確率を低下させ、従来技術を上回る精度を達成している。
Figure 0007352119000001
動画データの任意の１つをｖｉとする。式（１）において、「ｇｉ」は、動画データｖｉにおける真値スコアである。また、式（１）において、「ｓｉ」は、動画データｖｉから得られる推定スコアであり、ｓｉｇｎ（ｘ）関数は、引数ｘの符号を戻り値とする関数である。式（１）の「－（ｓｊ－ｓｉ）ｓｉｇｎ（ｇｊ－ｇｉ）」の項は、推定スコアｓｉ，ｓｊの大小関係と、真値スコアｇｉ，ｇｊの大小関係とが一致している場合、負の値となり、不一致の場合、正の値となる。
ＲｅＬＵ（ｘ）は、引数ｘが０以上である場合、ｘを戻り値とし、引数ｘが０より小さい場合、０を戻り値とする関数である。δは、マージン値であり、正の値である。そのため、推定スコアｓｉ，ｓｊの大小関係と、真値スコアｇｉ，ｇｊの大小関係が不一致の場合に、推定スコアｓｉ，ｓｊの差の絶対値の増加に応じてランキング損失が増加することになる。
マージン値δは、２つの推定スコアｓｉ，ｓｊの差が小さい場合に、少なくともマージン値δに応じた差を有するように２つの推定スコアｓｉ，ｓｊの間を離す効果がある。そのため、推定スコアｓｉ，ｓｊの大小関係と、真値スコアｇｉ，ｇｊの大小関係とが一致している場合にもマージン値δの大きさに応じてランキング損失が生じるようになっている。
Yongjun Li，Xiujuan Chai，Xilin Chen， "End-To-End Learning for Action Quality Assessment"， PCM2018，pp.125-1342018)
しかしながら、ランキング損失として、式（１）を用いた場合、マージン値δは、予め定められる固定値であるため、全ての動画データｖｉと動画データｖｊの組み合わせにおいて、同一のマージン値δを適用することになる。
マージン値δは、上述したように、２つの推定スコアｓｉ，ｓｊの差が小さい場合に、少なくともマージン値に応じた差を有するようにする目的で採用されているパラメータである。
しかしながら、真値スコアｇｉ，ｇｊの間の離れている度合いがマージン値δよりも小さい場合であっても、式（１）においてマージン値δが加算されることにより、推定スコアｓｉ，ｓｊの間を、マージン値δに応じた大きさで余分に離すようにする学習が行われてしまうという問題がある。
上記事情に鑑み、本発明は、従来技術よりも更に正確に競技者の競技の採点の手法に関するノウハウを学習し、かつ、より正確な推定スコアを求めることができる技術の提供を目的としている。
本発明の一態様は、競技者の競技中の動作を記録した動画データと、当該動画データに記録された競技に対して審判員が採点したスコアである複数の真値スコアとを組み合わせた訓練データを取り込む入力部と、パラメータに基づいて関数を近似する関数近似器を有し、前記関数近似器に前記入力部が取り込んだ動画データを入力として与えることにより、当該動画データの推定スコアを推定する推定部と、複数の前記推定スコアの各々と、前記推定スコアの各々に対応する前記真値スコアの各々との間の回帰損失を求める第１の損失関数と、異なる２つの前記動画データの全ての組み合わせの各々に対応する２つの前記推定スコア及び２つの前記真値スコアに基づいて２つの前記推定スコアの間の順序の誤り度合いを示すランキング損失を求める第２の損失関数であって２つの前記真値スコアの差の大きさを考慮して前記ランキング損失を補正する第２の損失関数とに基づいて、前記第１の損失関数の出力である前記回帰損失及び前記第２の損失関数の出力である前記ランキング損失の各々を減少させる学習処理を行うことにより、前記パラメータを更新するパラメータ更新部と、を備える学習装置である。
また、本発明の一態様は、競技者の競技中の動作を記録した動画データを取り込む入力部と、請求項１に記載の学習装置、または、請求項２に記載の学習装置の学習処理によって得られた学習済みのパラメータに基づいて関数を近似する関数近似器を有し、前記関数近似器に前記入力部が取り込んだ前記動画データを入力として与えることにより、当該動画データの推定スコアを推定する推定部と、を備えるスコア推定装置である。
また、本発明の一態様は、競技者の競技中の動作を記録した動画データと、当該動画データに記録された競技に対して審判員が採点したスコアである複数の真値スコアとを組み合わせた訓練データを取り込み、パラメータに基づいて関数を近似する関数近似器に取り込んだ動画データを入力として与えることにより、当該動画データの推定スコアを推定し、複数の前記推定スコアの各々と、前記推定スコアの各々に対応する前記真値スコアの各々との間の回帰損失を求める第１の損失関数と、異なる２つの前記動画データの全ての組み合わせの各々に対応する２つの前記推定スコア及び２つの前記真値スコアに基づいて２つの前記推定スコアの間の順序の誤り度合いを示すランキング損失を求める第２の損失関数であって２つの前記真値スコアの差の大きさを考慮して前記ランキング損失を補正する第２の損失関数とに基づいて、前記第１の損失関数の出力である前記回帰損失及び前記第２の損失関数の出力である前記ランキング損失の各々を減少させる学習処理を行うことにより、前記パラメータを更新する、学習方法である。
また、本発明の一態様は、コンピュータを、競技者の競技中の動作を記録した動画データと、当該動画データに記録された競技に対して審判員が採点したスコアである複数の真値スコアとを組み合わせた訓練データを取り込む入力手段、パラメータに基づいて関数を近似する関数近似器を有し、前記関数近似器に前記入力手段が取り込んだ動画データを入力として与えることにより、当該動画データの推定スコアを推定する推定手段、複数の前記推定スコアの各々と、前記推定スコアの各々に対応する前記真値スコアの各々との間の回帰損失を求める第１の損失関数と、異なる２つの前記動画データの全ての組み合わせの各々に対応する２つの前記推定スコア及び２つの前記真値スコアに基づいて２つの前記推定スコアの間の順序の誤り度合いを示すランキング損失を求める第２の損失関数であって２つの前記真値スコアの差の大きさを考慮して前記ランキング損失を補正する第２の損失関数とに基づいて、前記第１の損失関数の出力である前記回帰損失及び前記第２の損失関数の出力である前記ランキング損失の各々を減少させる学習処理を行うことにより、前記パラメータを更新するパラメータ更新手段、として機能させるための学習プログラムである。
また、本発明の一態様は、競技者の競技中の動作を記録した動画データを取り込み、請求項１に記載の学習装置、または、請求項２に記載の学習装置の学習処理によって得られた学習済みのパラメータに基づいて関数を近似する関数近似器に取り込んだ前記動画データを入力として与えることにより、当該動画データの推定スコアを推定する、スコア推定方法である。
また、本発明の一態様は、コンピュータを、競技者の競技中の動作を記録した動画データと、当該動画データに記録された競技に対して審判員が採点したスコアである複数の真値スコアとを組み合わせた訓練データを取り込む入力手段、パラメータに基づいて関数を近似する関数近似器を有し、前記関数近似器に前記入力手段が取り込んだ動画データを入力として与えることにより、当該動画データの推定スコアを推定する推定手段、複数の前記推定スコアの各々と、前記推定スコアの各々に対応する前記真値スコアの各々との間の回帰損失を求める第１の損失関数と、異なる２つの前記動画データの全ての組み合わせの各々に対応する２つの前記推定スコア及び２つの前記真値スコアに基づいて２つの前記推定スコアの間の順序の誤り度合いを示すランキング損失を求める第２の損失関数であって２つの前記真値スコアの差の大きさを考慮して前記ランキング損失を補正する第２の損失関数とに基づいて、前記第１の損失関数の出力である前記回帰損失及び前記第２の損失関数の出力である前記ランキング損失の各々を減少させる学習処理を行うことにより、前記パラメータを更新するパラメータ更新手段、として機能させるための学習プログラムである。
この発明によれば、従来技術よりも更に正確に競技者の競技の採点の手法に関するノウハウを学習し、かつ、より正確な推定スコアを求めることが可能となる。
第１の実施形態の学習装置の内部構成を示すブロック図である。 第１の実施形態の学習装置による処理の流れを示すフローチャートである。 第１の実施形態の学習装置による処理の概要を示す図である。 第１の実施形態のスコア推定装置の内部構成を示すブロック図である。 第２の実施形態の学習装置の内部構成を示すブロック図である。 第２の実施形態の学習装置による処理の流れを示すフローチャートである。 第２の実施形態の学習装置による処理の概要を示す図である。 第２の実施形態のスコア推定装置の内部構成を示すブロック図である。
（第１の実施形態）
以下、本発明の実施形態について図面を参照して説明する。図１は、第１の実施形態による学習装置１の内部構成を示すブロック図である。学習装置１は、訓練データ記憶部１０、入力部１１、推定部５０、パラメータ更新部１４、特徴量抽出用パラメータ記憶部１５及びスコア推定用パラメータ記憶部１６を備える。推定部５０は、特徴量抽出部１２と、スコア推定部１３とを備える。
訓練データ記憶部１０は、複数の動画データの各々と、複数の真値スコアの各々とが組み合わされた複数の訓練データを予め記憶する。
複数の動画データの各々は、例えば、競技者が行った競技中の動作をカメラ等で撮影することにより生成される。ここで、競技とは、例えば、高飛び込みや体操などの技に対して定量的な採点基準が存在するスポーツ競技である。競技者とは、例えば、当該競技を行う選手である。
複数の真値スコアの各々は、各々に対応する動画データに記録されている競技者の競技に対して予めオフィシャルな審判員が採点したスコアである。
入力部１１は、訓練データ記憶部１０からｎ個ずつ訓練データを繰り返し読み出す。ここで、ｎは、２以上の整数であり、以下に説明する学習処理が行われる際のバッチサイズである。なお、訓練データ記憶部１０が記憶する訓練データの数は、ｎの倍数、すなわち、ｎ×ｍ個であるものとする（ただし、ｍは、１以上の整数である）。
また、以下の説明において、ｎ個の訓練データに含まれる任意の１つの動画データをｖｉまたはｖｊで示し、動画データｖｉに対応する真値スコアをｇｉとして示し、動画データｖｊに対応する真値スコアをｇｊとして示す。ただし、ｉ＝１～ｎ、ｊ＝１～ｎの整数であり、ｊ＞ｉであるとする。
入力部１１は、読み出したｎ個の訓練データに含まれるｎ個の動画データｖ１～ｎを１つずつ特徴量抽出部１２に出力する。また、入力部１１は、読み出したｎ個の訓練データに含まれるｎ個の真値スコアｇ１～ｎをパラメータ更新部１４に出力する。
特徴量抽出用パラメータ記憶部１５は、特徴量抽出部１２が有する第１の関数近似器に適用する重みやバイアスとなる特徴量抽出用パラメータを記憶する。特徴量抽出部１２は、第１の関数近似器を有しており、特徴量抽出用パラメータ記憶部１５が記憶する特徴量抽出用パラメータを第１の関数近似器に適用する。第１の関数近似器は、特徴量抽出用パラメータが適用されることで、特徴量抽出用パラメータに応じた関数を近似する。特徴量抽出部１２は、入力部１１が出力する動画データｖｉを入力として第１の関数近似器に与えることにより動画データｖｉの特徴量を抽出する。
ここで、第１の関数近似器は、動画データｖｉから特徴量を抽出する任意のニューラルネットワークであり、例えば、非特許文献１のＦｉｇ．１に示される後段にＲｅＬＵ(Rectified Linear Unit)層とＭａｘ－Ｐｏｏｌｉｎｇ層が結合された２段の畳み込み層を有するニューラルネットワーク（以下「動画特徴量抽出層１２１」という。）などが適用される。
スコア推定用パラメータ記憶部１６は、スコア推定部１３が有する第２の関数近似器に適用する重みやバイアスとなるスコア推定用パラメータを記憶する。スコア推定部１３は、第２の関数近似器を有しており、スコア推定用パラメータ記憶部１６が記憶するスコア推定用パラメータを第２の関数近似器に適用する。第２の関数近似器は、スコア推定用パラメータが適用されることで、スコア推定用パラメータに応じた関数を近似する。スコア推定部１３は、特徴量抽出部１２が抽出した特徴量を入力として第２の関数近似器に与えることにより推定スコアｓｉを推定する。
ここで、第２の関数近似器は、特徴量から推定スコアを推定する任意のニューラルネットワークであり、例えば、非特許文献１のＦｉｇ．１に示される後段にＲｅＬＵ層とＤｒｏｐｏｕｔ層が結合された２段の全結合層を有するニューラルネットワーク（以下「全結合層１３１」という。）などが適用される。
パラメータ更新部１４は、入力部１１が出力するｎ個の真値スコアｇ１～ｎと、スコア推定部１３が推定するｎ個の推定スコアｓ１～ｎと、予め定められる第１の損失関数に基づいて、推定スコアｓ１～ｎの各々と、真値スコアｇ１～ｎの各々との間の回帰損失を算出する。
ここでは、第１の損失関数として、例えば、回帰損失を算出する次式（２）に示すＭＳＥ(Mean Square Error)を適用する。
Figure 0007352119000002
また、パラメータ更新部１４は、異なる２つの動画データｖｉ，ｖｊの全ての組み合わせの各々に対応する２つの推定スコアｓｉ，ｓｊ及び２つの真値スコアｇｉ，ｇｊと、予め定められる第２の損失関数とに基づいて、２つの推定スコアｓｉ，ｓｊの順序の誤り度合いを示すランキング損失を２つの真値スコアｇｉ，ｇｊの差の大きさを考慮して算出する。
ここでは、第２の損失関数として、次式（３）で示される損失関数を適用する。
Figure 0007352119000003
非特許文献１に記載の技術において採用されていた式（１）と比較すると、式（３）では、マージン値δに替えて、２つの真値スコアｇｉ，ｇｊの差の絶対値が適用されている。なお、式（１）と同様に、式（３）において、ｓｉｇｎ（ｘ）関数は、引数ｘの符号を戻り値とする関数であり、ＲｅＬＵ（ｘ）は、引数ｘが０以上である場合、ｘを戻り値とし、引数ｘが０より小さい場合、０を戻り値とする関数である。
パラメータ更新部１４は、算出した回帰損失、すなわち式（２）の出力値であるＬｏｓｓ１と、算出したランキング損失、すなわち式（３）の出力値であるＬｏｓｓ２を減少させるように学習処理を行う。パラメータ更新部１４は、学習処理を行うことにより、新たな特徴量抽出用パラメータと、新たなスコア推定用パラメータを算出する。
パラメータ更新部１４は、算出した新たな特徴量抽出用パラメータと、新たなスコア推定用パラメータとに基づいて、特徴量抽出用パラメータ記憶部１５とスコア推定用パラメータ記憶部１６の内容を更新する。
（第１の実施形態の学習装置による処理）
次に、図２及び図３を参照しつつ第１の実施形態の学習装置１による処理について説明する。図２は、学習装置１が行う学習処理の流れを示すフローチャートである。
特徴量抽出用パラメータ記憶部１５とスコア推定用パラメータ記憶部１６には、それぞれ初期値の特徴量抽出用パラメータと、初期値のスコア推定用パラメータとが予め記憶されている。
特徴量抽出部１２は、特徴量抽出用パラメータ記憶部１５から特徴量抽出用パラメータを読み出し、読み出した特徴量抽出用パラメータを第１の関数近似器である動画特徴量抽出層１２１のニューラルネットワークに適用する（ステップＳ１）。
スコア推定部１３は、スコア推定用パラメータ記憶部１６からスコア推定用パラメータを読み出し、読み出したスコア推定用パラメータを第２の関数近似器である全結合層１３１のニューラルネットワークに適用する（ステップＳ２）。
入力部１１は、訓練データ記憶部１０から最初のｎ個の訓練データを読み出す。入力部１１は、図３に示すように読み出したｎ個の訓練データに含まれるｎ個の動画データｖ１～ｎを１つずつ特徴量抽出部１２に出力する。また、入力部１１は、読み出した訓練データに含まれるｎ個の真値スコアｇ１～ｎをパラメータ更新部１４に出力する。パラメータ更新部１４は、入力部１１が出力するｎ個の真値スコアｇ１～ｎを取り込む（ステップＳ３）。
ｎ個の動画データｖ１～ｎの各々である動画データｖｉについて、ステップＳ４，Ｓ５の処理が繰り返し行われる（ループＬ１ｓ～Ｌ１ｅ）。
特徴量抽出部１２は、図３に示すように動画データｖｉを入力として動画特徴量抽出層１２１に与え、動画特徴量抽出層１２１の出力として動画データｖｉの特徴量を取得する。特徴量抽出部１２は、取得した動画データｖｉの特徴量をスコア推定部１３に出力する（ステップＳ４）。
スコア推定部１３は、図３に示すように動画データｖｉの特徴量を入力として全結合層１３１に与え、全結合層１３１の出力として動画データｖｉの推定スコアｓｉを取得する。スコア推定部１３は、取得した動画データｖｉの推定スコアｓｉをパラメータ更新部１４に出力する（ステップＳ５）。
すなわち、図３に示すように、同一の特徴量抽出用パラメータと、同一のスコア推定用パラメータとを、それぞれ動画特徴量抽出層１２１と、全結合層１３１に適用した状態で、ｎ個の動画データｖ１～ｎの各々を入力として、ステップＳ４，Ｓ５の処理がｎ回行われる。
パラメータ更新部１４は、スコア推定部１３が推定したｎ個の推定スコアｓ１～ｎを取り込むと、取り込んだｎ個の推定スコアｓ１～ｎと、ステップＳ３において取り込んだｎ個の真値スコアｇ１～ｎとに基づいて、式（２）により回帰損失Ｌｏｓｓ１を算出する（ステップＳ６）。
パラメータ更新部１４は、ｎ個の推定スコアｓ１～ｎと、ｎ個の真値スコアｇ１～ｎとに基づいて、式（３）によりランキング損失Ｌｏｓｓ２を算出する（ステップＳ７）。
パラメータ更新部１４は、例えば、次式（４）により評価損失Ｌｏｓｓを算出する（ステップＳ８）。
Figure 0007352119000004
上記の式（４）において、α１とβ１は、α１＞０、β１＞０であり、２つの損失のバランスを取るように任意に定められる定数である。また、｜｜ω｜｜２は、Ｌ２－ｒｅｇｕｒａｌａｔｉｏｎの項である。
パラメータ更新部１４は、算出した評価損失Ｌｏｓｓが終了条件を満たしているか否かを判定する（ステップＳ９）。例えば、評価損失Ｌｏｓｓが予め定められる閾値未満である場合、評価損失が終了条件を満たしていると判定する。
パラメータ更新部１４は、評価損失Ｌｏｓｓが終了条件を満たしていると判定した場合（ステップＳ９、Ｙｅｓ）、処理を終了する。一方、パラメータ更新部１４は、評価損失Ｌｏｓｓが終了条件を満たしていないと判定した場合（ステップＳ９、Ｎｏ）、回帰損失Ｌｏｓｓ１とランキング損失Ｌｏｓｓ２を減少させるように、例えば、誤差逆伝播法などを用いた学習処理により、新たな特徴量抽出用パラメータと、新たなスコア推定用パラメータとを算出する。
パラメータ更新部１４は、算出した新たな特徴量抽出用パラメータを特徴量抽出用パラメータ記憶部１５に書き込んで特徴量抽出用パラメータを更新する。パラメータ更新部１４は、算出した新たなスコア推定用パラメータをスコア推定用パラメータ記憶部１６に書き込んでスコア推定用パラメータを更新する（ステップＳ１０）。
その後、ステップＳ１からの処理が繰り返し行われ、再び行われるステップＳ１において、特徴量抽出部１２は、特徴量抽出用パラメータ記憶部１５から更新された特徴量抽出用パラメータを読み出して動画特徴量抽出層１２１に適用する。また、再び行われるステップＳ２において、スコア推定部１３は、スコア推定用パラメータ記憶部１６から更新されたスコア推定用パラメータを読み出して全結合層１３１に適用する。
入力部１１は、再び行われるステップＳ３において、訓練データ記憶部１０から次のｎ個の訓練データを読み出す。なお、繰り返す処理の過程において、訓練データ記憶部１０に記憶されている全ての訓練データについて、ステップＳ４，Ｓ５の処理が行われた場合、入力部１１は、再び最初のｎ個の訓練データから順に訓練データ記憶部１０から読み出すことを繰り返す。
ステップＳ９において、パラメータ更新部１４が、評価損失Ｌｏｓｓが、終了条件を満たすと判定した時点で、特徴量抽出用パラメータ記憶部１５とスコア推定用パラメータ記憶部１６の各々において、十分に回帰損失Ｌｏｓｓ１と、ランキング損失Ｌｏｓｓ２が小さくなった状態における学習済みの特徴量抽出用パラメータと、学習済みのスコア推定用パラメータとが記録されることになる。
上記の第１の実施形態の学習装置１において、パラメータ更新部１４は、スコア推定部１３が推定した複数の推定スコアの各々と、推定スコアの各々に対応する真値スコアの各々との間の回帰損失を求める第１の損失関数と、異なる２つの動画データの全ての組み合わせの各々に対応する２つの推定スコア及び２つの真値スコアに基づいて、２つの推定スコアの間の順序の誤り度合いを示すランキング損失を求める第２の損失関数であって２つの真値スコアの差の大きさを考慮してランキング損失を補正する第２の損失関数とに基づいて、第１の損失関数の出力である回帰損失及び第２の損失関数の出力であるランキング損失の各々を減少させる学習処理を行うことにより、推定部５０の関数近似器（第１の関数近似器及び第２の関数近似器）に適用するパラメータ、すなわち特徴量抽出用パラメータと、スコア推定用パラメータとを更新する。第２の損失関数を用いることにより、以下に示すように、学習装置１は、非特許文献１に記載の技術よりも更に正確に競技者の競技に対するオフィシャルな審判員の採点の手法に関するノウハウを学習することが可能になる。
すなわち、上記の第１の実施形態の学習装置１では、ランキング損失として、非特許文献１に開示される技術が採用していた式（１）に替えて、式（３）を用いている。以下、場合分けして、式（３）による効果について説明する。
（推定スコアｓｉ，ｓｊの大小と、真値スコアｇｉ，ｇｊの大小が一致する場合）
この場合、式（１）及び式（３）における「－（ｓｊ－ｓｉ）ｓｉｇｎ（ｇｊ－ｇｉ）」の項は、負の値になる。
この場合において、式（１）を適用すると、ａｂｓ（ｓｊ－ｓｉ）＜マージン値δのときには、ＲｅＬＵ関数の入力が正の値になるため、ランキング損失が発生することになり、ランキング損失を減少させる学習処理が行われることになる。既に、推定スコアｓｉ，ｓｊの大小と、真値スコアｇｉ，ｇｊの大小が一致しているため、ここで行われる学習処理は、推定スコアｓｉ，ｓｊの順序を入れ替える学習処理ではなく、推定スコアｓｉ，ｓｊの間を離す学習処理となる。
これに対して、式（３）を適用した場合には、ａｂｓ（ｓｊ－ｓｉ）＜ａｂｓ（ｇｊ－ｇｉ）になると、ＲｅＬＵ関数の入力が正になるため、ランキング損失が発生する。ａｂｓ（ｇｊ－ｇｉ）＜マージン値δであるときには、式（１）のランキング損失の方が、式（３）のランキング損失よりも大きくなるため、式（１）を用いると真値スコアｇｉ，ｇｊの差の絶対値よりも、推定スコアｓｉ，ｓｊの差の絶対値を大きくする学習処理が行われる。
一方、ａｂｓ（ｇｊ－ｇｉ）＞マージン値δであるときには、式（１）のランキング損失の方が、式（３）のランキング損失よりも小さくなるため、式（１）を用いると真値スコアｇｉ，ｇｊの差の絶対値よりも、推定スコアｓｉ，ｓｊの差の絶対値を小さくする学習処理が行われる。
したがって、推定スコアｓｉ，ｓｊの大小と、真値スコアｇｉ，ｇｊの大小が一致している場合、式（１）を用いるよりも式（３）を用いる方が、より正確に推定スコアｓｉ，ｓｊの差の絶対値を、真値スコアｇｉ，ｇｊの差の絶対値に近づける学習処理を行うことが可能になる。
（推定スコアｓｉ，ｓｊの大小と、真値スコアｇｉ，ｇｊの大小が不一致の場合）
この場合、式（１）及び式（３）における「－（ｓｊ－ｓｉ）ｓｉｇｎ（ｇｊ－ｇｉ）」の項は、正の値になる。そのため、マージン値δ、ａｂｓ（ｇｊ－ｇｉ）のいずれも、ランキング損失を増加させる役割を果たすことになる。この場合も推定スコアｓｉ，ｓｊの差が小さい場合には、式（３）を用いる方が、ａｂｓ（ｇｊ－ｇｉ）の大きさに応じて、推定スコアｓｉ，ｓｊの差の絶対値を増加させることができるので、より正確に推定スコアｓｉ，ｓｊの差の絶対値を、真値スコアｇｉ，ｇｊの差の絶対値に近づける学習処理を行うことが可能になる。
（第１の実施形態のスコア推定装置）
図４は、第１の実施形態によるスコア推定装置２の内部構成を示すブロック図である。図４において、図１に示す学習装置１と同一の構成については同一の符号を付して示している。スコア推定装置２は、入力部１１－１、推定部５０、出力部１７、学習済み特徴量抽出用パラメータ記憶部１８及び学習済みスコア推定用パラメータ記憶部１９を備える。推定部５０は、特徴量抽出部１２と、スコア推定部１３とを備える。
上述したように、図２に示したステップＳ９において、パラメータ更新部１４が、「Ｙｅｓ」の判定、すなわち、評価損失Ｌｏｓｓが終了条件を満たすと判定した場合、特徴量抽出用パラメータ記憶部１５とスコア推定用パラメータ記憶部１６には、それぞれ学習済みの特徴量抽出用パラメータと、学習済みのスコア推定用パラメータとが記録されることになる。
学習済み特徴量抽出用パラメータ記憶部１８は、学習装置１の学習処理が終了した時点で特徴量抽出用パラメータ記憶部１５に記録されている学習済みの特徴量抽出用パラメータを予め記憶する。学習済みスコア推定用パラメータ記憶部１９は、学習装置１の学習処理が終了した時点でスコア推定用パラメータ記憶部１６に記録されている学習済みのスコア推定用パラメータを予め記憶する。
入力部１１－１は、外部から与えられる任意の動画データを取り込む。入力部１１－１は、取り込んだ動画データを特徴量抽出部１２に出力する。
特徴量抽出部１２は、学習済み特徴量抽出用パラメータ記憶部１８から学習済みの特徴量抽出用パラメータを読み出し、動画特徴量抽出層１２１に読み出した学習済みの特徴量抽出用パラメータを適用する。特徴量抽出部１２は、入力部１１－１が出力する動画データを入力として動画特徴量抽出層１２１に与え、出力として動画データの特徴量を取得し、取得した特徴量をスコア推定部１３に出力する。
スコア推定部１３は、学習済みスコア推定用パラメータ記憶部１９から学習済みのスコア推定用パラメータを読み出し、全結合層１３１に読み出した学習済みのスコア推定用パラメータを適用する。スコア推定部１３は、特徴量抽出部１２が出力する特徴量を入力として全結合層１３１に与え、出力として推定スコアを取得し、取得した推定スコアを出力部１７に出力する。出力部１７は、スコア推定部１３が出力する推定スコアを外部に出力する。
上記の第１の実施形態のスコア推定装置２において、推定部５０は、学習装置１の学習処理によって得られた学習済みのパラメータ（学習済みの特徴量抽出用パラメータ及び学習済みのスコア推定用パラメータ）に基づいて関数を近似する関数近似器（第１の関数近似器及び第２の関数近似器）を有し、関数近似器に動画データを入力として与えることにより、当該動画データの推定スコアを推定する。これにより、スコア推定装置２は、非特許文献１に記載の技術よりも更に正確にオフィシャルな審判員の採点の手法に関するノウハウを学習する学習装置１の学習処理によって得られた学習済みの特徴量抽出用パラメータと、得られた学習済みのスコア推定用パラメータとに基づいて、任意の動画データに対する推定スコアを求めることができるので、より正確な推定スコアを求めることが可能になる。
（第２の実施形態）
図５は、第２の実施形態による学習装置１ａの内部構成を示すブロック図である。第１の実施形態の学習装置１と同一の構成については同一の符号を付し、以下、異なる構成について説明する。学習装置１ａは、訓練データ記憶部１０ａ、入力部１１ａ、推定部５０ａ、パラメータ更新部１４ａ、特徴量抽出用パラメータ記憶部１５、スコア推定用パラメータ記憶部１６及びクラス推定用パラメータ記憶部２１を備える。推定部５０ａは、特徴量抽出部１２と、スコア推定部１３と、クラス推定部２０とを備える。
訓練データ記憶部１０ａは、複数の動画データの各々と、複数の真値スコアの各々と、複数の真値クラスラベルの各々とが組み合わされた複数の訓練データを予め記憶する。
複数の動画データは、各々の動画データに記録される内容に基づいて予め定められる複数のクラスに分類されている。ここで、クラスとは、例えば、高飛び込みや体操などの採点基準の異なる競技の種類である。真値クラスラベルは、対応動画データが分類によって属することになったクラスを示す識別情報である。
入力部１１ａは、訓練データ記憶部１０ａからｎ個ずつ訓練データを繰り返し読み出す。ここで、ｎは、２以上の整数であり、以下に説明する学習処理が行われる際のバッチサイズである。なお、訓練データ記憶部１０ａが記憶する訓練データの数は、ｎの倍数、すなわち、ｎ×ｍ個であるものとする（ただし、ｍは、１以上の整数である）。
また、以下の説明において、ｎ個の訓練データに含まれる任意の１つの動画データをｖｉまたはｖｊで示し、動画データｖｉに対応する真値スコアをｇｉとして示し、動画データｖｊに対応する真値スコアをｇｊとして示す。また、動画データｖｉに対応する真値クラスラベルをｋｉとして示し、動画データｖｊに対応する真値クラスラベルをｋｊとして示す。ただし、ｉ＝１～ｎ、ｊ＝１～ｎの整数であり、ｊ＞ｉであるとする。
入力部１１ａは、読み出したｎ個の訓練データに含まれるｎ個の動画データｖ１～ｎを１つずつ特徴量抽出部１２に出力する。また、入力部１１ａは、読み出したｎ個の訓練データに含まれるｎ個の真値スコアｇ１～ｎと、ｎ個の真値クラスラベルｋ１～ｎとをパラメータ更新部１４ａに出力する。
クラス推定用パラメータ記憶部２１は、クラス推定部２０が有する第３の関数近似器に適用する重みやバイアスとなるクラス推定用パラメータを記憶する。クラス推定部２０は、第３の関数近似器を有しており、クラス推定用パラメータ記憶部２１が記憶するクラス推定用パラメータを第３の関数近似器に適用する。第３の関数近似器は、クラス推定用パラメータが適用されることで、クラス推定用パラメータに応じた関数を近似する。クラス推定部２０は、特徴量抽出部１２が抽出した特徴量を入力として第３の関数近似器に与えることにより推定クラスｃｉを推定する。ここで、推定クラスｃｉは、クラスごとの確率で示される情報であり、推定クラスｃｉを参照することで、対応する動画データｖｉが何れのクラスに属する確率が高いかを識別することができる。
ここで、第３の関数近似器は、特徴量から推定クラスを推定する任意のニューラルネットワークであり、例えば、後段にＳｏｆｔｍａｘ層が結合された全結合層のニューラルネットワーク（以下「全結合層＋Ｓｏｆｔｍａｘ層２０１」という。）などが適用される。
パラメータ更新部１４ａは、第１の実施形態のパラメータ更新部１４と同様に、入力部１１ａが出力するｎ個の真値スコアｇ１～ｎと、スコア推定部１３が推定するｎ個の推定スコアｓ１～ｎと、上記の式（２）で示される第１の損失関数とに基づいて、推定スコアｓ１～ｎの各々と、真値スコアｇ１～ｎの各々との間の回帰損失を算出する。
また、パラメータ更新部１４ａは、入力部１１ａが出力するｎ個の真値クラスラベルｋ１～ｎと、クラス推定部２０が推定するｎ個の推定クラスｃ１～ｎと、予め定められる第３の損失関数に基づいて、推定クラスｓ１～ｎの各々と、真値クラスラベルｋ１～ｎの各々との間のクラス損失を算出する。
ここでは、第３の損失関数として、例えば、次式（５）に示すＣｒｏｓｓ Ｅｎｔｒｏｐｙ Ｌｏｓｓを適用する。
Figure 0007352119000005
式（５）において、Ｙは、クラスの数である。例えば、Ｙ＝３であり、３つのクラスをＣｌａｓｓ１，Ｃｌａｓｓ２，Ｃｌａｓｓ３として示すとする。ｉ＝１の動画データｖ１が、Ｃｌａｓｓ１のクラスに属している場合、Ｃｌａｓｓ１に属する確率が１００％になり、Ｃｌａｓｓ２及びＣｌａｓｓ３に属する確率は、０％になる。この場合、真値クラスラベルｋ１，ｙは、例えば、ｋ１，１＝１．０、ｋ１，２＝０．０、ｋ１，３＝０．０という形式で示される。推定クラスｃ１，ｙは、対応する動画データｖ１が３つのクラスの各々に属する確率、例えば、ｃ１，１＝０．８、ｃ１，２＝０．５、ｃ１，３＝０．２という形式で示される。
また、パラメータ更新部１４ａは、異なる２つの動画データｖｉ，ｖｊの全ての組み合わせの各々に対応する２つの推定スコアｓｉ，ｓｊ、２つの真値スコアｇｉ，ｇｊ及び２つの推定クラスｃｉ，ｃｊと、予め定められる第４の損失関数とに基づいて、２つの推定スコアｓｉ，ｓｊの順序の誤り度合いを示すランキング損失を２つの真値スコアｇｉ，ｇｊの差の大きさを考慮し、かつ２つの推定クラスｃｉ，ｃｊの間の相関を考慮して算出する。
ここでは、第４の損失関数として、次式（６）で示される損失関数を適用する。
Figure 0007352119000006
式（６）を、第１実施形態の第２の損失関数である式（３）と比較すると、式（３）のＲｅＬＵ関数の出力に対して、ｃｏｒｒｅｌａｔｉｏｎを乗算しているという違いがある。
式（６）において、ｃｏｒｒｅｌａｔｉｏｎは、２つの推定クラスｃｉ，ｃｊの類似度を示す相関係数である。ここでは、相関係数として、例えば、式（７）によって求められるスピアマンの順位相関係数を適用する。
Figure 0007352119000007
式（７）において、Ｙは、式（５）と同様にクラスの数である。ＣＲｉ、ｙは、推定クラスｃｉにおけるクラスｙの順位である。例えば、Ｙ＝３である場合に、推定クラスｃｉがｃｉ，１＝０．５、ｃｉ，２＝０．８、ｃｉ，３＝０．２で表される場合、Ｃｌａｓｓ２に属する確率が１位であり、Ｃｌａｓｓ１に属する確率が２位であり、Ｃｌａｓｓ３に属する確率が３位である。この場合、ＣＲｉ，１＝２、ＣＲｉ，２＝１、ＣＲｉ，３＝３となる。
パラメータ更新部１４ａは、算出した回帰損失、すなわち式（２）の出力値であるＬｏｓｓ１と、算出したクラス損失、すなわち式（５）の出力値であるＬｏｓｓ３と、算出したランキング損失、すなわち式（６）の出力値であるＬｏｓｓ４を減少させるように学習処理を行う。パラメータ更新部１４ａは、学習処理により、新たな特徴量抽出用パラメータと、新たなスコア推定用パラメータと、新たなクラス推定用パラメータとを算出する。
パラメータ更新部１４ａは、算出した新たな特徴量抽出用パラメータと、新たなスコア推定用パラメータと、新たなクラス推定用パラメータとに基づいて、特徴量抽出用パラメータ記憶部１５、スコア推定用パラメータ記憶部１６及びクラス推定用パラメータ記憶部２１の内容を更新する。
（第２の実施形態の学習装置による処理）
次に、図６及び図７を参照しつつ第２の実施形態の学習装置１ａによる処理について説明する。図６は、学習装置１ａが行う学習処理の流れを示すフローチャートである。
特徴量抽出用パラメータ記憶部１５と、スコア推定用パラメータ記憶部１６と、クラス推定用パラメータ記憶部２１とには、それぞれ初期値の特徴量抽出用パラメータと、初期値のスコア推定用パラメータと、初期値のクラス推定用パラメータとが予め記憶されている。
ステップＳ２１，Ｓ２２については、図２に示した第１の実施形態のステップＳ１，Ｓ２と同一の処理が、特徴量抽出部１２とスコア推定部１３によって行われる。クラス推定部２０は、クラス推定用パラメータ記憶部２１からクラス推定用パラメータを読み出し、読み出したクラス推定用パラメータを第３の関数近似器である全結合層＋Ｓｏｆｔｍａｘ層２０１のニューラルネットワークに適用する（ステップＳ２３）。
入力部１１ａは、訓練データ記憶部１０ａから最初のｎ個の訓練データを読み出す。入力部１１ａは、図７に示すように読み出したｎ個の訓練データに含まれるｎ個の動画データｖ１～ｎを１つずつ特徴量抽出部１２に出力する。また、入力部１１ａは、読み出した訓練データに含まれるｎ個の真値スコアｇ１～ｎとｎ個の真値クラスラベルｋ１～ｎをパラメータ更新部１４ａに出力する。パラメータ更新部１４ａは、入力部１１ａが出力するｎ個の真値スコアｇ１～ｎとｎ個の真値クラスラベルｋ１～ｎを取り込む（ステップＳ２４）。
ｎ個の動画データｖ１～ｎの各々である動画データｖｉについて、ステップＳ２５，Ｓ２６，Ｓ２７の処理が繰り返し行われる（ループＬ２ｓ～Ｌ２ｅ）。
ステップＳ２５，Ｓ２６については、図２に示したステップＳ４，Ｓ５と同一の処理が、特徴量抽出部１２とスコア推定部１３によって行われる。なお、ステップＳ２６において、スコア推定部１３は、取得した推定スコアｓｉをパラメータ更新部１４ａに出力する。
クラス推定部２０は、図７に示すように動画データｖｉの特徴量を入力として全結合層＋Ｓｏｆｔｍａｘ層２０１に与え、全結合層＋Ｓｏｆｔｍａｘ層２０１の出力として動画データｖｉの推定クラスｃｉを取得する。クラス推定部２０は、取得した動画データｖｉの推定クラスｃｉをパラメータ更新部１４ａに出力する（ステップＳ２７）。
すなわち、図７に示すように、同一の特徴量抽出用パラメータと、同一のスコア推定用パラメータと、同一のクラス推定用パラメータとを、それぞれ動画特徴量抽出層１２１と、全結合層１３１と、全結合層＋Ｓｏｆｔｍａｘ層２０１に適用した状態で、ｎ個の動画データｖ１～ｎの各々を入力として、ステップＳ２５，Ｓ２６，Ｓ２７の処理がｎ回行われる。
ステップＳ２８については、図２に示したステップＳ６と同一の処理が、パラメータ更新部１４ａによって行われる。
パラメータ更新部１４ａは、クラス推定部２０が推定したｎ個の推定クラスｃ１～ｎを取り込むと、取り込んだｎ個の推定クラスｃ１～ｎと、ステップＳ２４において取り込んだｎ個の真値クラスラベルｋ１～ｎとに基づいて、式（５）によりクラス損失Ｌｏｓｓ３を算出する（ステップＳ２９）。
パラメータ更新部１４ａは、ｎ個の推定スコアｓ１～ｎと、ｎ個の真値スコアｇ１～ｎと、ｎ個の推定クラスｃ１～ｎとに基づいて、式（６）によりランキング損失Ｌｏｓｓ４を算出する（ステップＳ３０）。
パラメータ更新部１４ａは、例えば、次式（８）により評価損失Ｌｏｓｓを算出する（ステップＳ３１）。
Figure 0007352119000008
上記の式（８）において、α２とβ２とγ２は、α２＞０、β２＞０、γ２＞０であり、３つの損失のバランスを取るように任意に定められる定数である。また、｜｜ω｜｜２は、Ｌ２－ｒｅｇｕｒａｌａｔｉｏｎの項である。
パラメータ更新部１４ａは、算出した評価損失Ｌｏｓｓが終了条件を満たしているか否かを判定する（ステップＳ３２）。例えば、評価損失Ｌｏｓｓが予め定められる閾値未満である場合、評価損失が終了条件を満たしていると判定する。
パラメータ更新部１４ａは、評価損失Ｌｏｓｓが終了条件を満たしていると判定した場合（ステップＳ３２、Ｙｅｓ）、処理を終了する。一方、パラメータ更新部１４ａは、評価損失Ｌｏｓｓが終了条件を満たしていないと判定した場合（ステップＳ３２、Ｎｏ）、回帰損失Ｌｏｓｓ１とクラス損失Ｌｏｓｓ３とランキング損失Ｌｏｓｓ４を減少させるように、例えば、誤差逆伝播法などを用いた学習処理により、新たな特徴量抽出用パラメータと、新たなスコア推定用パラメータと、新たなクラス推定用パラメータとを算出する。
パラメータ更新部１４ａは、算出した新たな特徴量抽出用パラメータを特徴量抽出用パラメータ記憶部１５に書き込んで特徴量抽出用パラメータを更新する。パラメータ更新部１４ａは、算出した新たなスコア推定用パラメータをスコア推定用パラメータ記憶部１６に書き込んでスコア推定用パラメータを更新する。パラメータ更新部１４ａは、算出した新たなクラス推定用パラメータをクラス推定用パラメータ記憶部２１に書き込んでクラス推定用パラメータを更新する（ステップＳ３３）。
その後、ステップＳ２１からの処理が繰り返し行われ、再び行われるステップＳ２１において、特徴量抽出部１２は、特徴量抽出用パラメータ記憶部１５から更新された特徴量抽出用パラメータを読み出して動画特徴量抽出層１２１に適用する。また、再び行われるステップＳ２２において、スコア推定部１３は、スコア推定用パラメータ記憶部１６から更新されたスコア推定用パラメータを読み出して全結合層１３１に適用する。また、再び行われるステップＳ２３において、クラス推定部２０は、クラス推定用パラメータ記憶部２１から更新されたクラス推定用パラメータを読み出して全結合層＋Ｓｏｆｔｍａｘ層２０１に適用する。
入力部１１ａは、再び行われるステップＳ２４において、訓練データ記憶部１０ａから次のｎ個の訓練データを読み出す。なお、繰り返す処理の過程において、訓練データ記憶部１０ａに記憶されている全ての訓練データについて、ステップＳ２５，Ｓ２６，Ｓ２７の処理が行われた場合、入力部１１ａは、再び最初のｎ個の訓練データから順に訓練データ記憶部１０ａから読み出すことを繰り返す。
ステップＳ３２において、パラメータ更新部１４ａが、評価損失Ｌｏｓｓが、終了条件を満たすと判定した時点で、特徴量抽出用パラメータ記憶部１５とスコア推定用パラメータ記憶部１６とクラス推定用パラメータ記憶部２１の各々において、十分に回帰損失Ｌｏｓｓ１と、クラス損失Ｌｏｓｓ３と、ランキング損失Ｌｏｓｓ４が小さくなった状態における学習済みの特徴量抽出用パラメータと、学習済みのスコア推定用パラメータと、学習済みのクラス推定用パラメータとが記録されることになる。
上記の第２の実施形態の学習装置１ａにおいて、パラメータ更新部１４ａは、スコア推定部１３が推定した複数の推定スコアの各々と、推定スコアの各々に対応する真値スコアの各々との間の回帰損失を求める第１の損失関数と、クラス推定部２０が推定した複数の推定クラスの各々と、推定クラスの各々に対応する真値クラスラベルの各々との間のクラス損失を求める第３の損失関数と、異なる２つの動画データの全ての組み合わせの各々に対応する２つの推定スコア及び２つの真値スコアに基づいて、２つの推定スコアの間の順序の誤り度合いを示すランキング損失を求める第４の損失関数であって２つの真値スコアの差の大きさ、かつ２つの推定クラスの間の相関を考慮してランキング損失を補正する第４の損失関数とに基づいて、第１の損失関数の出力である回帰損失、第３の損失関数の出力であるクラス損失及び第４の損失関数の出力であるランキング損失の各々を減少させる学習処理を行うことにより、推定部５０ａの関数近似器（第１の関数近似器、第２の関数近似器及び第３の関数近似器）に適用するパラメータ、すなわち特徴量抽出用パラメータと、スコア推定用パラメータと、クラス推定用パラメータとを更新する。第４の損失関数を用いることにより、以下に示すように、学習装置１ａは、非特許文献１に記載の技術よりも更に正確に競技者の競技に対するオフィシャルな審判員の採点の手法に関するノウハウを学習することが可能になる。
すなわち、第１の実施形態における第２の損失関数である式（３）と、第２の実施形態における第４の損失関数である式（６）を比較すると、式（６）では、式（３）のＲｅＬＵ関数に対して２つの推定クラスｃｉ，ｃｊの相関係数ｃｏｒｒｅｌａｔｉｏｎを乗算して、２つの推定クラスｃｉ，ｃｊの相関を考慮したランキング損失を採用している。したがって、第２の実施形態の学習装置１ａでは、第１の実施形態の学習装置１が奏する効果に加えて、以下のような効果を奏することになる。
第４の損失関数を用いることにより、学習装置１ａでは、類似している競技については、ランキング損失の制約を強くすることができ、逆に類似していない競技についてはランキング損失の制約を弱くさせることができる。これにより、例えば、訓練データに含まれる動画データｖｉに高飛び込みや体操などの複数の種類の競技が記録されている場合であっても、学習装置１ａは、競技の種類の違いを考慮した上で、学習処理を行うため、学習装置１よりも更に正確にオフィシャルな審判員の採点の手法に関するノウハウを学習することが可能になる。
（第２の実施形態のスコア推定装置）
図８は、第２の実施形態によるスコア推定装置２ａの内部構成を示すブロック図である。図８において、図５に示す学習装置１ａと同一の構成については同一の符号を付して示している。スコア推定装置２ａは、入力部１１ａ－１、推定部５０ａ、出力部１７ａ、学習済み特徴量抽出用パラメータ記憶部１８、学習済みスコア推定用パラメータ記憶部１９及び学習済みクラス推定用パラメータ記憶部２２を備える。推定部５０ａは、特徴量抽出部１２と、スコア推定部１３と、クラス推定部２０とを備える。
上述したように、図６に示したステップＳ３２において、パラメータ更新部１４ａが、「Ｙｅｓ」の判定、すなわち、評価損失Ｌｏｓｓが終了条件を満たすと判定した場合、特徴量抽出用パラメータ記憶部１５と、スコア推定用パラメータ記憶部１６と、クラス推定用パラメータ記憶部２１には、それぞれ学習済みの特徴量抽出用パラメータと、学習済みのスコア推定用パラメータと、学習済みのクラス推定用パラメータとが記録されることになる。
学習済み特徴量抽出用パラメータ記憶部１８は、学習装置１ａの学習処理が終了した時点で特徴量抽出用パラメータ記憶部１５に記録されている学習済みの特徴量抽出用パラメータを予め記憶する。学習済みスコア推定用パラメータ記憶部１９は、学習装置１ａの学習処理が終了した時点でスコア推定用パラメータ記憶部１６に記録されている学習済みのスコア推定用パラメータを予め記憶する。クラス推定用パラメータ記憶部２２は、学習装置１ａの学習処理が終了した時点でクラス推定用パラメータ記憶部２１に記録されている学習済みのクラス推定用パラメータを予め記憶する。
入力部１１ａ－１は、外部から与えられる任意の動画データを取り込む。入力部１１ａ－１は、取り込んだ動画データを特徴量抽出部１２に出力する。
特徴量抽出部１２は、学習済み特徴量抽出用パラメータ記憶部１８から学習済みの特徴量抽出用パラメータを読み出し、動画特徴量抽出層１２１に読み出した学習済みの特徴量抽出用パラメータを適用する。特徴量抽出部１２は、入力部１１ａ－１が出力する動画データを入力として動画特徴量抽出層１２１に与え、出力として動画データの特徴量を取得し、取得した特徴量をスコア推定部１３に出力する。
スコア推定部１３は、学習済みスコア推定用パラメータ記憶部１９から学習済みのスコア推定用パラメータを読み出し、全結合層１３１に読み出した学習済みのスコア推定用パラメータを適用する。スコア推定部１３は、特徴量抽出部１２が出力する特徴量を入力として全結合層１３１に与え、出力として推定スコアを取得し、取得した推定スコアを出力部１７ａに出力する。
クラス推定部２０は、学習済みクラス推定用パラメータ記憶部２２から学習済みのクラス推定用パラメータを読み出し、全結合層＋Ｓｏｆｔｍａｘ層２０１に読み出した学習済みのクラス推定用パラメータを適用する。クラス推定部２０は、特徴量抽出部１２が出力する特徴量を入力として全結合層＋Ｓｏｆｔｍａｘ層２０１に与え、出力として推定クラスを取得し、取得した推定クラスを出力部１７ａに出力する。出力部１７ａは、スコア推定部１３が出力する推定スコアを外部に出力し、クラス推定部２０が出力する推定クラスを外部に出力する。
なお、上記の第２の実施形態のスコア推定装置２ａにおいて、推定スコアのみを求める場合、クラス推定部２０と、学習済みクラス推定用パラメータ記憶部２２を備えないようにしてもよい。
上記の第２の実施形態のスコア推定装置２ａにおいて、推定部５０ａは、学習装置１ａの学習処理によって得られた学習済みのパラメータ（学習済みの特徴量抽出用パラメータ、学習済みのスコア推定用パラメータ及び学習済みのクラス推定用パラメータ）に基づいて関数を近似する関数近似器（第１の関数近似器、第２の関数近似器及び第３の関数近似器）を有し、関数近似器に動画データを入力として与えることにより、当該動画データの推定スコアを推定する。
第２の実施形態では、学習装置１ａによって推定クラスｃｉと、真値クラスラベルｋｉとを含めた学習処理が行われている。そのため、第１の実施形態とは異なり、第２の実施形態の学習済み特徴抽出用パラメータと学習済みスコア推定用パラメータには、動画データｖｉが属するクラスの情報が反映されている。したがって、第２の実施形態のスコア推定装置２ａは、多くの種類の競技の動画データを対象として、第１の実施形態よりも更に正確に推定スコアを求めることができる。
また、上記の第１及び第２の実施形態において、第１の損失関数として、式（２）に示すＭＳＥを適用する例を示したが、ＭＳＥに替えて、Ｌ１－Ｌｏｓｓ等の他の回帰損失を算出する関数を適用するようにしてもよい。
また、上記の第１の実施形態の評価損失Ｌｏｓｓを算出する式（４）及び第２の実施形態の評価損失Ｌｏｓｓを算出する式（８）は、一例である。第１の実施形態においては、回帰損失とランキング損失の間のバランス、第２の実施形態においては、回帰損失とランキング損失とクラス損失の間のバランスを取ることができるような任意の式を適用してもよい。
また、第２の実施形態において第３の損失関数としてＣｒｏｓｓ Ｅｎｔｏｒｏｐｙ Ｌｏｓｓを適用する例を示したが、第３の損失関数として他の関数を適用してもよい。また、式（６）の相関係数ｃｏｒｒｅｌａｔｉｏｎとして、式（７）に示すスピアマンの順位相関係数を適用する例を示したが、相関係数ｃｏｒｒｅｌａｔｉｏｎとして他の相関係数を適用してもよい。
また、上記の第１及び第２の実施形態では、訓練データ記憶部１０，１０ａが学習装置１，１ａの内部に備えられているが、学習装置１，１ａの外部に備えられていてもよい。また、学習済み特徴量抽出用パラメータ記憶部１８、学習済みスコア推定用パラメータ記憶部１９及び学習済みクラス推定用パラメータ記憶部２２についても、スコア推定装置２，２ａの外部に備えられていてもよい。
また、訓練データ記憶部１０，１０ａ、学習済み特徴量抽出用パラメータ記憶部１８、学習済みスコア推定用パラメータ記憶部１９及び学習済みクラス推定用パラメータ記憶部２２については、保存しておくデータを記憶する記憶部であるため、不揮発性の記憶領域を適用するのが望ましい。これに対して、特徴量抽出用パラメータ記憶部１５、スコア推定用パラメータ記憶部１６及びクラス推定用パラメータ記憶部２１は、データを一時的に記憶する記憶部であるため、不揮発性の記憶領域を適用してもよいし、揮発性の記憶領域を適用してもよい。
また、上記の第１及び第２の実施形態に示した、第１の関数近似器、第２の関数近似器及び第３の関数近似器は、上述したような構成のニューラルネットワーク以外の他の構成のニューラルネットワークを適用してもよい。また、ニューラルネットワークではなく、機械学習において用いられる学習処理が可能な他の手段を適用してもよい。また、第１の関数近似器、第２の関数近似器及び第３の関数近似器のように分かれていなくてもよく、第１の実施形態では、第１の関数近似器と第２の関数近似器が一体として１つの関数近似器を構成していてもよいし、第２の実施形態では、第１の関数近似器と第２の関数近似器と第３の関数近似器が一体として１つの関数近似器を構成していてもよい。
上述した実施形態における学習装置１，１ａ、スコア推定装置２，２ａをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
スポーツ競技における競技の採点に利用することができる。
１…学習装置、１０…訓練データ記憶部、１１…入力部、１２…特徴量抽出部、１３…スコア推定部、１４…パラメータ更新部、１５…特徴量抽出用パラメータ記憶部、１６…スコア推定用パラメータ記憶部、５０…推定部

Claims (7)

  1. 競技者の競技中の動作を記録した動画データと、当該動画データに記録された競技に対して審判員が採点したスコアである複数の真値スコアとを組み合わせた訓練データを取り込む入力部と、
    パラメータに基づいて関数を近似する関数近似器を有し、前記関数近似器に前記入力部が取り込んだ動画データを入力として与えることにより、当該動画データの推定スコアを推定する推定部と、
    複数の前記推定スコアの各々と、前記推定スコアの各々に対応する前記真値スコアの各々との間の回帰損失を求める第１の損失関数と、異なる２つの前記動画データの全ての組み合わせの各々に対応する２つの前記推定スコア及び２つの前記真値スコアに基づいて２つの前記推定スコアの間の順序の誤り度合いを示すランキング損失を求める第２の損失関数であって２つの前記真値スコアの差の大きさを考慮して前記ランキング損失を補正する第２の損失関数とに基づいて、前記第１の損失関数の出力である前記回帰損失及び前記第２の損失関数の出力である前記ランキング損失の各々を減少させる学習処理を行うことにより、前記パラメータを更新するパラメータ更新部と、
    を備える学習装置。
  2. 前記動画データは、前記動画データに記録される内容に基づいて予め定められる複数のクラスのいずれかに予め分類され、前記動画データに対して前記動画データが属する前記クラスを示す真値クラスラベルが予め付与されており、
    前記入力部は、
    前記動画データと、当該動画データに対応する前記真値スコアと、当該動画データに付与されている前記真値クラスラベルとを組み合わせた訓練データを取り込み、
    前記推定部は、
    前記関数近似器に前記入力部が取り込んだ動画データを入力として与えることにより、当該動画データの推定スコアと、当該動画データが何れの前記クラスに属するかの確率を示す推定クラスを推定し、
    前記パラメータ更新部は、
    複数の前記推定クラスの各々と、前記推定クラスの各々に対応する前記真値クラスラベルの各々との間のクラス損失を求める第３の損失関数と、異なる２つの前記動画データの全ての組み合わせの各々に対応する２つの前記推定スコア及び２つの前記真値スコアに基づいて２つの前記推定スコアの間の順序の誤り度合いを示すランキング損失を求める第４の損失関数であって２つの前記真値スコアの差の大きさ、かつ２つの前記推定クラスの間の相関を考慮して前記ランキング損失を補正する第４の損失関数とに基づいて、前記第１の損失関数の出力である前記回帰損失、前記第３の損失関数の出力である前記クラス損失及び前記第２の損失関数に替えて用いる前記第４の損失関数の出力である前記ランキング損失の各々を減少させる学習処理を行うことにより、前記パラメータを更新する、
    請求項１に記載の学習装置。
  3. 競技者の競技中の動作を記録した動画データを取り込む入力部と、
    請求項１に記載の学習装置、または、請求項２に記載の学習装置の学習処理によって得られた学習済みのパラメータに基づいて関数を近似する関数近似器を有し、前記関数近似器に前記入力部が取り込んだ前記動画データを入力として与えることにより、当該動画データの推定スコアを推定する推定部と、
    を備えるスコア推定装置。
  4. 競技者の競技中の動作を記録した動画データと、当該動画データに記録された競技に対して審判員が採点したスコアである複数の真値スコアとを組み合わせた訓練データを取り込み、
    パラメータに基づいて関数を近似する関数近似器に取り込んだ動画データを入力として与えることにより、当該動画データの推定スコアを推定し、
    複数の前記推定スコアの各々と、前記推定スコアの各々に対応する前記真値スコアの各々との間の回帰損失を求める第１の損失関数と、異なる２つの前記動画データの全ての組み合わせの各々に対応する２つの前記推定スコア及び２つの前記真値スコアに基づいて２つの前記推定スコアの間の順序の誤り度合いを示すランキング損失を求める第２の損失関数であって２つの前記真値スコアの差の大きさを考慮して前記ランキング損失を補正する第２の損失関数とに基づいて、前記第１の損失関数の出力である前記回帰損失及び前記第２の損失関数の出力である前記ランキング損失の各々を減少させる学習処理を行うことにより、前記パラメータを更新する、
    学習方法。
  5. コンピュータを、
    競技者の競技中の動作を記録した動画データと、当該動画データに記録された競技に対して審判員が採点したスコアである複数の真値スコアとを組み合わせた訓練データを取り込む入力手段、
    パラメータに基づいて関数を近似する関数近似器を有し、前記関数近似器に前記入力手段が取り込んだ動画データを入力として与えることにより、当該動画データの推定スコアを推定する推定手段、
    複数の前記推定スコアの各々と、前記推定スコアの各々に対応する前記真値スコアの各々との間の回帰損失を求める第１の損失関数と、異なる２つの前記動画データの全ての組み合わせの各々に対応する２つの前記推定スコア及び２つの前記真値スコアに基づいて２つの前記推定スコアの間の順序の誤り度合いを示すランキング損失を求める第２の損失関数であって２つの前記真値スコアの差の大きさを考慮して前記ランキング損失を補正する第２の損失関数とに基づいて、前記第１の損失関数の出力である前記回帰損失及び前記第２の損失関数の出力である前記ランキング損失の各々を減少させる学習処理を行うことにより、前記パラメータを更新するパラメータ更新手段、
    として機能させるための学習プログラム。
  6. 競技者の競技中の動作を記録した動画データを取り込み、
    請求項１に記載の学習装置、または、請求項２に記載の学習装置の学習処理によって得られた学習済みのパラメータに基づいて関数を近似する関数近似器に取り込んだ前記動画データを入力として与えることにより、当該動画データの推定スコアを推定する、
    スコア推定方法。
  7. コンピュータを、
    競技者の競技中の動作を記録した動画データを取り込む入力手段、
    請求項１に記載の学習装置、または、請求項２に記載の学習装置の学習処理によって得られた学習済みのパラメータに基づいて関数を近似する関数近似器を有し、前記関数近似器に前記入力手段が取り込んだ前記動画データを入力として与えることにより、当該動画データの推定スコアを推定する推定手段、
    として機能させるためのスコア推定プログラム。
JP2022511452A 2020-04-02 2020-04-02 学習装置、学習方法及び学習プログラム、並びに、スコア推定装置、スコア推定方法及びスコア推定プログラム Active JP7352119B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/015136 WO2021199392A1 (ja) 2020-04-02 2020-04-02 学習装置、学習方法及び学習プログラム、並びに、スコア推定装置、スコア推定方法及びスコア推定プログラム

Publications (2)

Publication Number Publication Date
JPWO2021199392A1 JPWO2021199392A1 (ja) 2021-10-07
JP7352119B2 true JP7352119B2 (ja) 2023-09-28

Family

ID=77930154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022511452A Active JP7352119B2 (ja) 2020-04-02 2020-04-02 学習装置、学習方法及び学習プログラム、並びに、スコア推定装置、スコア推定方法及びスコア推定プログラム

Country Status (2)

Country Link
JP (1) JP7352119B2 (ja)
WO (1) WO2021199392A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023176256A (ja) * 2022-05-31 2023-12-13 楽天グループ株式会社 画像からデータを予測する方法、コンピュータシステム、及びコンピュータ可読媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061376A (ja) 2008-09-03 2010-03-18 National Institute Of Advanced Industrial Science & Technology 動作評価装置および動作評価方法
WO2018070414A1 (ja) 2016-10-11 2018-04-19 富士通株式会社 運動認識装置、運動認識プログラムおよび運動認識方法
JP2020038440A (ja) 2018-09-03 2020-03-12 国立大学法人 東京大学 動作認識方法及び装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061376A (ja) 2008-09-03 2010-03-18 National Institute Of Advanced Industrial Science & Technology 動作評価装置および動作評価方法
WO2018070414A1 (ja) 2016-10-11 2018-04-19 富士通株式会社 運動認識装置、運動認識プログラムおよび運動認識方法
JP2020038440A (ja) 2018-09-03 2020-03-12 国立大学法人 東京大学 動作認識方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yongjun Li et al.，End-To-End Learning for Action Quality Assessment，PCM 2018，スイス，2018年09月21日，p.125-134，<DOI: https://doi.org/10.1007/978-3-030-00767-6>

Also Published As

Publication number Publication date
WO2021199392A1 (ja) 2021-10-07
JPWO2021199392A1 (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
CN110147711B (zh) 视频场景识别方法、装置、存储介质和电子装置
CN110472554B (zh) 基于姿态分割和关键点特征的乒乓球动作识别方法及***
US20200279156A1 (en) Feature fusion for multi-modal machine learning analysis
CN112819852A (zh) 对基于姿态的运动进行评估
CN111428088A (zh) 视频分类方法、装置及服务器
US20140143183A1 (en) Hierarchical model for human activity recognition
US11392801B2 (en) Action recognition method and apparatus
CN105590091A (zh) 一种面部识别方法及其***
CN109248428A (zh) 一种网球运动轨迹处理***的动态分析方法
US20220362630A1 (en) Method, device, and non-transitory computer-readable recording medium for estimating information on golf swing
JP7352119B2 (ja) 学習装置、学習方法及び学習プログラム、並びに、スコア推定装置、スコア推定方法及びスコア推定プログラム
CN115131879A (zh) 一种动作评价方法及装置
CN112528077B (zh) 基于视频嵌入的视频人脸检索方法及***
Zahan et al. Learning sparse temporal video mapping for action quality assessment in floor gymnastics
US20220273984A1 (en) Method and device for recommending golf-related contents, and non-transitory computer-readable recording medium
CN116935057A (zh) 目标评价方法、电子设备和计算机可读存储介质
US11922822B2 (en) Method of scoring a move of a user and system thereof
Iosifidis et al. Human action recognition based on bag of features and multi-view neural networks
CN115035007A (zh) 基于像素级对齐生成对抗网络的人脸老化***及建立方法
CN110314368B (zh) 台球击球的辅助方法、装置、设备及可读介质
CN113221690A (zh) 视频分类方法及装置
KR20230022010A (ko) 스포츠 활동분류 학습장치의 제어방법, 이를 수행하기 위한 기록매체 및 장치
CN112749625B (zh) 时序行为检测方法、时序行为检测装置及终端设备
US20230381584A1 (en) Method, system, and non-transitory computer-readable recording medium for estimating information on golf swing posture
JP7460997B2 (ja) コンピュータビジョンシステム、コンピュータビジョン方法、コンピュータビジョンプログラム及び学習方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230828

R150 Certificate of patent or registration of utility model

Ref document number: 7352119

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150