JP7455889B2 - 画像評価装置、画像処理システム、ユーザ端末、画像評価方法、および画像評価プログラム - Google Patents

画像評価装置、画像処理システム、ユーザ端末、画像評価方法、および画像評価プログラム Download PDF

Info

Publication number
JP7455889B2
JP7455889B2 JP2022064667A JP2022064667A JP7455889B2 JP 7455889 B2 JP7455889 B2 JP 7455889B2 JP 2022064667 A JP2022064667 A JP 2022064667A JP 2022064667 A JP2022064667 A JP 2022064667A JP 7455889 B2 JP7455889 B2 JP 7455889B2
Authority
JP
Japan
Prior art keywords
data
evaluation
mapping
image
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022064667A
Other languages
English (en)
Other versions
JP2023154980A (ja
Inventor
満 中澤
科翰 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Group Inc filed Critical Rakuten Group Inc
Priority to JP2022064667A priority Critical patent/JP7455889B2/ja
Publication of JP2023154980A publication Critical patent/JP2023154980A/ja
Application granted granted Critical
Publication of JP7455889B2 publication Critical patent/JP7455889B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像評価装置、画像処理システム、ユーザ端末、画像評価方法、画像評価プログラム、および画像表示支援方法に関する。
たとえば下記特許文献1には、学習済みモデルを利用して画像データの異常を検出する装置が記載されている。
特開2022-26016号公報
発明者は、身体の所定部位の露出がある画像データを異常とすることを検討した。その場合、学習済みモデルが所定部位に注目することなく画像データの異常の有無の判定結果を出力する場合、判定精度が低くなるおそれがある。
以下、上記課題を解決するための手段およびその作用効果について記載する。
1.実行装置、および記憶装置を備え、前記記憶装置には、位置情報写像データと、評価写像データと、が記憶され、前記位置情報写像データは、位置情報写像を規定するためのデータであり、前記位置情報写像は、位置情報データを出力する写像であり、前記位置情報データは、評価対象とする画像データが示す画像において人の所定部位の位置情報を示すデータであり、前記評価写像データは、評価写像を規定するためのデータであり、前記評価写像は、評価用入力データおよび前記位置情報データを入力として前記画像データの評価結果を出力する写像であり、前記評価用入力データは、前記画像データに応じたデータであって且つ前記評価写像の入力とするデータであり、前記実行装置は、位置情報生成処理、および評価処理を実行するように構成され、前記位置情報生成処理は、位置用入力データを前記位置情報写像に入力することによって前記位置情報データを生成する処理であり、前記位置用入力データは、前記画像データに応じたデータであって且つ前記位置情報写像の入力とするデータであり、前記評価処理は、前記位置情報データおよび前記評価用入力データを前記評価写像に入力することによって、前記画像データを評価する処理である画像評価装置である。
上記構成では、評価写像に、画像データに応じた評価用入力データのみならず、位置情報データが入力される。位置情報データは、所定部位の情報を示すデータである。そのため、評価写像は、画像データ中の所定部位の位置についての情報を利用して評価結果を出力できる。そのため、位置情報データを利用しない場合と比較して、所定部位の露出等の異常をより高精度に評価できる。
2.前記所定部位は、人の胸部、尻部、および正面下腹部の3つの部分のうちの少なくとも1つを含む上記1記載の画像評価装置である。
人の胸部、尻部、および正面下腹部の3つの部分の露出の有無は、公序良俗に反するか否かを定める上で特に重要である。そのため、上記構成では、所定部位の位置情報を利用することにより、画像データが公序良俗に反するか否かを高精度に評価できる。
3.前記位置情報データは、前記評価用入力データを構成する各画素が前記所定部位を示すか否かの情報を付与するデータであり、前記評価写像は、前記評価用入力データの各画素と前記各画素に対応する前記位置情報データとが対応付けて入力されることによって前記評価結果を出力する写像である上記1または2記載の画像評価装置である。
上記評価写像は、評価用入力データおよび位置情報データが互いに対応付けて評価写像に入力される。そのため、画像データの各画素のうち所定部位に対応する画素に着目しつつ評価結果を算出する確実性を高めることができる。
4.前記評価写像は、仮評価写像を含み、前記仮評価写像は、前記評価用入力データを入力として前記画像データの仮の評価結果を出力する写像であり、前記評価処理は、仮評価処理と、妥当性評価処理と、を含み、前記仮評価処理は、前記仮評価写像に前記評価用入力データを入力することによって前記仮の評価結果を出力する処理を含み、前記妥当性評価処理は、前記位置情報データを入力として、前記画像データの示す領域のうちの前記所定部位を示す領域が前記仮の評価結果に寄与した度合いに応じて前記仮の評価結果の妥当性を評価する処理を含む上記1~3のいずれか1つに記載の画像評価装置である。
上記構成では、実行装置が、仮評価写像が出力する仮の評価結果に画像データが示す領域のうちの所定部位を示す領域が寄与した度合いに応じて、仮の評価結果の妥当性を評価する処理を実行する。そのため、妥当性の評価をすることなく仮評価写像の出力する仮の評価結果から最終的な評価結果を定める場合と比較すると、最終的な評価結果の精度を高めることができる。
5.前記実行装置は、通知処理を実行するように構成され、前記通知処理は、前記妥当性評価処理によって妥当ではないと判定される場合に、妥当ではない旨を通知する処理である上記4記載の画像評価装置である。
上記構成では、実行装置は、妥当性評価処理によって妥当ではないと判定する場合、その旨を通知する。そのため、仮の評価結果の妥当性について、最終的に人が判断することが可能となる。
6.前記評価写像は、特徴量レイヤを備え、前記特徴量レイヤは、前記画像データが示す領域を複数個の領域に分割したそれぞれに数値を与えることによって、前記画像データの特徴量を定量化するレイヤであり、前記評価写像は、前記特徴量レイヤが示す前記複数個の領域の少なくとも一部の値と前記位置情報データとを合成する処理を含んで前記評価結果を出力する写像である上記1記載の画像評価装置である。
上記構成では、実行装置が特徴量レイヤが示す複数個の領域の少なくとも一部の値と位置情報データとを合成する処理を施す。そのため、この処理の施された特徴量は、補正が施されない特徴量と比較して、所定部位により着目した特徴量となりうる。そのため、評価結果を、所定部位に確実に着目した評価結果とすることが可能となる。
7.上記1~6のいずれか1つに記載の画像評価装置における前記実行装置、および前記記憶装置と、複数のユーザ端末と、を備え、前記実行装置は、提供処理、および制限処理を実行するように構成され、前記提供処理は、前記評価処理によって表示されることを制限しなくてよい旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する処理であり、前記制限処理は、前記評価処理によって表示されることを制限すべき旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する処理である画像処理システムである。
上記提供処理および制限処理によれば、評価処理による評価結果に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
8.前記ユーザ端末は、指示処理を実行するように構成され、前記指示処理は、身体の露出度についての許容範囲を指示する処理であり、前記制限しなくてよい旨の評価は、前記露出度が前記許容範囲内である旨の評価であり、前記ユーザ端末により表示されることを制限すべき旨の評価は、前記露出度が前記許容範囲から外れる旨の評価である上記7記載の画像処理システムである。
上記構成では、ユーザの意思に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
9.前記制限処理は、前記ユーザ端末により表示されることを制限すべきと評価された前記画像データの前記ユーザ端末への送信を禁止する禁止処理と、前記ユーザ端末により表示されることを制限すべきと評価された前記画像データを制限指令とともに送信する制限送信処理と、の少なくとも1つの処理を含み、前記制限指令は、前記ユーザ端末において前記画像データが示す画像を警告とともに表示されるようにする指令、前記ユーザ端末において前記画像データが示す画像のうちの所定部位の露出にマスクをする指令、および前記ユーザ端末において前記画像データが示す画像を表示しないようにする指令のいずれかである上記7または8記載の画像処理システムである。
上記禁止処理によれば、ユーザ端末により表示されることを制限すべきと評価された画像データが示す画像が、ユーザ端末に表示されることを確実に抑制できる。また、上記制限送信処理によれば、以下のいずれかが可能となる。
・ユーザ端末により表示されることを制限すべき旨の警告がユーザ端末によってなされること。
・ユーザ端末に表示された画像中の所定部位の露出がマスクされること。
・ユーザ端末により表示されることを制限すべきと評価された画像データが示す画像が表示されることを、ユーザ端末において禁止すること。
10.上記8記載の画像処理システムにおける前記ユーザ端末である。
11.上記1~6のいずれか1つに記載の画像評価装置における前記各処理を実行するステップを有する画像評価方法である。
12.上記1~6のいずれか1つに記載の画像評価装置における前記各処理をコンピュータに実行させる画像評価プログラムである。
13.ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、前記ユーザ端末により表示される画像の候補を示す画像データのうち、上記1~6のいずれか1つに記載の画像評価装置における前記評価処理によって表示されることを制限しなくてよい旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、前記評価処理によって表示されることを制限すべき旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、を有する画像表示支援方法である。
上記提供工程および制限工程によれば、評価処理による評価結果に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
14.ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、前記ユーザ端末は、指示処理を実行するように構成され、前記指示処理は、身体の露出度についての許容範囲を指示する処理であり、前記ユーザ端末により表示される画像の候補を示す画像データのうち、上記1~6のいずれか1つに記載の画像評価装置における前記評価処理によって前記露出度が前記許容範囲内である旨評価された前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記評価処理によって、前記露出度が前記許容範囲から外れると評価された前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、を有する画像表示支援方法である。
上記方法では、ユーザの意思に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
15.ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、前記ユーザ端末により表示される画像の候補を示す画像データを取得する取得工程と、前記取得工程において取得された前記画像データのうち上記1~6のいずれか1つに記載の画像評価装置における前記評価処理によって表示されることを制限しなくてよい旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、前記取得工程において取得された前記画像データのうち、前記評価処理によって表示されることを制限すべき旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、を有する画像表示支援方法である。
上記提供工程および制限工程によれば、評価処理による評価結果に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
第1の実施形態にかかる画像処理システムの全体構成を示す図である。 同実施形態にかかる表示可能な画像を規定する図である。 同実施形態にかかるCM動画データが示す画像の表示支援に関する処理の手順を示す流れ図である。 同実施形態にかかるフレーム評価処理の詳細な手順を示す図である。 同実施形態にかかるヒートマップを説明するための図である。 第2の実施形態にかかるCM動画データが示す画像の表示支援に関する処理の手順を示す流れ図である。 第3の実施形態にかかるフレーム評価処理の詳細な手順を示す流れ図である。 第4の実施形態にかかるフレーム評価処理の詳細な手順を示す図である。 同実施形態にかかる最終評価処理の詳細な手順を示す図である。 第5の実施形態にかかるフレーム評価処理の詳細な手順を示す図である。 同実施形態にかかるCM動画データが示す画像の表示支援に関する処理の手順を示す流れ図である。
<第1の実施形態>
以下、第1の実施形態について図面を参照しつつ説明する。
「前提構成」
図1に、画像処理システムの全体構成を示す。
複数の業者端末10(1),10(2),…は、何らかの商品を消費者に販売する業者が所持する端末である。なお、以下では、業者端末10(1),10(2),…を総括する場合、業者端末10と記載する。業者端末10は、PU12、記憶装置14、および通信機16を備えている。PU12は、CPU、GPU、およびTPU等の演算ユニットを含むソフトウェア処理装置である。記憶装置14は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体を備える。記憶装置14には、PU12が実行するプログラムが記憶されている。
業者端末10の通信機16は、ネットワーク20を介して画像評価装置30と通信可能とされる。業者端末10は、販売したい商品に関するCM動画データを画像評価装置30に送信する。ここで、CM動画データとは、たとえば商品を広告するためのコマーシャル動画に相当する。CM動画の再生時間、フレーム数、解像度、およびデータフォーマットに制限はない。
画像評価装置30は、CM動画データを評価して、問題がない場合にはユーザ端末50(1),50(2),…に送信する。以下では、ユーザ端末50(1),50(2),…を総括する場合、ユーザ端末50と記載する。
画像評価装置30は、PU32、記憶装置34、および通信機36を備えている。PU32は、CPU、GPU、およびTPU等の演算ユニットを含むソフトウェア処理装置である。詳しくは、PU32は、画像処理、推論処理および並列処理等の所定の処理に特化したハードウェアアクセラレータを演算ユニットとして含んでよい。また、PU32は、ホモジニアスアーキテクチャまたはヘテロジニアスアーキテクチャの態様をとる演算ユニットを含んでよい。また、PU32は、単一のチップ上にモノリシックに集積された演算ユニットを含んでよく、チップレット等の複数のチップが接続された演算ユニットを含んでよい。記憶装置34は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体を備える。記憶装置34には、画像評価プログラム34a、位置情報写像データ34b、および評価写像データ34cが記憶されている。通信機36は、ネットワーク20を介して業者端末10およびユーザ端末50との通信を可能とするための機器である。
ユーザ端末50は、CM動画データを再生する端末である。ユーザ端末50は、CM動画が示す商品の購入操作を実行する機能を有してもよい。
ユーザ端末50は、PU52、記憶装置54、通信機56、およびユーザインターフェース58を備えている。PU52は、CPU、GPU、およびTPU等の演算ユニットを含むソフトウェア処理装置である。PU52は、PU32に含まれ得る態様の演算ユニットを含んでもよい。記憶装置54は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体を備える。記憶装置54には、アプリケーションプログラム54aが記憶されている。アプリケーションプログラム54aは、画像評価装置30から送信されるCM動画データを再生するプログラムである。通信機56は、ネットワーク20を介して画像評価装置30との通信を可能とするための機器である。ユーザインターフェース58は、表示装置等を備える。
「画像評価処理」
画像評価装置30のPU32は、業者端末10から送信されたCM動画データがユーザ端末50によって再生して問題ないデータであるか否かを評価する。
図2は、再生して問題ないデータの定義の一例を示す。図2には、身体の部分のうち、所定部位に、マーキングがなされている。すなわち、部分「3」~「5」によって定義される胸部にマーキングがなされている。また、人体の正面視において、部分「10」、「11」、「18」によって定義される「正面下腹部」にマーキングがなされている。また、人体の背面における部分「12~14」,「18」によって定義される「尻部」にマーキングがなされている。PU32は、人の画像のうち図2にマーキングした箇所が露出した画像については、再生して問題がある画像であると評価する。
図3に、画像評価装置30によって実行される、図2に示した基準に沿った評価に基づいてCM動画データがユーザ端末50によって選択的に表示されることを支援する処理の手順を示す。図3に示す処理は、記憶装置34に記憶された画像評価プログラム34aを、PU32がたとえば所定周期でくり返し実行することにより実現される。なお、以下では、先頭に「S」が付与された数字によって各処理のステップ番号を表現する。
図3に示す一連の処理において、PU32は、まず、業者端末10から送信されたCM動画データを取得する(S10)。なお、ここで、「取得」は、記憶装置34に記憶されたCM動画データのうちの1つを選択的に読み出すことを意味する。この処理の前に、PU32は、通信機36を介して業者端末10から送信されたCM動画データを受信する。そして、PU32は、受信したCM動画データを記憶装置34に記憶する。
次にPU32は、CM動画データのフレームを指定する変数iを初期化する(S12)。この処理は、変数iを、CM動画データの先頭のフレームを指定する値とするための処理である。次に、PU32は、フレームデータFDを、N個周期で3個サンプリングする(S14)。すなわち、PU32は、フレームデータFD(i)、FD(i+N)、FD(i+2N)をサンプリングする。なお、フレームデータFD(1),FD(2),FD(3),…は、CM動画データの再生順序に従ったフレームデータFDの時系列を示す。詳しくは、フレームデータFDの後のカッコ内の数字が大きいほど、時系列的に後に再生されるフレームデータFDであることを示す。ちなみに、フレームデータFDは、レッド、グリーン、ブルーの3原色のそれぞれの輝度を示す「w×h」の画素数を有した2次元データである。ここで、「w」および「h」は自然数である。なお、以下では、上記3原色を適宜、「R,G,B」と表現する。
そして、PU32は、フレームデータFD(i)、FD(i+N)、FD(i+2N)のそれぞれを評価するフレーム評価処理を実行する(S16)。
図4に、フレーム評価処理の詳細を示す。
図4に示す一連の処理において、PU32は、1つのフレームデータFDを胸部、正面下腹部、尻部、および顔部の位置情報を出力する回帰モデルに入力する(S30)。回帰モデルは、フレームデータFDが示す「w×h」の画像領域の少なくとも1部における、胸部、正面下腹部、尻部、および顔部のそれぞれの存在確率を示す2次元分布を出力するモデルである。ここで、2次元分布は、例として、2次元ガウス分布である。
PU32は、例として、胸部、正面下腹部、尻部、および顔部のそれぞれの存在確率に関する2次元ガウス分布が平均値を示すxy座標成分の値と、分散パラメータとを出力する。本実施形態では、2次元ガウス分布の共分散行列を、対角行列とみなす。また、本実施形態では、2つの対角成分を等しいとみなす。したがって、本実施形態の2次元ガウス分布の分散パラメータは、1個である。回帰モデルは、画像領域内において扱える上限の人数を所定数kとしている。そして、回帰モデルでは、人毎に、胸部、正面下腹部、尻部、および顔部のそれぞれの存在確率の分布を表現するガウス分布に関する、上記xy座標成分の値、および分散パラメータの値を出力する。したがって、回帰モデルは、例として、「12k」個の出力値を有する。
回帰モデルは、例として、教師あり学習によって学習された学習済みモデルである。
図5に、回帰モデルの訓練データを例示する。訓練データは、胸部、正面下腹部、尻部、および顔部のそれぞれの代表点の座標(xi,yi:i=1~4)と、分散パラメータの値が定義されたデータである。分散パラメータは、画像領域に占める人の大きさに応じて設定される。
なお、回帰モデルは、ニューラルネットワーク(以下、NNと記載)を含むモデルであってよい。具体的には、畳み込みニューラルネットワーク(以下、CNNと記載)としてもよい。ただし、CNNに限らない。
回帰モデルは、図1に示した記憶装置34に記憶された位置情報写像データ34bによって規定される。位置情報写像データ34bは、パラメトリックモデルである回帰モデルの学習済みのパラメータの値を含むデータである。すなわち、回帰モデルがCNNの場合、位置情報写像データ34bは、畳み込み処理に用いる各フィルタの値を含む。また、回帰モデルが全結合レイヤ等を含む場合、位置情報写像データ34bは、全結合レイヤの重みを示すパラメータの値を含む。なお、回帰モデルがNNの場合、位置情報写像データ34bは、活性化関数を規定するデータを含んでもよい。ただし、たとえば活性化関数を規定するデータは、画像評価プログラム34aに含めてもよい。なお、回帰モデルは、教師なし学習によって学習された学習済みモデルであってもよく、半教師あり学習によって学習された学習済みモデルであってもよい。
図4に戻り、PU32は、S10の処理を完了する場合、回帰モデルの出力値に基づき、胸部、正面下腹部、尻部、および顔部のそれぞれに関するヒートマップを生成する(S32)。それらヒートマップは、いずれも「w×h」個の領域を有する。ヒートマップは、「w×h」個の領域のそれぞれに、存在確率に応じた値が定められたマップである。たとえば胸部のヒートマップは、胸部に対応する2次元ガウス分布の平均値の座標(x1,y1)に対応する領域において、最も大きい値が定められている。そして、座標(x1,y1)に対応する領域から離れた領域ほど、小さい値が定められている。座標(x1,y1)に対応する領域からの距離と値との関係は、分散パラメータによって規定される。
次にPU32は、フレームデータFDと、同フレームデータFDから生成されたヒートマップとを、識別モデル70aに入力することによって、フレームデータFDを評価する評価変数yok,yngの値を算出する(S34)。評価変数yokは、フレームデータFDが、胸部、正面下腹部、および尻部の露出がない画像を示すデータである確率を示す変数である。また、評価変数yngは、フレームデータFDが、胸部、正面下腹部、および尻部の少なくとも1つに露出がある画像を示すデータである確率を示す変数である。
識別モデル70aは、例として、CNNを含む。識別モデル70aにおいて、R,G,Bの3つの「w×h」のデータと、胸部、正面下腹部、尻部、および顔部のそれぞれの「w×h」のヒートマップ60~66とは、1または複数のフィルタflによって、畳み込まれる。フィルタflは、「a×b×7」個の数値よりなる。ただし、「a」は、「w」より小さい自然数である。また、「b」は、「h」より小さい自然数である。この処理は、フレームデータFDを構成する各画素領域と、ヒートマップ60~66の対応する領域とが、互いに対応付けられて識別モデル70aに入力されることを意味する。
識別モデル70aは、いくつかの畳み込みレイヤおよびプーリングレイヤ等を有する。なお、識別モデル70aのCNNは、残差ブロックを有してもよい。識別モデル70aは、下流の全結合レイヤM10において、特徴マップが結合されることによって2つの出力値が出力される。そして、出力活性化関数としての2出力のソフトマックス関数M12によって、評価変数yok,yngの値が算出される。
識別モデル70aは、例として、教師あり学習によって学習がなされた学習済みモデルである。識別モデル70aは、次の訓練データを用いて訓練されたモデルである。すなわち、胸部、正面下腹部、および尻部の露出がない画像を示す画像データと、胸部、正面下腹部、および尻部の少なくとも1つに露出がある画像を示す画像データとである。学習によって、識別モデル70aを規定するフィルタの数値および全結合レイヤM10の重みパラメータ等が学習される。なお、識別モデル70aは、教師なし学習によって学習された学習済みモデルであってもよく、半教師あり学習によって学習された学習済みモデルであってもよい。
学習がなされたフィルタの数値および全結合レイヤM10の重みパラメータ等は、図1に示した記憶装置34に記憶される評価写像データ34cに含まれる。評価写像データ34cは、フィルタの数値および全結合レイヤM10の重みパラメータ等を含むことによって、識別モデル70aを規定する。なお、評価写像データ34cは、CNNの活性化関数を規定するデータを含んでもよい。ただし、CNNの活性化関数を規定するデータは、画像評価プログラム34aに含めてもよい。
PU32は、S34の処理を完了する場合、評価変数yokの値が評価変数yngの値よりも大きいか否かを判定する(S36)。この処理は、評価変数yok,yngの値に基づき、フレームデータFDが胸部、正面下腹部、および尻部の露出がない画像を示すか否かを判定する処理である。
PU32は、評価変数yokの値が評価変数yngの値よりも大きいと判定する場合(S36:YES)、胸部、正面下腹部、および尻部の露出がない旨評価する(S38)。以下では、この評価を、OK判定と称する。一方、PU32は、評価変数yokの値が評価変数yngの値以下であると判定する場合(S36:NO)、胸部、正面下腹部、および尻部の少なくとも1つに露出がある旨評価する(S40)。以下では、この評価を、NG判定と称する。
なお、PU32は、フレームデータFD(i),FD(i+N),FD(i+2N)に関してS38,S40の処理を完了する場合、図3のS16の処理を完了する。
そしてPU72は、フレームデータFD(i),FD(i+N),FD(i+2N)のうちの2つ以上についてOK判定がなされたか否かを判定する(S18)。そして、PU32は、OK判定が1つ以下であると判定する場合(S18:NO)、S10の処理によって取得したCM動画データの配信を禁止する(S20)。S18の処理において否定判定されることは、CM動画データに、胸部、正面下腹部、および尻部の少なくとも1つに露出がある旨の最終的な判定がなされたことを意味する。
一方、PU32は、OK判定が2つ以上であると判定する場合(S18:YES)、変数iに「N」を加算する(S22)。そしてPU32は、フレームデータFD(i+2N)が存在するか否かを判定する(S24)。この処理は、CM動画データの全てについてS16の処理を完了したか否かを判定する処理である。PU32は、フレームデータFD(i+2N)が存在すると判定する場合(S24:YES)、S14の処理に戻る。一方、PU32は、フレームデータFD(i+2N)が存在しないと判定する場合(S24:NO)、CM動画データを配信可能とする(S26)。すなわち、PU32は、ユーザ端末50からのリクエストに応じてCM動画データを配信する。
なお、PU32は、S20,S26の処理を完了する場合、図3に示した一連の処理を一旦終了する。
ここで、本実施形態の作用および効果について説明する。
PU32は、フレームデータFDを識別モデル70aに入力することによって、評価変数yok,yngの値を算出する。そして、PU32は、評価変数yok,yngの値に応じてフレームデータFDを評価する。この処理は、フレームデータFDを入力としてOK判定またはNG判定である、フレームデータFDの評価結果を出力する評価写像を利用する処理である。
上記識別モデル70aは、学習済みモデルである。特に、識別モデル70aは、例として、中間層の層数が多いディープニューラルネットワーク(以下、DNNと記載)である。DNNは、特徴量を自動で抽出する。そのため、上記評価写像を、DNNを用いて構成する場合、その入力をフレームデータFDのみとすることが簡素である。しかし、その場合、DNNが胸部、正面下腹部、および尻部に着目して評価結果を出力するとは限らない。
そこで、本実施形態では、識別モデル70aを、フレームデータFDに加えて胸部、正面下腹部、および尻部のそれぞれの存在確率を示すヒートマップ60~64を入力とするモデルとした。換言すれば、評価写像の入力に、胸部、正面下腹部、および尻部のそれぞれの存在確率を示すヒートマップ60~64を加えた。これにより、ヒートマップ60~64を加えない場合と比較して、識別モデル70aにおいて抽出された特徴量を示す特徴量マップが胸部、正面下腹部、および尻部のそれぞれの特徴を表現する可能性が高まる。そのため、評価変数yok,yngの値を、胸部、正面下腹部、および尻部の少なくとも1つが露出しているか否かをより高精度に表現した値とすることができる。
なお、フレームデータFDが示す領域のうちのヒートマップ60~64によって示される胸部、正面下腹部、および尻部の存在確率が低い領域を一律、マスキングして評価写像に入力することも考えられる。しかし、その場合、胸部、正面下腹部、および尻部以外の露出部分に示される肌の色に関する情報、および人の挙動に関する情報等が省かれることとなる。しかし、それらの情報は、胸部、正面下腹部、および尻部の少なくとも1つが露出しているか否かを評価するうえで有益な情報となりうる。
したがって、上記識別モデル70aによれば、画像中の胸部、正面下腹部、および尻部に着目する可能性を高めつつ、胸部、正面下腹部、および尻部以外の情報をも加味して評価変数yok,yngの値を高精度に算出できる。
以上説明した本実施形態によれば、さらに以下に記載する作用および効果が得られる。
(1-1)識別モデル70aの入力に、顔部の存在確率を示すヒートマップ66を含めた。身体のうち顔部は露出している可能性が最も高い。そのため、顔部に着目することにより、その人の肌の色に着目する可能性を高めることができる。したがって、評価変数yok,yngの値を、胸部、正面下腹部、および尻部の少なくとも1つが露出しているか否かをより高精度に評価した値とすることができる。
(1-2)時系列的にN個周期で隣接する3つのフレームデータFDのうちの2つ以上でOK判定される場合に、2N+1個のフレームデータの区間に問題がないとした。これにより、1つのフレームデータFDに関して誤判定された場合であっても、誤判定の影響を抑制できる。
<第2の実施形態>
以下、第2の実施形態について、第1の実施形態との相違点を中心に図面を参照しつつ説明する。
図6に、本実施形態にかかる画像評価装置30によって実行される、上記基準に沿った評価に基づいてCM動画データがユーザ端末50によって選択的に表示されることを支援する処理の手順を示す。図6に示す処理は、記憶装置34に記憶された画像評価プログラム34aを、PU32がたとえば所定周期でくり返し実行することにより実現される。なお、図6において、図3に示した処理に対応する処理については、便宜上、同一のステップ番号を付与してその説明を省略する。
図6に示すように、PU32は、S18の処理において否定判定する場合(S18:NO)、CM動画データに制限指令を付与する(S20a)。そして、PU32は、S26の処理に移行する。
制限指令は、次の何れかの指令である。
・ユーザ端末50においてCM動画データが再生される場合、始めに警告をする指令である。これはユーザインターフェース58が備えるディスプレイに視覚情報を表示する処理としてもよい。またたとえば、ユーザインターフェース58が備えるスピーカから音声情報を出力する処理としてもよい。
・ユーザ端末50においてCM動画データが再生される場合、所定部位が露出しているシーンが再生されるときに再生画像にマスクをする指令である。マスクをする指令は、たとえば、再生画像に対して所定画像を重畳することでマスクをする指令であってもよい。また、たとえば、マスクをする指令は、再生画像に対してぼかし等のエフェクトを適用することでマスクをする指令であってもよい。またたとえば、マスクをする指令は、露出している所定部位の領域を少なくとも含む再生画像の一部に対して所定画像を重畳することでマスクをする指令であってもよい。またたとえば、露出している所定部位の領域を少なくとも含む再生画像の一部に対してばかし等のエフェクトを適用することでマスクをする指令であってもよい。
・ユーザ端末50に対してなされる、CM動画データを再生してはいけない旨の指令である。これは、たとえばアプリケーションプログラム54aが、同指令を検知する場合、CM動画データの再生をしない設定とすることで実現できる。
<第3の実施形態>
以下、第3の実施形態について、第1の実施形態との相違点を中心に図面を参照しつつ説明する。
本実施形態では、識別モデル70aに代えて、識別モデル70bを用いる。
図7に、フレーム評価処理の詳細を示す。図7に示す処理は、記憶装置34に記憶された画像評価プログラム34aを、PU32がたとえば所定周期でくり返し実行することにより実現される。なお、図7において、図4に示した処理に対応する処理については、便宜上、同一のステップ番号を付与する。
図7に示す一連の処理において、PU72は、ヒートマップ60~66を生成すると(S32)、それらヒートマップ60~66を縮小する(S42)。すなわち、S32の処理において生成された「w×h」の領域数のヒートマップを「w1×h1」の領域数を有したヒートマップに縮小する。ここで、「w1<w,h1<h」である。この処理は、たとえば、「w×h」の領域数のヒートマップを「1/4」のヒートマップに縮小する場合、次のようにすればよい。すなわち、「w×h」の領域数のヒートマップの「4×4」の領域の平均値を、「w1×h1」の領域数を有したヒートマップの1つの領域の値とすればよい。
次に、PU32は、縮小されたヒートマップから、「w1×h1」の領域数の係数行列MKを算出する(S44)。係数行列MKは、「w1×h1」個の領域のそれぞれに関する係数Kの値を定義する。係数Kの値は、縮小されたヒートマップにおける領域の値が閾値以上の場合に「1」よりも大きい値となる。係数Kの値は、縮小されたヒートマップにおける領域の値が閾値未満の場合に「1」となる。ここで、閾値は、「0」よりも大きく「1」未満の値である。S44の処理において生成される係数行列MKは、ヒートマップ60~66に対応した4個である。たとえば、ヒートマップ60に対応した係数行列MKは、その成分の値が「1」よりも大きい場合、その領域に胸部が存在する確率が大きいことを意味する。また、たとえば、ヒートマップ60に対応した係数行列MKは、その成分の値が「1」の場合、その領域に胸部が存在する確率が小さいことを意味する。
次に、PU72は、識別モデル70bに、フレームデータFDおよび係数行列MKを入力することによって、評価変数yok,yngの値を算出する(S34a)。
識別モデル70bは、フレームデータFDおよび係数行列MKを入力とし、評価変数yok,yngの値を出力する。ただし、識別モデル70bは、係数行列MKを最上流から入力するモデルではない。
識別モデル70bは、特徴抽出器M20を備える。特徴抽出器M20は、フレームデータFDを入力として、フレームデータFDの特徴量を抽出する。特徴抽出器M20は、CNNを含む。この特徴量は、「h1×w1」の特徴マップ80である。特徴マップ80は、複数存在する。識別モデル70aは、積算処理M22を有する。積算処理M22は、4個の係数行列MKのそれぞれについて、特徴マップ80のいくつかとのアダマール積を算出する処理である。ここで、1つの特徴マップ80とアダマール積が算出される係数行列MKは、4個の係数行列MKのうちのいずれか1つであってよい。また、特徴抽出器M20が出力する特徴マップ80の中には、係数行列MKとのアダマール積の算出対象とされないものもある。
具体的には、たとえば、「n」を自然数として、特徴マップ80の数が「5n」個の場合、ヒートマップ60~66のそれぞれに対応する係数行列MKとの積算対象となる特徴マップ80を、「n」個ずつとしてもよい。その場合、いずれの係数行列MKとの積算対象ともならない特徴マップ80が「n」個存在する。
識別モデル70bは、識別ユニットM24を有する。識別ユニットM24には、積算処理M22が施された特徴マップが入力される。識別ユニットM24は、たとえば出力活性化関数がソフトマックス関数であるCNNであってもよい。
なお、識別モデル70bは、教師あり学習によって学習された学習済みモデルである。ここでの訓練データは、識別モデル70aによるものと同様である。本実施形態において、評価写像データ34cは、識別モデル70aの学習によって得られたパラメータを含む。ちなみに、特徴抽出器M20を規定するパラメータについては、胸部、正面下腹部、および尻部の少なくとも1つに露出があるか否かに応じた画像を示す画像データを用いた学習によって得られたものでなくてもよい。すなわち、既存の画像認識処理によって得られた特徴抽出器を転移学習によって利用してもよい。
以上説明した本実施形態によれば、以下の作用および効果が得られる。
(3-1)複数個の特徴マップ80に、4個の係数行列MKのうちのいずれか1つと選択的に合成されるマップを含めた。これにより、合成後の特徴マップは、胸部、正面下腹部、尻部、および顔部のうちの対応する部分の値が増幅されるマップとなることから、対応する部分の特徴を抽出するマップとなりやすい。
(3-2)複数個の特徴マップ80に、4個の係数行列MKのうちのいずれによっても補正されない特徴マップを含めた。これにより、胸部、正面下腹部、尻部、および顔部に特化しないものの胸部、正面下腹部、および尻部の少なくとも1つが露出しているか否かを判定するうえで有効な特徴を抽出するマップを生成させやすい。
<第4の実施形態>
以下、第4の実施形態について、第1の実施形態との相違点を中心に図面を参照しつつ説明する。
本実施形態では、識別モデル70aに代えて、識別モデル70cを用いる。
図8に、フレーム評価処理の詳細を示す。図8に示す処理は、記憶装置34に記憶された画像評価プログラム34aを、PU32がたとえば所定周期でくり返し実行することにより実現される。なお、図8において、図4に示した処理に対応する処理については、便宜上、同一のステップ番号を付与する。
図8に示す一連の処理において、PU32は、まず識別モデル70cにフレームデータFDを入力することによって、評価変数yok,yngの値を算出する(S34b)。識別モデル70cは、フレームデータFDを入力することによって、評価変数yok,yngの値を出力するモデルである。識別モデル70cは、特徴抽出器M30を含む。特徴抽出器M30は、R,G,Bのそれぞれについて「w×h」からなる画像データを入力として、「w2×h2」の特徴マップ82を出力する。ここで、「w2<w,h2<h」である。特徴抽出器M30は、CNNを含む。特徴抽出器M30が一度に出力する特徴マップ82の数は、J個である。ただし、「J>2」である。
識別モデル70cは、全結合レイヤM32を含む。全結合レイヤM32は、J個の特徴マップ82の「w2×h2×J」個の数値を結合して2つの出力値を出力する。それら2つの出力値は、ソフトマックス関数M34に入力される。ソフトマックス関数M34は、評価変数yok,yngの値を出力する。
識別モデル70cは、例として、教師あり学習によって学習された学習済みモデルである。識別モデル70cの訓練データは、識別モデル70aの訓練データと同様である。なお、識別モデル70cは、教師なし学習によって学習された学習済みモデルであってもよく、半教師あり学習によって学習された学習済みモデルであってもよい。
そして、PU32は、評価変数yokが評価変数yngよりも大きいと判定する場合(S36:YES)、最終評価処理を実行する(S50)。
図9に、最終評価処理の詳細を示す。
図9に示す一連の処理において、PU32は、評価変数yokが大きいときに識別モデル70cが着目した領域を示すアクティベーションマップを生成する(S60)。ここで、上記J個の特徴マップを、f1(x,y),f2(x,y),…,fJ(x,y)と記載する。そして、全結合レイヤM32のパラメータのうち、評価変数yokに対応するものを、wok1,wok2,…,wokJとする。ただし、「1≦x≦w2,1≦y≦h2」である。
その場合、各座標(x,y)が、評価変数yokが大きいことに寄与した度合いは、
wok1・f1(x,y)+wok2・f2(x,y)+…+wokJ・fJ(x,y)
である。
PU32は、「w2×h2」の各座標(x,y)について、上記値を算出することによって、アクティベーションマップを生成する。
次にPU32は、アクティベーションマップを2値化した2値化マップMACTを生成する(S62)。ここで、PU32は、まず、アクティベーションマップが示す「w2×h2」個の値のそれぞれをロジスティックシグモイド関数に代入することによって、「w2×h2」個の値を「0」以上「1」以下の値とする。そして、PU32は、ロジスティックシグモイド関数の出力値が所定値よりも大きい場合に「1」として且つ、所定値以下の場合に「-1」とする。ここで、所定値は、「0」よりも大きく「1」よりも小さい値に設定される。なお、所定値は、「1/2」以上であってもよい。
2値化マップMACTは、フレームデータFDが示す領域を縮小した「w2×h2」の領域において、OK判定に大きく寄与した領域に「1」が付与されたマップである。また、2値化マップMACTは、フレームデータFDが示す領域を縮小した「w2×h2」の領域において、OK判定にあまり寄与していない領域に「-1」が付与されたマップである。
次にPU32は、フレームデータFDを回帰モデルに入力する(S64)。回帰モデルは、顔部の2次元ガウス分布等の2次元分布を定義する出力がないことを除いて、S30の処理によって用いたものと同じである。次にPU32は、ヒートマップ60~64を生成する(S66)。次に、PU32は、3個のヒートマップ60~64のそれぞれを、「w2×h2」に縮小する(S68)。この処理は、S42の処理と同様である。次に、PU32は、縮小された3個のヒートマップから、1つの2値化マップMbodyを生成する(S70)。S70の処理において、PU32は、まず、3個のヒートマップのそれぞれの成分の値と閾値との大小を比較することによって3個の暫定マップを生成する。すなわち、PU32は、ヒートマップの成分の値が閾値よりも大きい場合には、暫定マップの対応する成分の値を「1」とする。また、PU32は、ヒートマップの成分の値が閾値以下の場合には、暫定マップの対応する成分の値を「-1」とする。そして、PU32は、3個の暫定マップの成分のそれぞれについて、3個の値の全てが「-1」の場合には、2値化マップMbodyの対応する値を「-1」とする。また、PU32は、3個の暫定マップの成分のそれぞれについて、3個の値の少なくとも1つが「1」の場合には、2値化マップMbodyの対応する値を「1」とする。
2値化マップMbodyは、フレームデータFDが示す領域を縮小した「w2×h2」の領域において、胸部、正面下腹部、および尻部のいずれかの存在確率が大きい領域に「1」が付されたマップである。また、2値化マップMbodyは、フレームデータFDが示す領域を縮小した「w2×h2」の領域において、胸部、正面下腹部、および尻部の全ての存在確率が小さい領域に「-1」が付されたマップである。
そしてPU32は、2値化マップMACTと2値化マップMbodyとのアダマール積を算出することによって、注視マップMATTを生成する(S72)。注視マップMATTは、評価変数yokが大きいことに寄与した領域であって且つ胸部、正面下腹部、および尻部の存在確率が大きい領域を「1」とするマップである。また、注視マップMATTは、評価変数yokが大きいことにあまり寄与していない領域であって且つ胸部、正面下腹部、および尻部の存在確率が小さい領域を「1」とするマップである。また、注視マップMATTは、評価変数yokが大きいことに寄与した領域であって且つ胸部、正面下腹部、および尻部の存在確率が小さい領域を「-1」とするマップである。また、注視マップMATTは、評価変数yokが大きいことにあまり寄与していない領域であって且つ胸部、正面下腹部、および尻部の存在確率が大きい領域を「-1」とするマップである。
次にPU32は、注視マップMATTの各成分の平均値を示す指標値(図中、GAP(MATT)と記載)が判定値gth以上であるか否かを判定する(S74)。ここで、指標値を単純平均値とする場合には、指標値は、「-1」以上であって且つ「1」以下の値である。指標値が大きいほど、胸部、正面下腹部、および尻部の存在確率が大きい領域に着目してOK判定がなされたことを意味する。なお、指標値を単純平均値とすることは必須ではない。たとえば、周囲が「-1」となる領域に囲まれた1つの領域のみ「1」となる領域については、その値を「-1」に書き替えた平均値とするなどのフィルタ処理を施してもよい。
PU32は、指標値が閾値gth以上であると判定する場合(S74:YES)、OK判定をする(S38)。
一方、PU32は、指標値が閾値gth未満であると判定する場合(S74:NO)、NG判定をする(S76)。そして、PU72は、その時のフレームデータFDを記憶装置34に保存する(S78)。そしてPU32は、図1に示すユーザインターフェース40を操作することによって、評価変数yokの値が大きいことの妥当性が低い旨を、人に通知する(S80)。ここでは、たとえば、ユーザインターフェース40に表示装置を備えることによって、妥当性が低い旨の視覚情報を表示してもよい。
なお、PU32は、S38,S80の処理がなされる場合、図8に示すS50の処理を一旦完了する。
このように、本実施形態では、PU32は、フレームデータFDのみから評価変数yok,yngの値を算出する。ただし、PU32は、評価変数yokの値が大きい場合、直ちにはOK判定とせずに、画像のどこに着目して評価変数yokを大きい値に算出したかを分析する。そしてPU32は、画像のうちの胸部、正面下腹部、および尻部に着目して評価変数yokを大きい値に算出した場合に、OK判定をする。これにより、誤ってOK
判定がなされることを抑制できる。
以上説明した本実施形態によれば、さらに以下の作用および効果が得られる。
(4-1)PU32は、評価変数yokの値が大きいことの妥当性が低いと判定する場合、その時のフレームデータFDを保存して且つ、人に通知した。これにより、人が最終的な判断をすることができる。そのため、胸部、正面下腹部、および尻部のいずれも露出していない場合には、NG判定を取り消して、CM動画データを配信できる。また、胸部、正面下腹部、および尻部のいずれも露出していない場合には、保存したフレームデータFDを用いて識別モデル70cを再学習させることができる。
<第5の実施形態>
以下、第5の実施形態について、第1の実施形態との相違点を中心に図面を参照しつつ説明する。
本実施形態では、識別モデル70aに代えて、識別モデル70dを用いる。識別モデル70dは、次の3つの状態を識別する。
状態1:胸部、正面下腹部、および尻部のいずれも露出していない状態である。
状態2:胸部のうちの図2に示す部分「3」の一部、正面下腹部のうちの図2に示す部分「10」の一部、および尻部のうちの図2に示す部分「14」の一部の少なくとも1つに限って露出している状態である。状態2は、たとえば胸部、正面下腹部、および尻部に衣類をまとっているが、その衣類がある程度露出度が大きい衣類である状態である。また、状態2は、たとえば胸部、正面下腹部、および尻部に衣類をまとっているが、その衣類がある程度透けている衣類である状態である。
状態3:胸部、正面下腹部、および尻部の少なくとも1つについて、状態2以上に顕著に露出している状態である。
図10に、フレーム評価処理の詳細を示す。図10に示す処理は、記憶装置34に記憶された画像評価プログラム34aを、PU32がたとえば所定周期でくり返し実行することにより実現される。なお、図10において、図4に示した処理に対応する処理については、便宜上、同一のステップ番号を付与する。
図10に示す一連の処理において、PU32は、まずフレームデータFDをセマンティックセグメンテーションモデルに入力する(S30a)。セマンティックセグメンテーションモデルは、フレームデータFDが示す「w×h」個の画素毎に、ラベル変数の値を出力するモデルである。ここで、ラベル変数は、少なくとも図2の「3~5,10~14,18」の各部分同士と、それ以外とを識別する値である。したがって、ラベル変数は、10個以上の異なる値を取り得る。
セマンティックセグメンテーションモデルは、識別モデルである。セマンティックセグメンテーションモデルは、教師あり学習によって学習された学習済みモデルである。セマンティックセグメンテーションモデルは、様々な画像データについて、予め上記各部分の画素にラベル変数の値を付与したデータを訓練データとして学習がなされたデータである。本実施形態にかかる位置情報写像データ34bには、セマンティックセグメンテーションモデルを規定するパラメータが含まれている。すなわち、たとえば、セマンティックセグメンテーションモデルがCNNを含む場合、位置情報写像データ34bには、フィルタの各値、および全結合レイヤの重みパラメータ等が含まれる。
次に、PU32は、セマンティックセグメンテーションモデルが出力する各画素のラベル変数の値を用いて、身体情報マップを生成する(S32a)。身体情報マップは、次の6個からなる。
(bm1)胸部のうちの図2に示す部分「3」が位置する部分とそれ以外とを識別するマップである。これは、たとえば、胸部のうちの図2に示す部分「3」が位置する部分を「1」として且つ、それ以外の部分を「0」とすることによって実現できる。
(bm2)正面下腹部のうちの図2に示す部分「10」が位置する部分とそれ以外とを識別するマップである。
(bm3)尻部のうちの図2に示す部分「14」が位置する部分とそれ以外とを識別するマップである。
(bm4)胸部のうちの図2に示す部分「3」以外の部分とそれ以外とを識別するマップである。
(bm5)正面下腹部のうちの図2に示す部分「10」以外の部分が位置する部分とそれ以外とを識別するマップである。
(bm6)尻部のうちの図2に示す部分「14」以外の部分が位置する部分とそれ以外とを識別するマップである。
上記(bm1)~(bm3)は、上記状態2において特に着目すべき部分の位置を示すマップデータである。一方、上記(bm4)~(bm6)は、上記状態3において特に着目すべき部分の位置を示すマップデータである。
S30a,S32aの処理によって、フレームデータから6個の身体情報マップを出力する位置情報写像は、上記セマンティックセグメンテーションモデルに応じて規定される写像である。
次にPU32は、上記6個の身体情報マップ84と、フレームデータFDとを、識別モデル70dに入力することによって、評価変数yok1,yok2,yngの値を算出する(S34c)。識別モデル70dは、CNNを含む。識別モデル70dに入力された6個の身体情報マップ84と、フレームデータFDとは、「a2×b2×9」の次元を有する複数個のフィルタflによって畳み込み処理がなされる。ここで、「a2」は、「w」より小さい自然数である。また、「b2」は、「h」よりも小さい自然数である。畳み込みレイヤの数は任意である。また、CNNは、プーリングレイヤを含んでもよい。また、CNNは、残差ブロックを含んでもよい。そして、CNNが出力する特徴マップは、全結合レイヤM40において結合される。全結合レイヤM40の出力は3個である。そして、それらは出力活性化関数であるソフトマックス関数M42に入力される。ソフトマックス関数M42は、3個の評価変数yok1,yok2,yngの値を出力する。
識別モデル70dは、例として、教師あり学習によって学習された学習済みモデルである。識別モデル70dの学習における訓練データは、上記状態1,状態2,状態3のそれぞれの画像データである。状態1の画像データに対しては、評価変数yok1の目標変数の値を「1」とし、それ以外の目標変数の値を「0」とする。また、状態2の画像データに対しては、評価変数yok2の目標変数の値を「1」とし、それ以外の目標変数の値を「0」とする。また、状態3の画像データに対しては、評価変数yngの目標変数の値を「1」とし、それ以外の目標変数の値を「0」とする。
識別モデル70dの学習によって求められた各パラメータは、評価写像データ34cに含まれる。
PU32は、評価変数yok1,yok2,yngの値のうちの最大値ymaxが評価変数yok1の値であるか否かを判定する(S36a)。PU32は、最大値ymaxが評価変数yok1の値であると判定する場合(S36a:YES)、状態1であると判定する(S38a)。以下、これをOK1判定と称する。一方、PU32は、最大値ymaxが評価変数yok1の値ではないと判定する場合(S36a:NO)、最大値ymaxが評価変数yok2の値であるか否かを判定する(S36b)。PU32は、最大値ymaxが評価変数yok2の値であると判定する場合(S36b:YES)、状態2であると判定する(S38b)。以下、これをOK2判定と称する。一方、PU32は、最大値ymaxが評価変数yok2の値ではないと判定する場合(S36b:NO)、NG判定をする(S40)。
図11に、ユーザ端末50において、ユーザが望む基準を満たす画像を表示することを支援する処理の手順を示す。図11に示す処理は、2つの処理よりなる。1つは、ユーザ端末50の記憶装置54に記憶されたアプリケーションプログラム54aをPU52が所定周期でくり返し実行することにより実現される処理である。もう1つは、画像評価装置30の記憶装置34に記憶された画像評価プログラム34aをPU32が所定周期でくり返し実行することにより実現される処理である。
図11に示すように、ユーザ端末50のPU52は、ユーザから再生を許容するCM動画の基準についての要求を受け付ける(S90)。ここで、PU52は、ユーザインターフェース58が備える表示装置に、状態1のみを許容するか、状態1および状態2を許容するかを選択可能である旨を表示する。S90の処理は、ユーザによるユーザインターフェース58への要求入力を受け付ける処理である。S90の処理を完了する場合、PU52は、通信機56を操作することによって、ユーザの識別記号であるユーザIDと、要求された基準と、を送信する(S92)。
これに対し、画像評価装置30のPU32は、ユーザIDと要求された基準とを受信する(S100)。そしてPU32は、ユーザIDと要求された基準とを記憶装置34に記憶する(S102)。そして、PU32は、CM動画データを評価する(S104)。S104の処理は、S10~S18,S22~S26に準じた処理である。ただし、ここでは、S16の処理に代えて図10の処理を実行する。また、S22~S26の処理を、NG判定がないCM動画データ中に1つでもOK2判定がある場合、OK2判定とする処理に代える。
そしてPU32は、通信機36を操作することによって、評価結果に応じて、ユーザ端末50(1),50(2),…のそれぞれに、要求された基準を満たす画像が表示可能なようにCM動画データを送信する(S106)。すなわち、PU32は、OK1判定のCM動画データについては、全てのユーザ端末50に無条件でCM動画データを送信する。一方、PU32は、OK2判定のCM動画データについては、状態2を許容するユーザのユーザ端末50に無条件でCM動画データを送信する。これに対し、状態2を許容しないユーザのユーザ端末50には、OK2判定のCM動画データの送信を禁止してもよい。またこれに代えて、PU32は、S20aの処理と同様の処理を実行してもよい。一方、PU32は、NG判定のCM動画データについては、全てのユーザのユーザ端末にその動画データを送信することを禁止してもよい。またこれに代えて、PU32は、S20aの処理を実行してもよい。なお、PU32は、S106の処理を完了する場合、図11に示す一連の処理のうちのPU32が実行する処理を一旦終了する。
一方、ユーザ端末50のPU52は、画像評価装置30から送信されたCM動画データを受信する(S94)。ここで、PU52は、基準を満たすCM動画データについては無条件で再生する。また、基準を満たさないCM動画データを受信する場合、同CM動画データに付与された制限指令に応じて、警告を発するか、マスクをするか、再生を禁止するかする。
なお、PU52は、S94の処理を完了する場合、図11に示す一連の処理のうちのPU52が実行する処理を一旦終了する。
<対応関係>
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。
[1,2,11]実行装置は、PU32に対応する。記憶装置は、記憶装置34に対応する。位置情報写像データは、位置情報写像データ34bに対応する。評価写像データは、評価写像データ34cに対応する。
位置情報写像は、図4においては、S30,S32の処理によって実現される写像に対応する。換言すれば、フレームデータFDが入力されることによって、ヒートマップを出力する写像に対応する。位置情報写像は、図7においては、S30,S32,S42,S44の処理によって実現される写像に対応する。換言すれば、フレームデータFDが入力されることによって、係数行列MKを出力する写像に対応する。位置情報写像は、図9においては、S64~S70の処理によって実現される写像に対応する。換言すれば、フレームデータFDが入力されることによって、2値化マップMbodyを出力する写像に対応する。位置情報写像は、図10においては、S30a,S32aの処理によって実現される写像に対応する。換言すれば、フレームデータFDが入力されることによって、身体情報マップ84を出力する写像に対応する。
位置情報算出処理は、図4におけるS30,S32の処理、図7のS30,S32,S42,S44の処理、図9におけるS64~S70の処理、および図10におけるS30a,S32aの処理に対応する。
評価写像は、図4においては、S34~S40の処理によって実現される写像に対応する。換言すれば、フレームデータFDおよびヒートマップ60~66を入力としてOK判定またはNG判定を出力する写像に対応する。図7においては、S34a,S36~S40の処理によって実現される写像に対応する。換言すれば、フレームデータFDおよび係数行列MKを入力としてOK判定またはNG判定を出力する写像に対応する。図8においては、S34b,S36,S40,S60,S62,S72~S76,S38の処理によって実現される写像に対応する。換言すれば、フレームデータFDおよび2値化マップMbodyを入力としてOK判定またはNG判定を出力する写像に対応する。図10においては、S34c,S36a,S36b,S38a,S38b,S40の処理によって実現される写像に対応する。換言すれば、フレームデータFDおよび身体情報マップ84を入力としてOK1判定、OK2判定またはNG判定を出力する写像に対応する。
評価処理は、図3および図4の処理においては、S34~S40の処理に対応する。図7においては、S34a,S36~S40の処理に対応する。図8においては、S34b,S36,S40,S72~S76,S38の処理に対応する。図10においては、S34c,S36a,S36b,S38a,S38b,S40の処理に対応する。
画像データは、フレームデータFDに対応する。位置用入力データは、フレームデータFDに対応する。評価用入力データは、フレームデータFDに対応する。
[3]位置情報データは、ヒートマップ60~66と、身体情報マップ84とに対応する。評価写像は、S34~S40の処理によって実現される写像と、S34c,S36a,S36b,S38a,S38b,S40の処理によって実現される写像と、に対応する。[4]仮評価写像は、S34b,S36の処理によって実現される写像に対応する。換言すれば、1つのフレームデータFDを入力として且つ、評価変数yok,yngの値の大小比較判定結果を出力する写像に対応する。仮評価処理は、S34b,S36の処理に対応する。妥当性評価処理は、S60,S62,S72~S74の処理に対応する。[5]通知処理は、S80の処理に対応する。[6]特徴量レイヤは、特徴抽出器M20の出力レイヤに対応する。
[7]ユーザ端末は、ユーザ端末50(1),50(2),…に対応する。提供処理は、図3のS26の処理と、図6においてS24の処理で否定判定された場合のS26の処理と、図11のS104において要求基準を満たすと判定されたときのS106の処理とに対応する。制限処理は、図3のS20の処理、図6のS20aの処理、および図11のS104において要求基準を満たさないと判定されたときのS106の処理に対応する。[8,10]指示処理は、S90,S92の処理に対応する。[9]禁止処理は、S20の処理、および図11のS104において要求基準を満たさないと判定されたときのS106の処理に対応する。制限処理は、S20aの処理、および図11のS104において要求基準を満たさないと判定されたときのS106の処理に対応する。[12]画像評価プログラムは、画像評価プログラム34aに対応する。
[13~15]提供工程は、図3のS26の処理を実行する工程と、図6においてS24の処理で否定判定された場合のS26の処理を実行する工程と、に対応する。また、提供工程は、図11のS104において要求基準を満たすと判定されたときのS106の処理を実行する工程に対応する。制限工程は、図3のS20の処理を実行する工程、図6のS20aの処理を実行する工程、および図11のS104において要求基準を満たさないと判定されたときのS106の処理を実行する工程に対応する。取得工程は、S10の処理に対応する。
<その他の実施形態>
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
「所定部位について」
再生して問題がある画像であるという評価の根拠である、1以上の身体の部分(所定の部位)は、胸部、正面下腹部、および尻部に限らず、例えば図2における身体の部分の少なくとも1つを含む態様で適宜、定義されてよい。また、一の実施形態において、上記根拠は、例えば図2における1の身体の部分の一部の態様で適宜、定義されてよい。具体的には、顔部を構成する唇,眼,髪等の身体の部分の一部が上記根拠となってもよい。
「位置情報写像について」
・図4の処理において用いる位置情報写像としては、フレームデータFDを入力として、顔部、胸部、下腹部、および尻部のヒートマップを出力する写像に限らない。たとえば、フレームデータFDを入力として、胸部、下腹部、および尻部のヒートマップを出力する写像であってもよい。
・図4の処理において、ヒートマップを出力する写像を用いることは必須ではない。たとえばセマンティックセグメンテーションモデルを用いて、胸部、下腹部、および尻部のそれぞれに対応する画素を特定するマップを出力する写像を用いてもよい。
・図7の処理において用いる位置情報写像としては、フレームデータFDを入力として、胸部、下腹部、尻部、および顔部のヒートマップに応じた係数行列MKを出力する写像に限らない。たとえば、フレームデータFDを入力として、胸部、下腹部、および尻部のヒートマップに応じた係数行列MKを出力する写像であってもよい。
・図7の処理において、ヒートマップを出力する写像を用いることは必須ではない。たとえばセマンティックセグメンテーションモデルによって特定された、胸部、下腹部、尻部、および顔部のそれぞれに対応する画素に応じた係数行列を出力する写像を用いてもよい。その場合、特徴抽出器M20の出力レイヤに応じて縮小された画素領域において、胸部、下腹部、尻部、および顔部のそれぞれを示す領域の係数Kを「1」よりも大きくすればよい。
・図9の処理において、ヒートマップに応じた2値化マップMbodyを出力する写像を用いることは必須ではない。たとえばセマンティックセグメンテーションモデルによって特定された胸部、下腹部、および尻部のそれぞれに対応する領域に応じた2値化マップMbodyを出力する写像を用いてもよい。
・図10の処理においては、図2に示す部分「3」、部分「4,5」、部分「10」,部分「11,18」、部分「14」,部分「12,13,18」を特定する識別する身体情報マップを出力する写像を用いたが、これに限らない。たとえば、部分「3」,部分「3,4,5」、部分「10」,部分「10,11,18」、部分「14」,部分「12,13,14,18」を特定する身体情報マップを出力する写像を用いてもよい。
・ヒートマップを出力する写像としては、胸部、下腹部、および尻部のそれぞれの存在確率を出力する写像に限らない。たとえば、部分「3」、部分「4,5」、部分「10」、部分「11,18」、部分「14」、部分「12,13,18」のそれぞれである確率を出力する写像であってもよい。
・ヒートマップを出力する写像としては、胸部、下腹部、および尻部のそれぞれ毎に、各別のマップを出力する写像に限らない。たとえば、各画素について、胸部、下腹部、および尻部のそれぞれの存在確率の最大値を出力する写像であってもよい。
・ヒートマップを出力する写像が、胸部、下腹部、および尻部のそれぞれの存在確率を出力する写像であることは必須ではない。たとえば正面の画像であることが保証されている場合には、胸部および正面下腹部のそれぞれの存在確率に限って出力する写像であってもよい。すなわち、露出を問題とする所定部位をどこにするかに応じて、それら問題とする所定部位のそれぞれの存在確率に関するヒートマップを出力してもよい。
・ヒートマップが示す確率分布は、等方性を有した分布に限らない。異方性を有した分布は、たとえば、図4のS30の処理において用いた回帰モデルに代えて、ガウス分布のそれぞれの分散パラメータを2個または3個出力する回帰モデルを用いることによって実現できる。
・セマンティックセグメンテーションモデルとしては、上述した3つ以上の部分を識別するモデルに限らない。たとえば正面の画像であることが保証されている場合には、胸部および正面下腹部のそれぞれとそれら以外とに限って識別するラベル変数を出力するモデルであってもよい。
・セマンティックセグメンテーションモデルを用いて構成される写像としては、特定する部位毎に互いに異なるマップを出力する写像に限らない。たとえば、胸部、正面下腹部、尻部、およびそれ以外等で互いに異なるラベル変数の値を有した1枚のマップを出力する写像であってもよい。
・位置情報写像が、画像領域が細分化された単位領域に対して値が定められたマップを出力する写像であることは必須ではない。たとえば、胸部の代表点、下腹部の代表点、および尻部の代表点のそれぞれの座標を出力する写像であってもよい。
・位置情報写像の入力となる画像データとしては、上記フレームデータFDに限らない。たとえば、R,G,Bの各画像データに代えて、モノクロの画像データを用いてもよい。
「位置用入力データについて」
・位置情報写像への入力となる位置用入力データとしては、評価対象となる画像データ自体に限らない。たとえば、評価対象とする画像データが示す各画素のうち人に関する部分を抽出して、予め定められた背景画像に埋め込んだ画像データを、位置用入力データとしてもよい。ここで、人に関する部分の抽出処理は、セマンティックセグメンテーションモデルを利用してPU32により実施する。なお、評価対象となる画像データを、位置用入力データとするための前処理としては、これに限らない。たとえば、輝度を調整する処理等であってもよい。
「評価写像について」
(a)評価用入力データの各画素と各画素に対応する位置情報データとが対応付けて入力される写像
・図4のS34においては、フレームデータFDと、4つのヒートマップ60~66とが入力される写像を例示した。また、図10においては、フレームデータFDと、6個の身体情報マップ84とが入力される写像を例示した。しかし、入力対象となる、各画素について身体の所定部位であるか否かの情報が付与されたマップデータは、それらに限らず、同情報が付与されたマップデータは、「位置情報写像について」の欄に記載した任意のマップデータ等であってもよい。
・図4のS34においては、フレームデータFDを入力したが、これに限らない。たとえばR,G,Bの各画像データに代えて、モノクロの画像データを用いてもよい。
・図4においては、CNNを用いた識別モデル70aを例示したが、これに限らない。たとえば、アテンション機構を利用するモデルであってもよい。詳しくは、たとえばTransfomerベース(トランスフォーマエンコーダを備えた)モデル等のマルチヘッドアテンション機構を利用するモデル等であってもよい。その場合、フレームデータFDおよびヒートマップ60~66を分割したパッチを適宜線形変換したベクトルを、トランスフォーマエンコーダに入力する。ここで、各パッチは、フレームデータFDの一部の画素領域と、ヒートマップ60~66の対応する領域とに関するデータとする。これによっても、評価用入力データの各画素と各画素に対応する位置情報データとを対応付けて入力することができる。
・識別モデル70aの出力活性化関数が、ソフトマックス関数であることは必須ではない。たとえば、ロジスティックシグモイド関数としてもよい。
(b)仮評価写像について
・図8のS34bにおいては、フレームデータFDを入力とする写像を例示したが、これに限らない。たとえばR,G,Bの各画像データに代えて、モノクロの画像データを用いてもよい。
・図8においては、CNNを用いた識別モデル70cを例示したが、これに限らない。たとえばアテンション機構を利用するモデルであってもよい。詳しくは、たとえばTransfomerベース(トランスフォーマエンコーダを備えた)モデル等のマルチヘッドアテンション機構を利用するモデル等であってもよい。換言すれば、評価結果に寄与した部分を特定するデータは、CNNの特徴マップに限らない。識別モデル70cとして、Transfomerベースのモデルを利用する場合、アテンションマップ、アテンションマスクに基づく注視マップMATTを用いて前述の妥当性評価を行ってもよい。
・識別モデル70cの出力活性化関数が、ソフトマックス関数であることは必須ではない。たとえば、ロジスティックシグモイド関数としてもよい。
・仮評価写像を規定する識別モデルが、位置情報写像の出力を利用しないことは必須ではない。たとえば、仮評価写像を規定する識別モデルを、識別モデル70aとしたり、識別モデル70aに関する上記変更例としたりしてもよい。またたとえば、仮評価写像を規定する識別モデルを、識別モデル70bとしたり、識別モデル70bに関する上記変更例としたりしてもよい。またたとえば、仮評価写像を規定する識別モデルを、識別モデル70dとしたり、識別モデル70dに関する上記変更例としたりしてもよい。
(c)妥当性評価処理について
・図8の処理において、S50の処理を実行する条件に、人の所定部位が含まれている旨の条件を含めてもよい。これにより、フレームデータFDが示す画像に人の所定部位が含まれない場合において適切な評価をすることができる。
・図8の処理では、S36の処理において肯定判定された場合に限って、S50の処理を実行したが、これに限らない。たとえば、S36の処理において否定判定されたときにもS50の処理に準じた処理を実行してもよい。ここで、S50の処理に準じた処理は、たとえば次のようにして実現できる。
すなわち、PU32は、S70の処理に代えて、胸部である確率が閾値以上である2値化マップMbody(1)、正面下腹部である確率が閾値以上である2値化マップMbody(2)、尻部である確率が閾値以上である2値化マップMbody(3)を生成する。ここで、2値化マップMbody(1)は、正面下腹部である確率が閾値以上であることと尻部である確率が閾値以上であることとの論理和が真となる画素のラベル変数を「0」としたマップである。また、2値化マップMbody(2)は、胸部である確率が閾値以上であることと尻部である確率が閾値以上であることとの論理和が真となる画素のラベル変数を「0」としたマップである。また、2値化マップMbody(3)は、胸部である確率が閾値以上であることと正面下腹部である確率が閾値以上であることとの論理和が真となる画素のラベル変数を「0」としたマップである。そして、PU32は、S72の処理に代えて、2値化マップMbody(1)~(3)のそれぞれと、2値化マップMACTとのアダマール積を算出して注視マップMATT(1)~(3)を算出する。そして、PU32は、注視マップMATT(1)~(3)のそれぞれの各成分の平均値に、閾値gth以上となるものがある場合に、S36の処理が妥当であると評価する。
この処理は、NG判定は、胸部、下腹部、および尻部の少なくとも1つの露出によってなされるものであることに鑑みた処理である。すなわち、PU32は、NG判定したときに注視した領域が胸部、下腹部、および尻部の少なくとも1つであれば、NG判定が妥当であると評価する。
・妥当性評価処理が2値化マップMbodyを生成する処理を含むことは必須ではない。たとえば、次のようにしてもよい。すなわち、PU32は、S60の処理によって生成されたアクティベーションマップのうちのS68の処理において縮小されたヒートマップが示す胸部、下腹部、および尻部を特定する。そして、PU32は、それらのそれぞれの領域の値の和と、それら以外の領域の所定の面積を有する領域の値の和との大小を比較する。なお、その場合、アクティベーションマップの各画素の値を、予めReLUまたはロジスティックシグモイド関数等を用いて変換された値とすることが望ましい。
(d)特徴量レイヤが示す複数個の領域の少なくとも一部の値と位置情報データとを合成する処理
・図7のS34aの積算処理M22においては、1つの特徴マップとアダマール積がとられる係数行列MKを1個としたが、これに限らない。2個以上であってもよい。
・図7のS34aの積算処理M22においては、係数行列MKとのアダマール積が算出される対象とならない特徴マップを設けたが、これは必須ではない。
・「位置情報写像について」の欄の記載に示唆した通り、係数行列MKは、4個に限らない。
・特徴量レイヤが示す複数個の領域の少なくとも一部の値と位置情報データとを合成する処理は、係数行列MKと特徴マップとの積算処理M22に限らない。たとえば、係数行列MKと特徴マップとの畳み込み処理であってもよい。
(e)露出度に応じた評価変数の値について
・図10には、露出度に応じた3値の互いに異なる値を取り得る評価変数の値を例示したが、これに限らない。たとえば、評価変数が4値以上の値を取り得る変数であってもよい。
(f)そのほか
・識別モデル70a,70cに限らず、たとえば、識別モデル70b,70dに代えて、アテンション機構を利用するモデルを用いてもよい。詳しくは、たとえばTransfomerベース(トランスフォーマエンコーダを備えた)モデル等のマルチヘッドアテンション機構を利用するモデル等を用いてもよい。
・評価写像への入力となる位置情報データとしては、2次元の画像領域のそれぞれにおける所定部位に関する情報を含むデータに限らない。たとえば、「位置情報写像について」の欄に記載したように所定部位の代表点の座標であってもよい。
・たとえば、フレームデータFDとヒートマップ60~66とを、全結合順伝播型のNNに入力してもよい。その場合、各画素について身体の所定部位であるか否かの情報が付与されたマップデータとフレームデータFDとのそれぞれの値の、NNの重み係数による加重平均処理が第1番目のレイヤによってなされる処理としてもよい。
「評価写像を規定するモデルの出力について」
・たとえば露出を問題とする所定部位が複数ある場合において、それら各部位ごとに、露出の有無を出力するモデルであってもよい。すなわち、たとえば、胸部、正面下腹部、および尻部の3つを所定部位とする場合、それらのそれぞれ毎に、露出の有無の判定結果を示す変数値を出力するようにしてもよい。これは、たとえば出力活性化関数を、ロジスティックシグモイド関数を所定部位の数である3個用意することによって実現できる。なお、こうした場合には、妥当性評価処理においてNG判定の妥当性を評価する場合には、上述したものに代えて次の変更をすることが望ましい。すなわち、たとえば胸部のみにNG判定がなされる場合、胸部に着目している場合に妥当と判定する処理に代えればよい。またたとえば、胸部および正面下腹部の双方でNG判定がなされる場合、胸部および正面下腹部の双方に着目している場合に妥当と判定する処理に代えればよい。
「評価用入力データについて」
・評価写像への入力となる評価用入力データとしては、評価対象となる画像データ自体に限らない。たとえば、評価対象とする画像データが示す各画素のうち人に関する部分を抽出して、予め定められた背景画像に埋め込んだ画像データを、評価用入力データとしてもよい。ここで、人に関する部分の抽出処理は、セマンティックセグメンテーションモデルを利用してPU32により実施する。なお、評価対象となる画像データを、評価用入力データとするための前処理としては、これに限らない。たとえば、輝度を調整する処理等であってもよい。
「位置情報写像データについて」
・位置情報写像データが、パラメトリックモデルにおける学習済みのパラメータのみからなることは必須ではない。たとえば、特徴抽出器を規定するデータと、サポートベクトルとからなってもよい。ここで、特徴抽出器は、CNN等、フレームデータFD等を入力として特徴ベクトルを出力する学習済みモデルである。一方、サポートベクトルは、サポートベクトル回帰の学習によって選択されたベクトルである。すなわち、訓練データが特徴抽出器に入力されることによって出力される特徴ベクトルから学習過程でサポートベクトルを抽出する。そして、特徴抽出器を規定するパラメータとサポートベクトルとを、位置情報写像データとして記憶装置34に記憶する。
「評価写像データについて」
・識別モデル70a~70dに代えて、アテンション機構を利用するモデルを用いる場合、評価写像データ34cは、次のデータを含んでもよい。すなわち、評価写像データ34cは、フレームデータFDを分割した各パッチを1次元のベクトルに変換する変換行列の成分の値を含んでよい。またたとえば、評価写像データ34cは、上記1次元のベクトルに変換された各パッチを、キー、クエリ、およびバリューの各ベクトルに変換する行列の値を含んでもよい。また、たとえば、評価写像データ34cは、1次元に変換されたパッチに埋め込む位置情報のデータを含んでもよい。なお、上記変換行列および位置情報データは、学習済みのデータであってもよい。ただし、これは、必ずしも上述した学習過程において学習された値である必要はない。たとえば、上記学習過程をファインチューニングとして且つ、それ以前に行われる学習においてのみ学習された値としてもよい。
・評価写像データが、パラメトリックモデルにおける学習済みのパラメータのみからなることは必須ではない。たとえば、特徴抽出器を規定するデータと、サポートベクトルとからなってもよい。ここで、特徴抽出器は、CNN等、フレームデータFD等を入力として特徴ベクトルを出力する学習済みモデルである。一方、サポートベクトルは、サポートベクトルマシンの学習によって選択されたベクトルである。すなわち、訓練データが特徴抽出器に入力されることによって出力される特徴ベクトルから学習過程でサポートベクトルを抽出する。そして、特徴抽出器を規定するパラメータとサポートベクトルとを、評価写像データとして記憶装置34に記憶する。
また、全結合レイヤのパラメータと、畳み込みのフィルタを構成するパラメータ等の事後分布を出力する関数を評価写像データとして記憶装置34に記憶してもよい。ここでは、たとえば識別モデル70cにおける出力活性化関数をロジスティックシグモイド関数に代える。またたとえば、上記パラメータのそれぞれについて正規分布等の事前分布を仮定する。そして学習過程においてベイズ推定によって事後分布を生成する。なお、PU32は、事後分布に基づきサンプリング法等に基づき上記パラメータの平均値を算出し、これを図8で用いたパラメータに代えればよい。なお、その場合、妥当性評価処理によって妥当ではないと評価されたデータを用いて再学習をすることによって、事後分布を更新してもよい。
「評価処理について」
・評価処理が、N個の周期でサンプリングされた3個のフレームデータFDのうちの2個以上についてフレーム評価処理によってOK判定がなされる場合に、2N+1のフレーム分の画像データのOK判定としたが、これに限らない。たとえば、図8の処理の上述の変更例においては妥当性評価処理の判定結果に応じてOK判定の基準を変えてもよい。具体的には、S36の処理においてNG判定されたものの、妥当性評価処理によってNG判定が妥当ではないと判定された場合には、NG判定のなされた回数を「0.5」とカウントしてもよい。その場合、たとえばNG判定の数が「1」未満で最終的なOK判定をすることによって、妥当性評価処理の判定結果に応じてOK判定の基準を変えることができる。
・複数のフレームにおいてそれらの一部且つ所定数以上OK判定がなされる場合にOK判定をすることは必須ではない。たとえば、所定周期でサンプリングされたフレームデータFDの全てがフレーム評価処理によってOKとされる場合に限って、最終的なOK判定をしてもよい。なお、ここで所定周期は、フレームの周期と等しくてもよい。
「制限処理、制限工程について」
・S20aの処理としては、たとえば、再生画像のうち所定部位が露出している領域を少なくとも含む再生画像の一部に対して所定画像を重畳することでマスクをする指令であってよい。またたとえば、再生画像のうち所定部位が露出している領域を少なくとも含む再生画像の一部に対してぼかし等のエフェクトを適用することでマスクをする指令であってよい。すなわち、S20aの処理は、露出することが問題とされて且つ露出していると判定された所定部位が非表示となるような指令であればその態様に制限はない。なお、露出することが問題とされる所定部位が実際に露出している領域を少なくとも含む再生画像の一部は、たとえば、上述の2次元分布に少なくとも基づいて決定されてもよい。なお画像中に所定部位が複数存在する場合に実際に露出している領域のみをマスクするうえでは、実際に露出している領域を特定することが望ましい。これは、たとえば、識別モデルの注視領域に基づき露出している領域を特定する処理としてもよい。
・たとえば、PU32は、所定数の連続する複数のフレームデータFDのうち、OK判定がなされなかったフレームデータFDの数が所定数に満たない場合に、CM動画データの配信(送信)を禁止してもよい。その場合、PU32は、所定数の連続する複数のフレームデータFDのすべてにおいてOK判定がなされることを条件として、CM動画データの配信(送信)を行ってもよい。
またたとえば、PU32は、所定数の連続する複数のフレームデータFDのうち、OK判定がなされなかったフレームデータFDの数が所定数である場合に、CM動画データの配信(送信)を禁止してもよい。その場合、PU32は、所定数の連続する複数のフレームデータFDの少なくとも一部においてOK判定がなされることを条件として、CM動画データの配信(送信)を行ってもよい。
またたとえば、PU32は、所定数の連続する複数のフレームデータFDのうち、OK判定がなされなかった所定数に満たないフレームデータFDを挟んでOK判定がなされたフレームデータFDが連続する場合、CM動画データの配信(送信)を行ってもよい。
なお、PU32は、所定数の連続する複数のフレームデータFDのうち、OK判定がなされた所定数に満たないフレームデータFDを挟んでOK判定がなされなかったフレームデータFDが連続する場合、CM動画データの配信(送信)を禁止してもよい。
・S20aの処理によってユーザ端末50において画像が表示されることを制限する処理にとって、図4に示すフレーム評価処理等によって評価がなされることは必須ではない。たとえば図7に示した処理、またはその変更例に示したフレーム評価処理等によって評価がなされる場合にS20aの処理を適用してもよい。またたとえば、図8に示した処理、またはその変更例に示したフレーム評価処理等によって評価がなされる場合にS20aの処理を適用してもよい。
・図11の処理において、S92,S100,S102の処理を省いてもよい。その場合、PU32は、OK2判定の場合、S106の処理において、OK2判定である旨を制限指令としてCM動画データに付与すればよい。その場合、ユーザ端末50のPU52は、S90の処理によって受け付けた基準と、制限指令とに応じてCM動画データを再生するか否か等を決定すればよい。
・たとえばNG判定がなされたフレームを削除したCM動画データをユーザ端末50に送信してもよい。これによっても、ユーザ端末50において不適切な画像が表示されることを抑制できる。
・ユーザ端末50に専用のアプリケーションプログラム54aが記憶されていることは必須ではない。たとえば、画像評価装置30から配信されたCM動画データを汎用のブラウザを利用して再生してもよい。
「実行装置について」
・実行装置としては、PU32に限らない。たとえば、実行装置を、ASIC、およびFPGA等の専用のハードウェア回路としてもよい。すなわち、実行装置は、以下の(a)~(c)のいずれかの構成を備える処理回路を含んでいてもよい。(a)上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶する記憶装置等のプログラム格納装置とを備える処理回路。(b)上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路(ハードウェアアクセレータ)とを備える処理回路。(c)上記処理の全てを実行する専用のハードウェア回路を備える処理回路。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置は、複数であってもよい。また、専用のハードウェア回路は複数であってもよい。
「画像評価装置について」
・画像評価装置が、画像を評価する処理と、評価結果をユーザ端末50に配信する処理との双方を行うことは必須ではない。たとえば、評価結果をユーザ端末50に配信する処理を、画像評価装置とは別の装置が実行してもよい。また、画像評価装置が業者端末10から送信された画像データを受信することも必須ではない。たとえば、業者端末10から送信された画像データを受信して且つ画像評価装置に送信する装置を別途備えてもよい。さらに、画像評価装置と業者端末10とが一体化されていてもよい。
「コンピュータについて」
・画像評価プログラム34aを実行するコンピュータとしては、画像評価装置30が備えるPU32に限らない。たとえば、画像評価プログラム34aをユーザ端末50にインストールすることによって、ユーザ端末50のPU52を画像評価プログラム34aを実行するコンピュータとしてもよい。
「そのほか」
・PU12が、PU32に含まれ得る態様の演算ユニットを含んでもよい。
・上記実施形態では、CM動画データとして、ストリーミング映像の態様でユーザ端末50に対して配信(送信)されるものを想定したが、これに限らない。たとえば、ライブストリーミングの態様のサービスでユーザ端末50に対してリアルタイムに配信(送信)されてよい。評価対象となる画像データは、CM動画データに限らない。たとえば、商品等の広告の用に供する動画に限らず、人(人物)の身体の少なくとも一部が含まれ得る動画であればその種別や異常判定の目的に制限はない。さらに、評価対象となる画像データは、たとえば任意の静止画像のデータであってもよい。
・PU32は、OK判定またはNG判定の根拠として扱われる、明示的に予め定められた所定部位を示す情報を、業者端末10および/またはユーザ端末50に対して、CM動画データの配信(送信)の前に通知してよい。また、PU32は、所定部位を示す情報を、業者端末10および/またはユーザ端末50に対して、CM動画データの配信(送信)中に通知してよい。また、PU32は、配信(送信)中のCM動画データのフレームデータFDについてNG判定の根拠となった所定部位を示す情報を、業者端末10および/またはユーザ端末50に対して、通知してよい。なお、ここでの「通知」とは、業者端末10および/またはユーザ端末50に対するメッセージ送信の態様であってよく、業者端末10および/またはユーザ端末50において表示中のCM動画データに重畳させる表示処理の態様であってよい。
10…業者端末
14…記憶装置
16…通信機
20…ネットワーク
30…画像評価装置
34…記憶装置
34a…画像評価プログラム
34b…位置情報写像データ
34c…評価写像データ
36…通信機
40…ユーザインターフェース
50…ユーザ端末
54…記憶装置
54a…アプリケーションプログラム
56…通信機
58…ユーザインターフェース
60~66…ヒートマップ
70a~70d…識別モデル

Claims (11)

  1. 実行装置、および記憶装置を備え、
    前記記憶装置には、位置情報写像データと、評価写像データと、が記憶され、
    前記位置情報写像データは、位置情報写像を規定するためのデータであり、
    前記位置情報写像は、位置情報データを出力する写像であり、
    前記位置情報データは、評価対象とする画像データが示す画像において人の所定部位の位置情報を示すデータであり、
    前記評価写像データは、評価写像を規定するためのデータであり、
    前記評価写像は、評価用入力データおよび前記位置情報データを入力として前記画像データの評価結果を出力する写像であり、
    前記評価用入力データは、前記画像データに応じたデータであって且つ前記評価写像の入力とするデータであり、
    前記実行装置は、位置情報生成処理、および評価処理を実行するように構成され、
    前記位置情報生成処理は、位置用入力データを前記位置情報写像に入力することによって前記位置情報データを生成する処理であり、
    前記位置用入力データは、前記画像データに応じたデータであって且つ前記位置情報写像の入力とするデータであり、
    前記評価処理は、前記位置情報データおよび前記評価用入力データを前記評価写像に入力することによって、前記画像データを評価する処理であり、
    前記評価写像は、特徴量レイヤを備え、
    前記特徴量レイヤは、前記画像データが示す領域を複数個の領域に分割したそれぞれに数値を与えることによって、前記画像データの特徴量を定量化するレイヤであり、
    前記評価写像は、前記特徴量レイヤが示す前記複数個の領域の少なくとも一部の値と前記位置情報データとを合成する処理を含んで前記評価結果を出力する写像である画像評価装置。
  2. 実行装置、および記憶装置を備え、
    前記記憶装置には、位置情報写像データと、評価写像データと、が記憶され、
    前記位置情報写像データは、位置情報写像を規定するためのデータであり、
    前記位置情報写像は、位置情報データを出力する写像であり、
    前記位置情報データは、評価対象とする画像データが示す画像において人の所定部位の位置情報を示すデータであり、
    前記評価写像データは、評価写像を規定するためのデータであり、
    前記評価写像は、評価用入力データおよび前記位置情報データを入力として前記画像データの評価結果を出力する写像であり、
    前記評価用入力データは、前記画像データに応じたデータであって且つ前記評価写像の入力とするデータであり、
    前記実行装置は、位置情報生成処理、および評価処理を実行するように構成され、
    前記位置情報生成処理は、位置用入力データを前記位置情報写像に入力することによって前記位置情報データを生成する処理であり、
    前記位置用入力データは、前記画像データに応じたデータであって且つ前記位置情報写像の入力とするデータであり、
    前記評価処理は、前記位置情報データおよび前記評価用入力データを前記評価写像に入力することによって、前記画像データを評価する処理であり、
    前記評価写像は、仮評価写像を含み、
    前記仮評価写像は、前記評価用入力データを入力として前記画像データの仮の評価結果を出力する写像であり、
    前記評価処理は、仮評価処理と、妥当性評価処理と、を含み、
    前記仮評価処理は、前記仮評価写像に前記評価用入力データを入力することによって前記仮の評価結果を出力する処理を含み、
    前記妥当性評価処理は、前記位置情報データを入力として、前記画像データの示す領域のうちの前記所定部位を示す領域が前記仮の評価結果に寄与した度合いに応じて前記仮の評価結果の妥当性を評価する処理を含む画像評価装置。
  3. 実行装置、および記憶装置を備え、
    前記記憶装置には、位置情報写像データと、評価写像データと、が記憶され、
    前記位置情報写像データは、位置情報写像を規定するためのデータであり、
    前記位置情報写像は、位置情報データを出力する写像であり、
    前記位置情報データは、評価対象とする画像データが示す画像において人の所定部位の位置情報を示すデータであり、
    前記評価写像データは、評価写像を規定するためのデータであり、
    前記評価写像は、評価用入力データおよび前記位置情報データを入力として前記画像データの評価結果を出力する写像であり、
    前記評価用入力データは、前記画像データに応じたデータであって且つ前記評価写像の入力とするデータであり、
    前記実行装置は、位置情報生成処理、および評価処理を実行するように構成され、
    前記位置情報生成処理は、位置用入力データを前記位置情報写像に入力することによって前記位置情報データを生成する処理であり、
    前記位置用入力データは、前記画像データに応じたデータであって且つ前記位置情報写像の入力とするデータであり、
    前記評価処理は、前記位置情報データおよび前記評価用入力データを前記評価写像に入力することによって、前記画像データを評価する処理であり、
    前記実行装置は、提供処理、および制限処理を実行するように構成され、
    前記提供処理は、前記評価処理によって表示されることを制限しなくてよい旨の評価がなされた前記画像データが示す画像をユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する処理であり、
    前記制限処理は、前記評価処理によって表示されることを制限すべき旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する処理であり、
    前記制限しなくてよい旨の評価は、前記ユーザ端末からの指示に基づいて、身体の露出度についての許容範囲内である旨の評価であり、
    前記ユーザ端末により表示されることを制限すべき旨の評価は、前記露出度が前記許容範囲から外れる旨の評価である画像評価装置。
  4. 前記実行装置は、通知処理を実行するように構成され、
    前記通知処理は、前記妥当性評価処理によって妥当ではないと判定される場合に、妥当ではない旨を通知する処理である請求項2に記載の画像評価装置。
  5. 前記所定部位は、人の胸部、尻部、および正面下腹部の3つの部分のうちの少なくとも1つを含む請求項1~請求項4のうち何れか一項に記載の画像評価装置。
  6. 前記位置情報データは、前記評価用入力データを構成する各画素が前記所定部位を示すか否かの情報を付与するデータであり、
    前記評価写像は、前記評価用入力データの各画素と前記各画素に対応する前記位置情報データとが対応付けて入力されることによって前記評価結果を出力する写像である請求項1~請求項4のうち何れか一項に記載の画像評価装置。
  7. 請求項1又は請求項2に記載の画像評価装置と、複数のユーザ端末と、を備える画像処理システム。
  8. 行装置、および記憶装置を有する画像評価装置と、複数のユーザ端末と、を備え、
    前記記憶装置には、位置情報写像データと、評価写像データと、が記憶され、
    前記位置情報写像データは、位置情報写像を規定するためのデータであり、
    前記位置情報写像は、位置情報データを出力する写像であり、
    前記位置情報データは、評価対象とする画像データが示す画像において人の所定部位の位置情報を示すデータであり、
    前記評価写像データは、評価写像を規定するためのデータであり、
    前記評価写像は、評価用入力データおよび前記位置情報データを入力として前記画像データの評価結果を出力する写像であり、
    前記評価用入力データは、前記画像データに応じたデータであって且つ前記評価写像の入力とするデータであり、
    前記実行装置は、位置情報生成処理、および評価処理を実行するように構成され、
    前記位置情報生成処理は、位置用入力データを前記位置情報写像に入力することによって前記位置情報データを生成する処理であり、
    前記位置用入力データは、前記画像データに応じたデータであって且つ前記位置情報写像の入力とするデータであり、
    前記評価処理は、前記位置情報データおよび前記評価用入力データを前記評価写像に入力することによって、前記画像データを評価する処理であり、
    前記実行装置は、提供処理、および制限処理を実行するように構成され、
    前記提供処理は、前記評価処理によって表示されることを制限しなくてよい旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する処理であり、
    前記制限処理は、前記評価処理によって表示されることを制限すべき旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する処理であり、
    前記ユーザ端末は、指示処理を実行するように構成され、
    前記指示処理は、身体の露出度についての許容範囲を指示する処理であり、
    前記制限しなくてよい旨の評価は、前記露出度が前記許容範囲内である旨の評価であり、
    前記ユーザ端末により表示されることを制限すべき旨の評価は、前記露出度が前記許容範囲から外れる旨の評価である画像処理システム。
  9. 請求項8に記載の画像処理システムにおける前記ユーザ端末。
  10. 請求項1~請求項3のうち何れか一項に記載の画像評価装置における前記各処理を実行するステップを有する画像評価方法。
  11. 請求項1~請求項3のうち何れか一項に記載の画像評価装置における前記各処理をコンピュータに実行させる画像評価プログラム
JP2022064667A 2022-04-08 2022-04-08 画像評価装置、画像処理システム、ユーザ端末、画像評価方法、および画像評価プログラム Active JP7455889B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022064667A JP7455889B2 (ja) 2022-04-08 2022-04-08 画像評価装置、画像処理システム、ユーザ端末、画像評価方法、および画像評価プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022064667A JP7455889B2 (ja) 2022-04-08 2022-04-08 画像評価装置、画像処理システム、ユーザ端末、画像評価方法、および画像評価プログラム

Publications (2)

Publication Number Publication Date
JP2023154980A JP2023154980A (ja) 2023-10-20
JP7455889B2 true JP7455889B2 (ja) 2024-03-26

Family

ID=88373249

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022064667A Active JP7455889B2 (ja) 2022-04-08 2022-04-08 画像評価装置、画像処理システム、ユーザ端末、画像評価方法、および画像評価プログラム

Country Status (1)

Country Link
JP (1) JP7455889B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7506109B2 (ja) 2022-04-08 2024-06-25 楽天グループ株式会社 画像評価装置、画像処理システム、ユーザ端末、画像評価方法、画像評価プログラム、および画像表示支援方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012170024A (ja) 2011-02-16 2012-09-06 Nikon Corp 情報処理装置
JP2018120644A (ja) 2018-05-10 2018-08-02 シャープ株式会社 識別装置、識別方法およびプログラム
JP2020021148A (ja) 2018-07-30 2020-02-06 トヨタ自動車株式会社 画像処理装置、画像処理方法
JP2021086322A (ja) 2019-11-26 2021-06-03 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012170024A (ja) 2011-02-16 2012-09-06 Nikon Corp 情報処理装置
JP2018120644A (ja) 2018-05-10 2018-08-02 シャープ株式会社 識別装置、識別方法およびプログラム
JP2020021148A (ja) 2018-07-30 2020-02-06 トヨタ自動車株式会社 画像処理装置、画像処理方法
JP2021086322A (ja) 2019-11-26 2021-06-03 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP2023154980A (ja) 2023-10-20

Similar Documents

Publication Publication Date Title
Wang et al. UIEC^ 2-Net: CNN-based underwater image enhancement using two color space
US11334971B2 (en) Digital image completion by learning generation and patch matching jointly
Bosse et al. Deep neural networks for no-reference and full-reference image quality assessment
Oh et al. Blind deep S3D image quality evaluation via local to global feature aggregation
Zhou et al. Dual-stream interactive networks for no-reference stereoscopic image quality assessment
Sim et al. MaD-DLS: mean and deviation of deep and local similarity for image quality assessment
Fan et al. Stacked latent attention for multimodal reasoning
CN112766279B (zh) 一种基于联合注意力机制的图像特征提取方法
US11068746B2 (en) Image realism predictor
Zhou et al. Blind quality estimator for 3D images based on binocular combination and extreme learning machine
CN108389192A (zh) 基于卷积神经网络的立体图像舒适度评价方法
He et al. A visual residual perception optimized network for blind image quality assessment
JP7455889B2 (ja) 画像評価装置、画像処理システム、ユーザ端末、画像評価方法、および画像評価プログラム
Schneider et al. Explaining classifiers by constructing familiar concepts
Pham et al. End-to-end image patch quality assessment for image/video with compression artifacts
JP2022169432A (ja) ユーザーの毛髪分析のためのシステム及び方法
Kwon et al. Tailor me: An editing network for fashion attribute shape manipulation
CN112819689A (zh) 人脸属性编辑模型的训练方法、人脸属性编辑方法及设备
Buzuti et al. Fréchet AutoEncoder distance: a new approach for evaluation of generative adversarial networks
Hepburn et al. Enforcing perceptual consistency on generative adversarial networks by using the normalised laplacian pyramid distance
Oszust A regression-based family of measures for full-reference image quality assessment
Avola et al. SIRe-Networks: Convolutional neural networks architectural extension for information preservation via skip/residual connections and interlaced auto-encoders
CN113327212B (zh) 人脸驱动、模型的训练方法、装置、电子设备及存储介质
JP7362924B2 (ja) データ増強基盤空間分析モデル学習装置及び方法
JP7385046B2 (ja) 色斑予測方法、装置、設備及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240313

R150 Certificate of patent or registration of utility model

Ref document number: 7455889

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150