JP7455889B2 - 画像評価装置、画像処理システム、ユーザ端末、画像評価方法、および画像評価プログラム - Google Patents
画像評価装置、画像処理システム、ユーザ端末、画像評価方法、および画像評価プログラム Download PDFInfo
- Publication number
- JP7455889B2 JP7455889B2 JP2022064667A JP2022064667A JP7455889B2 JP 7455889 B2 JP7455889 B2 JP 7455889B2 JP 2022064667 A JP2022064667 A JP 2022064667A JP 2022064667 A JP2022064667 A JP 2022064667A JP 7455889 B2 JP7455889 B2 JP 7455889B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- evaluation
- mapping
- image
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims description 284
- 238000012545 processing Methods 0.000 title claims description 76
- 238000000034 method Methods 0.000 claims description 267
- 230000008569 process Effects 0.000 claims description 246
- 238000013507 mapping Methods 0.000 claims description 210
- 210000001015 abdomen Anatomy 0.000 claims description 76
- 210000001217 buttock Anatomy 0.000 claims description 71
- 238000012854 evaluation process Methods 0.000 claims description 56
- 230000000694 effects Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 description 29
- 239000011159 matrix material Substances 0.000 description 24
- 238000013527 convolutional neural network Methods 0.000 description 21
- 239000013598 vector Substances 0.000 description 19
- 230000004913 activation Effects 0.000 description 17
- 230000011218 segmentation Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 14
- 238000012549 training Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 239000006185 dispersion Substances 0.000 description 7
- 230000010354 integration Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Landscapes
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Description
1.実行装置、および記憶装置を備え、前記記憶装置には、位置情報写像データと、評価写像データと、が記憶され、前記位置情報写像データは、位置情報写像を規定するためのデータであり、前記位置情報写像は、位置情報データを出力する写像であり、前記位置情報データは、評価対象とする画像データが示す画像において人の所定部位の位置情報を示すデータであり、前記評価写像データは、評価写像を規定するためのデータであり、前記評価写像は、評価用入力データおよび前記位置情報データを入力として前記画像データの評価結果を出力する写像であり、前記評価用入力データは、前記画像データに応じたデータであって且つ前記評価写像の入力とするデータであり、前記実行装置は、位置情報生成処理、および評価処理を実行するように構成され、前記位置情報生成処理は、位置用入力データを前記位置情報写像に入力することによって前記位置情報データを生成する処理であり、前記位置用入力データは、前記画像データに応じたデータであって且つ前記位置情報写像の入力とするデータであり、前記評価処理は、前記位置情報データおよび前記評価用入力データを前記評価写像に入力することによって、前記画像データを評価する処理である画像評価装置である。
人の胸部、尻部、および正面下腹部の3つの部分の露出の有無は、公序良俗に反するか否かを定める上で特に重要である。そのため、上記構成では、所定部位の位置情報を利用することにより、画像データが公序良俗に反するか否かを高精度に評価できる。
8.前記ユーザ端末は、指示処理を実行するように構成され、前記指示処理は、身体の露出度についての許容範囲を指示する処理であり、前記制限しなくてよい旨の評価は、前記露出度が前記許容範囲内である旨の評価であり、前記ユーザ端末により表示されることを制限すべき旨の評価は、前記露出度が前記許容範囲から外れる旨の評価である上記7記載の画像処理システムである。
9.前記制限処理は、前記ユーザ端末により表示されることを制限すべきと評価された前記画像データの前記ユーザ端末への送信を禁止する禁止処理と、前記ユーザ端末により表示されることを制限すべきと評価された前記画像データを制限指令とともに送信する制限送信処理と、の少なくとも1つの処理を含み、前記制限指令は、前記ユーザ端末において前記画像データが示す画像を警告とともに表示されるようにする指令、前記ユーザ端末において前記画像データが示す画像のうちの所定部位の露出にマスクをする指令、および前記ユーザ端末において前記画像データが示す画像を表示しないようにする指令のいずれかである上記7または8記載の画像処理システムである。
・ユーザ端末に表示された画像中の所定部位の露出がマスクされること。
10.上記8記載の画像処理システムにおける前記ユーザ端末である。
12.上記1~6のいずれか1つに記載の画像評価装置における前記各処理をコンピュータに実行させる画像評価プログラムである。
14.ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、前記ユーザ端末は、指示処理を実行するように構成され、前記指示処理は、身体の露出度についての許容範囲を指示する処理であり、前記ユーザ端末により表示される画像の候補を示す画像データのうち、上記1~6のいずれか1つに記載の画像評価装置における前記評価処理によって前記露出度が前記許容範囲内である旨評価された前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記評価処理によって、前記露出度が前記許容範囲から外れると評価された前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、を有する画像表示支援方法である。
15.ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、前記ユーザ端末により表示される画像の候補を示す画像データを取得する取得工程と、前記取得工程において取得された前記画像データのうち上記1~6のいずれか1つに記載の画像評価装置における前記評価処理によって表示されることを制限しなくてよい旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、前記取得工程において取得された前記画像データのうち、前記評価処理によって表示されることを制限すべき旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、を有する画像表示支援方法である。
以下、第1の実施形態について図面を参照しつつ説明する。
「前提構成」
図1に、画像処理システムの全体構成を示す。
ユーザ端末50は、PU52、記憶装置54、通信機56、およびユーザインターフェース58を備えている。PU52は、CPU、GPU、およびTPU等の演算ユニットを含むソフトウェア処理装置である。PU52は、PU32に含まれ得る態様の演算ユニットを含んでもよい。記憶装置54は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体を備える。記憶装置54には、アプリケーションプログラム54aが記憶されている。アプリケーションプログラム54aは、画像評価装置30から送信されるCM動画データを再生するプログラムである。通信機56は、ネットワーク20を介して画像評価装置30との通信を可能とするための機器である。ユーザインターフェース58は、表示装置等を備える。
画像評価装置30のPU32は、業者端末10から送信されたCM動画データがユーザ端末50によって再生して問題ないデータであるか否かを評価する。
図4に、フレーム評価処理の詳細を示す。
図5に、回帰モデルの訓練データを例示する。訓練データは、胸部、正面下腹部、尻部、および顔部のそれぞれの代表点の座標(xi,yi:i=1~4)と、分散パラメータの値が定義されたデータである。分散パラメータは、画像領域に占める人の大きさに応じて設定される。
そしてPU72は、フレームデータFD(i),FD(i+N),FD(i+2N)のうちの2つ以上についてOK判定がなされたか否かを判定する(S18)。そして、PU32は、OK判定が1つ以下であると判定する場合(S18:NO)、S10の処理によって取得したCM動画データの配信を禁止する(S20)。S18の処理において否定判定されることは、CM動画データに、胸部、正面下腹部、および尻部の少なくとも1つに露出がある旨の最終的な判定がなされたことを意味する。
ここで、本実施形態の作用および効果について説明する。
(1-1)識別モデル70aの入力に、顔部の存在確率を示すヒートマップ66を含めた。身体のうち顔部は露出している可能性が最も高い。そのため、顔部に着目することにより、その人の肌の色に着目する可能性を高めることができる。したがって、評価変数yok,yngの値を、胸部、正面下腹部、および尻部の少なくとも1つが露出しているか否かをより高精度に評価した値とすることができる。
以下、第2の実施形態について、第1の実施形態との相違点を中心に図面を参照しつつ説明する。
・ユーザ端末50においてCM動画データが再生される場合、始めに警告をする指令である。これはユーザインターフェース58が備えるディスプレイに視覚情報を表示する処理としてもよい。またたとえば、ユーザインターフェース58が備えるスピーカから音声情報を出力する処理としてもよい。
以下、第3の実施形態について、第1の実施形態との相違点を中心に図面を参照しつつ説明する。
図7に、フレーム評価処理の詳細を示す。図7に示す処理は、記憶装置34に記憶された画像評価プログラム34aを、PU32がたとえば所定周期でくり返し実行することにより実現される。なお、図7において、図4に示した処理に対応する処理については、便宜上、同一のステップ番号を付与する。
識別モデル70bは、フレームデータFDおよび係数行列MKを入力とし、評価変数yok,yngの値を出力する。ただし、識別モデル70bは、係数行列MKを最上流から入力するモデルではない。
(3-1)複数個の特徴マップ80に、4個の係数行列MKのうちのいずれか1つと選択的に合成されるマップを含めた。これにより、合成後の特徴マップは、胸部、正面下腹部、尻部、および顔部のうちの対応する部分の値が増幅されるマップとなることから、対応する部分の特徴を抽出するマップとなりやすい。
以下、第4の実施形態について、第1の実施形態との相違点を中心に図面を参照しつつ説明する。
図8に、フレーム評価処理の詳細を示す。図8に示す処理は、記憶装置34に記憶された画像評価プログラム34aを、PU32がたとえば所定周期でくり返し実行することにより実現される。なお、図8において、図4に示した処理に対応する処理については、便宜上、同一のステップ番号を付与する。
図9に、最終評価処理の詳細を示す。
wok1・f1(x,y)+wok2・f2(x,y)+…+wokJ・fJ(x,y)
である。
次にPU32は、アクティベーションマップを2値化した2値化マップMACTを生成する(S62)。ここで、PU32は、まず、アクティベーションマップが示す「w2×h2」個の値のそれぞれをロジスティックシグモイド関数に代入することによって、「w2×h2」個の値を「0」以上「1」以下の値とする。そして、PU32は、ロジスティックシグモイド関数の出力値が所定値よりも大きい場合に「1」として且つ、所定値以下の場合に「-1」とする。ここで、所定値は、「0」よりも大きく「1」よりも小さい値に設定される。なお、所定値は、「1/2」以上であってもよい。
一方、PU32は、指標値が閾値gth未満であると判定する場合(S74:NO)、NG判定をする(S76)。そして、PU72は、その時のフレームデータFDを記憶装置34に保存する(S78)。そしてPU32は、図1に示すユーザインターフェース40を操作することによって、評価変数yokの値が大きいことの妥当性が低い旨を、人に通知する(S80)。ここでは、たとえば、ユーザインターフェース40に表示装置を備えることによって、妥当性が低い旨の視覚情報を表示してもよい。
このように、本実施形態では、PU32は、フレームデータFDのみから評価変数yok,yngの値を算出する。ただし、PU32は、評価変数yokの値が大きい場合、直ちにはOK判定とせずに、画像のどこに着目して評価変数yokを大きい値に算出したかを分析する。そしてPU32は、画像のうちの胸部、正面下腹部、および尻部に着目して評価変数yokを大きい値に算出した場合に、OK判定をする。これにより、誤ってOK
判定がなされることを抑制できる。
(4-1)PU32は、評価変数yokの値が大きいことの妥当性が低いと判定する場合、その時のフレームデータFDを保存して且つ、人に通知した。これにより、人が最終的な判断をすることができる。そのため、胸部、正面下腹部、および尻部のいずれも露出していない場合には、NG判定を取り消して、CM動画データを配信できる。また、胸部、正面下腹部、および尻部のいずれも露出していない場合には、保存したフレームデータFDを用いて識別モデル70cを再学習させることができる。
以下、第5の実施形態について、第1の実施形態との相違点を中心に図面を参照しつつ説明する。
状態1:胸部、正面下腹部、および尻部のいずれも露出していない状態である。
図10に、フレーム評価処理の詳細を示す。図10に示す処理は、記憶装置34に記憶された画像評価プログラム34aを、PU32がたとえば所定周期でくり返し実行することにより実現される。なお、図10において、図4に示した処理に対応する処理については、便宜上、同一のステップ番号を付与する。
(bm3)尻部のうちの図2に示す部分「14」が位置する部分とそれ以外とを識別するマップである。
(bm5)正面下腹部のうちの図2に示す部分「10」以外の部分が位置する部分とそれ以外とを識別するマップである。
上記(bm1)~(bm3)は、上記状態2において特に着目すべき部分の位置を示すマップデータである。一方、上記(bm4)~(bm6)は、上記状態3において特に着目すべき部分の位置を示すマップデータである。
PU32は、評価変数yok1,yok2,yngの値のうちの最大値ymaxが評価変数yok1の値であるか否かを判定する(S36a)。PU32は、最大値ymaxが評価変数yok1の値であると判定する場合(S36a:YES)、状態1であると判定する(S38a)。以下、これをOK1判定と称する。一方、PU32は、最大値ymaxが評価変数yok1の値ではないと判定する場合(S36a:NO)、最大値ymaxが評価変数yok2の値であるか否かを判定する(S36b)。PU32は、最大値ymaxが評価変数yok2の値であると判定する場合(S36b:YES)、状態2であると判定する(S38b)。以下、これをOK2判定と称する。一方、PU32は、最大値ymaxが評価変数yok2の値ではないと判定する場合(S36b:NO)、NG判定をする(S40)。
<対応関係>
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。
[3]位置情報データは、ヒートマップ60~66と、身体情報マップ84とに対応する。評価写像は、S34~S40の処理によって実現される写像と、S34c,S36a,S36b,S38a,S38b,S40の処理によって実現される写像と、に対応する。[4]仮評価写像は、S34b,S36の処理によって実現される写像に対応する。換言すれば、1つのフレームデータFDを入力として且つ、評価変数yok,yngの値の大小比較判定結果を出力する写像に対応する。仮評価処理は、S34b,S36の処理に対応する。妥当性評価処理は、S60,S62,S72~S74の処理に対応する。[5]通知処理は、S80の処理に対応する。[6]特徴量レイヤは、特徴抽出器M20の出力レイヤに対応する。
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
再生して問題がある画像であるという評価の根拠である、1以上の身体の部分(所定の部位)は、胸部、正面下腹部、および尻部に限らず、例えば図2における身体の部分の少なくとも1つを含む態様で適宜、定義されてよい。また、一の実施形態において、上記根拠は、例えば図2における1の身体の部分の一部の態様で適宜、定義されてよい。具体的には、顔部を構成する唇,眼,髪等の身体の部分の一部が上記根拠となってもよい。
・図4の処理において用いる位置情報写像としては、フレームデータFDを入力として、顔部、胸部、下腹部、および尻部のヒートマップを出力する写像に限らない。たとえば、フレームデータFDを入力として、胸部、下腹部、および尻部のヒートマップを出力する写像であってもよい。
・位置情報写像への入力となる位置用入力データとしては、評価対象となる画像データ自体に限らない。たとえば、評価対象とする画像データが示す各画素のうち人に関する部分を抽出して、予め定められた背景画像に埋め込んだ画像データを、位置用入力データとしてもよい。ここで、人に関する部分の抽出処理は、セマンティックセグメンテーションモデルを利用してPU32により実施する。なお、評価対象となる画像データを、位置用入力データとするための前処理としては、これに限らない。たとえば、輝度を調整する処理等であってもよい。
(a)評価用入力データの各画素と各画素に対応する位置情報データとが対応付けて入力される写像
・図4のS34においては、フレームデータFDと、4つのヒートマップ60~66とが入力される写像を例示した。また、図10においては、フレームデータFDと、6個の身体情報マップ84とが入力される写像を例示した。しかし、入力対象となる、各画素について身体の所定部位であるか否かの情報が付与されたマップデータは、それらに限らず、同情報が付与されたマップデータは、「位置情報写像について」の欄に記載した任意のマップデータ等であってもよい。
・図4においては、CNNを用いた識別モデル70aを例示したが、これに限らない。たとえば、アテンション機構を利用するモデルであってもよい。詳しくは、たとえばTransfomerベース(トランスフォーマエンコーダを備えた)モデル等のマルチヘッドアテンション機構を利用するモデル等であってもよい。その場合、フレームデータFDおよびヒートマップ60~66を分割したパッチを適宜線形変換したベクトルを、トランスフォーマエンコーダに入力する。ここで、各パッチは、フレームデータFDの一部の画素領域と、ヒートマップ60~66の対応する領域とに関するデータとする。これによっても、評価用入力データの各画素と各画素に対応する位置情報データとを対応付けて入力することができる。
(b)仮評価写像について
・図8のS34bにおいては、フレームデータFDを入力とする写像を例示したが、これに限らない。たとえばR,G,Bの各画像データに代えて、モノクロの画像データを用いてもよい。
・仮評価写像を規定する識別モデルが、位置情報写像の出力を利用しないことは必須ではない。たとえば、仮評価写像を規定する識別モデルを、識別モデル70aとしたり、識別モデル70aに関する上記変更例としたりしてもよい。またたとえば、仮評価写像を規定する識別モデルを、識別モデル70bとしたり、識別モデル70bに関する上記変更例としたりしてもよい。またたとえば、仮評価写像を規定する識別モデルを、識別モデル70dとしたり、識別モデル70dに関する上記変更例としたりしてもよい。
・図8の処理において、S50の処理を実行する条件に、人の所定部位が含まれている旨の条件を含めてもよい。これにより、フレームデータFDが示す画像に人の所定部位が含まれない場合において適切な評価をすることができる。
・図7のS34aの積算処理M22においては、1つの特徴マップとアダマール積がとられる係数行列MKを1個としたが、これに限らない。2個以上であってもよい。
・「位置情報写像について」の欄の記載に示唆した通り、係数行列MKは、4個に限らない。
・図10には、露出度に応じた3値の互いに異なる値を取り得る評価変数の値を例示したが、これに限らない。たとえば、評価変数が4値以上の値を取り得る変数であってもよい。
・識別モデル70a,70cに限らず、たとえば、識別モデル70b,70dに代えて、アテンション機構を利用するモデルを用いてもよい。詳しくは、たとえばTransfomerベース(トランスフォーマエンコーダを備えた)モデル等のマルチヘッドアテンション機構を利用するモデル等を用いてもよい。
・たとえば露出を問題とする所定部位が複数ある場合において、それら各部位ごとに、露出の有無を出力するモデルであってもよい。すなわち、たとえば、胸部、正面下腹部、および尻部の3つを所定部位とする場合、それらのそれぞれ毎に、露出の有無の判定結果を示す変数値を出力するようにしてもよい。これは、たとえば出力活性化関数を、ロジスティックシグモイド関数を所定部位の数である3個用意することによって実現できる。なお、こうした場合には、妥当性評価処理においてNG判定の妥当性を評価する場合には、上述したものに代えて次の変更をすることが望ましい。すなわち、たとえば胸部のみにNG判定がなされる場合、胸部に着目している場合に妥当と判定する処理に代えればよい。またたとえば、胸部および正面下腹部の双方でNG判定がなされる場合、胸部および正面下腹部の双方に着目している場合に妥当と判定する処理に代えればよい。
・評価写像への入力となる評価用入力データとしては、評価対象となる画像データ自体に限らない。たとえば、評価対象とする画像データが示す各画素のうち人に関する部分を抽出して、予め定められた背景画像に埋め込んだ画像データを、評価用入力データとしてもよい。ここで、人に関する部分の抽出処理は、セマンティックセグメンテーションモデルを利用してPU32により実施する。なお、評価対象となる画像データを、評価用入力データとするための前処理としては、これに限らない。たとえば、輝度を調整する処理等であってもよい。
・位置情報写像データが、パラメトリックモデルにおける学習済みのパラメータのみからなることは必須ではない。たとえば、特徴抽出器を規定するデータと、サポートベクトルとからなってもよい。ここで、特徴抽出器は、CNN等、フレームデータFD等を入力として特徴ベクトルを出力する学習済みモデルである。一方、サポートベクトルは、サポートベクトル回帰の学習によって選択されたベクトルである。すなわち、訓練データが特徴抽出器に入力されることによって出力される特徴ベクトルから学習過程でサポートベクトルを抽出する。そして、特徴抽出器を規定するパラメータとサポートベクトルとを、位置情報写像データとして記憶装置34に記憶する。
・識別モデル70a~70dに代えて、アテンション機構を利用するモデルを用いる場合、評価写像データ34cは、次のデータを含んでもよい。すなわち、評価写像データ34cは、フレームデータFDを分割した各パッチを1次元のベクトルに変換する変換行列の成分の値を含んでよい。またたとえば、評価写像データ34cは、上記1次元のベクトルに変換された各パッチを、キー、クエリ、およびバリューの各ベクトルに変換する行列の値を含んでもよい。また、たとえば、評価写像データ34cは、1次元に変換されたパッチに埋め込む位置情報のデータを含んでもよい。なお、上記変換行列および位置情報データは、学習済みのデータであってもよい。ただし、これは、必ずしも上述した学習過程において学習された値である必要はない。たとえば、上記学習過程をファインチューニングとして且つ、それ以前に行われる学習においてのみ学習された値としてもよい。
・評価処理が、N個の周期でサンプリングされた3個のフレームデータFDのうちの2個以上についてフレーム評価処理によってOK判定がなされる場合に、2N+1のフレーム分の画像データのOK判定としたが、これに限らない。たとえば、図8の処理の上述の変更例においては妥当性評価処理の判定結果に応じてOK判定の基準を変えてもよい。具体的には、S36の処理においてNG判定されたものの、妥当性評価処理によってNG判定が妥当ではないと判定された場合には、NG判定のなされた回数を「0.5」とカウントしてもよい。その場合、たとえばNG判定の数が「1」未満で最終的なOK判定をすることによって、妥当性評価処理の判定結果に応じてOK判定の基準を変えることができる。
・S20aの処理としては、たとえば、再生画像のうち所定部位が露出している領域を少なくとも含む再生画像の一部に対して所定画像を重畳することでマスクをする指令であってよい。またたとえば、再生画像のうち所定部位が露出している領域を少なくとも含む再生画像の一部に対してぼかし等のエフェクトを適用することでマスクをする指令であってよい。すなわち、S20aの処理は、露出することが問題とされて且つ露出していると判定された所定部位が非表示となるような指令であればその態様に制限はない。なお、露出することが問題とされる所定部位が実際に露出している領域を少なくとも含む再生画像の一部は、たとえば、上述の2次元分布に少なくとも基づいて決定されてもよい。なお画像中に所定部位が複数存在する場合に実際に露出している領域のみをマスクするうえでは、実際に露出している領域を特定することが望ましい。これは、たとえば、識別モデルの注視領域に基づき露出している領域を特定する処理としてもよい。
・実行装置としては、PU32に限らない。たとえば、実行装置を、ASIC、およびFPGA等の専用のハードウェア回路としてもよい。すなわち、実行装置は、以下の(a)~(c)のいずれかの構成を備える処理回路を含んでいてもよい。(a)上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶する記憶装置等のプログラム格納装置とを備える処理回路。(b)上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路(ハードウェアアクセレータ)とを備える処理回路。(c)上記処理の全てを実行する専用のハードウェア回路を備える処理回路。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置は、複数であってもよい。また、専用のハードウェア回路は複数であってもよい。
・画像評価装置が、画像を評価する処理と、評価結果をユーザ端末50に配信する処理との双方を行うことは必須ではない。たとえば、評価結果をユーザ端末50に配信する処理を、画像評価装置とは別の装置が実行してもよい。また、画像評価装置が業者端末10から送信された画像データを受信することも必須ではない。たとえば、業者端末10から送信された画像データを受信して且つ画像評価装置に送信する装置を別途備えてもよい。さらに、画像評価装置と業者端末10とが一体化されていてもよい。
・画像評価プログラム34aを実行するコンピュータとしては、画像評価装置30が備えるPU32に限らない。たとえば、画像評価プログラム34aをユーザ端末50にインストールすることによって、ユーザ端末50のPU52を画像評価プログラム34aを実行するコンピュータとしてもよい。
・PU12が、PU32に含まれ得る態様の演算ユニットを含んでもよい。
・上記実施形態では、CM動画データとして、ストリーミング映像の態様でユーザ端末50に対して配信(送信)されるものを想定したが、これに限らない。たとえば、ライブストリーミングの態様のサービスでユーザ端末50に対してリアルタイムに配信(送信)されてよい。評価対象となる画像データは、CM動画データに限らない。たとえば、商品等の広告の用に供する動画に限らず、人(人物)の身体の少なくとも一部が含まれ得る動画であればその種別や異常判定の目的に制限はない。さらに、評価対象となる画像データは、たとえば任意の静止画像のデータであってもよい。
14…記憶装置
16…通信機
20…ネットワーク
30…画像評価装置
34…記憶装置
34a…画像評価プログラム
34b…位置情報写像データ
34c…評価写像データ
36…通信機
40…ユーザインターフェース
50…ユーザ端末
54…記憶装置
54a…アプリケーションプログラム
56…通信機
58…ユーザインターフェース
60~66…ヒートマップ
70a~70d…識別モデル
Claims (11)
- 実行装置、および記憶装置を備え、
前記記憶装置には、位置情報写像データと、評価写像データと、が記憶され、
前記位置情報写像データは、位置情報写像を規定するためのデータであり、
前記位置情報写像は、位置情報データを出力する写像であり、
前記位置情報データは、評価対象とする画像データが示す画像において人の所定部位の位置情報を示すデータであり、
前記評価写像データは、評価写像を規定するためのデータであり、
前記評価写像は、評価用入力データおよび前記位置情報データを入力として前記画像データの評価結果を出力する写像であり、
前記評価用入力データは、前記画像データに応じたデータであって且つ前記評価写像の入力とするデータであり、
前記実行装置は、位置情報生成処理、および評価処理を実行するように構成され、
前記位置情報生成処理は、位置用入力データを前記位置情報写像に入力することによって前記位置情報データを生成する処理であり、
前記位置用入力データは、前記画像データに応じたデータであって且つ前記位置情報写像の入力とするデータであり、
前記評価処理は、前記位置情報データおよび前記評価用入力データを前記評価写像に入力することによって、前記画像データを評価する処理であり、
前記評価写像は、特徴量レイヤを備え、
前記特徴量レイヤは、前記画像データが示す領域を複数個の領域に分割したそれぞれに数値を与えることによって、前記画像データの特徴量を定量化するレイヤであり、
前記評価写像は、前記特徴量レイヤが示す前記複数個の領域の少なくとも一部の値と前記位置情報データとを合成する処理を含んで前記評価結果を出力する写像である画像評価装置。 - 実行装置、および記憶装置を備え、
前記記憶装置には、位置情報写像データと、評価写像データと、が記憶され、
前記位置情報写像データは、位置情報写像を規定するためのデータであり、
前記位置情報写像は、位置情報データを出力する写像であり、
前記位置情報データは、評価対象とする画像データが示す画像において人の所定部位の位置情報を示すデータであり、
前記評価写像データは、評価写像を規定するためのデータであり、
前記評価写像は、評価用入力データおよび前記位置情報データを入力として前記画像データの評価結果を出力する写像であり、
前記評価用入力データは、前記画像データに応じたデータであって且つ前記評価写像の入力とするデータであり、
前記実行装置は、位置情報生成処理、および評価処理を実行するように構成され、
前記位置情報生成処理は、位置用入力データを前記位置情報写像に入力することによって前記位置情報データを生成する処理であり、
前記位置用入力データは、前記画像データに応じたデータであって且つ前記位置情報写像の入力とするデータであり、
前記評価処理は、前記位置情報データおよび前記評価用入力データを前記評価写像に入力することによって、前記画像データを評価する処理であり、
前記評価写像は、仮評価写像を含み、
前記仮評価写像は、前記評価用入力データを入力として前記画像データの仮の評価結果を出力する写像であり、
前記評価処理は、仮評価処理と、妥当性評価処理と、を含み、
前記仮評価処理は、前記仮評価写像に前記評価用入力データを入力することによって前記仮の評価結果を出力する処理を含み、
前記妥当性評価処理は、前記位置情報データを入力として、前記画像データの示す領域のうちの前記所定部位を示す領域が前記仮の評価結果に寄与した度合いに応じて前記仮の評価結果の妥当性を評価する処理を含む画像評価装置。 - 実行装置、および記憶装置を備え、
前記記憶装置には、位置情報写像データと、評価写像データと、が記憶され、
前記位置情報写像データは、位置情報写像を規定するためのデータであり、
前記位置情報写像は、位置情報データを出力する写像であり、
前記位置情報データは、評価対象とする画像データが示す画像において人の所定部位の位置情報を示すデータであり、
前記評価写像データは、評価写像を規定するためのデータであり、
前記評価写像は、評価用入力データおよび前記位置情報データを入力として前記画像データの評価結果を出力する写像であり、
前記評価用入力データは、前記画像データに応じたデータであって且つ前記評価写像の入力とするデータであり、
前記実行装置は、位置情報生成処理、および評価処理を実行するように構成され、
前記位置情報生成処理は、位置用入力データを前記位置情報写像に入力することによって前記位置情報データを生成する処理であり、
前記位置用入力データは、前記画像データに応じたデータであって且つ前記位置情報写像の入力とするデータであり、
前記評価処理は、前記位置情報データおよび前記評価用入力データを前記評価写像に入力することによって、前記画像データを評価する処理であり、
前記実行装置は、提供処理、および制限処理を実行するように構成され、
前記提供処理は、前記評価処理によって表示されることを制限しなくてよい旨の評価がなされた前記画像データが示す画像をユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する処理であり、
前記制限処理は、前記評価処理によって表示されることを制限すべき旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する処理であり、
前記制限しなくてよい旨の評価は、前記ユーザ端末からの指示に基づいて、身体の露出度についての許容範囲内である旨の評価であり、
前記ユーザ端末により表示されることを制限すべき旨の評価は、前記露出度が前記許容範囲から外れる旨の評価である画像評価装置。 - 前記実行装置は、通知処理を実行するように構成され、
前記通知処理は、前記妥当性評価処理によって妥当ではないと判定される場合に、妥当ではない旨を通知する処理である請求項2に記載の画像評価装置。 - 前記所定部位は、人の胸部、尻部、および正面下腹部の3つの部分のうちの少なくとも1つを含む請求項1~請求項4のうち何れか一項に記載の画像評価装置。
- 前記位置情報データは、前記評価用入力データを構成する各画素が前記所定部位を示すか否かの情報を付与するデータであり、
前記評価写像は、前記評価用入力データの各画素と前記各画素に対応する前記位置情報データとが対応付けて入力されることによって前記評価結果を出力する写像である請求項1~請求項4のうち何れか一項に記載の画像評価装置。 - 請求項1又は請求項2に記載の画像評価装置と、複数のユーザ端末と、を備える画像処理システム。
- 実行装置、および記憶装置を有する画像評価装置と、複数のユーザ端末と、を備え、
前記記憶装置には、位置情報写像データと、評価写像データと、が記憶され、
前記位置情報写像データは、位置情報写像を規定するためのデータであり、
前記位置情報写像は、位置情報データを出力する写像であり、
前記位置情報データは、評価対象とする画像データが示す画像において人の所定部位の位置情報を示すデータであり、
前記評価写像データは、評価写像を規定するためのデータであり、
前記評価写像は、評価用入力データおよび前記位置情報データを入力として前記画像データの評価結果を出力する写像であり、
前記評価用入力データは、前記画像データに応じたデータであって且つ前記評価写像の入力とするデータであり、
前記実行装置は、位置情報生成処理、および評価処理を実行するように構成され、
前記位置情報生成処理は、位置用入力データを前記位置情報写像に入力することによって前記位置情報データを生成する処理であり、
前記位置用入力データは、前記画像データに応じたデータであって且つ前記位置情報写像の入力とするデータであり、
前記評価処理は、前記位置情報データおよび前記評価用入力データを前記評価写像に入力することによって、前記画像データを評価する処理であり、
前記実行装置は、提供処理、および制限処理を実行するように構成され、
前記提供処理は、前記評価処理によって表示されることを制限しなくてよい旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する処理であり、
前記制限処理は、前記評価処理によって表示されることを制限すべき旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する処理であり、
前記ユーザ端末は、指示処理を実行するように構成され、
前記指示処理は、身体の露出度についての許容範囲を指示する処理であり、
前記制限しなくてよい旨の評価は、前記露出度が前記許容範囲内である旨の評価であり、
前記ユーザ端末により表示されることを制限すべき旨の評価は、前記露出度が前記許容範囲から外れる旨の評価である画像処理システム。 - 請求項8に記載の画像処理システムにおける前記ユーザ端末。
- 請求項1~請求項3のうち何れか一項に記載の画像評価装置における前記各処理を実行するステップを有する画像評価方法。
- 請求項1~請求項3のうち何れか一項に記載の画像評価装置における前記各処理をコンピュータに実行させる画像評価プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022064667A JP7455889B2 (ja) | 2022-04-08 | 2022-04-08 | 画像評価装置、画像処理システム、ユーザ端末、画像評価方法、および画像評価プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022064667A JP7455889B2 (ja) | 2022-04-08 | 2022-04-08 | 画像評価装置、画像処理システム、ユーザ端末、画像評価方法、および画像評価プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023154980A JP2023154980A (ja) | 2023-10-20 |
JP7455889B2 true JP7455889B2 (ja) | 2024-03-26 |
Family
ID=88373249
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022064667A Active JP7455889B2 (ja) | 2022-04-08 | 2022-04-08 | 画像評価装置、画像処理システム、ユーザ端末、画像評価方法、および画像評価プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7455889B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7506109B2 (ja) | 2022-04-08 | 2024-06-25 | 楽天グループ株式会社 | 画像評価装置、画像処理システム、ユーザ端末、画像評価方法、画像評価プログラム、および画像表示支援方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012170024A (ja) | 2011-02-16 | 2012-09-06 | Nikon Corp | 情報処理装置 |
JP2018120644A (ja) | 2018-05-10 | 2018-08-02 | シャープ株式会社 | 識別装置、識別方法およびプログラム |
JP2020021148A (ja) | 2018-07-30 | 2020-02-06 | トヨタ自動車株式会社 | 画像処理装置、画像処理方法 |
JP2021086322A (ja) | 2019-11-26 | 2021-06-03 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2022
- 2022-04-08 JP JP2022064667A patent/JP7455889B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012170024A (ja) | 2011-02-16 | 2012-09-06 | Nikon Corp | 情報処理装置 |
JP2018120644A (ja) | 2018-05-10 | 2018-08-02 | シャープ株式会社 | 識別装置、識別方法およびプログラム |
JP2020021148A (ja) | 2018-07-30 | 2020-02-06 | トヨタ自動車株式会社 | 画像処理装置、画像処理方法 |
JP2021086322A (ja) | 2019-11-26 | 2021-06-03 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2023154980A (ja) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | UIEC^ 2-Net: CNN-based underwater image enhancement using two color space | |
US11334971B2 (en) | Digital image completion by learning generation and patch matching jointly | |
Bosse et al. | Deep neural networks for no-reference and full-reference image quality assessment | |
Oh et al. | Blind deep S3D image quality evaluation via local to global feature aggregation | |
Zhou et al. | Dual-stream interactive networks for no-reference stereoscopic image quality assessment | |
Sim et al. | MaD-DLS: mean and deviation of deep and local similarity for image quality assessment | |
Fan et al. | Stacked latent attention for multimodal reasoning | |
CN112766279B (zh) | 一种基于联合注意力机制的图像特征提取方法 | |
US11068746B2 (en) | Image realism predictor | |
Zhou et al. | Blind quality estimator for 3D images based on binocular combination and extreme learning machine | |
CN108389192A (zh) | 基于卷积神经网络的立体图像舒适度评价方法 | |
He et al. | A visual residual perception optimized network for blind image quality assessment | |
JP7455889B2 (ja) | 画像評価装置、画像処理システム、ユーザ端末、画像評価方法、および画像評価プログラム | |
Schneider et al. | Explaining classifiers by constructing familiar concepts | |
Pham et al. | End-to-end image patch quality assessment for image/video with compression artifacts | |
JP2022169432A (ja) | ユーザーの毛髪分析のためのシステム及び方法 | |
Kwon et al. | Tailor me: An editing network for fashion attribute shape manipulation | |
CN112819689A (zh) | 人脸属性编辑模型的训练方法、人脸属性编辑方法及设备 | |
Buzuti et al. | Fréchet AutoEncoder distance: a new approach for evaluation of generative adversarial networks | |
Hepburn et al. | Enforcing perceptual consistency on generative adversarial networks by using the normalised laplacian pyramid distance | |
Oszust | A regression-based family of measures for full-reference image quality assessment | |
Avola et al. | SIRe-Networks: Convolutional neural networks architectural extension for information preservation via skip/residual connections and interlaced auto-encoders | |
CN113327212B (zh) | 人脸驱动、模型的训练方法、装置、电子设备及存储介质 | |
JP7362924B2 (ja) | データ増強基盤空間分析モデル学習装置及び方法 | |
JP7385046B2 (ja) | 色斑予測方法、装置、設備及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240313 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7455889 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |