JP7506109B2 - IMAGE EVALUATION DEVICE, IMAGE PROCESSING SYSTEM, USER TERMINAL, IMAGE EVALUATION METHOD, IMAGE EVALUATION PROGRAM, AND IMAGE DISPLAY SUPPORT METHOD - Google Patents
IMAGE EVALUATION DEVICE, IMAGE PROCESSING SYSTEM, USER TERMINAL, IMAGE EVALUATION METHOD, IMAGE EVALUATION PROGRAM, AND IMAGE DISPLAY SUPPORT METHOD Download PDFInfo
- Publication number
- JP7506109B2 JP7506109B2 JP2022064668A JP2022064668A JP7506109B2 JP 7506109 B2 JP7506109 B2 JP 7506109B2 JP 2022064668 A JP2022064668 A JP 2022064668A JP 2022064668 A JP2022064668 A JP 2022064668A JP 7506109 B2 JP7506109 B2 JP 7506109B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- variable
- value
- user terminal
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 251
- 238000011156 evaluation Methods 0.000 title claims description 80
- 238000012545 processing Methods 0.000 title claims description 37
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 230000008569 process Effects 0.000 claims description 222
- 238000013507 mapping Methods 0.000 claims description 85
- 238000012854 evaluation process Methods 0.000 claims description 51
- 230000005856 abnormality Effects 0.000 claims description 46
- 230000002159 abnormal effect Effects 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 14
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 230000006870 function Effects 0.000 description 20
- 239000013598 vector Substances 0.000 description 17
- 210000001015 abdomen Anatomy 0.000 description 15
- 210000001217 buttock Anatomy 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 13
- 238000012549 training Methods 0.000 description 12
- 230000004913 activation Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000003287 bathing Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、画像評価装置、画像処理システム、ユーザ端末、画像評価方法、画像評価プログラム、および画像表示支援方法に関する。 The present invention relates to an image evaluation device, an image processing system, a user terminal, an image evaluation method, an image evaluation program, and an image display support method.
たとえば下記特許文献1には、学習済みモデルを利用して画像データの異常を検出する装置が記載されている。
For example, the following
発明者は、画像データが示す画像中の人の状態に関して異常の有無を判定することを検討した。その場合、たとえば、身体の所定部位が露出している画像データを異常とすることが考えられる。しかし、所定部位が部分的に露出しているのみの場合に、一律、異常と判定することは望ましくない。すなわち、たとえば海水浴場で水着を着ている場合には、これを異常とすることは必ずしも適切とは限らない。 The inventors have considered judging the presence or absence of an abnormality in the condition of a person in an image shown by image data. In that case, for example, it is conceivable to judge image data in which a specific part of the body is exposed as abnormal. However, it is not desirable to uniformly judge an abnormality to exist when the specific part is only partially exposed. In other words, for example, if a person is wearing a swimsuit at the beach, it is not necessarily appropriate to judge this as abnormal.
以下、上記課題を解決するための手段およびその作用効果について記載する。
1.実行装置、および記憶装置を備え、前記記憶装置には、前景識別写像データと、背景識別写像データと、が記憶され、前記前景識別写像データは、前景識別写像を規定するためのデータであり、前記前景識別写像は、前景識別変数の値を出力する写像であり、前記前景識別変数は、評価対象の画像データが示す画像において人の状態を識別する変数であり、前記背景識別写像データは、背景識別写像を規定するためのデータであり、前記背景識別写像は、背景識別変数の値を出力する写像であり、前記背景識別変数は、前記画像データが示す前記人の背景の種類を識別する変数であり、前記実行装置は、前景識別処理、背景識別処理、および評価処理を実行するように構成され、前記前景識別処理は、前記画像データを前記前景識別写像に入力することによって前記前景識別変数の値を出力する処理であり、前記背景識別処理は、前記画像データを前記背景識別写像に入力することによって前記背景識別変数の値を識別する処理であり、前記評価処理は、前記画像データに異常があるか否かを評価する処理であって且つ、前記前景識別変数の値が第1の値である場合には、前記背景識別変数の値にかかわらず異常があると評価して且つ、前記前景識別変数の値が前記第1の値とは別の第2の値である場合には、前記背景識別変数の値を加味して前記異常か否かを評価する処理を含む画像評価装置である。
Means for solving the above problems and their effects will be described below.
1. A method for evaluating a state of a person in an image represented by image data of an evaluation target, comprising: an execution device and a storage device, the storage device storing foreground identification mapping data and background identification mapping data, the foreground identification mapping data being data for defining a foreground identification mapping, the foreground identification mapping being a mapping that outputs a value of a foreground identification variable, the foreground identification variable being a variable for identifying a state of a person in an image represented by image data of an evaluation target, the background identification mapping data being data for defining a background identification mapping, the background identification mapping being a mapping that outputs a value of a background identification variable, the background identification variable being a variable for identifying a type of background of the person represented by the image data, the execution device performing foreground identification processing, background identification processing, and evaluation processing. the foreground classification process being a process of outputting a value of the foreground classification variable by inputting the image data into the foreground classification mapping, the background classification process being a process of identifying the value of the background classification variable by inputting the image data into the background classification mapping, and the evaluation process being a process of evaluating whether or not there is an abnormality in the image data, and comprising a process of evaluating whether or not there is an abnormality when the value of the foreground classification variable is a first value regardless of the value of the background classification variable, and evaluating whether or not there is an abnormality taking into account the value of the background classification variable when the value of the foreground classification variable is a second value different from the first value.
上記構成では、前景識別変数の値が第1の値である場合、背景識別変数の値にかかわらず、異常があると判定する。そのため、人の状態に明らかに異常がある場合に、これを異常である旨評価する確実性を高めることができる。また、前景識別変数の値が第2の値である場合、背景識別変数の値を加味して異常か否かを評価する。そのため、人の状態が状況に応じて異常と評価すべきであったりすべきでなかったりする場合において、適切な評価をすることが可能となる。 In the above configuration, when the value of the foreground identification variable is a first value, it is determined that there is an abnormality regardless of the value of the background identification variable. Therefore, when there is clearly something wrong with a person's condition, it is possible to increase the certainty of assessing this as abnormal. Also, when the value of the foreground identification variable is a second value, the value of the background identification variable is taken into account to assess whether there is an abnormality. Therefore, it is possible to make an appropriate assessment when a person's condition should or should not be assessed as abnormal depending on the situation.
2.前記第1の値は、身体の所定部位が露出している状態において前記前景識別変数の値が取り得る値であり、前記第2の値は、前記所定部位の少なくとも一部が衣類で覆われているものの、前記身体の露出度合いが大きい状態において前記前景識別変数の値が取り得る値である上記1記載の画像評価装置である。
2. The image evaluation device according to
所定部位の露出を異常と定義する場合、所定部位の一部が露出していても残りが衣類で覆われている場合の評価を、いかにするかが問題となる。そこで、上記構成では、そうした場合に背景識別変数の値を加味して異常の有無を判定する。これにより、身体の露出度が大きい場合に一律異常である旨評価するのではなく、状況に応じたより適切な評価をすることができる。 When defining the exposure of a specific body part as abnormal, the problem is how to evaluate cases where a specific body part is exposed but the rest is covered by clothing. In such cases, the above configuration takes into account the value of the background identification variable to determine whether or not there is an abnormality. This makes it possible to make a more appropriate evaluation according to the situation, rather than uniformly evaluating a large degree of body exposure as abnormal.
3.前記評価処理は、前記前景識別変数の値が前記第2の値であることと、前記背景識別変数の値が、前記背景が、水遊び、またはスポーツをする所定の場所において取り得る値であることとの論理積が真である場合、前記異常ではないと評価する処理と、前記前景識別変数の値が前記第2の値であることと、前記背景識別変数の値が、前記背景が前記所定の場所とは異なる所定の室内であるときに取り得る値であることとの論理積が真である場合、前記異常であると評価する処理と、を含む上記2記載の画像評価装置である。
3. The image evaluation device according to
身体の露出度合いが大きい場合であっても、背景が水遊び、またはスポーツをする所定の場所である場合には、必ずしも公序良俗に反するものではなく、異常と評価することが適切とは限らない。そこで上記構成では、そうした状況において、異常ではない旨評価することにより、適切な評価をすることができる。 Even if the body is highly exposed, if the background is a designated place for splashing around in water or playing sports, it is not necessarily against public order and morals, and it is not necessarily appropriate to evaluate it as abnormal. Therefore, with the above configuration, it is possible to make an appropriate evaluation in such a situation by evaluating it as not abnormal.
4.前記前景識別変数は、衣類の種類を特定する値を含み、前記第2の値は、前記所定部位の少なくとも一部が、水着またはスポーツウェアで覆われている場合に取り得る値である上記3記載の画像評価装置である。 4. The image evaluation device according to claim 3, wherein the foreground identification variable includes a value that identifies a type of clothing, and the second value is a value that can be taken when at least a portion of the specified body part is covered by a swimsuit or sportswear.
上記構成では、第2の値を、所定部位の少なくとも一部が、水着またはスポーツウェアで覆われている場合に取り得る値とする。そのため、たとえば露出度合いが大きい水着を着ている場合において、海水浴場等にいる場合にまで異常であると評価することを抑制できる。 In the above configuration, the second value is a value that can be taken when at least a portion of the specified body part is covered by a swimsuit or sportswear. Therefore, for example, if a person is wearing a swimsuit that exposes a lot of skin, it is possible to prevent the system from evaluating the person as having an abnormality even when the person is at a beach, etc.
5.前記前景識別写像は、露出度識別写像と、衣類識別写像と、を含み、前記露出度識別写像は、前記人の所定部位の露出度を示す変数である露出度変数の値を出力する写像であり、前記衣類識別写像は、前記人が身に着けている衣類の種類を識別する変数である衣類変数の値を出力する写像であり、前記前景識別変数は、前記露出度変数および前記衣類変数に基づく上記1~4のいずれか1つに記載の画像評価装置である。 5. The foreground identification map includes an exposure identification map and a clothing identification map, the exposure identification map is a map that outputs a value of an exposure variable that is a variable indicating the exposure of a specific part of the person, the clothing identification map is a map that outputs a value of a clothing variable that is a variable that identifies the type of clothing worn by the person, and the foreground identification variable is an image evaluation device described in any one of 1 to 4 above based on the exposure variable and the clothing variable.
上記構成では、露出度識別写像と、衣類識別写像とを用いることから、人の身体部位の露出度と、衣類の種類とを高精度に特定できる。そのため、前景識別変数を、人の状態の詳細を示す変数とすることができる。 In the above configuration, the exposure identification map and the clothing identification map are used, so the exposure level of a person's body parts and the type of clothing can be identified with high accuracy. Therefore, the foreground identification variable can be a variable that indicates the details of a person's condition.
6.前記前景識別写像は、身体識別写像と、着衣識別写像と、を含み、前記身体識別写像は、前記人の身体の部位を識別する変数である身体識別変数の値を出力する写像であり、前記着衣識別写像は、前記人の身体であるか、前記人が身に着けている衣類であるかを識別する変数である着衣識別変数の値を出力する写像であり、前記前景識別処理は、前記身体識別変数の値および前記着衣識別変数の値に応じて前記前景識別変数の値を算出する処理を含む上記1~5のいずれか1つに記載の画像評価装置である。 6. The image evaluation device according to any one of 1 to 5 above, wherein the foreground identification mapping includes a body identification mapping and a clothing identification mapping, the body identification mapping is a mapping that outputs a value of a body identification variable that is a variable that identifies a part of the person's body, the clothing identification mapping is a mapping that outputs a value of a clothing identification variable that is a variable that identifies whether the object is the person's body or clothing worn by the person, and the foreground identification process includes a process of calculating a value of the foreground identification variable according to the value of the body identification variable and the value of the clothing identification variable.
上記構成では、身体識別変数によって特定される身体の部位について、着衣識別変数によって露出しているか衣類を身に着けているかを把握できる。そのため、前景識別変数を、身体の部位の露出の有無を示す適切な変数とすることができる。 In the above configuration, for a body part identified by the body identification variable, it is possible to know whether the part is exposed or clothed by the clothing identification variable. Therefore, the foreground identification variable can be an appropriate variable that indicates whether a body part is exposed or not.
7.上記1~6のいずれか1つに記載の画像評価装置における前記実行装置、および前記記憶装置と、複数のユーザ端末と、を備え、前記実行装置は、提供処理、および制限処理を実行するように構成され、前記提供処理は、前記評価処理によって前記異常がない旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する処理であり、前記制限処理は、前記評価処理によって前記異常がある旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する処理である画像処理システムである。 7. An image processing system comprising the execution device and the storage device in the image evaluation device described in any one of 1 to 6 above, and a plurality of user terminals, wherein the execution device is configured to execute a providing process and a restricting process, the providing process being a process of transmitting the image data to the user terminal so that an image represented by the image data that has been evaluated by the evaluation process as having no abnormality can be displayed on the user terminal, and the restricting process being a process of restricting the image represented by the image data that has been evaluated by the evaluation process as having the abnormality from being displayed on the user terminal.
上記提供処理および制限処理によれば、評価処理による評価結果に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
8.前記ユーザ端末は、指示処理を実行するように構成され、前記評価処理は、前記異常の度合いを複数段階に評価する処理を含み、前記指示処理は、前記ユーザ端末において表示される画像の許容範囲を指示する処理であり、前記提供処理は、前記評価処理によって評価された前記異常の度合いが前記許容範囲内である場合に前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する処理であり、前記制限処理は、前記評価処理によって評価された前記異常の度合いが前記許容範囲から外れる場合に前記画像データが示す画像が前記ユーザ端末により表示されることを制限する処理である上記7記載の画像処理システムである。
According to the provision process and the restriction process, it is possible to appropriately assist the user terminal in selectively displaying the image indicated by the image data, depending on the evaluation result of the evaluation process.
8. The image processing system according to claim 7, wherein the user terminal is configured to execute an instruction process, the evaluation process includes a process of evaluating the degree of the abnormality in a plurality of stages, the instruction process is a process of instructing an acceptable range of an image to be displayed on the user terminal, the provision process is a process of transmitting the image data to the user terminal so that an image represented by the image data can be displayed on the user terminal when the degree of the abnormality evaluated by the evaluation process is within the acceptable range, and the restriction process is a process of restricting the image represented by the image data from being displayed on the user terminal when the degree of the abnormality evaluated by the evaluation process is outside the acceptable range.
上記構成では、ユーザの意思に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
9.前記制限処理は、前記画像データの前記ユーザ端末への送信を禁止する禁止処理と、前記画像データを制限指令とともに送信する制限送信処理と、の少なくとも1つの処理を含み、前記制限指令は、前記ユーザ端末において前記画像データが示す画像が警告とともに表示されるようにする指令、前記ユーザ端末において前記画像データが示す画像のうちの所定部位の露出にマスクをする指令、および前記ユーザ端末において前記画像データが示す画像を表示しないようにする指令のいずれかである上記7記載の画像処理システムである。
With the above configuration, it is possible to appropriately assist the user in selectively displaying the image indicated by the image data on the user terminal in accordance with the user's wishes.
9. The image processing system according to claim 7, wherein the restriction process includes at least one of a prohibition process for prohibiting transmission of the image data to the user terminal and a restriction transmission process for transmitting the image data together with a restriction command, and the restriction command is any one of a command for displaying an image represented by the image data together with a warning on the user terminal, a command for masking exposure of a predetermined part of the image represented by the image data on the user terminal, and a command for not displaying the image represented by the image data on the user terminal.
上記禁止処理によれば、ユーザ端末により表示されることを制限すべきと評価された画像データが示す画像が、ユーザ端末に表示されることを確実に抑制できる。また、上記制限送信処理によれば、以下のいずれかが可能となる。 The above-mentioned prohibition process can reliably prevent images represented by image data that has been evaluated as being restricted from being displayed on a user terminal from being displayed on the user terminal. In addition, the above-mentioned restricted transmission process makes it possible to do any of the following:
・ユーザ端末により表示されることを制限すべき旨の警告がユーザ端末によってなされること。
・ユーザ端末に表示された画像中の所定部位の露出がマスクされること。
A warning is issued by the user terminal to the effect that display on the user terminal should be restricted.
- Exposure of a specified part in an image displayed on a user terminal is masked.
・ユーザ端末により表示されることを制限すべきと評価された画像データが示す画像が表示されることを、ユーザ端末において禁止すること。
10.上記8記載の画像処理システムにおける前記ユーザ端末である。
Prohibiting the display, on a user terminal, of an image indicated by image data that has been evaluated as being subject to restriction from being displayed on the user terminal.
10. The user terminal in the image processing system according to 8 above.
11.上記1~6のいずれか1つに記載の画像評価装置における前記各処理を実行するステップを有する画像評価方法である。
12.上記1記載の画像評価装置における前記各処理をコンピュータに実行させる画像評価プログラムである。
11. An image evaluation method comprising a step of executing each of the processes in the image evaluation device according to any one of 1 to 6 above.
12. An image evaluation program for causing a computer to execute each of the processes in the image evaluation device described in 1 above.
13.ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、前記ユーザ端末により表示される画像の候補を示す画像データのうち、上記1~6のいずれか1つに記載の画像評価装置における前記評価処理によって前記異常がない旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記評価処理によって前記異常がある旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、を有する画像表示支援方法である。 13. An image display support method for supporting the selective display of images on a user terminal, the image display support method including: a providing step of transmitting image data to the user terminal so that an image represented by image data that is evaluated to have no abnormality by the evaluation process in the image evaluation device described in any one of 1 to 6 above can be displayed on the user terminal; and a restricting step of restricting the display, by the user terminal, of an image represented by image data that is evaluated to have the abnormality by the evaluation process among image data representing candidate images to be displayed by the user terminal.
上記提供工程および制限工程によれば、評価処理による評価結果に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
14.ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、前記ユーザ端末は、指示処理を実行するように構成され、上記1~6のいずれか1つに記載の画像評価装置における前記評価処理は、前記異常の度合いを複数段階に評価する処理を含み、前記指示処理は、前記ユーザ端末において表示される画像の許容範囲を指示する処理であり、前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記画像評価装置における前記評価処理によって評価された前記異常の度合いが前記許容範囲内である場合に前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記評価処理によって評価された前記異常の度合いが前記許容範囲から外れる場合に前記画像データが示す画像が前記ユーザ端末により表示されることを制限する制限工程と、を有する画像表示支援方法である。
According to the providing step and the limiting step, it is possible to appropriately assist the user terminal in selectively displaying the image indicated by the image data in accordance with the evaluation result of the evaluation process.
14. An image display support method for supporting selective display of an image on a user terminal, the user terminal being configured to execute an instruction process, the evaluation process in the image evaluation device described in any one of 1 to 6 above includes a process of evaluating the degree of abnormality in a plurality of stages, the instruction process being a process of instructing an acceptable range of an image to be displayed on the user terminal, the image display support method including: a providing step of transmitting image data to the user terminal so that an image represented by the image data can be displayed on the user terminal when the degree of abnormality evaluated by the evaluation process in the image evaluation device is within the acceptable range among image data representing candidates for images to be displayed by the user terminal; and a restricting step of restricting the display by the user terminal of an image represented by the image data when the degree of abnormality evaluated by the evaluation process in the image evaluation device is outside the acceptable range among image data representing candidates for images to be displayed by the user terminal.
上記方法では、ユーザの意思に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
15.ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、前記ユーザ端末により表示される画像の候補を示す画像データを取得する取得工程と、前記取得工程において取得された前記画像データのうち上記1~6のいずれか1つに記載の画像評価装置における前記評価処理によって前記異常がない旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、前記取得工程において取得された前記画像データのうち、前記評価処理によって前記異常がある旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、を有する画像表示支援方法である。
The above method can appropriately assist in selectively displaying an image indicated by image data on a user terminal in accordance with the user's wishes.
15. An image display support method for supporting selective display of images on a user terminal, comprising: an acquisition step of acquiring image data showing candidates for images to be displayed by the user terminal; a providing step of transmitting the image data to the user terminal so that an image represented by the image data acquired in the acquisition step and evaluated to have no abnormality by the evaluation process in an image evaluation device described in any one of 1 to 6 above can be displayed on the user terminal; and a restricting step of restricting an image represented by the image data acquired in the acquisition step and evaluated to have the abnormality by the evaluation process from being displayed on the user terminal.
上記提供工程および制限工程によれば、評価処理による評価結果に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。 The provision process and restriction process described above can appropriately assist in selectively displaying the image indicated by the image data on the user terminal in accordance with the evaluation results of the evaluation process.
<第1の実施形態>
以下、第1の実施形態について図面を参照しつつ説明する。
「前提構成」
図1に、画像処理システムの全体構成を示す。
First Embodiment
Hereinafter, the first embodiment will be described with reference to the drawings.
"Prerequisite configuration"
FIG. 1 shows the overall configuration of an image processing system.
複数の業者端末10(1),10(2),…は、何らかの商品を消費者に販売する業者が所持する端末である。なお、以下では、業者端末10(1),10(2),…を総括する場合、業者端末10と記載する。業者端末10は、PU12、記憶装置14、および通信機16を備えている。PU12は、CPU、GPU、およびTPU等の演算ユニットを含むソフトウェア処理装置である。記憶装置14は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体を備える。記憶装置14には、PU12が実行するプログラムが記憶されている。
The multiple vendor terminals 10(1), 10(2), ... are terminals owned by vendors who sell some kind of product to consumers. In the following, the vendor terminals 10(1), 10(2), ... are collectively referred to as
業者端末10の通信機16は、ネットワーク20を介して画像評価装置30と通信可能とされる。業者端末10は、販売したい商品に関するCM動画データを画像評価装置30に送信する。ここで、CM動画データとは、たとえば商品を広告するためのコマーシャル動画に相当する。CM動画の再生時間、フレーム数、解像度、およびデータフォーマットに制限はない。
The
画像評価装置30は、CM動画データを評価して、問題がない場合にはユーザ端末50(1),50(2),…に送信する。以下では、ユーザ端末50(1),50(2),…を総括する場合、ユーザ端末50と記載する。
The
画像評価装置30は、PU32、記憶装置34、および通信機36を備えている。PU32は、CPU、GPU、およびTPU等の演算ユニットを含むソフトウェア処理装置である。詳しくは、PU32は、画像処理、推論処理および並列処理等の所定の処理に特化したハードウェアアクセラレータを演算ユニットとして含んでよい。また、PU32は、ホモジニアスアーキテクチャまたはヘテロジニアスアーキテクチャの態様をとる演算ユニットを含んでよい。また、PU32は、単一のチップ上にモノリシックに集積された演算ユニットを含んでよく、チップレット等の複数のチップが接続された演算ユニットを含んでよい。記憶装置34は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体を備える。記憶装置34には、画像評価プログラム34a、前景識別写像データ34b、背景識別写像データ34c、およびルールベースデータ34dが記憶されている。通信機36は、ネットワーク20を介して業者端末10およびユーザ端末50との通信を可能とするための機器である。
The
ユーザ端末50は、CM動画データを再生する端末である。ユーザ端末50は、CM動画が示す商品の購入操作を実行する機能を有してもよい。
ユーザ端末50は、PU52、記憶装置54、通信機56、およびユーザインターフェース58を備えている。PU52は、CPU、GPU、およびTPU等の演算ユニットを含むソフトウェア処理装置である。PU52は、PU32に含まれる態様の演算ユニットを含んでよい。記憶装置54は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体を備える。記憶装置54には、アプリケーションプログラム54aが記憶されている。アプリケーションプログラム54aは、画像評価装置30から送信されるCM動画データを再生するプログラムである。通信機56は、ネットワーク20を介して画像評価装置30との通信を可能とするための機器である。ユーザインターフェース58は、表示装置等を備える。
The
The
「画像評価処理」
画像評価装置30のPU32は、業者端末10から送信されたCM動画データがユーザ端末50によって再生して問題ないデータであるか否かを評価する。
"Image evaluation processing"
The
図2は、再生して問題ないデータの定義の一例を示す。図2には、身体の部分のうち、所定部位に、マーキングがなされている。すなわち、部分「3」~「5」によって定義される胸部にマーキングがなされている。また、人体の正面視において、部分「10」、「11」、「18」によって定義される「正面下腹部」にマーキングがなされている。また、人体の背面における部分「12~14」,「18」によって定義される「尻部」にマーキングがなされている。PU32は、人の画像のうち図2にマーキングした箇所が顕著に露出した画像については、再生して問題がある画像であると評価する。 Figure 2 shows an example of the definition of data that can be played back without problems. In Figure 2, markings are placed on specific parts of the body. That is, markings are placed on the chest, defined by parts "3" to "5." Also, when viewed from the front of the body, markings are placed on the "front lower abdomen," defined by parts "10," "11," and "18." Also, markings are placed on the "buttocks," defined by parts "12 to 14" and "18" on the back of the body. PU32 evaluates images of people in which the parts marked in Figure 2 are noticeably exposed as images that pose problems when played back.
図3に、画像評価装置30によって実行される、図2に示した基準に沿った評価に基づいてCM動画データがユーザ端末50によって選択的に表示されることを支援する処理の手順を示す。図3に示す処理は、記憶装置34に記憶された画像評価プログラム34aを、PU32がたとえば所定周期でくり返し実行することにより実現される。なお、以下では、先頭に「S」が付与された数字によって各処理のステップ番号を表現する。
Figure 3 shows the procedure for a process executed by the
図3に示す一連の処理において、PU32は、まず、業者端末10から送信されたCM動画データを取得する(S10)。なお、ここで、「取得」は、記憶装置34に記憶されたCM動画データのうちの1つを選択的に読み出すことを意味する。この処理の前に、PU32は、通信機36を介して業者端末10から送信されたCM動画データを受信する。そして、PU32は、受信したCM動画データを記憶装置34に記憶する。
In the series of processes shown in FIG. 3, the
次にPU32は、CM動画データのフレームを指定する変数iを初期化する(S12)。この処理は、変数iを、CM動画データの先頭のフレームを指定する値とするための処理である。次に、PU32は、フレームデータFDを、N個周期で3個サンプリングする(S14)。すなわち、PU32は、フレームデータFD(i)、FD(i+N)、FD(i+2N)をサンプリングする。なお、フレームデータFD(1),FD(2),FD(3),…は、CM動画データの再生順序に従ったフレームデータFDの時系列を示す。詳しくは、フレームデータFDの後のカッコ内の数字が大きいほど、時系列的に後に再生されるフレームデータFDであることを示す。ちなみに、フレームデータFDは、レッド、グリーン、ブルーの3原色のそれぞれの輝度を示す「w×h」の画素数を有した2次元データである。ここで、「w」および「h」は自然数である。なお、以下では、上記3原色を適宜、「R,G,B」と表現する。 Next, PU32 initializes a variable i that specifies a frame of the CM video data (S12). This process is for setting the variable i to a value that specifies the first frame of the CM video data. Next, PU32 samples three pieces of frame data FD at an N-piece period (S14). That is, PU32 samples frame data FD(i), FD(i+N), FD(i+2N). Note that frame data FD(1), FD(2), FD(3), ... indicate the time series of frame data FD according to the playback order of the CM video data. In more detail, the larger the number in parentheses after the frame data FD, the later the frame data FD is played in the chronological order. Incidentally, frame data FD is two-dimensional data having a pixel count of "w x h" that indicates the luminance of each of the three primary colors, red, green, and blue. Here, "w" and "h" are natural numbers. In the following, the three primary colors will be referred to as "R, G, B" where appropriate.
そして、PU32は、フレームデータFD(i)、FD(i+N)、FD(i+2N)のそれぞれを評価するフレーム評価処理を実行する(S16)。
図4に、フレーム評価処理の詳細を示す。
Then, the
FIG. 4 shows the frame evaluation process in detail.
図4に示す一連の処理において、PU32は、1つのフレームデータFDを、露出度識別モデルM10に入力する(S30)。露出度識別モデルM10は、フレームデータFDが示す人の露出度を示す変数である露出度変数ye1,ye2,…の値を出力する。ここで、露出度変数ye1は、顔と手以外が衣類に覆われているなど身体の露出が特に問題ない状態であることを示す。露出度変数ye2は、胸部、正面下腹部、および尻部の少なくとも1つが露出している状態を示す。露出度変数ye3は、胸部が部分的に露出している状態を示す。詳しくは、胸部のうちの部分「4」および部分「5」については衣類で覆われているものの、部分「3」が露出している状態を示す。露出度識別モデルM10が出力する露出度変数は、5個以上であってよい。それらには、たとえば、正面下腹部のうちの部分「11」および部分「18」が衣類で覆われているものの、部分「10」が露出している状態等を示す値がある。なお、露出度変数ye1,ye2,…の値は、対応する露出度である確率を示す。たとえば、露出度変数ye1の値は、身体の露出が特に問題ない状態である確率を示す。なお、「露出している状態」とは、透明度の高い衣類で覆われている状態等の身体の表面が肉眼で視認しうる状態をさしてもよい。 In the series of processes shown in FIG. 4, PU32 inputs one frame data FD to the exposure identification model M10 (S30). The exposure identification model M10 outputs the values of exposure variables ye1, ye2, ... which are variables indicating the exposure of the person indicated by the frame data FD. Here, the exposure variable ye1 indicates a state in which the body is not particularly exposed, such as the face and hands being covered by clothing. The exposure variable ye2 indicates a state in which at least one of the chest, the front lower abdomen, and the buttocks is exposed. The exposure variable ye3 indicates a state in which the chest is partially exposed. In more detail, it indicates a state in which parts "4" and "5" of the chest are covered by clothing, but part "3" is exposed. The exposure identification model M10 may output five or more exposure variables. For example, there is a value indicating a state in which part "11" and part "18" of the lower front abdomen are covered by clothing, but part "10" is exposed. The values of the exposure degree variables ye1, ye2, ... indicate the probability of the corresponding exposure degree. For example, the value of the exposure degree variable ye1 indicates the probability that the exposure of the body is not particularly problematic. The "exposed state" may refer to a state in which the surface of the body is visible to the naked eye, such as a state in which the body is covered by highly transparent clothing.
露出度識別モデルM10は、例として、教師あり学習によって学習された学習済みモデルである。露出度識別モデルM10は、たとえば、上記露出度変数ye1,ye2,ye3,…のそれぞれに該当するフレームデータを訓練データとして学習されたモデルである。露出度識別モデルM10は、たとえばニューラルネットワーク(以下、NNと記載)を利用する(含む)モデルであってよい。その場合、露出度識別モデルM10を構成するNNの出力活性化関数は、例として、ソフトマックス関数であってよい。露出度識別モデルM10は、教師なし学習によって学習された学習済みモデルであってよく、半教師あり学習によって学習された学習済みモデルであってもよい。 The exposure level identification model M10 is, for example, a trained model trained by supervised learning. The exposure level identification model M10 is, for example, a model trained using frame data corresponding to each of the above exposure level variables ye1, ye2, ye3, ... as training data. The exposure level identification model M10 may be, for example, a model that uses (includes) a neural network (hereinafter referred to as NN). In this case, the output activation function of the NN that constitutes the exposure level identification model M10 may be, for example, a softmax function. The exposure level identification model M10 may be a trained model trained by unsupervised learning, or may be a trained model trained by semi-supervised learning.
露出度識別モデルM10は、図1に示した記憶装置34に記憶された前景識別写像データ34bによって規定される。前景識別写像データ34bは、パラメトリックモデルである識別モデルの学習済みのパラメータの値を含むデータである。すなわち、たとえば、露出度識別モデルM10が畳み込みニューラルネットワーク(以下、CNNと記載)の場合、前景識別写像データ34bは、畳み込み処理に用いる各フィルタの値を含む。また、CNNが全結合レイヤ等を含む場合、前景識別写像データ34bは、全結合レイヤの重みを示すパラメータの値を含む。
The exposure discrimination model M10 is defined by foreground
またたとえば、露出度識別モデルM10が、Transformerベースのモデル(トランスフォーマエンコーダを備えるモデル)を利用(含む)してよい。この場合、前景識別写像データ34bは、次のデータを含んでもよい。たとえば、前景識別写像データ34bは、フレームデータFDを分割した各パッチを1次元のベクトルに変換する変換行列の成分の値を含んでよい。またたとえば、前景識別写像データ34bは、上記1次元のベクトルに変換された各パッチを、キー、クエリ、およびバリューの各ベクトルに変換する行列の値を含んでもよい。また、たとえば、前景識別写像データ34bは、1次元に変換されたパッチに埋め込む位置情報のデータを含んでもよい。なお、上記変換行列および位置情報データは、学習済みのデータであってもよい。ただし、これは、必ずしも上述した学習過程において学習された値である必要はない。たとえば、上記学習過程をファインチューニングとして且つ、それ以前に行われる学習においてのみ学習された値としてもよい。
For example, the exposure identification model M10 may use (include) a transformer-based model (a model with a transformer encoder). In this case, the foreground
なお、露出度識別モデルM10がNNの場合、前景識別写像データ34bは、活性化関数を規定するデータを含んでもよい。ただし、たとえば活性化関数を規定するデータは、画像評価プログラム34aに含めてもよい。
When the exposure identification model M10 is a neural network, the foreground
PU32は、S30の処理を完了する場合、露出度変数ye1,ye2,ye3,…のうちの値が最大となるものを、露出度変数Vepに代入する(S32)。ここで、露出度変数ye1,ye2,ye3,…の値は、ソフトマックス関数の出力値等であることから、最大値となるものを特定できる。S32の処理は、露出度変数ye1,ye2,ye3,…のうちの値が最大となるもののラベル変数自体を露出度変数Vepに代入する処理である。すなわち、たとえば露出度変数ye1の値が最大値の場合、露出度変数Vepに、ラベル変数としての露出度変数ye1を代入する。 When completing the processing of S30, PU32 assigns the exposure variable Vep with the maximum value among the exposure variables ye1, ye2, ye3, ... (S32). Here, the values of the exposure variables ye1, ye2, ye3, ... are output values of a softmax function, etc., so the maximum value can be identified. The processing of S32 is a process of assigning the label variable itself of the exposure variable ye1, ye2, ye3, ... with the maximum value to the exposure variable Vep. That is, for example, when the value of the exposure variable ye1 is the maximum value, the exposure variable ye1 as a label variable is assigned to the exposure variable Vep.
次にPU32は、フレームデータFDを、背景識別モデルM12に入力することによって、背景識別変数yb1,yb2,…の値を算出する(S34)。背景識別変数yb1,yb2,…は、フレームデータFDが示す画像のうちの人以外の部分である背景の状態を識別するための変数である。なお、背景識別変数yb1,yb2,…の値は、背景の状態が該当する状態である確率を示す。 Next, PU32 inputs the frame data FD into the background identification model M12 to calculate the values of background identification variables yb1, yb2, ... (S34). The background identification variables yb1, yb2, ... are variables for identifying the state of the background, which is the part of the image represented by the frame data FD other than people. The values of the background identification variables yb1, yb2, ... indicate the probability that the background state is the corresponding state.
背景識別モデルM12は、例として、教師あり学習によって学習された学習済みモデルである。背景識別モデルM12は、たとえば、上記背景識別変数yb1,yb2,yb3,…のそれぞれに該当するフレームデータを訓練データとして学習されたモデルである。背景識別モデルM12は、たとえばNNであってよい。その場合、背景識別モデルM12を構成するNNの出力活性化関数は、例として、ソフトマックス関数であってよい。背景識別モデルM12は、教師なし学習によって学習された学習済みモデルであってよく、半教師あり学習によって学習された学習済みモデルであってもよい。 The background identification model M12 is, for example, a trained model trained by supervised learning. The background identification model M12 is, for example, a model trained using frame data corresponding to each of the above background identification variables yb1, yb2, yb3, ... as training data. The background identification model M12 may be, for example, a NN. In that case, the output activation function of the NN constituting the background identification model M12 may be, for example, a softmax function. The background identification model M12 may be a trained model trained by unsupervised learning, or may be a trained model trained by semi-supervised learning.
背景識別モデルM12は、図1に示した記憶装置34に記憶された背景識別写像データ34cによって規定される。背景識別写像データ34cは、パラメトリックモデルである識別モデルの学習済みのパラメータの値を含むデータである。なお、背景識別モデルM12がNNの場合、背景識別写像データ34cは、活性化関数を規定するデータを含んでもよい。ただし、たとえば活性化関数を規定するデータは、画像評価プログラム34aに含めてもよい。なお、背景識別モデルM12がNNの場合、NNの具体的な構成は、露出度識別モデルM10の説明において例示した構成としてもよい。また、背景識別写像データ34cは、前景識別写像データ34bの説明において示したように、モデルに応じて適宜構成される。ちなみに、背景識別モデルM12を構成するアーキテクチャと露出度識別モデルM10を構成するアーキテクチャとが同一であることは必須ではない。
The background identification model M12 is defined by background
PU32は、S34の処理を完了する場合、背景識別変数yb1,yb2,yb3,…のうちの値が最大となるものを、背景識別変数Vbgに代入する(S36)。S36の処理は、背景識別変数yb1,yb2,yb3,…のうちの値が最大となるもののラベル変数自体を背景識別変数Vbgに代入する処理である。 When completing the process of S34, PU32 assigns the background identification variable yb1, yb2, yb3, ..., whose value is the maximum, to the background identification variable Vbg (S36). The process of S36 is a process of assigning the label variable itself of the background identification variable yb1, yb2, yb3, ..., whose value is the maximum, to the background identification variable Vbg.
そして、PU32は、露出度変数Vepと背景識別変数Vbgとに基づき、フレームデータFDが胸部、正面下腹部、および尻部の異常な露出がない画像を示すか否かを評価する(S38)。PU32は、記憶装置34に記憶されたルールベースデータ34dの規定に従って、異常の有無を評価する。図4には、ルールベースデータ34dの規定の一部を例示している。
Then, based on the exposure degree variable Vep and the background identification variable Vbg,
図4に「OK」と記載しているのは、胸部、正面下腹部、および尻部の異常な露出がない旨評価がなされることを意味する。この評価を、OK判定と称する。図4に「NG」と記載しているのは、胸部、正面下腹部、および尻部の少なくとも1つに異常な露出がある旨評価がなされることを意味する。以下では、この判定を、NG判定と称する。 In Figure 4, "OK" means that the evaluation indicates that there is no abnormal exposure of the chest, front lower abdomen, or buttocks. This evaluation is referred to as an OK judgment. In Figure 4, "NG" means that the evaluation indicates that there is abnormal exposure of at least one of the chest, front lower abdomen, and buttocks. Hereinafter, this judgment is referred to as an NG judgment.
上述したように、露出度変数ye1は、露出部が顔および手のみである場合等、フレームデータFDが示す人のそれぞれの着衣状態に問題がないことを示す。そのため、ルールベースデータ34dは、露出度変数Vepの値が「ye1」である場合、背景識別変数Vbgの値にかかわらず、OK判定をすべきことを規定している。また、露出度変数ye2は、胸部、正面下腹部、および尻部の少なくとも1つが顕著に露出している状態を示す。そのため、ルールベースデータ34dは、露出度変数Vepの値が「ye2」である場合、背景識別変数Vbgの値にかかわらず、NG判定をすべきことを規定している。
As described above, the exposure variable ye1 indicates that there is no problem with the clothing state of each person indicated by the frame data FD, such as when only the face and hands are exposed. Therefore, the rule-based
これに対し、露出度変数ye3は、胸部のうちの部分「4」および部分「5」については衣類で覆われているものの、部分「3」が露出している状態を示す。こうした状態は、海水浴場において人がある程度露出度の大きい水着を着ている場合等において生じうる。また、こうした状態は、スポーツジムにおいて、人がある程度露出度の大きいトレーニングウェアを着ている場合等において生じうる。また、こうした状態は、ベッドルームにおいて人がセクシーな下着のみを身にまとっている場合にも生じうる。ここで挙げた例のうち、始めの2つの例と残りの1つの例とは、性格が異なる。そこで、ルールベースデータ34dは、始めの2つの例についてはOK判定をする一方、残りの1つの例についてはNG判定をするように規定する。具体的には、ルールベースデータ34dは、背景識別変数Vbgの値が「yb1,yb2」である場合、OK判定をするように規定する。ここで、背景識別変数yb1は、背景が、例として、屋外プール、屋内プール、川、湖、浜辺、海水浴場または海等、水遊びまたは水泳をする場所であることを示す。また、背景識別変数yb2は、背景が、例として、スポーツジム、またはテニスコート等の水泳以外のスポーツをする場所であることを示す。一方、ルールベースデータ34dは、背景識別変数Vbgの値が「yb3」である場合、NG判定をするように規定する。ここで、背景識別変数yb3は、背景が、例として、キッチン、リビングルームまたはベッドルーム等の所定の室内であることを示す。ルールベースデータ34dにおいて、OK判定またはNG判定の根拠として扱われる、露出度変数および背景識別変数等の各種変数の組み合わせは明示的に予め定められてよい。
In contrast, the exposure variable ye3 indicates a state in which parts "4" and "5" of the chest are covered with clothing, but part "3" is exposed. This state may occur when a person is wearing a swimsuit that is somewhat revealing at the beach. This state may also occur when a person is wearing training wear that is somewhat revealing at a sports gym. This state may also occur when a person is wearing only sexy underwear in a bedroom. Of the examples given here, the first two examples and the remaining one are different in nature. Therefore, the rule-based
PU32は、S38の処理を完了する場合、図3のS16の処理を完了する。
図3に戻り、PU32は、フレームデータFD(i),FD(i+N),FD(i+2N)のうちの2つ以上についてOK判定がなされたか否かを判定する(S18)。そして、PU32は、OK判定が1つ以下であると判定する場合(S18:NO)、S10の処理によって取得したCM動画データの配信(送信)を禁止する(S20)。S18の処理において否定判定されることは、CM動画データに、胸部、正面下腹部、および尻部の少なくとも1つに異常な露出がある旨の最終的な判定がなされたことを意味する。
When the
Returning to Fig. 3, the
一方、PU32は、OK判定が2つ以上であると判定する場合(S18:YES)、変数iに「N」を加算する(S22)。そしてPU32は、フレームデータFD(i+2N)が存在するか否かを判定する(S24)。この処理は、CM動画データの全てについてS16の処理を完了したか否かを判定する処理である。PU32は、フレームデータFD(i+2N)が存在すると判定する場合(S24:YES)、S14の処理に戻る。一方、PU32は、フレームデータFD(i+2N)が存在しないと判定する場合(S24:NO)、CM動画データを配信可能とする(S26)。すなわち、PU32は、ユーザ端末50からのリクエストに応じてCM動画データを配信する。
On the other hand, if
なお、PU32は、S20,S26の処理を完了する場合、図3に示した一連の処理を一旦終了する。
ここで、本実施形態の作用および効果について説明する。
When the
Here, the operation and effects of this embodiment will be described.
PU32は、フレームデータFDを露出度識別モデルM10に入力することによって、露出度変数Vepの値を算出する。また、PU32は、フレームデータFDを背景識別モデルM12に入力することによって、背景識別変数Vbgの値を算出する。そしてPU32は、露出度変数Vepの値と、背景識別変数Vbgの値とに基づき、フレームデータFDを評価する。 PU32 calculates the value of the exposure variable Vep by inputting the frame data FD to the exposure identification model M10. PU32 also calculates the value of the background identification variable Vbg by inputting the frame data FD to the background identification model M12. PU32 then evaluates the frame data FD based on the value of the exposure variable Vep and the value of the background identification variable Vbg.
ここで、PU32は、フレームデータFDが示す画像中の人の着衣状態に明らかな異常がある場合と明らかに異常がない場合とには、背景識別変数Vbgの値にかかわらず、フレームデータFDを評価する。一方、PU32は、フレームデータFDが示す画像中の人の着衣状態がグレーゾーンにある場合、背景識別変数Vbgの値を参照しつつ、フレームデータFDを評価する。したがって、フレームデータFDが配信すべきでないデータであるか否かを適切に評価できる。 Here, PU32 evaluates frame data FD regardless of the value of background identification variable Vbg when there is a clear abnormality in the clothing state of the person in the image shown by frame data FD and when there is no clear abnormality. On the other hand, when the clothing state of the person in the image shown by frame data FD is in a gray zone, PU32 evaluates frame data FD while referring to the value of background identification variable Vbg. Therefore, it is possible to appropriately evaluate whether frame data FD is data that should not be distributed.
<第2の実施形態>
以下、第2の実施形態について、第1の実施形態との相違点を中心に図面を参照しつつ説明する。
Second Embodiment
The second embodiment will be described below with reference to the drawings, focusing on the differences from the first embodiment.
図5に、本実施形態にかかる画像評価装置30によって実行される、図2に示した基準に沿った評価に基づいてCM動画データがユーザ端末50によって選択的に表示されることを支援する処理の手順を示す。図5に示す処理は、記憶装置34に記憶された画像評価プログラム34aを、PU32がたとえば所定周期でくり返し実行することにより実現される。なお、図5において、図3に示した処理に対応する処理については、便宜上、同一のステップ番号を付与してその説明を省略する。
Figure 5 shows the procedure for a process executed by the
図5に示すように、PU32は、S18の処理において否定判定する場合(S18:NO)、CM動画データに制限指令を付与する(S20a)。そして、PU32は、S26の処理に移行する。
As shown in FIG. 5, if the
制限指令は、次の何れかの指令である。
・ユーザ端末50においてCM動画データが再生される場合、始めに警告をする指令である。これはユーザインターフェース58が備えるディスプレイに視覚情報を表示する処理としてもよい。またたとえば、ユーザインターフェース58が備えるスピーカから音声情報を出力する処理としてもよい。
A restriction directive is one of the following directives:
This is a command to give a warning at the beginning when CM video data is played back on the
・ユーザ端末50においてCM動画データが再生される場合、所定部位が露出しているシーンが再生される場合に再生画像にマスクをする指令である。マスクをする指令は、たとえば、再生画像に対して所定画像を重畳することでマスクをする指令であってもよい。また、たとえば、マスクをする指令は、再生画像に対してぼかし等のエフェクトを適用することでマスクをする指令であってもよい。またたとえば、マスクをする指令は、露出している所定部位の領域を少なくとも含む再生画像の一部に対して所定画像を重畳することでマスクをする指令であってもよい。またたとえば、露出している所定部位の領域を少なくとも含む再生画像の一部に対してばかし等のエフェクトを適用することでマスクをする指令であってもよい。
- A command to mask the playback image when a scene in which a specific part is exposed is played back when commercial video data is played back on the
・ユーザ端末50に対してなされる、CM動画データを再生してはいけない旨の指令である。これは、たとえばアプリケーションプログラム54aが、同指令を検知する場合にはCM動画データの再生をしない設定と組み合わせることが望ましい。
- A command issued to the
<第3の実施形態>
以下、第3の実施形態について、第1の実施形態との相違点を中心に図面を参照しつつ説明する。
Third Embodiment
Hereinafter, the third embodiment will be described with reference to the drawings, focusing on the differences from the first embodiment.
本実施形態では、前景識別写像データ34bによって規定される学習済みモデルを変更する。
図6に、フレーム評価処理の詳細を示す。図6に示す処理は、記憶装置34に記憶された画像評価プログラム34aを、PU32がたとえば所定周期でくり返し実行することにより実現される。なお、図6において、図4に示した処理に対応する処理については、便宜上、同一のステップ番号を付与する。
In this embodiment, the trained model defined by the foreground
The frame evaluation process is shown in detail in Fig. 6. The process shown in Fig. 6 is realized by the
図6に示す一連の処理において、PU32は、まず、フレームデータFDを人識別モデルM14に入力することによって、フレームデータFDの各画素に、人を示す領域か否かに応じたラベル変数の値を付与する(S40)。人識別モデルM14は、セマンティックセグメンテーションを実行するモデルである。 In the series of processes shown in FIG. 6, the PU32 first inputs the frame data FD to the person identification model M14, thereby assigning to each pixel of the frame data FD a label variable value according to whether or not the pixel is an area that indicates a person (S40). The person identification model M14 is a model that performs semantic segmentation.
人識別モデルM14は、例として、教師あり学習によって学習された学習済みモデルである。人識別モデルM14は、たとえば、画素領域のそれぞれに、人を示す場合とそうではない場合とで異なるラベル変数の値が付与されたフレームデータFDを訓練データとして学習されたモデルである。人識別モデルM14は、たとえばNNであってよい。その場合、人識別モデルM14を構成するNNの出力活性化関数は、ソフトマックス関数であってよい。人識別モデルM14は、教師なし学習によって学習された学習済みモデルであってよく、半教師あり学習によって学習された学習済みモデルであってもよい。なお、人識別モデルM14がNNの場合、NNの具体的な構成は、露出度識別モデルM10の説明において例示した構成としてもよい。 The person identification model M14 is, for example, a trained model trained by supervised learning. The person identification model M14 is, for example, a model trained using frame data FD in which each pixel region is assigned a different label variable value depending on whether it represents a person or not, as training data. The person identification model M14 may be, for example, a NN. In this case, the output activation function of the NN constituting the person identification model M14 may be a softmax function. The person identification model M14 may be a trained model trained by unsupervised learning, or may be a trained model trained by semi-supervised learning. Note that when the person identification model M14 is a NN, the specific configuration of the NN may be the configuration exemplified in the description of the exposure identification model M10.
人識別モデルM14は、図1に示した記憶装置34に記憶された前景識別写像データ34bによって規定される。前景識別写像データ34bは、パラメトリックモデルである人識別モデルM14の学習済みのパラメータの値を含むデータである。前景識別写像データ34bは、人識別モデルM14に応じて適宜構成される。
The person identification model M14 is defined by foreground
次にPU32は、S40の処理によって人を示すラベル変数の値が付与された画素のうちの連続する画素の塊ごとに、予め定められた背景画像に埋め込む(S42)。ここで、PU32は、人を示すラベル変数の値が付与された画素のうちの連続する画素を、1人の人を示す画素と見なす。また、PU32は、人を示すラベル変数の値が付与された画素のうちの不連続な画素については、異なる人を示す画素であるとみなす。したがって、PU32は、S42の処理によって、フレームデータFDが示す人の数に応じた埋込画像データIMDを生成する。埋込画像データIMDのそれぞれは、R,G,Bの3つの画像データを含む。なお、上記背景画像は、たとえば無地の背景画像であってもよい。 Next, PU32 embeds each group of consecutive pixels among the pixels to which the label variable value indicating a person has been assigned by the process of S40 into a predetermined background image (S42). Here, PU32 regards consecutive pixels among the pixels to which the label variable value indicating a person has been assigned as pixels indicating one person. Also, PU32 regards discontinuous pixels among the pixels to which the label variable value indicating a person has been assigned as pixels indicating different people. Therefore, PU32 generates embedded image data IMD according to the number of people indicated by the frame data FD by the process of S42. Each embedded image data IMD includes three image data of R, G, and B. Note that the above background image may be, for example, a plain background image.
次にPU32は、S42の処理によって生成された画像データを、露出度識別モデルM10に入力することによって、露出度変数ye1,ye2,ye3,…の値を算出する(S30a)。そして、PU32は、S32の処理を実行する。 Next, PU32 inputs the image data generated by the process of S42 into the exposure identification model M10 to calculate the values of the exposure variables ye1, ye2, ye3, ... (S30a). Then, PU32 executes the process of S32.
続いてPU32は、フレームデータFDを衣類識別モデルM16に入力することによって、衣類変数yc1,yc2,…の値を算出する(S44)。
衣類識別モデルM16は、例として、教師あり学習によって学習された学習済みモデルである。衣類識別モデルM16は、たとえば、衣類変数yc1,yc2,yc3,…のそれぞれに該当するフレームデータを訓練データとして学習されたモデルである。衣類識別モデルM16は、たとえばNNであってよい。その場合、衣類識別モデルM16を構成するNNの出力活性化関数は、例として、ソフトマックス関数であってよい。衣類識別モデルM16は、教師なし学習によって学習された学習済みモデルであってよく、半教師あり学習によって学習された学習済みモデルであってもよい。なお、衣類識別モデルM16がNNの場合、NNの具体的な構成は、露出度識別モデルM10の説明において例示した構成としてもよい。
Next, the
The clothing identification model M16 is, for example, a trained model trained by supervised learning. The clothing identification model M16 is, for example, a model trained using frame data corresponding to each of the clothing variables yc1, yc2, yc3, ... as training data. The clothing identification model M16 may be, for example, a NN. In this case, the output activation function of the NN constituting the clothing identification model M16 may be, for example, a softmax function. The clothing identification model M16 may be a trained model trained by unsupervised learning, or may be a trained model trained by semi-supervised learning. Note that when the clothing identification model M16 is a NN, the specific configuration of the NN may be the configuration exemplified in the description of the exposure level identification model M10.
衣類識別モデルM16は、図1に示した記憶装置34に記憶された前景識別写像データ34bによって規定される。前景識別写像データ34bは、パラメトリックモデルである衣類識別モデルM16の学習済みのパラメータの値を含むデータである。また、前景識別写像データ34bは、衣類識別モデルM16に応じて適宜構成される。
The clothing identification model M16 is defined by foreground
次にPU32は、衣類変数yc1,yc2,…のうちの値が最大となるものを、衣類変数Vclに代入する(S46)。S46の処理は、衣類変数yc1,yc2,…のうちの値が最大となるもののラベル変数自体を、衣類変数Vclに代入する処理である。 Next, PU32 assigns the clothing variable yc1, yc2, ..., whose value is the maximum, to clothing variable Vcl (S46). The process of S46 is a process of assigning the label variable of the clothing variable yc1, yc2, ..., whose value is the maximum, to clothing variable Vcl.
次にPU32は、図7に示すように、S34,S36の処理を実行する。そしてPU32は、露出度変数Vepの値、衣類変数Vclの値および背景識別変数Vbgの値に応じて、フレームデータFDを評価する(S38a)。図7には、ルールベースデータ34dによって規定されるルールを例示している。
Then, the
ここで、衣類変数yc1は、公序良俗に反するラベルが付与された衣類を示す変数である。ルールベースデータ34dは、衣類変数Vclの値が「yc1」である場合、露出度変数Vepの値と背景識別変数Vbgの値とにかかわらず、NG判定をすべきことを規定する。また、ルールベースデータ34dは、衣類変数Vclの値が「yc1」以外であって且つ露出度変数Vepの値が「ye1」である場合、背景識別変数Vbgの値にかかわらず、OK判定をすべきことを規定する。また、ルールベースデータ34dは、露出度変数Vepの値が「ye2」である場合、衣類変数Vclの値および背景識別変数Vbgの値にかかわらず、NG判定をすべきことを規定する。
Here, the clothing variable yc1 is a variable that indicates clothing that has been given a label that violates public order and morals. The rule-based
一方、衣類変数yc2は、水着を示す変数である。ルールベースデータ34dは、露出度変数Vepの値が「ye3」であって且つ衣類変数Vclの値が「yc2」である場合、背景識別変数Vbgの値に応じて異なる評価を規定する。すなわち、ルールベースデータ34dは、背景識別変数Vbgの値が「yb1」である場合には、OK判定をすべきことを規定する。一方、ルールベースデータ34dは、背景識別変数Vbgの値が「yb3」である場合には、NG判定をすべきことを規定する。
On the other hand, the clothing variable yc2 is a variable that indicates a swimsuit. When the value of the exposure variable Vep is "ye3" and the value of the clothing variable Vcl is "yc2", the rule-based
また、衣類変数yc3は、スポーツウェアを示す変数である。ルールベースデータ34dは、露出度変数Vepの値が「ye3」であって且つ衣類変数Vclの値が「yc3」である場合、背景識別変数Vbgの値に応じて異なる評価を規定する。すなわち、ルールベースデータ34dは、背景識別変数Vbgの値が「yb2」である場合には、OK判定をすべきことを規定する。一方、ルールベースデータ34dは、背景識別変数Vbgの値が「yb3」である場合には、NG判定をすべきことを規定する。
The clothing variable yc3 is a variable that indicates sportswear. When the value of the exposure variable Vep is "ye3" and the value of the clothing variable Vcl is "yc3", the rule-based
PU32は、S38aの処理を完了する場合、S40の処理によって生成された埋込画像データIMDの全てについて、OK判定またはNG判定の何れかの評価が完了したか否かを判定する(S46)。PU32は、未だ評価が完了していない領域がある場合(S46:NO)、S30aの処理に戻る。一方、PU32は、全ての評価が完了したと判定する場合(S46:YES)、S38aの評価の対象となった埋込画像データIMDにNG判定されたデータがあったか否かを判定する(S48)。PU32は、NG判定されたデータがあると判定する場合(S48:YES)、NG判定をする(S50)。これに対し、PU32は、NG判定されたデータがないと判定する場合(S48:NO)、OK判定をする(S52)。
When the processing of S38a is completed, the
なお、PU32は、S50,S52の処理を完了する場合、図3のS16の処理を完了する。
以上説明した本実施形態によれば、上記第1の実施形態において得られる作用および効果に準じた効果に加えて、さらに以下の作用および効果が得られる。
When the
According to the present embodiment described above, in addition to the effects and advantages similar to those obtained in the first embodiment, the following effects and advantages can be obtained.
(3-1)人の状態を識別する変数である前景識別変数を、露出度変数Vepと衣類変数Vclとの組によって構成した。これにより、フレームデータFDが示す人の状態が、CM動画データの配信にとって適切か否かをより詳細に評価できる。 (3-1) The foreground identification variable, which is a variable for identifying a person's state, is configured as a pair of the exposure variable Vep and the clothing variable Vcl. This allows for a more detailed evaluation of whether the state of a person indicated by the frame data FD is appropriate for the distribution of CM video data.
(3-2)PU32は、フレームデータFDの画素領域のうち、人を示す画素領域を、連続する領域毎に抽出して、所定の背景画像に埋め込んだ。そしてPU32は、所定の背景画像に埋め込まれた人の画像データである埋込画像データIMDを、露出度識別モデルM10および衣類識別モデルM16に入力した。これにより、フレームデータFDが示す画像に複数の人が含まれる場合、複数の人のそれぞれについて状態を評価できる。 (3-2) PU32 extracted pixel areas representing people from the pixel areas of frame data FD, one for each consecutive area, and embedded them in a specified background image. PU32 then inputs embedded image data IMD, which is image data of the people embedded in the specified background image, to exposure identification model M10 and clothing identification model M16. In this way, when the image represented by frame data FD includes multiple people, it is possible to evaluate the condition of each of the multiple people.
<第4の実施形態>
以下、第4の実施形態について、第1の実施形態との相違点を中心に図面を参照しつつ説明する。
Fourth Embodiment
Hereinafter, the fourth embodiment will be described with reference to the drawings, focusing on the differences from the first embodiment.
本実施形態では、前景識別写像データ34bによって規定される学習済みモデルを変更する。
図8に、フレーム評価処理の詳細を示す。図8に示す処理は、記憶装置34に記憶された画像評価プログラム34aを、PU32がたとえば所定周期でくり返し実行することにより実現される。
In this embodiment, the trained model defined by the foreground
The frame evaluation process is shown in detail in Fig. 8. The process shown in Fig. 8 is realized by the
図8に示す一連の処理において、PU32は、まずフレームデータFDを身体識別モデルM18に入力することによって、フレームデータFDの各画素に関する身体識別変数の値を算出する(S60)。身体識別変数は、対応する画素が表現する身体の部分を特定するラベル変数である。このラベル変数は、少なくとも図2の部分「3~5,11~14,18」のそれぞれを識別する変数である。身体識別モデルM18は、セマンティックセグメンテーションを実行するモデルである。 In the series of processes shown in FIG. 8, PU32 first inputs the frame data FD into the body identification model M18 to calculate the value of the body identification variable for each pixel of the frame data FD (S60). The body identification variable is a label variable that identifies the part of the body represented by the corresponding pixel. This label variable is a variable that identifies at least each of the parts "3-5, 11-14, 18" in FIG. 2. The body identification model M18 is a model that performs semantic segmentation.
身体識別モデルM18は、例として、教師あり学習によって学習された学習済みモデルである。身体識別モデルM18は、たとえば、画素領域のそれぞれに、少なくとも図2の部分「3~5,11~14,18」のそれぞれを識別するラベル変数の値が付与されたフレームデータFDを訓練データとして学習されたモデルである。身体識別モデルM18は、たとえばNNであってよい。その場合、身体識別モデルM18を構成するNNの出力活性化関数は、ソフトマックス関数であってよい。身体識別モデルM18は、教師なし学習によって学習された学習済みモデルであってよく、半教師あり学習によって学習された学習済みモデルであってもよい。なお、身体識別モデルM18がNNの場合、NNの具体的な構成は、露出度識別モデルM10の説明において例示した構成としてもよい。 The body identification model M18 is, for example, a trained model trained by supervised learning. The body identification model M18 is, for example, a model trained by using frame data FD in which each pixel region is assigned a label variable value that identifies at least each of the portions "3 to 5, 11 to 14, and 18" in FIG. 2 as training data. The body identification model M18 may be, for example, a neural network. In this case, the output activation function of the neural network that constitutes the body identification model M18 may be a softmax function. The body identification model M18 may be a trained model trained by unsupervised learning, or may be a trained model trained by semi-supervised learning. Note that when the body identification model M18 is a neural network, the specific configuration of the neural network may be the configuration exemplified in the description of the exposure identification model M10.
身体識別モデルM18は、図1に示した記憶装置34に記憶された前景識別写像データ34bによって規定される。前景識別写像データ34bは、パラメトリックモデルである身体識別モデルM18の学習済みのパラメータの値を含むデータである。また、前景識別写像データ34bは、身体識別モデルM18に応じて適宜構成される。
The body identification model M18 is defined by foreground
次にPU32は、フレームデータFDを、着衣識別モデルM20に入力することによって、フレームデータFDが示す各画素に関する着衣識別変数の値を算出する(S62)。着衣識別変数は、対応する画素が、皮膚であるか衣類であるかそれ以外であるかを識別するラベル変数である。着衣識別モデルM20は、セマンティックセグメンテーションを実行するモデルである。 Next, PU32 inputs the frame data FD into the clothing identification model M20 to calculate the value of the clothing identification variable for each pixel indicated by the frame data FD (S62). The clothing identification variable is a label variable that identifies whether the corresponding pixel is skin, clothing, or something else. The clothing identification model M20 is a model that performs semantic segmentation.
着衣識別モデルM20は、例として、教師あり学習によって学習された学習済みモデルである。着衣識別モデルM20は、たとえば、画素領域のそれぞれに、少なくとも皮膚、衣類、およびそれら以外のそれぞれを識別するラベル変数の値が付与されたフレームデータFDを訓練データとして学習されたモデルである。着衣識別モデルM20は、たとえばNNであってよい。その場合、着衣識別モデルM20を構成するNNの出力活性化関数は、ソフトマックス関数であってよい。着衣識別モデルM20は、教師なし学習によって学習された学習済みモデルであってよく、半教師あり学習によって学習された学習済みモデルであってもよい。着衣識別モデルM20がNNの場合、NNの具体的な構成は、露出度識別モデルM10の説明において例示した構成としてもよい。 The clothing identification model M20 is, for example, a trained model trained by supervised learning. The clothing identification model M20 is, for example, a model trained using frame data FD in which each pixel region is assigned a label variable value that identifies at least skin, clothing, and other than them as training data. The clothing identification model M20 may be, for example, a neural network. In this case, the output activation function of the neural network that constitutes the clothing identification model M20 may be a softmax function. The clothing identification model M20 may be a trained model trained by unsupervised learning, or may be a trained model trained by semi-supervised learning. When the clothing identification model M20 is a neural network, the specific configuration of the neural network may be the configuration exemplified in the explanation of the exposure identification model M10.
着衣識別モデルM20は、図1に示した記憶装置34に記憶された前景識別写像データ34bによって規定される。前景識別写像データ34bは、パラメトリックモデルである着衣識別モデルM20の学習済みのパラメータの値を含むデータである。また、前景識別写像データ34bは、着衣識別モデルM20に応じて適宜構成される。
The clothing identification model M20 is defined by foreground
次にPU32は、胸部、正面下腹部、および尻部の少なくとも1つの領域に関する、着衣識別変数の値に、肌を示す値が含まれるか否かを判定する(S64)。ここで、胸部、正面下腹部、および尻部の少なくとも1つの領域は、身体識別変数の値によって、図2の部分「3~5,11~14,18」のいずれかを示す値が付与された領域である。S64の処理は、胸部、正面下腹部、および尻部の少なくとも一部が露出しているか否かを判定する処理である。PU32は、肌を示す値が存在すると判定する場合(64:YES)、着衣識別変数の値が肌を示す値となるのが、胸部のみであるか否かを判定する(S66)。 Next, PU32 determines whether or not the value of the clothing identification variable for at least one of the areas of the chest, the front lower abdomen, and the buttocks includes a value indicating skin (S64). Here, at least one of the areas of the chest, the front lower abdomen, and the buttocks is an area to which a value indicating any of the parts "3-5, 11-14, 18" in Figure 2 has been assigned depending on the value of the body identification variable. The process of S64 is a process for determining whether or not at least a part of the chest, the front lower abdomen, and the buttocks is exposed. If PU32 determines that a value indicating skin is present (64: YES), it determines whether or not the clothing identification variable value indicating skin is only for the chest (S66).
PU32は、上記肌を示す値となるのが胸部のみであると判定する場合(S66:YES)、図2に示した部分「4,5」に付与された着衣識別変数の値に肌を示す値が存在するか否かを判定する(S68)。そして、PU32は、肌を示す値が存在すると判定する場合(S68:YES)、露出度変数Vepに露出度変数ye2を代入する(S70)。S70の処理は、露出度変数Vepに、ラベル変数としての露出度変数ye2自体を代入する処理である。 When PU32 determines that only the chest has a value indicating skin (S66: YES), it determines whether or not a value indicating skin is present in the value of the clothing identification variable assigned to the portion "4, 5" shown in FIG. 2 (S68). Then, when PU32 determines that a value indicating skin is present (S68: YES), it assigns the exposure variable ye2 to the exposure variable Vep (S70). The process of S70 is a process of assigning the exposure variable ye2 itself as a label variable to the exposure variable Vep.
一方、PU32は、図2に示した部分「4,5」に付与された着衣識別変数の値に肌を示す値が存在しないと判定する場合(S68:NO)、S72の処理に移行する。PU32は、S72の処理において、図2に示した部分「4,5」に付与された着衣識別変数の値が衣類を示す値であるか否かを判定する(S72)。この処理は、図2に示した部分「4,5」が、衣類によって覆われているか否かを判定する処理である。PU32は、図2に示した部分「4,5」に付与された着衣識別変数の値が衣類を示す値であると判定する場合(S72:YES)、露出度変数Vepに、露出度変数ye3を代入する(S74)。すなわち、S72の処理において肯定判定される場合、フレームデータFDが示す人の状態は次の状態となっていると考えられる。すなわち、胸部、正面下腹部、および尻部のうち図2に示した部分「3」に限って、局所的に露出している状態である。 On the other hand, when PU32 determines that the value of the clothing identification variable assigned to the portion "4, 5" shown in FIG. 2 does not include a value indicating skin (S68: NO), it proceeds to the process of S72. In the process of S72, PU32 determines whether or not the value of the clothing identification variable assigned to the portion "4, 5" shown in FIG. 2 is a value indicating clothing (S72). This process is a process for determining whether or not the portion "4, 5" shown in FIG. 2 is covered by clothing. When PU32 determines that the value of the clothing identification variable assigned to the portion "4, 5" shown in FIG. 2 is a value indicating clothing (S72: YES), it assigns the exposure degree variable ye3 to the exposure degree variable Vep (S74). That is, when the process of S72 is determined to be positive, it is considered that the state of the person indicated by the frame data FD is the following state. That is, the state is that only the portion "3" shown in FIG. 2 among the chest, front lower abdomen, and buttocks is locally exposed.
このように、本実施形態では、身体識別変数の値によって、部分「3~5,11~14,18」であると特定された画素領域のそれぞれについて、着衣識別変数の値に応じて肌の露出の有無を判定する。そして、その判定結果に応じて露出度変数Vepの値を定める。 In this way, in this embodiment, for each pixel area identified as part "3-5, 11-14, 18" by the value of the body identification variable, a determination is made as to whether or not skin is exposed, depending on the value of the clothing identification variable. Then, the value of the exposure degree variable Vep is determined depending on the result of this determination.
なお、PU32は、露出度変数Vepの値が定まると、図4のS34~S38の処理を実行する。
<第5の実施形態>
以下、第5の実施形態について、第1の実施形態との相違点を中心に図面を参照しつつ説明する。
When the value of the exposure variable Vep is determined, the
Fifth embodiment
Hereinafter, the fifth embodiment will be described with reference to the drawings, focusing on the differences from the first embodiment.
本実施形態では、フレームデータFDの評価を、3通りとする。
図9に、本実施形態にかかる画像評価装置30によって実行される、CM動画データの評価処理の手順を示す。図9に示す処理は、記憶装置34に記憶された画像評価プログラム34aを、PU32がたとえば所定周期でくり返し実行することにより実現される。なお、図9において、図3に示した処理に対応する処理については、便宜上、同一のステップ番号を付与してその説明を省略する。
In this embodiment, the frame data FD is evaluated in three ways.
Fig. 9 shows the procedure of the evaluation process of CM video data executed by the
図9に示す一連の処理において、PU32は、S14の処理を完了する場合、フレーム評価処理を実行する(S16a)。
図6および図10に、S16aの処理の詳細を示す。なお、図10において、図7に示した処理に対応する処理については、便宜上、同一のステップ番号を付与している。
In the series of processes shown in FIG. 9, when the
The details of the process of S16a are shown in Figures 6 and 10. Note that in Figure 10, the processes corresponding to those shown in Figure 7 are given the same step numbers for convenience.
図10に示すように、PU32は、S36の処理を完了する場合、露出度変数Vep、衣類変数Vclおよび背景識別変数Vbgに応じてフレームデータFDを評価する(S38b)。ここでPU32は、ルールベースデータ34dに従って、フレームデータFDを評価する。
As shown in FIG. 10, when the
本実施形態にかかる衣類変数yc1は、公序良俗に反することが特に顕著なラベルが付与された衣類を示す。以下、これを「公序良俗違反ラベル第1類」と称する。ルールベースデータ34dは、衣類変数Vclの値が衣類変数yc1の場合、露出度変数Vepの値および背景識別変数Vbgの値にかかわらず、NG判定をすべきことを規定する。また、ルールベースデータ34dは、露出度変数Vepの値、衣類変数Vclの値、および背景識別変数Vbgの値のそれぞれが「ye3,yc2,yb1」の場合、OK2判定をすべきことを規定する。また、ルールベースデータ34dは、露出度変数Vepの値、衣類変数Vclの値、および背景識別変数Vbgの値のそれぞれが「ye3,yc3,yb2」の場合、OK1判定をすべきことを規定する。ここで、OK2判定は、OK1判定よりも、配信に制限を設けることが望ましい可能性が高い旨を示す。
The clothing variable yc1 in this embodiment indicates clothing to which a label that is particularly conspicuously against public order and morals has been attached. Hereinafter, this will be referred to as "
衣類変数yc4は、「公序良俗違反ラベル第1類」と比較して公序良俗に反する可能性が低いものの、学校等、特定のシチュエーションにおいては必ずしも許容されるとは限らないラベルが付与された衣類を示す。以下、これを、「公序良俗違反ラベル第2類」と称する。また、背景識別変数yb4は、校内を示す。ルールベースデータ34dは、露出度変数Vepの値、衣類変数Vclの値、および背景識別変数Vbgの値のそれぞれが「ye1,yc4,yb4」の場合、OK2判定をすべきことを規定する。一方、ルールベースデータ34dは、露出度変数Vepの値、および衣類変数Vclの値のそれぞれが「ye1,yc4」であっても、背景識別変数Vbgの値が「yb4」ではない場合、OK1判定をすべきことを規定する。これは、学校等においては好ましくない衣類の表示がある場合に、OK1判定よりも配信に制限を設けることが望ましい可能性があることを示す。
The clothing variable yc4 indicates clothing to which a label is attached that is less likely to violate public order and morals than the "Public Order and Morals
また、衣類変数yc5は、たとえばミニスカート等の所定の服装を示す。ルールベースデータ34dは、露出度変数Vepの値、衣類変数Vclの値、および背景識別変数Vbgの値のそれぞれが「ye1,yc5,yb4」の場合、OK2判定をすべきことを規定する。一方、ルールベースデータ34dは、露出度変数Vepの値、および衣類変数Vclの値のそれぞれが「ye1,yc5」であっても、背景識別変数Vbgの値が「yb4」ではない場合、OK1判定をすべきことを規定する。これは、学校等においては、上記所定の服装をまとった人の画像を含むCM動画データを、OK1判定よりも配信に制限を設けることが望ましい可能性があることを示す。
Furthermore, the clothing variable yc5 indicates a specified outfit such as a miniskirt. The rule-based
PU32は、S38bの処理を完了する場合、S42の処理によって生成された埋込画像データIMDの全てについて、S38bの処理が完了したか否かを判定する(S90)。そしてPU32は、未だS38bの処理が完了していない埋込画像データIMDが存在する場合(S90:NO)、図6のS30aの処理に戻る。一方、PU32は、S38bの処理がすべて完了したと判定する場合(S90:YES)、NG判定があるか否かを判定する(S92)。PU32は、NG判定があると判定する場合(S92:YES)、フレームデータFDに対して最終的なNG判定をする(S94)。これに対し、PU32は、NG判定がないと判定する場合(S92:NO)、OK2判定があるか否かを判定する(S96)。PU32は、OK2判定があると判定する場合、フレームデータFDに対して最終的なOK2判定をする(S98)。一方、PU32は、OK2判定がないと判定する場合(S96:NO)、フレームデータFDに対して最終的なOK1判定をする(S100)。
When the
なお、PU32は、S94,S98,S100の処理が完了する場合、図9のS16aの処理を完了する。
図9に戻り、PU32は、フレームデータFD(i),FD(i+N),FD(i+2N)のうちの1つ以上についてNG判定がなされたか否かを判定する(S80)。そして、PU32は、NG判定が1つ以上であると判定する場合(S80:YES)、CM動画データに対してNG判定をする(S82)。一方、PU32は、NG判定が「0」であると判定する場合(S80:NO)、フレームデータFD(i),FD(i+N),FD(i+2N)のうちの1つ以上についてOK2判定がなされたか否かを判定する(S84)。PU32は、1つ以上OK2判定がなされたと判定する場合(S84:YES)、CM動画データに対してOK2判定をする(S86)。一方、PU82は、OK2判定が「0」であると判定する場合(S84:NO)、変数iに「N」を加算する(S22)。そしてPU32は、フレームデータFD(i+2N)が存在するか否かを判定する(S24)。PU32は、フレームデータFD(i+2N)が存在すると判定する場合(S24:YES)、S14の処理に戻る。一方、PU32は、フレームデータFD(i+2N)が存在しないと判定する場合(S24:NO)、CM動画データに対してOK1判定をする(S88)。
When the processes of S94, S98, and S100 are completed, the
Returning to FIG. 9, the
図11に、ユーザ端末50において、ユーザが望む基準を満たす画像を表示することを支援する処理の手順を示す。図11に示す処理は、2つの処理よりなる。1つは、ユーザ端末50の記憶装置54に記憶されたアプリケーションプログラム54aをPU52が所定周期でくり返し実行することにより実現される処理である。もう1つは、画像評価装置30の記憶装置34に記憶された画像評価プログラム34aをPU32が所定周期でくり返し実行することにより実現される処理である。
Figure 11 shows the procedure for a process that supports displaying images that meet the criteria desired by a user on a
図11に示すように、ユーザ端末50のPU52は、ユーザから再生を許容するCM動画の基準についての要求を受け付ける(S110)。ここで、PU52は、ユーザインターフェース58が備える表示装置に、OK1判定のみを許容するか、OK1判定およびOK2判定を許容するかを選択可能である旨を表示する。S110の処理は、ユーザによるユーザインターフェース58への要求入力を受け付ける処理である。次に、PU52は、通信機56を操作することによって、ユーザの識別記号であるユーザIDと、要求された基準と、を送信する(S112)。
As shown in FIG. 11, the
これに対し、画像評価装置30のPU32は、ユーザIDと要求された基準とを受信する(S120)。そしてPU32は、ユーザIDと要求された基準とを記憶装置34に記憶する(S122)。そして、PU32は、CM動画データを評価する(S124)。S124の処理は、図9に示した処理である。
In response, the
そしてPU32は、通信機36を操作することによって、評価結果に応じて、ユーザ端末50(1),50(2),…のそれぞれに、要求された基準を満たす画像が表示可能なように画像データを送信する(S126)。すなわち、PU32は、OK1判定のCM動画データについては、全てのユーザ端末50に無条件でCM動画データを送信する。一方、PU32は、OK2判定のCM動画データについては、OK2判定を許容するユーザのユーザ端末50に無条件でCM動画データを送信する。これに対し、OK2判定を許容しないユーザのユーザ端末50には、OK2判定のCM動画データの送信を禁止してもよい。またこれに代えて、PU32は、S20aの処理と同様の処理を実行してもよい。一方、PU32は、NG判定のCM動画データについては、全てのユーザのユーザ端末にその動画データを送信することを禁止してもよい。またこれに代えて、PU32は、S20aの処理を実行してもよい。なお、PU32は、S126の処理を完了する場合、図11に示す一連の処理のうちのPU32が実行する処理を一旦終了する。
Then, the
一方、ユーザ端末50のPU52は、画像評価装置30から送信された画像データを受信する(S114)。ここで、PU52は、基準を満たすCM動画データについては無条件で再生する。また、基準を満たさないCM動画データを受信する場合、同CM動画データに付与された制限指令に応じて、警告を発するか、マスクをするか、再生を禁止するかする。
Meanwhile, the
なお、PU52は、S114の処理を完了する場合、図11に示す一連の処理のうちのPU52が実行する処理を一旦終了する。
<対応関係>
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。
When completing the process of S114, the
<Correspondence>
The correspondence between the matters in the above embodiment and the matters described in the "Means for solving the problem" column is as follows. In the following, the correspondence is shown for each number of the means for solving the problem described in the "Means for solving the problem" column.
[1,3,5,6,11]実行装置は、PU32に対応する。記憶装置は、記憶装置34に対応する。前景識別写像データは、前景識別写像データ34bに対応する。背景識別写像データは、背景識別写像データ34cに対応する。
[1,3,5,6,11] The execution unit corresponds to
前景識別写像は、図4においては、S30,S32の処理によって実現される写像に対応する。すなわち、フレームデータFDが入力されて露出度変数Vepの値を出力する写像に対応する。前景識別写像は、図6および図9においては、S30a,S32,S40~S46の処理によって実現される写像に対応する。すなわち、フレームデータFDが入力されて露出度変数Vepの値および衣類変数Vclの値を出力する写像に対応する。前景識別写像は、図8においては、図8に示す処理によって実現される写像に対応する。すなわち、フレームデータFDが入力されて露出度変数Vepの値を出力する写像に対応する。 In FIG. 4, the foreground identification mapping corresponds to the mapping realized by the processing of S30 and S32. That is, it corresponds to a mapping that receives frame data FD and outputs the value of the exposure variable Vep. In FIG. 6 and FIG. 9, the foreground identification mapping corresponds to the mapping realized by the processing of S30a, S32, and S40-S46. That is, it corresponds to a mapping that receives frame data FD and outputs the value of the exposure variable Vep and the value of the clothing variable Vcl. In FIG. 8, the foreground identification mapping corresponds to the mapping realized by the processing shown in FIG. 8. That is, it corresponds to a mapping that receives frame data FD and outputs the value of the exposure variable Vep.
前景識別変数は、図4および図8においては、露出度変数Vepに対応する。前景識別変数は、図6においては、露出度変数Vepおよび衣類変数Vclの組に対応する。
評価処理は、S38,S18~S24の処理、S38a,S18~S24の処理、および図9の処理に対応する。
The foreground identification variable corresponds to the exposure variable Vep in Fig. 4 and Fig. 8. The foreground identification variable corresponds to the set of the exposure variable Vep and the clothing variable Vcl in Fig. 6.
The evaluation process corresponds to the processes of S38, S18 to S24, S38a, S18 to S24, and the process of FIG.
[2]第1の値は、図4における「ye1」、「ye2」と、図7における「-,yc1」、「ye1,yc1以外」、「ye2,-」と、図10における「-,yc1」、「ye1,yc1、yc3以外」、「ye2,-」と、に対応する。第2の値は、図4における「ye3」と、図7における「ye3,yc2」,「ye3,yc3」と、図10における「ye3,yc2」、「ye3,yc3」、「ye1,yc4」、「ye1,yc5」と、に対応する。[4]衣類の種類を特定する値は、衣類変数Vclの値に対応する。 [2] The first value corresponds to "ye1" and "ye2" in FIG. 4, "-, yc1", "other than ye1, yc1", and "ye2, -" in FIG. 7, and "-, yc1", "other than ye1, yc1, yc3", and "ye2, -" in FIG. 10. The second value corresponds to "ye3" in FIG. 4, "ye3, yc2", and "ye3, yc3" in FIG. 7, and "ye3, yc2", "ye3, yc3", "ye1, yc4", and "ye1, yc5" in FIG. 10. [4] The value specifying the type of clothing corresponds to the value of the clothing variable Vcl.
[7]ユーザ端末は、ユーザ端末50(1),50(2),…に対応する。提供処理は、図3および図5のS26の処理と、図11のS124において要求基準を満たすと判定されたときのS126の処理とに対応する。制限処理は、図3のS20の処理、図5のS20aの処理、および図11のS124において要求基準を満たさないと判定されたときのS126の処理に対応する。[8,10]指示処理は、S110,S112の処理に対応する。[9]禁止処理は、S20の処理、および図11のS124において要求基準を満たさないと判定されたときのS126の処理に対応する。制限送信処理は、S20aの処理、および図11のS124において要求基準を満たさないと判定されたときのS126の処理に対応する。[12]画像評価プログラムは、画像評価プログラム34aに対応する。
[7] The user terminal corresponds to the user terminals 50(1), 50(2), .... The provision process corresponds to the process of S26 in Fig. 3 and Fig. 5, and the process of S126 when it is determined in S124 in Fig. 11 that the request criteria are met. The restriction process corresponds to the process of S20 in Fig. 3, the process of S20a in Fig. 5, and the process of S126 when it is determined in S124 in Fig. 11 that the request criteria are not met. [8, 10] The instruction process corresponds to the processes of S110 and S112. [9] The prohibition process corresponds to the process of S20 and the process of S126 when it is determined in S124 in Fig. 11 that the request criteria are not met. The restricted transmission process corresponds to the process of S20a and the process of S126 when it is determined in S124 in Fig. 11 that the request criteria are not met. [12] The image evaluation program corresponds to the
[13~15]提供工程は、図3および図6のS26の処理を実行する工程と、図11のS124において要求基準を満たすと判定されたときのS126の処理とを実行する工程に対応する。制限工程は、図3のS20の処理を実行する工程、図5のS20aの処理を実行する工程、および図11のS124において要求基準を満たさないと判定されたときのS126の処理を実行する工程に対応する。取得工程は、S10の処理に対応する。 [13-15] The providing process corresponds to the process of S26 in FIG. 3 and FIG. 6, and the process of S126 when it is determined in S124 in FIG. 11 that the required criteria are met. The restricting process corresponds to the process of S20 in FIG. 3, the process of S20a in FIG. 5, and the process of S126 when it is determined in S124 in FIG. 11 that the required criteria are not met. The acquiring process corresponds to the process of S10.
<その他の実施形態>
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
<Other embodiments>
This embodiment can be modified as follows: This embodiment and the following modifications can be combined with each other to the extent that no technical contradiction occurs.
「所定部位について」
再生して問題がある画像であるという評価の根拠である、1以上の身体の部分(所定の部位)は、胸部、正面下腹部、および尻部に限らず、例えば図2における身体の部分の少なくとも1つを含む態様で適宜、定義されてよい。また、一の実施形態において、上記根拠は、例えば図2における1の身体の部分の一部の態様で適宜、定義されてよい。具体的には、顔部を構成する唇,眼,髪等の身体の部分の一部が上記根拠となってもよい。
"Regarding specified parts"
The one or more body parts (predetermined parts) that are the basis for evaluating that the image is problematic when reproduced are not limited to the chest, the lower front abdomen, and the buttocks, and may be appropriately defined in a form including at least one of the body parts in Fig. 2. In one embodiment, the above-mentioned basis may be appropriately defined in the form of a part of one body part in Fig. 2. Specifically, the above-mentioned basis may be a part of a body part such as the lips, eyes, hair, etc. that constitute the face.
「衣類変数について」
・衣類変数が、水着とスポーツウェアとで互いに異なる値となることは必須ではない。水着、スポーツウェア等、胸部、正面下腹部、および尻部に限って覆っている所定の衣類を同じ変数値としてもよい。
"About clothing variables"
The clothing variables do not necessarily have to be different values for swimsuits and sportswear. The same variable values may be used for specific clothing such as swimsuits and sportswear that only cover the chest, lower front abdomen, and buttocks.
「背景識別変数について」
・背景識別変数が、プール、川、海と、スポーツジムとで互いに異なる値となることは必須ではない。たとえば、それらを同一の変数値としてもよい。
"About background identification variables"
The background identification variables do not necessarily have to be different values for a pool, a river, the sea, and a sports gym. For example, they may be set to the same variable value.
・たとえば、背景識別変数の値に、公序良俗を乱すポスター、アダルトグッズ等が含まれる場合の値を含めてもよい。
「衣類識別写像について」
・図6等には、衣類識別写像を構成する衣類識別モデルM16を複数の出力を有する単一のモデルとしたが、これに限らない。たとえば、衣類が水着であるか否かを識別するモデル、衣類がスポーツウェアであるか否かを識別するモデル等の複数の識別モデルとしてもよい。
For example, the value of the background identification variable may include a value in the case where posters that disturb public order and morals, adult goods, etc. are included.
"On clothing identification mapping"
6 and other figures, the clothing identification model M16 constituting the clothing identification map is a single model having multiple outputs, but this is not limited to this. For example, multiple identification models may be used, such as a model that identifies whether the clothing is a swimsuit, a model that identifies whether the clothing is sportswear, and so on.
・衣類識別写像を構成する衣類識別モデルM16の入力が、埋込画像データIMDであることは必須ではない。たとえば、フレームデータFDを入力としてもよい。その場合、フレームデータFDが示す画像中に複数の人が存在する場合、異常の度合いが最も大きくなる評価が最もなされやすくなる衣類の変数を指定するモデルとすればよい。具体的には、たとえば、OK判定とNG判定との2値的な判定をする場合、複数人のそれぞれが身に着けている衣類のうちのNG判定がされやすい衣類を指定すればよい。また、たとえば、OK1判定、OK2判定およびNG判定の3値の判定をする場合であってNG判定がされやすい衣類がある場合、NG判定がされやすい衣類を指定すればよい。また、たとえば、OK1判定、OK2判定およびNG判定の3値の判定をする場合であってNG判定がされやすい衣類がない場合、OK2判定がされやすい衣類を指定すればよい。 - The input of the clothing identification model M16 that constitutes the clothing identification mapping does not necessarily have to be the embedded image data IMD. For example, the frame data FD may be used as the input. In this case, if there are multiple people in the image shown by the frame data FD, the model may specify the variables of the clothing that is most likely to be evaluated as having the highest degree of abnormality. Specifically, for example, when making a binary judgment of OK and NG, it is sufficient to specify the clothing that is likely to be judged as NG among the clothing worn by each of the multiple people. Also, for example, when making a ternary judgment of OK1, OK2, and NG and there is clothing that is likely to be judged as NG, it is sufficient to specify the clothing that is likely to be judged as NG. Also, for example, when making a ternary judgment of OK1, OK2, and NG and there is no clothing that is likely to be judged as NG, it is sufficient to specify the clothing that is likely to be judged as OK2.
またたとえば、人の代表点の座標と、その人の衣類変数との双方を出力する回帰モデル兼識別モデルにフレームデータFDを直接入力してもよい。具体的には、このモデルは、予め定められた上限の人数「k」人について、k個の代表点の出力と、k個の衣類変数の値とを出力するモデルとしてもよい。その場合、フレームデータFDに含まれる人の数が「k」人に満たない場合、それらに対応する衣類変数の値が所定の値となるようにすればよい。このモデルは、「衣類識別写像について」の欄に記載した回帰モデル兼識別モデルとともに用いて好適である。 For example, the frame data FD may be directly input to a regression model and identification model that outputs both the coordinates of a person's representative points and the clothing variables of that person. Specifically, this model may output k representative points and k clothing variable values for a predetermined upper limit of "k" people. In that case, if the number of people included in the frame data FD is less than "k", the values of the clothing variables corresponding to those people may be set to predetermined values. This model is suitable for use together with the regression model and identification model described in the "Regarding clothing identification mapping" section.
「露出度識別写像について」
・露出度識別写像を構成する露出度識別モデルM10を、露出度に応じた複数の値を出力する単一モデルとすることは、必須ではない。たとえば、「ye1」相当であるか否かを識別するモデル、「ye2」相当であるか否かを識別するモデル等、複数の識別モデルとしてもよい。
"On the exposure discrimination map"
The exposure level identification model M10 constituting the exposure level identification mapping does not necessarily have to be a single model that outputs multiple values according to the exposure level. For example, multiple identification models such as a model that identifies whether or not the exposure level is equivalent to "ye1" and a model that identifies whether or not the exposure level is equivalent to "ye2" may be used.
・S30aの処理における露出度識別モデルM10の入力が埋込画像データIMDであることは必須ではない。たとえば、フレームデータFDを入力としてもよい。その場合、フレームデータFDが示す画像中に複数の人が存在する場合、異常の度合いが最も大きくなる評価が最もなされやすくなる露出度を示すモデルとすればよい。具体的には、たとえば、OK判定とNG判定との2値的な判定をする場合、複数人のうちのNG判定がされやすい人の露出度を示せばよい。また、たとえば、OK1判定、OK2判定およびNG判定の3値の判定をする場合であってNG判定がされやすい衣類がある場合、NG判定がされやすい露出度を示せばよい。また、たとえば、OK1判定、OK2判定およびNG判定の3値の判定をする場合であってNG判定がされやすい露出度の人が存在しない場合、OK2判定がされやすい人の露出度を示せばよい。 - It is not essential that the input of the exposure identification model M10 in the process of S30a is the embedded image data IMD. For example, the frame data FD may be used as the input. In that case, if there are multiple people in the image shown by the frame data FD, the model may be used to indicate the exposure level that is most likely to be evaluated as the highest degree of abnormality. Specifically, for example, when a binary judgment of OK judgment and NG judgment is made, it is sufficient to indicate the exposure level of the person who is most likely to be judged as NG among multiple people. Also, for example, when a ternary judgment of OK1 judgment, OK2 judgment, and NG judgment is made and there is clothing that is likely to be judged as NG, it is sufficient to indicate the exposure level that is likely to be judged as NG. Also, for example, when a ternary judgment of OK1 judgment, OK2 judgment, and NG judgment is made and there is no person with an exposure level that is likely to be judged as NG, it is sufficient to indicate the exposure level of the person who is likely to be judged as OK2.
またたとえば、人の代表点の座標と、その人の露出度変数との双方を出力する回帰モデル兼識別モデルにフレームデータFDを直接入力してもよい。具体的には、このモデルは、予め定められた上限の人数「k」人について、k個の代表点の出力と、k個の露出度変数の値とを出力するモデルとしてもよい。その場合、フレームデータFDに含まれる人の数が「k」人に満たない場合、それらに対応する露出度変数の値が所定の値となるようにすればよい。このモデルは、「衣類識別写像について」の欄に記載した回帰モデル兼識別モデルとともに用いて好適である。 For example, the frame data FD may be directly input to a regression model and identification model that outputs both the coordinates of a person's representative point and the exposure variable of that person. Specifically, this model may output k representative points and k exposure variable values for a predetermined upper limit of "k" people. In that case, if the number of people included in the frame data FD is less than "k", the values of the exposure variables corresponding to those people may be set to predetermined values. This model is suitable for use together with the regression model and identification model described in the "Regarding clothing identification mapping" section.
「露出度識別モデルの出力について」
・たとえば露出を問題とする所定部位が複数ある場合において、それら各部位ごとに、露出の有無を出力するモデルであってもよい。すなわち、たとえば、胸部、正面下腹部、および尻部の3つを所定部位とする場合、それらのそれぞれ毎に、露出の有無の判定結果を示す変数値を出力するようにしてもよい。これは、たとえば出力活性化関数を、ロジスティックシグモイド関数を所定部位の数である3個用意することによって実現できる。
"About the output of the exposure discrimination model"
For example, in a case where there are multiple predetermined parts that are problematic for exposure, the model may output whether each of the parts is exposed. That is, in a case where the three predetermined parts are the chest, the front lower abdomen, and the buttocks, for example, a variable value indicating the result of the determination of whether each of the parts is exposed may be output. This can be realized, for example, by preparing three logistic sigmoid functions as the output activation function, which is the number of predetermined parts.
「前景識別写像について」
・図6においては、露出度識別モデルM10および衣類識別モデルM16の2つの学習済みモデルを利用して前景識別写像を構成したが、これに限らない。たとえば、身体の露出度と衣類の種類との双方を識別するラベル変数を出力する単一の学習済みモデルを利用して前景識別写像を構成してもよい。これは、たとえば図6において、「ye1,yc1」に対応するフレームデータFD、「ye1,yc1以外」に対応するフレームデータなどに各別の目標変数を付与した訓練データを用いて実現できる。
"On foreground discriminative mapping"
In Fig. 6, the foreground identification map is constructed using two trained models, the exposure identification model M10 and the clothing identification model M16, but this is not limited to the above. For example, the foreground identification map may be constructed using a single trained model that outputs label variables that identify both the exposure level of the body and the type of clothing. This can be realized, for example, by using training data in Fig. 6 in which separate target variables are assigned to the frame data FD corresponding to "ye1, yc1" and the frame data corresponding to "other than ye1, yc1".
「前景識別処理について」
・S30の処理において、露出度識別モデルM10への入力データとしては、フレームデータFDに限らない。たとえば、R,G,Bの各画像データに代えて、モノクロの画像データを用いてもよい。またたとえば、フレームデータFDから人に関する画像領域を抽出して所定の背景画像に埋め込んだデータを入力してもよい。ここで、人に関する画像領域の抽出処理は、セマンティックセグメンテーションモデルを利用してPU32により実施する。
"About foreground classification processing"
In the process of S30, the input data to the exposure identification model M10 is not limited to the frame data FD. For example, monochrome image data may be used instead of the R, G, and B image data. Also, for example, data in which an image area related to a person is extracted from the frame data FD and embedded in a predetermined background image may be input. Here, the extraction process of the image area related to a person is performed by the
・S30aの処理において、露出度識別モデルM10への入力データとしては、R,G,Bの各画像データに限らない。たとえば、R,G,Bの各画像データに代えて、モノクロの画像データを用いてもよい。 - In the process of S30a, the input data to the exposure identification model M10 is not limited to R, G, and B image data. For example, monochrome image data may be used instead of R, G, and B image data.
・衣類識別モデルM16への入力データとしては、R,G,Bの各画像データに限らない。たとえば、R,G,Bの各画像データに代えて、モノクロの画像データを用いてもよい。 - The input data to the clothing identification model M16 is not limited to R, G, and B image data. For example, monochrome image data may be used instead of R, G, and B image data.
・身体識別モデルM18への入力データとしては、フレームデータFDに限らない。たとえば、R,G,Bの各画像データに代えて、モノクロの画像データを用いてもよい。またたとえば、フレームデータFDから人に関する画像領域を抽出して所定の背景画像に埋め込んだデータを入力してもよい。ここで、人に関する画像領域の抽出処理は、セマンティックセグメンテーションモデルを利用してPU32により実施する。 - The input data to the body identification model M18 is not limited to the frame data FD. For example, monochrome image data may be used instead of the R, G, and B image data. Also, for example, data in which an image area related to a person is extracted from the frame data FD and embedded in a specified background image may be input. Here, the process of extracting the image area related to a person is performed by PU32 using a semantic segmentation model.
・着衣識別モデルM20への入力データとしては、フレームデータFDに限らない。たとえば、R,G,Bの各画像データに代えて、モノクロの画像データを用いてもよい。またたとえば、フレームデータFDから人に関する画像領域を抽出して所定の背景画像に埋め込んだデータを入力してもよい。ここで、人に関する画像領域の抽出処理は、セマンティックセグメンテーションモデルを利用してPU32により実施する。 - The input data to the clothing identification model M20 is not limited to the frame data FD. For example, monochrome image data may be used instead of the R, G, and B image data. Also, for example, image areas related to people may be extracted from the frame data FD and embedded in a specified background image, and data may be input. Here, the process of extracting image areas related to people is performed by PU32 using a semantic segmentation model.
・たとえば、「露出度識別写像について」および「衣類識別写像について」の欄に記載したように、露出度識別モデルと衣類識別モデルとが上述の回帰モデル兼識別モデルの場合、次のようにすればよい。すなわち、露出度識別モデルが出力する代表点と衣類識別モデルが出力する代表点とを対応付ければよい。これにより、対応付けられた一対の代表点のそれぞれに紐づいている露出度変数と衣類変数とからS38a,S38bの処理を実行することができる。 - For example, as described in the "Regarding exposure identification mapping" and "Regarding clothing identification mapping" sections, if the exposure identification model and clothing identification model are the above-mentioned regression model and identification model, the following can be done. That is, the representative points output by the exposure identification model and the representative points output by the clothing identification model can be associated with each other. This makes it possible to execute the processes of S38a and S38b from the exposure variable and clothing variable linked to each of the associated pairs of representative points.
「背景識別処理について」
・背景識別モデルM12への入力データとしては、フレームデータFDに限らない。たとえば、R,G,Bの各画像データに代えて、モノクロの画像データを用いてもよい。またたとえば、フレームデータFDから背景に関する画像領域を抽出して所定の背景画像に埋め込んだデータを入力してもよい。ここで、背景に関する画像領域の抽出処理は、セマンティックセグメンテーションモデルを利用してPU32により実施する。
"Background Classification Processing"
The input data to the background identification model M12 is not limited to the frame data FD. For example, monochrome image data may be used instead of the R, G, and B image data. Also, for example, data in which an image region related to the background is extracted from the frame data FD and embedded in a predetermined background image may be input. Here, the process of extracting the image region related to the background is performed by the
「評価処理について」
・評価処理が、前景識別変数の値のみから異常か否かを評価する処理と、前景識別変数の値と背景識別変数の値との双方から異常か否かを評価する処理と、からなることは必須ではない。たとえば、前景識別変数の値にかかわらず、NG判定される処理を含めてもよい。この処理は、たとえば、背景識別変数の値に、「背景識別変数について」の欄に記載したように、アダルトグッズ等が含まれる場合の値が含まれる場合等において好適である。
"About evaluation processing"
The evaluation process does not necessarily have to consist of a process for evaluating whether or not there is an abnormality only from the value of the foreground identification variable, and a process for evaluating whether or not there is an abnormality from both the value of the foreground identification variable and the value of the background identification variable. For example, the evaluation process may include a process for NG judgment regardless of the value of the foreground identification variable. This process is suitable, for example, in the case where the value of the background identification variable includes a value that includes adult goods, etc., as described in the "About the background identification variable" section.
・複数のフレームにおいてそれらの一部且つ所定数以上異常がない旨の評価がなされる場合に異常がない旨の最終的な評価をすることは必須ではない。たとえば、所定周期でサンプリングされたフレームデータFDの全てがフレーム評価処理によってOKとされる場合に限って、最終的なOK判定をしてもよい。なお、ここで所定周期は、フレームの周期と等しくてもよい。 - If some or a predetermined number of frames are evaluated as being free of abnormalities, it is not necessary to make a final evaluation that there are no abnormalities. For example, a final OK judgment may be made only when all of the frame data FD sampled at a predetermined period is judged to be OK by the frame evaluation process. Note that the predetermined period here may be equal to the frame period.
「前景識別写像データについて」
・前景識別写像データが、パラメトリックモデルにおける学習済みのパラメータのみからなることは必須ではない。たとえば、特徴抽出器を規定するデータと、サポートベクトルとからなってもよい。ここで、特徴抽出器は、CNN等、フレームデータFD等を入力として特徴ベクトルを出力する学習済みモデルである。一方、サポートベクトルは、サポートベクトルマシンの学習によって選択されたベクトルである。すなわち、訓練データが特徴抽出器に入力されることによって出力される特徴ベクトルから学習過程でサポートベクトルを抽出する。そして、特徴抽出器を規定するパラメータとサポートベクトルとを、前景識別写像データとして記憶装置34に記憶する。
"Foreground discrimination mapping data"
The foreground identification mapping data does not necessarily have to consist of only trained parameters in a parametric model. For example, it may consist of data defining a feature extractor and support vectors. Here, the feature extractor is a trained model such as CNN that takes frame data FD as input and outputs feature vectors. Meanwhile, the support vector is a vector selected by training of a support vector machine. That is, support vectors are extracted during the learning process from feature vectors output by inputting training data into the feature extractor. Then, the parameters defining the feature extractor and the support vectors are stored in the
「背景識別写像データについて」
・背景識別写像データが、パラメトリックモデルにおける学習済みのパラメータのみからなることは必須ではない。たとえば、特徴抽出器を規定するデータと、サポートベクトルとからなってもよい。ここで、特徴抽出器は、CNN等、フレームデータFD等を入力として特徴ベクトルを出力する学習済みモデルである。一方、サポートベクトルは、サポートベクトルマシンの学習によって選択されたベクトルである。すなわち、訓練データが特徴抽出器に入力されることによって出力される特徴ベクトルから学習過程でサポートベクトルを抽出する。そして、特徴抽出器を規定するパラメータとサポートベクトルとを、背景識別写像データとして記憶装置34に記憶する。
"About background discrimination mapping data"
The background identification mapping data does not necessarily have to consist of only trained parameters in a parametric model. For example, it may consist of data defining a feature extractor and support vectors. Here, the feature extractor is a trained model such as CNN that takes frame data FD as input and outputs feature vectors. Meanwhile, the support vector is a vector selected by training of a support vector machine. That is, support vectors are extracted during the learning process from feature vectors output by inputting training data into the feature extractor. Then, the parameters defining the feature extractor and the support vectors are stored in the
「制限処理、制限工程について」
・S20aの処理としては、たとえば、再生画像のうち所定部位が露出している領域を少なくとも含む再生画像の一部に対して所定画像を重畳することでマスクをする指令であってよい。またたとえば、再生画像のうち所定部位が露出している領域を少なくとも含む再生画像の一部に対してぼかし等のエフェクトを適用することでマスクをする指令であってよい。すなわち、S20aの処理は、露出することが問題とされて且つ露出していると判定された所定部位が非表示となるような指令であればその態様に制限はない。なお、露出することが問題とされる所定部位のうちの実際に露出している領域は、たとえば露出度識別モデルM10の注視領域に基づき特定してもよい。
"About restricted processing and restricted processes"
The process of S20a may be, for example, a command to mask a part of the reproduced image including at least the area where the specified part is exposed by superimposing a specified image. Also, for example, a command to mask a part of the reproduced image including at least the area where the specified part is exposed by applying an effect such as blurring. That is, the process of S20a is not limited in its form as long as it is a command to hide the specified part that is considered to be problematic and is determined to be exposed. Note that the area that is actually exposed among the specified parts that are considered to be problematic to be exposed may be identified based on, for example, the gaze area of the exposure degree identification model M10.
・たとえば、PU32は、所定数の連続する複数のフレームデータFDのうち、OK判定がなされなかったフレームデータFDの数が所定数に満たない場合に、CM動画データの配信(送信)を禁止してもよい。その場合、PU32は、所定数の連続する複数のフレームデータFDのすべてにおいてOK判定がなされることを条件として、CM動画データの配信(送信)を行ってもよい。 - For example, PU32 may prohibit the distribution (transmission) of the CM video data if the number of frame data FD that has not been judged as OK among a predetermined number of consecutive frames of data FD does not reach a predetermined number. In this case, PU32 may distribute (transmit) the CM video data on the condition that all of the predetermined number of consecutive frames of data FD are judged as OK.
またたとえば、PU32は、所定数の連続する複数のフレームデータFDのうち、OK判定がなされなかったフレームデータFDの数が所定数である場合に、CM動画データの配信(送信)を禁止してもよい。その場合、PU32は、所定数の連続する複数のフレームデータFDの少なくとも一部においてOK判定がなされることを条件として、CM動画データの配信(送信)を行ってもよい。 For example, PU32 may prohibit the distribution (transmission) of CM video data when a predetermined number of consecutive frames of data FD are not judged as OK. In this case, PU32 may distribute (transmit) CM video data on the condition that at least a portion of the predetermined number of consecutive frames of data FD are judged as OK.
またたとえば、PU32は、所定数の連続する複数のフレームデータFDのうち、OK判定がなされなかった所定数に満たないフレームデータFDを挟んでOK判定がなされたフレームデータFDが連続する場合、CM動画データの配信(送信)を行ってもよい。 For example, PU32 may distribute (transmit) commercial video data when, among a predetermined number of consecutive frames of data FD, consecutive frames of data FD that have been judged as OK are sandwiched between frames of data FD that do not meet the predetermined number and have not been judged as OK.
なお、PU32は、所定数の連続する複数のフレームデータFDのうち、OK判定がなされた所定数に満たないフレームデータFDを挟んでOK判定がなされなかったフレームデータFDが連続する場合、CM動画データの配信(送信)を禁止してもよい。 In addition, PU32 may prohibit the distribution (transmission) of CM video data when, among a predetermined number of consecutive frames of data FD, there are consecutive frames of data FD that have not been judged as OK, sandwiched between frames of data FD that do not meet the predetermined number of frames that have been judged as OK.
・S20aの処理によってユーザ端末50において画像が表示されることを制限する処理にとって、図4に示すフレーム評価処理等によって評価がなされることは必須ではない。たとえば図6に示した処理、またはその変更例に示したフレーム評価処理等によって評価がなされる場合にS20aの処理を適用してもよい。またたとえば、図8に示した処理、またはその変更例に示したフレーム評価処理等によって評価がなされる場合にS20aの処理を適用してもよい。
- For the process of restricting the display of an image on the
・図11の処理において、S112,S120,S122の処理を省いてもよい。その場合、PU32は、OK2判定の場合、S126の処理において、OK2判定である旨を制限指令としてCM動画データに付与すればよい。その場合、ユーザ端末50のPU52は、S110の処理によって受け付けた基準と、制限指令とに応じてCM動画データを再生するか否か等を決定すればよい。
- In the process of FIG. 11, the processes of S112, S120, and S122 may be omitted. In that case, in the case of an OK2 judgment, the
・たとえばNG判定がなされたフレームを削除したCM動画データをユーザ端末50に送信してもよい。これによっても、ユーザ端末50において不適切な画像が表示されることを抑制できる。
- For example, commercial video data from which frames that have been judged as NG have been deleted may be transmitted to the
・ユーザ端末50に専用のアプリケーションプログラム54aが記憶されていることは必須ではない。たとえば、画像評価装置30から配信されたCM動画データを汎用のブラウザを利用して再生してもよい。
- It is not essential that the
「実行装置について」
・実行装置としては、PU32に限らない。たとえば、実行装置を、ASIC、およびFPGA等の専用のハードウェア回路としてもよい。すなわち、実行装置は、以下の(a)~(c)のいずれかの構成を備える処理回路を含んでいてもよい。(a)上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶する記憶装置等のプログラム格納装置とを備える処理回路。(b)上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路(ハードウェアアクセレータ)とを備える処理回路。(c)上記処理の全てを実行する専用のハードウェア回路を備える処理回路。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置は、複数であってもよい。また、専用のハードウェア回路は複数であってもよい。
"About the execution device"
The execution device is not limited to the
「画像評価装置について」
・画像評価装置が、画像を評価する処理と、評価結果をユーザ端末50に配信する処理との双方を行うことは必須ではない。たとえば、評価結果をユーザ端末50に配信する処理を、画像評価装置とは別の装置が実行してもよい。また、画像評価装置が業者端末10から送信された画像データを受信することも必須ではない。業者端末10から送信された画像データを受信して且つ画像評価装置に送信する装置を別途備えてもよい。
"About image evaluation devices"
It is not essential that the image evaluation device performs both the process of evaluating the image and the process of delivering the evaluation results to the
「コンピュータについて」
・画像評価プログラム34aを実行するコンピュータとしては、画像評価装置30が備えるPU32に限らない。たとえば、画像評価プログラム34aをユーザ端末50にインストールすることによって、ユーザ端末50のPU52を画像評価プログラム34aを実行するコンピュータとしてもよい。
"About Computers"
The computer that executes the
「そのほか」
・PU12が、PU32に含まれ得る態様の演算ユニットを含んでもよい。
・上記実施形態では、CM動画データとして、ストリーミング映像の態様でユーザ端末50に対して配信(送信)されるものを想定したが、これに限らない。たとえば、ライブストリーミングの態様のサービスでユーザ端末50に対してリアルタイムに配信(送信)されてよい。評価対象となる画像データは、CM動画データに限らない。たとえば、商品等の広告の用に供する動画に限らず、人(人物)の身体の少なくとも一部が含まれ得る動画であればその種別や異常判定の目的に制限はない。さらに、評価対象となる画像データは、たとえば任意の静止画像のデータであってもよい。
"others"
In the above embodiment, it is assumed that the CM video data is distributed (transmitted) to the
・PU32は、ルールベースデータ34dにおいて、OK判定またはNG判定の根拠として扱われる、明示的に予め定められた各種変数の組み合わせを、業者端末10および/またはユーザ端末50に対して、CM動画データの配信(送信)の前に通知してよい。また、PU32は、当該組み合わせを、業者端末10および/またはユーザ端末50に対して、CM動画データの配信(送信)中に通知してよい。また、PU32は、配信(送信)中のCM動画データのフレームデータFDについてNG判定の根拠となった各種変数の組み合わせを、業者端末10および/またはユーザ端末50に対して、通知してよい。なお、ここでの「通知」とは、業者端末10および/またはユーザ端末50に対するメッセージ送信の態様であってよく、業者端末10および/またはユーザ端末50において表示中のCM動画データに重畳させる表示処理の態様であってよい。
- The
10…業者端末
14…記憶装置
20…ネットワーク
30…画像評価装置
50…ユーザ端末
54…記憶装置
Reference Signs List 10: business operator terminal 14: storage device 20: network 30: image evaluation device 50: user terminal 54: storage device
Claims (14)
前記記憶装置には、前景識別写像データと、背景識別写像データと、が記憶され、
前記前景識別写像データは、前景識別写像を規定するためのデータであり、
前記前景識別写像は、前景識別変数の値を出力する写像であり、
前記前景識別変数は、評価対象の画像データが示す画像において人の状態を識別する変数であり、
前記背景識別写像データは、背景識別写像を規定するためのデータであり、
前記背景識別写像は、背景識別変数の値を出力する写像であり、
前記背景識別変数は、前記画像データが示す前記人の背景の種類を識別する変数であり、
前記実行装置は、前景識別処理、背景識別処理、および評価処理を実行するように構成され、
前記前景識別処理は、前記画像データを前記前景識別写像に入力することによって前記前景識別変数の値を出力する処理であり、
前記背景識別処理は、前記画像データを前記背景識別写像に入力することによって前記背景識別変数の値を識別する処理であり、
前記評価処理は、前記画像データに異常があるか否かを評価する処理であって且つ、前記前景識別変数の値が第1の値である場合には、前記背景識別変数の値にかかわらず異常があると評価して且つ、前記前景識別変数の値が前記第1の値とは別の第2の値である場合には、前記背景識別変数の値を加味して前記異常か否かを評価する処理を含む画像評価装置。 an execution unit and a storage unit;
The storage device stores foreground discrimination mapping data and background discrimination mapping data,
the foreground discrimination mapping data is data for defining a foreground discrimination mapping,
the foreground discrimination map is a map that outputs a value of a foreground discrimination variable,
The foreground classification variable is a variable for identifying a state of a person in an image represented by the image data to be evaluated,
The background discrimination mapping data is data for defining a background discrimination mapping,
the background classification map is a map that outputs a value of a background classification variable;
the background identification variable is a variable for identifying a type of background of the person represented by the image data,
the execution unit is configured to execute a foreground classification process, a background classification process, and an evaluation process;
the foreground classification process is a process of inputting the image data to the foreground classification mapping to output a value of the foreground classification variable;
the background classification process is a process of identifying a value of the background classification variable by inputting the image data into the background classification map;
The evaluation process is a process for evaluating whether or not there is an abnormality in the image data, and includes a process for evaluating that there is an abnormality regardless of the value of the background classification variable when the value of the foreground classification variable is a first value, and for evaluating whether or not there is an abnormality taking into account the value of the background classification variable when the value of the foreground classification variable is a second value different from the first value.
前記第2の値は、前記所定部位の少なくとも一部が衣類で覆われているものの、前記身体の露出度合いが大きい状態において前記前景識別変数の値が取り得る値である請求項1記載の画像評価装置。 the first value is a possible value of the foreground discrimination variable when a predetermined part of the body is exposed;
2. The image evaluation device according to claim 1, wherein the second value is a possible value of the foreground classification variable in a state in which the predetermined part is at least partially covered by clothing but the body is largely exposed.
前記前景識別変数の値が前記第2の値であることと、前記背景識別変数の値が、前記背景が、水遊び、またはスポーツをする所定の場所において取り得る値であることとの論理積が真である場合、前記異常ではないと評価する処理と、
前記前景識別変数の値が前記第2の値であることと、前記背景識別変数の値が、前記背景が前記所定の場所とは異なる所定の室内であるときに取り得る値であることとの論理積が真である場合、前記異常であると評価する処理と、を含む請求項2記載の画像評価装置。 The evaluation process includes:
a process of evaluating that the image is not abnormal when a logical product of the value of the foreground identification variable being the second value and the value of the background identification variable being a value that can be taken in a predetermined location where the background is splashing around in water or playing sports is true;
and evaluating the image as abnormal if a logical product of the value of the foreground identification variable being the second value and the value of the background identification variable being a value that can be taken when the background is a specified room different from the specified location is true.
前記第2の値は、前記所定部位の少なくとも一部が、水着またはスポーツウェアで覆われている場合に取り得る値である請求項3記載の画像評価装置。 the foreground identification variable includes a value identifying a type of clothing;
4. The image evaluation device according to claim 3, wherein the second value is a value that can be taken when at least a part of the predetermined part is covered with a swimsuit or sportswear.
前記露出度識別写像は、前記人の所定部位の露出度を示す変数である露出度変数の値を出力する写像であり、
前記衣類識別写像は、前記人が身に着けている衣類の種類を識別する変数である衣類変数の値を出力する写像であり、
前記前景識別変数は、前記露出度変数および前記衣類変数に基づく請求項1記載の画像評価装置。 The foreground identification map includes an exposure identification map and a clothing identification map;
the exposure degree identification map is a map that outputs a value of an exposure degree variable that is a variable indicating an exposure degree of a predetermined part of the person,
the clothing identification map is a map that outputs a value of a clothing variable that identifies a type of clothing worn by the person;
The image evaluation device of claim 1 , wherein the foreground classification variable is based on the exposure variable and the clothing variable.
前記身体識別写像は、前記人の身体の部位を識別する変数である身体識別変数の値を出力する写像であり、
前記着衣識別写像は、前記人の身体であるか、前記人が身に着けている衣類であるかを識別する変数である着衣識別変数の値を出力する写像であり、
前記前景識別処理は、前記身体識別変数の値および前記着衣識別変数の値に応じて前記前景識別変数の値を算出する処理を含む請求項1記載の画像評価装置。 The foreground identification map includes a body identification map and a clothing identification map;
the body identification mapping is a mapping that outputs a value of a body identification variable that is a variable that identifies a part of the person's body;
the clothing identification map is a map that outputs a value of a clothing identification variable that is a variable for identifying whether the clothing is the person's body or clothing worn by the person;
2. The image evaluation device according to claim 1, wherein the foreground classification process includes a process of calculating a value of the foreground classification variable in accordance with a value of the body classification variable and a value of the clothing classification variable.
前記実行装置は、提供処理、および制限処理を実行するように構成され、
前記提供処理は、前記評価処理によって前記異常がない旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する処理であり、
前記制限処理は、前記評価処理によって前記異常がある旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する処理である画像処理システム。 The image evaluation device according to claim 1 , comprising: the execution device and the storage device; and a plurality of user terminals,
The execution device is configured to execute a providing process and a limiting process;
the providing process is a process of transmitting the image data to the user terminal so that an image indicated by the image data that has been evaluated as having no abnormality by the evaluation process can be displayed on the user terminal;
The restriction process is a process of restricting an image represented by the image data that has been evaluated as having an abnormality by the evaluation process from being displayed on the user terminal in an image processing system.
前記評価処理は、前記異常の度合いを複数段階に評価する処理を含み、
前記指示処理は、前記ユーザ端末において表示される画像の許容範囲を指示する処理であり、
前記提供処理は、前記評価処理によって評価された前記異常の度合いが前記許容範囲内である場合に前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する処理であり、
前記制限処理は、前記評価処理によって評価された前記異常の度合いが前記許容範囲から外れる場合に前記画像データが示す画像が前記ユーザ端末により表示されることを制限する処理である請求項7記載の画像処理システム。 The user terminal is configured to execute an instruction process;
The evaluation process includes a process of evaluating the degree of the abnormality in a plurality of stages,
the instruction process is a process of instructing an acceptable range of an image to be displayed on the user terminal,
the providing process is a process of transmitting the image data to the user terminal so that an image represented by the image data can be displayed on the user terminal when the degree of the abnormality evaluated by the evaluation process is within the allowable range;
The image processing system according to claim 7 , wherein the restriction process restricts the image represented by the image data from being displayed by the user terminal when the degree of abnormality evaluated by the evaluation process falls outside the acceptable range.
前記画像データの前記ユーザ端末への送信を禁止する禁止処理と、
前記画像データを制限指令とともに送信する制限送信処理と、
の少なくとも1つの処理を含み、
前記制限指令は、前記ユーザ端末において前記画像データが示す画像が警告とともに表示されるようにする指令、前記ユーザ端末において前記画像データが示す画像のうちの所定部位の露出にマスクをする指令、および前記ユーザ端末において前記画像データが示す画像を表示しないようにする指令のいずれかである請求項7記載の画像処理システム。 The restriction process is
A prohibition process for prohibiting transmission of the image data to the user terminal;
a restricted transmission process for transmitting the image data together with a restriction command;
The method includes at least one process of
The image processing system of claim 7, wherein the restriction command is any one of a command to cause the image represented by the image data to be displayed on the user terminal along with a warning, a command to mask the exposure of a specified part of the image represented by the image data on the user terminal, and a command not to display the image represented by the image data on the user terminal.
前記ユーザ端末により表示される画像の候補を示す画像データのうち、請求項1に記載の画像評価装置における前記評価処理によって前記異常がない旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、
前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記評価処理によって前記異常がある旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、
を有する画像表示支援方法。 An image display assistance method for assisting a user terminal in selectively displaying an image, comprising:
a providing step of transmitting image data to the user terminal, the image data being among image data showing candidates for images to be displayed by the user terminal, the image data being evaluated as having no abnormality by the evaluation process in the image evaluation device according to claim 1, so that an image shown by the image data can be displayed on the user terminal;
a restriction step of restricting, from being displayed by the user terminal, an image represented by image data that has been evaluated as having an abnormality by the evaluation process, among image data representing candidates for images to be displayed by the user terminal;
The image display assistance method includes the steps of:
前記ユーザ端末は、指示処理を実行するように構成され、
請求項1に記載の画像評価装置における前記評価処理は、前記異常の度合いを複数段階に評価する処理を含み、
前記指示処理は、前記ユーザ端末において表示される画像の許容範囲を指示する処理であり、
前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記画像評価装置における前記評価処理によって評価された前記異常の度合いが前記許容範囲内である場合に前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、
前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記評価処理によって評価された前記異常の度合いが前記許容範囲から外れる場合に前記画像データが示す画像が前記ユーザ端末により表示されることを制限する制限工程と、
を有する画像表示支援方法。 An image display assistance method for assisting a user terminal in selectively displaying an image, comprising:
The user terminal is configured to execute an instruction process;
The evaluation process in the image evaluation device according to claim 1 includes a process of evaluating the degree of the abnormality in a plurality of stages,
the instruction process is a process of instructing an acceptable range of an image to be displayed on the user terminal,
a providing step of transmitting image data to the user terminal so that an image represented by the image data, which represents candidate images to be displayed by the user terminal, can be displayed on the user terminal when the degree of the abnormality evaluated by the evaluation process in the image evaluation device is within the allowable range;
a limiting step of limiting the display of an image represented by image data indicating candidates for an image to be displayed by the user terminal when the degree of the abnormality evaluated by the evaluation process falls outside the allowable range; and
The image display assistance method includes the steps of:
前記ユーザ端末により表示される画像の候補を示す画像データを取得する取得工程と、
前記取得工程において取得された前記画像データのうち請求項1に記載の画像評価装置における前記評価処理によって前記異常がない旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、
前記取得工程において取得された前記画像データのうち、前記評価処理によって前記異常がある旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、
を有する画像表示支援方法。 An image display assistance method for assisting a user terminal in selectively displaying an image, comprising:
an acquisition step of acquiring image data indicating candidates for an image to be displayed by the user terminal;
a providing step of transmitting the image data to the user terminal so that an image represented by the image data that has been evaluated as having no abnormality by the evaluation process in the image evaluation device according to claim 1 among the image data acquired in the acquiring step can be displayed on the user terminal;
a limiting step of limiting, from being displayed on the user terminal, an image represented by the image data that has been evaluated as having an abnormality by the evaluation process, among the image data acquired in the acquiring step;
The image display assistance method includes the steps of:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022064668A JP7506109B2 (en) | 2022-04-08 | 2022-04-08 | IMAGE EVALUATION DEVICE, IMAGE PROCESSING SYSTEM, USER TERMINAL, IMAGE EVALUATION METHOD, IMAGE EVALUATION PROGRAM, AND IMAGE DISPLAY SUPPORT METHOD |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022064668A JP7506109B2 (en) | 2022-04-08 | 2022-04-08 | IMAGE EVALUATION DEVICE, IMAGE PROCESSING SYSTEM, USER TERMINAL, IMAGE EVALUATION METHOD, IMAGE EVALUATION PROGRAM, AND IMAGE DISPLAY SUPPORT METHOD |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023154981A JP2023154981A (en) | 2023-10-20 |
JP7506109B2 true JP7506109B2 (en) | 2024-06-25 |
Family
ID=88373254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022064668A Active JP7506109B2 (en) | 2022-04-08 | 2022-04-08 | IMAGE EVALUATION DEVICE, IMAGE PROCESSING SYSTEM, USER TERMINAL, IMAGE EVALUATION METHOD, IMAGE EVALUATION PROGRAM, AND IMAGE DISPLAY SUPPORT METHOD |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7506109B2 (en) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002175527A (en) | 2000-12-06 | 2002-06-21 | Gala Inc | Method for discriminating obscene nude image through computer image processing |
JP2002189925A (en) | 2000-12-21 | 2002-07-05 | Gala Inc | Advertisement managing server on internet |
JP2008027424A (en) | 2006-06-21 | 2008-02-07 | Sharp Corp | Data transmitter/receiver, server device, data transmission/reception system and method for controlling them, and control program and computer readable recording medium recorded with the same |
JP2008033656A (en) | 2006-07-28 | 2008-02-14 | Noritsu Koki Co Ltd | Photographic image processor |
JP2008033654A (en) | 2006-07-28 | 2008-02-14 | Noritsu Koki Co Ltd | Photographic image discrimination method, photographic image discrimination program, and photographic image processing apparatus |
JP2008033655A (en) | 2006-07-28 | 2008-02-14 | Noritsu Koki Co Ltd | Photographic image processing apparatus |
JP2009169518A (en) | 2008-01-11 | 2009-07-30 | Kddi Corp | Area identification apparatus and content identification apparatus |
JP2009252243A (en) | 2008-04-04 | 2009-10-29 | Nhn Corp | Adult object determination method and system |
WO2018109048A1 (en) | 2016-12-16 | 2018-06-21 | Glaxosmithkline Intellectual Property Development Limited | A clothing compliance detection apparatus, and associated clothing standard enforcement apparatus |
JP2023154980A (en) | 2022-04-08 | 2023-10-20 | 楽天グループ株式会社 | Image evaluation device, image processing system, user terminal, image evaluation method, image evaluation program, and image display support method |
-
2022
- 2022-04-08 JP JP2022064668A patent/JP7506109B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002175527A (en) | 2000-12-06 | 2002-06-21 | Gala Inc | Method for discriminating obscene nude image through computer image processing |
JP2002189925A (en) | 2000-12-21 | 2002-07-05 | Gala Inc | Advertisement managing server on internet |
JP2008027424A (en) | 2006-06-21 | 2008-02-07 | Sharp Corp | Data transmitter/receiver, server device, data transmission/reception system and method for controlling them, and control program and computer readable recording medium recorded with the same |
JP2008033656A (en) | 2006-07-28 | 2008-02-14 | Noritsu Koki Co Ltd | Photographic image processor |
JP2008033654A (en) | 2006-07-28 | 2008-02-14 | Noritsu Koki Co Ltd | Photographic image discrimination method, photographic image discrimination program, and photographic image processing apparatus |
JP2008033655A (en) | 2006-07-28 | 2008-02-14 | Noritsu Koki Co Ltd | Photographic image processing apparatus |
JP2009169518A (en) | 2008-01-11 | 2009-07-30 | Kddi Corp | Area identification apparatus and content identification apparatus |
JP2009252243A (en) | 2008-04-04 | 2009-10-29 | Nhn Corp | Adult object determination method and system |
WO2018109048A1 (en) | 2016-12-16 | 2018-06-21 | Glaxosmithkline Intellectual Property Development Limited | A clothing compliance detection apparatus, and associated clothing standard enforcement apparatus |
JP2023154980A (en) | 2022-04-08 | 2023-10-20 | 楽天グループ株式会社 | Image evaluation device, image processing system, user terminal, image evaluation method, image evaluation program, and image display support method |
Non-Patent Citations (1)
Title |
---|
報道発表 不適切コンテンツの自動フィルタリングシステムのトライアルを開始 -DeepLearning技術を活用して人間の感性に近い判定が可能に-[オンライン],日本,NTTコムウェア株式会社,2015年02月09日,https://www.nttcom.co.jp/news/pr15020901.html |
Also Published As
Publication number | Publication date |
---|---|
JP2023154981A (en) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kao et al. | Hierarchical aesthetic quality assessment using deep convolutional neural networks | |
US20200237266A1 (en) | Action recognition and pose estimation method and apparatus | |
Jiang et al. | Photohelper: portrait photographing guidance via deep feature retrieval and fusion | |
CN110263681A (en) | The recognition methods of facial expression and device, storage medium, electronic device | |
KR20190056720A (en) | Method and device for learning neural network | |
CN111127476A (en) | Image processing method, device, equipment and storage medium | |
KR20190114448A (en) | Method for recommending user optimized clothes and server performing the same | |
JP7455889B2 (en) | Image evaluation device, image processing system, user terminal, image evaluation method, and image evaluation program | |
JP7506109B2 (en) | IMAGE EVALUATION DEVICE, IMAGE PROCESSING SYSTEM, USER TERMINAL, IMAGE EVALUATION METHOD, IMAGE EVALUATION PROGRAM, AND IMAGE DISPLAY SUPPORT METHOD | |
Kwon et al. | Tailor me: An editing network for fashion attribute shape manipulation | |
Gupta et al. | Intelligent Music Recommendation System Based on Face Emotion Recognition | |
US20220358752A1 (en) | Apparatus and method for developing space analysis model based on data augmentation | |
CN116597317A (en) | Remote sensing image change detection data generation method, device, equipment and medium | |
CN111182295A (en) | Video data processing method, device, equipment and readable storage medium | |
Lee et al. | Life chasing: A location-based game prototype for elderly health promotion | |
CN113379716B (en) | Method, device, equipment and storage medium for predicting color spots | |
JP2020003879A (en) | Information processing device, information processing method, watermark detection device, watermark detection method, and program | |
JP7263864B2 (en) | Image processing device, image processing method, image processing program and product development system | |
Nagai et al. | Action quality assessment with ignoring scene context | |
US10991064B1 (en) | System and method of applying watermark in a digital image | |
Goree et al. | Correct for whom? subjectivity and the evaluation of personalized image aesthetics assessment models | |
CN112070662A (en) | Evaluation method and device of face changing model, electronic equipment and storage medium | |
KR101117543B1 (en) | sign estimation system | |
Yue et al. | Subjective and objective quality assessment of multi-attribute retouched face images | |
Bourhim et al. | Reshaping Sport with Extended Reality in an Era of Metaverse: Insights from XR the Moroccan Association Experts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240613 |