JP7506109B2 - IMAGE EVALUATION DEVICE, IMAGE PROCESSING SYSTEM, USER TERMINAL, IMAGE EVALUATION METHOD, IMAGE EVALUATION PROGRAM, AND IMAGE DISPLAY SUPPORT METHOD - Google Patents
IMAGE EVALUATION DEVICE, IMAGE PROCESSING SYSTEM, USER TERMINAL, IMAGE EVALUATION METHOD, IMAGE EVALUATION PROGRAM, AND IMAGE DISPLAY SUPPORT METHOD Download PDFInfo
- Publication number
- JP7506109B2 JP7506109B2 JP2022064668A JP2022064668A JP7506109B2 JP 7506109 B2 JP7506109 B2 JP 7506109B2 JP 2022064668 A JP2022064668 A JP 2022064668A JP 2022064668 A JP2022064668 A JP 2022064668A JP 7506109 B2 JP7506109 B2 JP 7506109B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- variable
- value
- user terminal
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 251
- 238000011156 evaluation Methods 0.000 title claims description 80
- 238000012545 processing Methods 0.000 title claims description 37
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 230000008569 process Effects 0.000 claims description 222
- 238000013507 mapping Methods 0.000 claims description 85
- 238000012854 evaluation process Methods 0.000 claims description 51
- 230000005856 abnormality Effects 0.000 claims description 46
- 230000002159 abnormal effect Effects 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 14
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 230000006870 function Effects 0.000 description 20
- 239000013598 vector Substances 0.000 description 17
- 210000001015 abdomen Anatomy 0.000 description 15
- 210000001217 buttock Anatomy 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 13
- 238000012549 training Methods 0.000 description 12
- 230000004913 activation Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000003287 bathing Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、画像評価装置、画像処理システム、ユーザ端末、画像評価方法、画像評価プログラム、および画像表示支援方法に関する。 The present invention relates to an image evaluation device, an image processing system, a user terminal, an image evaluation method, an image evaluation program, and an image display support method.
たとえば下記特許文献１には、学習済みモデルを利用して画像データの異常を検出する装置が記載されている。
For example, the following
発明者は、画像データが示す画像中の人の状態に関して異常の有無を判定することを検討した。その場合、たとえば、身体の所定部位が露出している画像データを異常とすることが考えられる。しかし、所定部位が部分的に露出しているのみの場合に、一律、異常と判定することは望ましくない。すなわち、たとえば海水浴場で水着を着ている場合には、これを異常とすることは必ずしも適切とは限らない。 The inventors have considered judging the presence or absence of an abnormality in the condition of a person in an image shown by image data. In that case, for example, it is conceivable to judge image data in which a specific part of the body is exposed as abnormal. However, it is not desirable to uniformly judge an abnormality to exist when the specific part is only partially exposed. In other words, for example, if a person is wearing a swimsuit at the beach, it is not necessarily appropriate to judge this as abnormal.
以下、上記課題を解決するための手段およびその作用効果について記載する。
１．実行装置、および記憶装置を備え、前記記憶装置には、前景識別写像データと、背景識別写像データと、が記憶され、前記前景識別写像データは、前景識別写像を規定するためのデータであり、前記前景識別写像は、前景識別変数の値を出力する写像であり、前記前景識別変数は、評価対象の画像データが示す画像において人の状態を識別する変数であり、前記背景識別写像データは、背景識別写像を規定するためのデータであり、前記背景識別写像は、背景識別変数の値を出力する写像であり、前記背景識別変数は、前記画像データが示す前記人の背景の種類を識別する変数であり、前記実行装置は、前景識別処理、背景識別処理、および評価処理を実行するように構成され、前記前景識別処理は、前記画像データを前記前景識別写像に入力することによって前記前景識別変数の値を出力する処理であり、前記背景識別処理は、前記画像データを前記背景識別写像に入力することによって前記背景識別変数の値を識別する処理であり、前記評価処理は、前記画像データに異常があるか否かを評価する処理であって且つ、前記前景識別変数の値が第１の値である場合には、前記背景識別変数の値にかかわらず異常があると評価して且つ、前記前景識別変数の値が前記第１の値とは別の第２の値である場合には、前記背景識別変数の値を加味して前記異常か否かを評価する処理を含む画像評価装置である。
Means for solving the above problems and their effects will be described below.
1. A method for evaluating a state of a person in an image represented by image data of an evaluation target, comprising: an execution device and a storage device, the storage device storing foreground identification mapping data and background identification mapping data, the foreground identification mapping data being data for defining a foreground identification mapping, the foreground identification mapping being a mapping that outputs a value of a foreground identification variable, the foreground identification variable being a variable for identifying a state of a person in an image represented by image data of an evaluation target, the background identification mapping data being data for defining a background identification mapping, the background identification mapping being a mapping that outputs a value of a background identification variable, the background identification variable being a variable for identifying a type of background of the person represented by the image data, the execution device performing foreground identification processing, background identification processing, and evaluation processing. the foreground classification process being a process of outputting a value of the foreground classification variable by inputting the image data into the foreground classification mapping, the background classification process being a process of identifying the value of the background classification variable by inputting the image data into the background classification mapping, and the evaluation process being a process of evaluating whether or not there is an abnormality in the image data, and comprising a process of evaluating whether or not there is an abnormality when the value of the foreground classification variable is a first value regardless of the value of the background classification variable, and evaluating whether or not there is an abnormality taking into account the value of the background classification variable when the value of the foreground classification variable is a second value different from the first value.
上記構成では、前景識別変数の値が第１の値である場合、背景識別変数の値にかかわらず、異常があると判定する。そのため、人の状態に明らかに異常がある場合に、これを異常である旨評価する確実性を高めることができる。また、前景識別変数の値が第２の値である場合、背景識別変数の値を加味して異常か否かを評価する。そのため、人の状態が状況に応じて異常と評価すべきであったりすべきでなかったりする場合において、適切な評価をすることが可能となる。 In the above configuration, when the value of the foreground identification variable is a first value, it is determined that there is an abnormality regardless of the value of the background identification variable. Therefore, when there is clearly something wrong with a person's condition, it is possible to increase the certainty of assessing this as abnormal. Also, when the value of the foreground identification variable is a second value, the value of the background identification variable is taken into account to assess whether there is an abnormality. Therefore, it is possible to make an appropriate assessment when a person's condition should or should not be assessed as abnormal depending on the situation.
２．前記第１の値は、身体の所定部位が露出している状態において前記前景識別変数の値が取り得る値であり、前記第２の値は、前記所定部位の少なくとも一部が衣類で覆われているものの、前記身体の露出度合いが大きい状態において前記前景識別変数の値が取り得る値である上記１記載の画像評価装置である。
2. The image evaluation device according to
所定部位の露出を異常と定義する場合、所定部位の一部が露出していても残りが衣類で覆われている場合の評価を、いかにするかが問題となる。そこで、上記構成では、そうした場合に背景識別変数の値を加味して異常の有無を判定する。これにより、身体の露出度が大きい場合に一律異常である旨評価するのではなく、状況に応じたより適切な評価をすることができる。 When defining the exposure of a specific body part as abnormal, the problem is how to evaluate cases where a specific body part is exposed but the rest is covered by clothing. In such cases, the above configuration takes into account the value of the background identification variable to determine whether or not there is an abnormality. This makes it possible to make a more appropriate evaluation according to the situation, rather than uniformly evaluating a large degree of body exposure as abnormal.
３．前記評価処理は、前記前景識別変数の値が前記第２の値であることと、前記背景識別変数の値が、前記背景が、水遊び、またはスポーツをする所定の場所において取り得る値であることとの論理積が真である場合、前記異常ではないと評価する処理と、前記前景識別変数の値が前記第２の値であることと、前記背景識別変数の値が、前記背景が前記所定の場所とは異なる所定の室内であるときに取り得る値であることとの論理積が真である場合、前記異常であると評価する処理と、を含む上記２記載の画像評価装置である。
3. The image evaluation device according to
身体の露出度合いが大きい場合であっても、背景が水遊び、またはスポーツをする所定の場所である場合には、必ずしも公序良俗に反するものではなく、異常と評価することが適切とは限らない。そこで上記構成では、そうした状況において、異常ではない旨評価することにより、適切な評価をすることができる。 Even if the body is highly exposed, if the background is a designated place for splashing around in water or playing sports, it is not necessarily against public order and morals, and it is not necessarily appropriate to evaluate it as abnormal. Therefore, with the above configuration, it is possible to make an appropriate evaluation in such a situation by evaluating it as not abnormal.
４．前記前景識別変数は、衣類の種類を特定する値を含み、前記第２の値は、前記所定部位の少なくとも一部が、水着またはスポーツウェアで覆われている場合に取り得る値である上記３記載の画像評価装置である。 4. The image evaluation device according to claim 3, wherein the foreground identification variable includes a value that identifies a type of clothing, and the second value is a value that can be taken when at least a portion of the specified body part is covered by a swimsuit or sportswear.
上記構成では、第２の値を、所定部位の少なくとも一部が、水着またはスポーツウェアで覆われている場合に取り得る値とする。そのため、たとえば露出度合いが大きい水着を着ている場合において、海水浴場等にいる場合にまで異常であると評価することを抑制できる。 In the above configuration, the second value is a value that can be taken when at least a portion of the specified body part is covered by a swimsuit or sportswear. Therefore, for example, if a person is wearing a swimsuit that exposes a lot of skin, it is possible to prevent the system from evaluating the person as having an abnormality even when the person is at a beach, etc.
５．前記前景識別写像は、露出度識別写像と、衣類識別写像と、を含み、前記露出度識別写像は、前記人の所定部位の露出度を示す変数である露出度変数の値を出力する写像であり、前記衣類識別写像は、前記人が身に着けている衣類の種類を識別する変数である衣類変数の値を出力する写像であり、前記前景識別変数は、前記露出度変数および前記衣類変数に基づく上記１～４のいずれか１つに記載の画像評価装置である。 5. The foreground identification map includes an exposure identification map and a clothing identification map, the exposure identification map is a map that outputs a value of an exposure variable that is a variable indicating the exposure of a specific part of the person, the clothing identification map is a map that outputs a value of a clothing variable that is a variable that identifies the type of clothing worn by the person, and the foreground identification variable is an image evaluation device described in any one of 1 to 4 above based on the exposure variable and the clothing variable.
上記構成では、露出度識別写像と、衣類識別写像とを用いることから、人の身体部位の露出度と、衣類の種類とを高精度に特定できる。そのため、前景識別変数を、人の状態の詳細を示す変数とすることができる。 In the above configuration, the exposure identification map and the clothing identification map are used, so the exposure level of a person's body parts and the type of clothing can be identified with high accuracy. Therefore, the foreground identification variable can be a variable that indicates the details of a person's condition.
６．前記前景識別写像は、身体識別写像と、着衣識別写像と、を含み、前記身体識別写像は、前記人の身体の部位を識別する変数である身体識別変数の値を出力する写像であり、前記着衣識別写像は、前記人の身体であるか、前記人が身に着けている衣類であるかを識別する変数である着衣識別変数の値を出力する写像であり、前記前景識別処理は、前記身体識別変数の値および前記着衣識別変数の値に応じて前記前景識別変数の値を算出する処理を含む上記１～５のいずれか１つに記載の画像評価装置である。 6. The image evaluation device according to any one of 1 to 5 above, wherein the foreground identification mapping includes a body identification mapping and a clothing identification mapping, the body identification mapping is a mapping that outputs a value of a body identification variable that is a variable that identifies a part of the person's body, the clothing identification mapping is a mapping that outputs a value of a clothing identification variable that is a variable that identifies whether the object is the person's body or clothing worn by the person, and the foreground identification process includes a process of calculating a value of the foreground identification variable according to the value of the body identification variable and the value of the clothing identification variable.
上記構成では、身体識別変数によって特定される身体の部位について、着衣識別変数によって露出しているか衣類を身に着けているかを把握できる。そのため、前景識別変数を、身体の部位の露出の有無を示す適切な変数とすることができる。 In the above configuration, for a body part identified by the body identification variable, it is possible to know whether the part is exposed or clothed by the clothing identification variable. Therefore, the foreground identification variable can be an appropriate variable that indicates whether a body part is exposed or not.
７．上記１～６のいずれか１つに記載の画像評価装置における前記実行装置、および前記記憶装置と、複数のユーザ端末と、を備え、前記実行装置は、提供処理、および制限処理を実行するように構成され、前記提供処理は、前記評価処理によって前記異常がない旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する処理であり、前記制限処理は、前記評価処理によって前記異常がある旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する処理である画像処理システムである。 7. An image processing system comprising the execution device and the storage device in the image evaluation device described in any one of 1 to 6 above, and a plurality of user terminals, wherein the execution device is configured to execute a providing process and a restricting process, the providing process being a process of transmitting the image data to the user terminal so that an image represented by the image data that has been evaluated by the evaluation process as having no abnormality can be displayed on the user terminal, and the restricting process being a process of restricting the image represented by the image data that has been evaluated by the evaluation process as having the abnormality from being displayed on the user terminal.
上記提供処理および制限処理によれば、評価処理による評価結果に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
８．前記ユーザ端末は、指示処理を実行するように構成され、前記評価処理は、前記異常の度合いを複数段階に評価する処理を含み、前記指示処理は、前記ユーザ端末において表示される画像の許容範囲を指示する処理であり、前記提供処理は、前記評価処理によって評価された前記異常の度合いが前記許容範囲内である場合に前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する処理であり、前記制限処理は、前記評価処理によって評価された前記異常の度合いが前記許容範囲から外れる場合に前記画像データが示す画像が前記ユーザ端末により表示されることを制限する処理である上記７記載の画像処理システムである。
According to the provision process and the restriction process, it is possible to appropriately assist the user terminal in selectively displaying the image indicated by the image data, depending on the evaluation result of the evaluation process.
8. The image processing system according to claim 7, wherein the user terminal is configured to execute an instruction process, the evaluation process includes a process of evaluating the degree of the abnormality in a plurality of stages, the instruction process is a process of instructing an acceptable range of an image to be displayed on the user terminal, the provision process is a process of transmitting the image data to the user terminal so that an image represented by the image data can be displayed on the user terminal when the degree of the abnormality evaluated by the evaluation process is within the acceptable range, and the restriction process is a process of restricting the image represented by the image data from being displayed on the user terminal when the degree of the abnormality evaluated by the evaluation process is outside the acceptable range.
上記構成では、ユーザの意思に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
９．前記制限処理は、前記画像データの前記ユーザ端末への送信を禁止する禁止処理と、前記画像データを制限指令とともに送信する制限送信処理と、の少なくとも１つの処理を含み、前記制限指令は、前記ユーザ端末において前記画像データが示す画像が警告とともに表示されるようにする指令、前記ユーザ端末において前記画像データが示す画像のうちの所定部位の露出にマスクをする指令、および前記ユーザ端末において前記画像データが示す画像を表示しないようにする指令のいずれかである上記７記載の画像処理システムである。
With the above configuration, it is possible to appropriately assist the user in selectively displaying the image indicated by the image data on the user terminal in accordance with the user's wishes.
9. The image processing system according to claim 7, wherein the restriction process includes at least one of a prohibition process for prohibiting transmission of the image data to the user terminal and a restriction transmission process for transmitting the image data together with a restriction command, and the restriction command is any one of a command for displaying an image represented by the image data together with a warning on the user terminal, a command for masking exposure of a predetermined part of the image represented by the image data on the user terminal, and a command for not displaying the image represented by the image data on the user terminal.
上記禁止処理によれば、ユーザ端末により表示されることを制限すべきと評価された画像データが示す画像が、ユーザ端末に表示されることを確実に抑制できる。また、上記制限送信処理によれば、以下のいずれかが可能となる。 The above-mentioned prohibition process can reliably prevent images represented by image data that has been evaluated as being restricted from being displayed on a user terminal from being displayed on the user terminal. In addition, the above-mentioned restricted transmission process makes it possible to do any of the following:
・ユーザ端末により表示されることを制限すべき旨の警告がユーザ端末によってなされること。
・ユーザ端末に表示された画像中の所定部位の露出がマスクされること。
A warning is issued by the user terminal to the effect that display on the user terminal should be restricted.
- Exposure of a specified part in an image displayed on a user terminal is masked.
・ユーザ端末により表示されることを制限すべきと評価された画像データが示す画像が表示されることを、ユーザ端末において禁止すること。
１０．上記８記載の画像処理システムにおける前記ユーザ端末である。
Prohibiting the display, on a user terminal, of an image indicated by image data that has been evaluated as being subject to restriction from being displayed on the user terminal.
10. The user terminal in the image processing system according to 8 above.
１１．上記１～６のいずれか１つに記載の画像評価装置における前記各処理を実行するステップを有する画像評価方法である。
１２．上記１記載の画像評価装置における前記各処理をコンピュータに実行させる画像評価プログラムである。
11. An image evaluation method comprising a step of executing each of the processes in the image evaluation device according to any one of 1 to 6 above.
12. An image evaluation program for causing a computer to execute each of the processes in the image evaluation device described in 1 above.
１３．ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、前記ユーザ端末により表示される画像の候補を示す画像データのうち、上記１～６のいずれか１つに記載の画像評価装置における前記評価処理によって前記異常がない旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記評価処理によって前記異常がある旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、を有する画像表示支援方法である。 13. An image display support method for supporting the selective display of images on a user terminal, the image display support method including: a providing step of transmitting image data to the user terminal so that an image represented by image data that is evaluated to have no abnormality by the evaluation process in the image evaluation device described in any one of 1 to 6 above can be displayed on the user terminal; and a restricting step of restricting the display, by the user terminal, of an image represented by image data that is evaluated to have the abnormality by the evaluation process among image data representing candidate images to be displayed by the user terminal.
上記提供工程および制限工程によれば、評価処理による評価結果に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
１４．ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、前記ユーザ端末は、指示処理を実行するように構成され、上記１～６のいずれか１つに記載の画像評価装置における前記評価処理は、前記異常の度合いを複数段階に評価する処理を含み、前記指示処理は、前記ユーザ端末において表示される画像の許容範囲を指示する処理であり、前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記画像評価装置における前記評価処理によって評価された前記異常の度合いが前記許容範囲内である場合に前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記評価処理によって評価された前記異常の度合いが前記許容範囲から外れる場合に前記画像データが示す画像が前記ユーザ端末により表示されることを制限する制限工程と、を有する画像表示支援方法である。
According to the providing step and the limiting step, it is possible to appropriately assist the user terminal in selectively displaying the image indicated by the image data in accordance with the evaluation result of the evaluation process.
14. An image display support method for supporting selective display of an image on a user terminal, the user terminal being configured to execute an instruction process, the evaluation process in the image evaluation device described in any one of 1 to 6 above includes a process of evaluating the degree of abnormality in a plurality of stages, the instruction process being a process of instructing an acceptable range of an image to be displayed on the user terminal, the image display support method including: a providing step of transmitting image data to the user terminal so that an image represented by the image data can be displayed on the user terminal when the degree of abnormality evaluated by the evaluation process in the image evaluation device is within the acceptable range among image data representing candidates for images to be displayed by the user terminal; and a restricting step of restricting the display by the user terminal of an image represented by the image data when the degree of abnormality evaluated by the evaluation process in the image evaluation device is outside the acceptable range among image data representing candidates for images to be displayed by the user terminal.
上記方法では、ユーザの意思に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。
１５．ユーザ端末において選択的に画像が表示されることを支援する画像表示支援方法であって、前記ユーザ端末により表示される画像の候補を示す画像データを取得する取得工程と、前記取得工程において取得された前記画像データのうち上記１～６のいずれか１つに記載の画像評価装置における前記評価処理によって前記異常がない旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、前記取得工程において取得された前記画像データのうち、前記評価処理によって前記異常がある旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、を有する画像表示支援方法である。
The above method can appropriately assist in selectively displaying an image indicated by image data on a user terminal in accordance with the user's wishes.
15. An image display support method for supporting selective display of images on a user terminal, comprising: an acquisition step of acquiring image data showing candidates for images to be displayed by the user terminal; a providing step of transmitting the image data to the user terminal so that an image represented by the image data acquired in the acquisition step and evaluated to have no abnormality by the evaluation process in an image evaluation device described in any one of 1 to 6 above can be displayed on the user terminal; and a restricting step of restricting an image represented by the image data acquired in the acquisition step and evaluated to have the abnormality by the evaluation process from being displayed on the user terminal.
上記提供工程および制限工程によれば、評価処理による評価結果に応じて、ユーザ端末において画像データが示す画像を選択的に表示させることを適切に支援できる。 The provision process and restriction process described above can appropriately assist in selectively displaying the image indicated by the image data on the user terminal in accordance with the evaluation results of the evaluation process.
＜第１の実施形態＞
以下、第１の実施形態について図面を参照しつつ説明する。
「前提構成」
図１に、画像処理システムの全体構成を示す。
First Embodiment
Hereinafter, the first embodiment will be described with reference to the drawings.
"Prerequisite configuration"
FIG. 1 shows the overall configuration of an image processing system.
複数の業者端末１０（１），１０（２），…は、何らかの商品を消費者に販売する業者が所持する端末である。なお、以下では、業者端末１０（１），１０（２），…を総括する場合、業者端末１０と記載する。業者端末１０は、ＰＵ１２、記憶装置１４、および通信機１６を備えている。ＰＵ１２は、ＣＰＵ、ＧＰＵ、およびＴＰＵ等の演算ユニットを含むソフトウェア処理装置である。記憶装置１４は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体を備える。記憶装置１４には、ＰＵ１２が実行するプログラムが記憶されている。
The multiple vendor terminals 10(1), 10(2), ... are terminals owned by vendors who sell some kind of product to consumers. In the following, the vendor terminals 10(1), 10(2), ... are collectively referred to as
業者端末１０の通信機１６は、ネットワーク２０を介して画像評価装置３０と通信可能とされる。業者端末１０は、販売したい商品に関するＣＭ動画データを画像評価装置３０に送信する。ここで、ＣＭ動画データとは、たとえば商品を広告するためのコマーシャル動画に相当する。ＣＭ動画の再生時間、フレーム数、解像度、およびデータフォーマットに制限はない。
The
画像評価装置３０は、ＣＭ動画データを評価して、問題がない場合にはユーザ端末５０（１），５０（２），…に送信する。以下では、ユーザ端末５０（１），５０（２），…を総括する場合、ユーザ端末５０と記載する。
The
画像評価装置３０は、ＰＵ３２、記憶装置３４、および通信機３６を備えている。ＰＵ３２は、ＣＰＵ、ＧＰＵ、およびＴＰＵ等の演算ユニットを含むソフトウェア処理装置である。詳しくは、ＰＵ３２は、画像処理、推論処理および並列処理等の所定の処理に特化したハードウェアアクセラレータを演算ユニットとして含んでよい。また、ＰＵ３２は、ホモジニアスアーキテクチャまたはヘテロジニアスアーキテクチャの態様をとる演算ユニットを含んでよい。また、ＰＵ３２は、単一のチップ上にモノリシックに集積された演算ユニットを含んでよく、チップレット等の複数のチップが接続された演算ユニットを含んでよい。記憶装置３４は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体を備える。記憶装置３４には、画像評価プログラム３４ａ、前景識別写像データ３４ｂ、背景識別写像データ３４ｃ、およびルールベースデータ３４ｄが記憶されている。通信機３６は、ネットワーク２０を介して業者端末１０およびユーザ端末５０との通信を可能とするための機器である。
The
ユーザ端末５０は、ＣＭ動画データを再生する端末である。ユーザ端末５０は、ＣＭ動画が示す商品の購入操作を実行する機能を有してもよい。
ユーザ端末５０は、ＰＵ５２、記憶装置５４、通信機５６、およびユーザインターフェース５８を備えている。ＰＵ５２は、ＣＰＵ、ＧＰＵ、およびＴＰＵ等の演算ユニットを含むソフトウェア処理装置である。ＰＵ５２は、ＰＵ３２に含まれる態様の演算ユニットを含んでよい。記憶装置５４は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体を備える。記憶装置５４には、アプリケーションプログラム５４ａが記憶されている。アプリケーションプログラム５４ａは、画像評価装置３０から送信されるＣＭ動画データを再生するプログラムである。通信機５６は、ネットワーク２０を介して画像評価装置３０との通信を可能とするための機器である。ユーザインターフェース５８は、表示装置等を備える。
The
The
「画像評価処理」
画像評価装置３０のＰＵ３２は、業者端末１０から送信されたＣＭ動画データがユーザ端末５０によって再生して問題ないデータであるか否かを評価する。
"Image evaluation processing"
The
図２は、再生して問題ないデータの定義の一例を示す。図２には、身体の部分のうち、所定部位に、マーキングがなされている。すなわち、部分「３」～「５」によって定義される胸部にマーキングがなされている。また、人体の正面視において、部分「１０」、「１１」、「１８」によって定義される「正面下腹部」にマーキングがなされている。また、人体の背面における部分「１２～１４」，「１８」によって定義される「尻部」にマーキングがなされている。ＰＵ３２は、人の画像のうち図２にマーキングした箇所が顕著に露出した画像については、再生して問題がある画像であると評価する。 Figure 2 shows an example of the definition of data that can be played back without problems. In Figure 2, markings are placed on specific parts of the body. That is, markings are placed on the chest, defined by parts "3" to "5." Also, when viewed from the front of the body, markings are placed on the "front lower abdomen," defined by parts "10," "11," and "18." Also, markings are placed on the "buttocks," defined by parts "12 to 14" and "18" on the back of the body. PU32 evaluates images of people in which the parts marked in Figure 2 are noticeably exposed as images that pose problems when played back.
図３に、画像評価装置３０によって実行される、図２に示した基準に沿った評価に基づいてＣＭ動画データがユーザ端末５０によって選択的に表示されることを支援する処理の手順を示す。図３に示す処理は、記憶装置３４に記憶された画像評価プログラム３４ａを、ＰＵ３２がたとえば所定周期でくり返し実行することにより実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって各処理のステップ番号を表現する。
Figure 3 shows the procedure for a process executed by the
図３に示す一連の処理において、ＰＵ３２は、まず、業者端末１０から送信されたＣＭ動画データを取得する（Ｓ１０）。なお、ここで、「取得」は、記憶装置３４に記憶されたＣＭ動画データのうちの１つを選択的に読み出すことを意味する。この処理の前に、ＰＵ３２は、通信機３６を介して業者端末１０から送信されたＣＭ動画データを受信する。そして、ＰＵ３２は、受信したＣＭ動画データを記憶装置３４に記憶する。
In the series of processes shown in FIG. 3, the
次にＰＵ３２は、ＣＭ動画データのフレームを指定する変数ｉを初期化する（Ｓ１２）。この処理は、変数ｉを、ＣＭ動画データの先頭のフレームを指定する値とするための処理である。次に、ＰＵ３２は、フレームデータＦＤを、Ｎ個周期で３個サンプリングする（Ｓ１４）。すなわち、ＰＵ３２は、フレームデータＦＤ（ｉ）、ＦＤ（ｉ＋Ｎ）、ＦＤ（ｉ＋２Ｎ）をサンプリングする。なお、フレームデータＦＤ（１），ＦＤ（２），ＦＤ（３），…は、ＣＭ動画データの再生順序に従ったフレームデータＦＤの時系列を示す。詳しくは、フレームデータＦＤの後のカッコ内の数字が大きいほど、時系列的に後に再生されるフレームデータＦＤであることを示す。ちなみに、フレームデータＦＤは、レッド、グリーン、ブルーの３原色のそれぞれの輝度を示す「ｗ×ｈ」の画素数を有した２次元データである。ここで、「ｗ」および「ｈ」は自然数である。なお、以下では、上記３原色を適宜、「Ｒ，Ｇ，Ｂ」と表現する。 Next, PU32 initializes a variable i that specifies a frame of the CM video data (S12). This process is for setting the variable i to a value that specifies the first frame of the CM video data. Next, PU32 samples three pieces of frame data FD at an N-piece period (S14). That is, PU32 samples frame data FD(i), FD(i+N), FD(i+2N). Note that frame data FD(1), FD(2), FD(3), ... indicate the time series of frame data FD according to the playback order of the CM video data. In more detail, the larger the number in parentheses after the frame data FD, the later the frame data FD is played in the chronological order. Incidentally, frame data FD is two-dimensional data having a pixel count of "w x h" that indicates the luminance of each of the three primary colors, red, green, and blue. Here, "w" and "h" are natural numbers. In the following, the three primary colors will be referred to as "R, G, B" where appropriate.
そして、ＰＵ３２は、フレームデータＦＤ（ｉ）、ＦＤ（ｉ＋Ｎ）、ＦＤ（ｉ＋２Ｎ）のそれぞれを評価するフレーム評価処理を実行する（Ｓ１６）。
図４に、フレーム評価処理の詳細を示す。
Then, the
FIG. 4 shows the frame evaluation process in detail.
図４に示す一連の処理において、ＰＵ３２は、１つのフレームデータＦＤを、露出度識別モデルＭ１０に入力する（Ｓ３０）。露出度識別モデルＭ１０は、フレームデータＦＤが示す人の露出度を示す変数である露出度変数ｙｅ１，ｙｅ２，…の値を出力する。ここで、露出度変数ｙｅ１は、顔と手以外が衣類に覆われているなど身体の露出が特に問題ない状態であることを示す。露出度変数ｙｅ２は、胸部、正面下腹部、および尻部の少なくとも１つが露出している状態を示す。露出度変数ｙｅ３は、胸部が部分的に露出している状態を示す。詳しくは、胸部のうちの部分「４」および部分「５」については衣類で覆われているものの、部分「３」が露出している状態を示す。露出度識別モデルＭ１０が出力する露出度変数は、５個以上であってよい。それらには、たとえば、正面下腹部のうちの部分「１１」および部分「１８」が衣類で覆われているものの、部分「１０」が露出している状態等を示す値がある。なお、露出度変数ｙｅ１，ｙｅ２，…の値は、対応する露出度である確率を示す。たとえば、露出度変数ｙｅ１の値は、身体の露出が特に問題ない状態である確率を示す。なお、「露出している状態」とは、透明度の高い衣類で覆われている状態等の身体の表面が肉眼で視認しうる状態をさしてもよい。 In the series of processes shown in FIG. 4, PU32 inputs one frame data FD to the exposure identification model M10 (S30). The exposure identification model M10 outputs the values of exposure variables ye1, ye2, ... which are variables indicating the exposure of the person indicated by the frame data FD. Here, the exposure variable ye1 indicates a state in which the body is not particularly exposed, such as the face and hands being covered by clothing. The exposure variable ye2 indicates a state in which at least one of the chest, the front lower abdomen, and the buttocks is exposed. The exposure variable ye3 indicates a state in which the chest is partially exposed. In more detail, it indicates a state in which parts "4" and "5" of the chest are covered by clothing, but part "3" is exposed. The exposure identification model M10 may output five or more exposure variables. For example, there is a value indicating a state in which part "11" and part "18" of the lower front abdomen are covered by clothing, but part "10" is exposed. The values of the exposure degree variables ye1, ye2, ... indicate the probability of the corresponding exposure degree. For example, the value of the exposure degree variable ye1 indicates the probability that the exposure of the body is not particularly problematic. The "exposed state" may refer to a state in which the surface of the body is visible to the naked eye, such as a state in which the body is covered by highly transparent clothing.
露出度識別モデルＭ１０は、例として、教師あり学習によって学習された学習済みモデルである。露出度識別モデルＭ１０は、たとえば、上記露出度変数ｙｅ１，ｙｅ２，ｙｅ３，…のそれぞれに該当するフレームデータを訓練データとして学習されたモデルである。露出度識別モデルＭ１０は、たとえばニューラルネットワーク（以下、ＮＮと記載）を利用する（含む）モデルであってよい。その場合、露出度識別モデルＭ１０を構成するＮＮの出力活性化関数は、例として、ソフトマックス関数であってよい。露出度識別モデルＭ１０は、教師なし学習によって学習された学習済みモデルであってよく、半教師あり学習によって学習された学習済みモデルであってもよい。 The exposure level identification model M10 is, for example, a trained model trained by supervised learning. The exposure level identification model M10 is, for example, a model trained using frame data corresponding to each of the above exposure level variables ye1, ye2, ye3, ... as training data. The exposure level identification model M10 may be, for example, a model that uses (includes) a neural network (hereinafter referred to as NN). In this case, the output activation function of the NN that constitutes the exposure level identification model M10 may be, for example, a softmax function. The exposure level identification model M10 may be a trained model trained by unsupervised learning, or may be a trained model trained by semi-supervised learning.
露出度識別モデルＭ１０は、図１に示した記憶装置３４に記憶された前景識別写像データ３４ｂによって規定される。前景識別写像データ３４ｂは、パラメトリックモデルである識別モデルの学習済みのパラメータの値を含むデータである。すなわち、たとえば、露出度識別モデルＭ１０が畳み込みニューラルネットワーク（以下、ＣＮＮと記載）の場合、前景識別写像データ３４ｂは、畳み込み処理に用いる各フィルタの値を含む。また、ＣＮＮが全結合レイヤ等を含む場合、前景識別写像データ３４ｂは、全結合レイヤの重みを示すパラメータの値を含む。
The exposure discrimination model M10 is defined by foreground
またたとえば、露出度識別モデルＭ１０が、Ｔｒａｎｓｆｏｒｍｅｒベースのモデル（トランスフォーマエンコーダを備えるモデル）を利用（含む）してよい。この場合、前景識別写像データ３４ｂは、次のデータを含んでもよい。たとえば、前景識別写像データ３４ｂは、フレームデータＦＤを分割した各パッチを１次元のベクトルに変換する変換行列の成分の値を含んでよい。またたとえば、前景識別写像データ３４ｂは、上記１次元のベクトルに変換された各パッチを、キー、クエリ、およびバリューの各ベクトルに変換する行列の値を含んでもよい。また、たとえば、前景識別写像データ３４ｂは、１次元に変換されたパッチに埋め込む位置情報のデータを含んでもよい。なお、上記変換行列および位置情報データは、学習済みのデータであってもよい。ただし、これは、必ずしも上述した学習過程において学習された値である必要はない。たとえば、上記学習過程をファインチューニングとして且つ、それ以前に行われる学習においてのみ学習された値としてもよい。
For example, the exposure identification model M10 may use (include) a transformer-based model (a model with a transformer encoder). In this case, the foreground
なお、露出度識別モデルＭ１０がＮＮの場合、前景識別写像データ３４ｂは、活性化関数を規定するデータを含んでもよい。ただし、たとえば活性化関数を規定するデータは、画像評価プログラム３４ａに含めてもよい。
When the exposure identification model M10 is a neural network, the foreground
ＰＵ３２は、Ｓ３０の処理を完了する場合、露出度変数ｙｅ１，ｙｅ２，ｙｅ３，…のうちの値が最大となるものを、露出度変数Ｖｅｐに代入する（Ｓ３２）。ここで、露出度変数ｙｅ１，ｙｅ２，ｙｅ３，…の値は、ソフトマックス関数の出力値等であることから、最大値となるものを特定できる。Ｓ３２の処理は、露出度変数ｙｅ１，ｙｅ２，ｙｅ３，…のうちの値が最大となるもののラベル変数自体を露出度変数Ｖｅｐに代入する処理である。すなわち、たとえば露出度変数ｙｅ１の値が最大値の場合、露出度変数Ｖｅｐに、ラベル変数としての露出度変数ｙｅ１を代入する。 When completing the processing of S30, PU32 assigns the exposure variable Vep with the maximum value among the exposure variables ye1, ye2, ye3, ... (S32). Here, the values of the exposure variables ye1, ye2, ye3, ... are output values of a softmax function, etc., so the maximum value can be identified. The processing of S32 is a process of assigning the label variable itself of the exposure variable ye1, ye2, ye3, ... with the maximum value to the exposure variable Vep. That is, for example, when the value of the exposure variable ye1 is the maximum value, the exposure variable ye1 as a label variable is assigned to the exposure variable Vep.
次にＰＵ３２は、フレームデータＦＤを、背景識別モデルＭ１２に入力することによって、背景識別変数ｙｂ１，ｙｂ２，…の値を算出する（Ｓ３４）。背景識別変数ｙｂ１，ｙｂ２，…は、フレームデータＦＤが示す画像のうちの人以外の部分である背景の状態を識別するための変数である。なお、背景識別変数ｙｂ１，ｙｂ２，…の値は、背景の状態が該当する状態である確率を示す。 Next, PU32 inputs the frame data FD into the background identification model M12 to calculate the values of background identification variables yb1, yb2, ... (S34). The background identification variables yb1, yb2, ... are variables for identifying the state of the background, which is the part of the image represented by the frame data FD other than people. The values of the background identification variables yb1, yb2, ... indicate the probability that the background state is the corresponding state.
背景識別モデルＭ１２は、例として、教師あり学習によって学習された学習済みモデルである。背景識別モデルＭ１２は、たとえば、上記背景識別変数ｙｂ１，ｙｂ２，ｙｂ３，…のそれぞれに該当するフレームデータを訓練データとして学習されたモデルである。背景識別モデルＭ１２は、たとえばＮＮであってよい。その場合、背景識別モデルＭ１２を構成するＮＮの出力活性化関数は、例として、ソフトマックス関数であってよい。背景識別モデルＭ１２は、教師なし学習によって学習された学習済みモデルであってよく、半教師あり学習によって学習された学習済みモデルであってもよい。 The background identification model M12 is, for example, a trained model trained by supervised learning. The background identification model M12 is, for example, a model trained using frame data corresponding to each of the above background identification variables yb1, yb2, yb3, ... as training data. The background identification model M12 may be, for example, a NN. In that case, the output activation function of the NN constituting the background identification model M12 may be, for example, a softmax function. The background identification model M12 may be a trained model trained by unsupervised learning, or may be a trained model trained by semi-supervised learning.
背景識別モデルＭ１２は、図１に示した記憶装置３４に記憶された背景識別写像データ３４ｃによって規定される。背景識別写像データ３４ｃは、パラメトリックモデルである識別モデルの学習済みのパラメータの値を含むデータである。なお、背景識別モデルＭ１２がＮＮの場合、背景識別写像データ３４ｃは、活性化関数を規定するデータを含んでもよい。ただし、たとえば活性化関数を規定するデータは、画像評価プログラム３４ａに含めてもよい。なお、背景識別モデルＭ１２がＮＮの場合、ＮＮの具体的な構成は、露出度識別モデルＭ１０の説明において例示した構成としてもよい。また、背景識別写像データ３４ｃは、前景識別写像データ３４ｂの説明において示したように、モデルに応じて適宜構成される。ちなみに、背景識別モデルＭ１２を構成するアーキテクチャと露出度識別モデルＭ１０を構成するアーキテクチャとが同一であることは必須ではない。
The background identification model M12 is defined by background
ＰＵ３２は、Ｓ３４の処理を完了する場合、背景識別変数ｙｂ１，ｙｂ２，ｙｂ３，…のうちの値が最大となるものを、背景識別変数Ｖｂｇに代入する（Ｓ３６）。Ｓ３６の処理は、背景識別変数ｙｂ１，ｙｂ２，ｙｂ３，…のうちの値が最大となるもののラベル変数自体を背景識別変数Ｖｂｇに代入する処理である。 When completing the process of S34, PU32 assigns the background identification variable yb1, yb2, yb3, ..., whose value is the maximum, to the background identification variable Vbg (S36). The process of S36 is a process of assigning the label variable itself of the background identification variable yb1, yb2, yb3, ..., whose value is the maximum, to the background identification variable Vbg.
そして、ＰＵ３２は、露出度変数Ｖｅｐと背景識別変数Ｖｂｇとに基づき、フレームデータＦＤが胸部、正面下腹部、および尻部の異常な露出がない画像を示すか否かを評価する（Ｓ３８）。ＰＵ３２は、記憶装置３４に記憶されたルールベースデータ３４ｄの規定に従って、異常の有無を評価する。図４には、ルールベースデータ３４ｄの規定の一部を例示している。
Then, based on the exposure degree variable Vep and the background identification variable Vbg,
図４に「ＯＫ」と記載しているのは、胸部、正面下腹部、および尻部の異常な露出がない旨評価がなされることを意味する。この評価を、ＯＫ判定と称する。図４に「ＮＧ」と記載しているのは、胸部、正面下腹部、および尻部の少なくとも１つに異常な露出がある旨評価がなされることを意味する。以下では、この判定を、ＮＧ判定と称する。 In Figure 4, "OK" means that the evaluation indicates that there is no abnormal exposure of the chest, front lower abdomen, or buttocks. This evaluation is referred to as an OK judgment. In Figure 4, "NG" means that the evaluation indicates that there is abnormal exposure of at least one of the chest, front lower abdomen, and buttocks. Hereinafter, this judgment is referred to as an NG judgment.
上述したように、露出度変数ｙｅ１は、露出部が顔および手のみである場合等、フレームデータＦＤが示す人のそれぞれの着衣状態に問題がないことを示す。そのため、ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値が「ｙｅ１」である場合、背景識別変数Ｖｂｇの値にかかわらず、ＯＫ判定をすべきことを規定している。また、露出度変数ｙｅ２は、胸部、正面下腹部、および尻部の少なくとも１つが顕著に露出している状態を示す。そのため、ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値が「ｙｅ２」である場合、背景識別変数Ｖｂｇの値にかかわらず、ＮＧ判定をすべきことを規定している。
As described above, the exposure variable ye1 indicates that there is no problem with the clothing state of each person indicated by the frame data FD, such as when only the face and hands are exposed. Therefore, the rule-based
これに対し、露出度変数ｙｅ３は、胸部のうちの部分「４」および部分「５」については衣類で覆われているものの、部分「３」が露出している状態を示す。こうした状態は、海水浴場において人がある程度露出度の大きい水着を着ている場合等において生じうる。また、こうした状態は、スポーツジムにおいて、人がある程度露出度の大きいトレーニングウェアを着ている場合等において生じうる。また、こうした状態は、ベッドルームにおいて人がセクシーな下着のみを身にまとっている場合にも生じうる。ここで挙げた例のうち、始めの２つの例と残りの１つの例とは、性格が異なる。そこで、ルールベースデータ３４ｄは、始めの２つの例についてはＯＫ判定をする一方、残りの１つの例についてはＮＧ判定をするように規定する。具体的には、ルールベースデータ３４ｄは、背景識別変数Ｖｂｇの値が「ｙｂ１，ｙｂ２」である場合、ＯＫ判定をするように規定する。ここで、背景識別変数ｙｂ１は、背景が、例として、屋外プール、屋内プール、川、湖、浜辺、海水浴場または海等、水遊びまたは水泳をする場所であることを示す。また、背景識別変数ｙｂ２は、背景が、例として、スポーツジム、またはテニスコート等の水泳以外のスポーツをする場所であることを示す。一方、ルールベースデータ３４ｄは、背景識別変数Ｖｂｇの値が「ｙｂ３」である場合、ＮＧ判定をするように規定する。ここで、背景識別変数ｙｂ３は、背景が、例として、キッチン、リビングルームまたはベッドルーム等の所定の室内であることを示す。ルールベースデータ３４ｄにおいて、ＯＫ判定またはＮＧ判定の根拠として扱われる、露出度変数および背景識別変数等の各種変数の組み合わせは明示的に予め定められてよい。
In contrast, the exposure variable ye3 indicates a state in which parts "4" and "5" of the chest are covered with clothing, but part "3" is exposed. This state may occur when a person is wearing a swimsuit that is somewhat revealing at the beach. This state may also occur when a person is wearing training wear that is somewhat revealing at a sports gym. This state may also occur when a person is wearing only sexy underwear in a bedroom. Of the examples given here, the first two examples and the remaining one are different in nature. Therefore, the rule-based
ＰＵ３２は、Ｓ３８の処理を完了する場合、図３のＳ１６の処理を完了する。
図３に戻り、ＰＵ３２は、フレームデータＦＤ（ｉ），ＦＤ（ｉ＋Ｎ），ＦＤ（ｉ＋２Ｎ）のうちの２つ以上についてＯＫ判定がなされたか否かを判定する（Ｓ１８）。そして、ＰＵ３２は、ＯＫ判定が１つ以下であると判定する場合（Ｓ１８：ＮＯ）、Ｓ１０の処理によって取得したＣＭ動画データの配信（送信）を禁止する（Ｓ２０）。Ｓ１８の処理において否定判定されることは、ＣＭ動画データに、胸部、正面下腹部、および尻部の少なくとも１つに異常な露出がある旨の最終的な判定がなされたことを意味する。
When the
Returning to Fig. 3, the
一方、ＰＵ３２は、ＯＫ判定が２つ以上であると判定する場合（Ｓ１８：ＹＥＳ）、変数ｉに「Ｎ」を加算する（Ｓ２２）。そしてＰＵ３２は、フレームデータＦＤ（ｉ＋２Ｎ）が存在するか否かを判定する（Ｓ２４）。この処理は、ＣＭ動画データの全てについてＳ１６の処理を完了したか否かを判定する処理である。ＰＵ３２は、フレームデータＦＤ（ｉ＋２Ｎ）が存在すると判定する場合（Ｓ２４：ＹＥＳ）、Ｓ１４の処理に戻る。一方、ＰＵ３２は、フレームデータＦＤ（ｉ＋２Ｎ）が存在しないと判定する場合（Ｓ２４：ＮＯ）、ＣＭ動画データを配信可能とする（Ｓ２６）。すなわち、ＰＵ３２は、ユーザ端末５０からのリクエストに応じてＣＭ動画データを配信する。
On the other hand, if
なお、ＰＵ３２は、Ｓ２０，Ｓ２６の処理を完了する場合、図３に示した一連の処理を一旦終了する。
ここで、本実施形態の作用および効果について説明する。
When the
Here, the operation and effects of this embodiment will be described.
ＰＵ３２は、フレームデータＦＤを露出度識別モデルＭ１０に入力することによって、露出度変数Ｖｅｐの値を算出する。また、ＰＵ３２は、フレームデータＦＤを背景識別モデルＭ１２に入力することによって、背景識別変数Ｖｂｇの値を算出する。そしてＰＵ３２は、露出度変数Ｖｅｐの値と、背景識別変数Ｖｂｇの値とに基づき、フレームデータＦＤを評価する。 PU32 calculates the value of the exposure variable Vep by inputting the frame data FD to the exposure identification model M10. PU32 also calculates the value of the background identification variable Vbg by inputting the frame data FD to the background identification model M12. PU32 then evaluates the frame data FD based on the value of the exposure variable Vep and the value of the background identification variable Vbg.
ここで、ＰＵ３２は、フレームデータＦＤが示す画像中の人の着衣状態に明らかな異常がある場合と明らかに異常がない場合とには、背景識別変数Ｖｂｇの値にかかわらず、フレームデータＦＤを評価する。一方、ＰＵ３２は、フレームデータＦＤが示す画像中の人の着衣状態がグレーゾーンにある場合、背景識別変数Ｖｂｇの値を参照しつつ、フレームデータＦＤを評価する。したがって、フレームデータＦＤが配信すべきでないデータであるか否かを適切に評価できる。 Here, PU32 evaluates frame data FD regardless of the value of background identification variable Vbg when there is a clear abnormality in the clothing state of the person in the image shown by frame data FD and when there is no clear abnormality. On the other hand, when the clothing state of the person in the image shown by frame data FD is in a gray zone, PU32 evaluates frame data FD while referring to the value of background identification variable Vbg. Therefore, it is possible to appropriately evaluate whether frame data FD is data that should not be distributed.
＜第２の実施形態＞
以下、第２の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
Second Embodiment
The second embodiment will be described below with reference to the drawings, focusing on the differences from the first embodiment.
図５に、本実施形態にかかる画像評価装置３０によって実行される、図２に示した基準に沿った評価に基づいてＣＭ動画データがユーザ端末５０によって選択的に表示されることを支援する処理の手順を示す。図５に示す処理は、記憶装置３４に記憶された画像評価プログラム３４ａを、ＰＵ３２がたとえば所定周期でくり返し実行することにより実現される。なお、図５において、図３に示した処理に対応する処理については、便宜上、同一のステップ番号を付与してその説明を省略する。
Figure 5 shows the procedure for a process executed by the
図５に示すように、ＰＵ３２は、Ｓ１８の処理において否定判定する場合（Ｓ１８：ＮＯ）、ＣＭ動画データに制限指令を付与する（Ｓ２０ａ）。そして、ＰＵ３２は、Ｓ２６の処理に移行する。
As shown in FIG. 5, if the
制限指令は、次の何れかの指令である。
・ユーザ端末５０においてＣＭ動画データが再生される場合、始めに警告をする指令である。これはユーザインターフェース５８が備えるディスプレイに視覚情報を表示する処理としてもよい。またたとえば、ユーザインターフェース５８が備えるスピーカから音声情報を出力する処理としてもよい。
A restriction directive is one of the following directives:
This is a command to give a warning at the beginning when CM video data is played back on the
・ユーザ端末５０においてＣＭ動画データが再生される場合、所定部位が露出しているシーンが再生される場合に再生画像にマスクをする指令である。マスクをする指令は、たとえば、再生画像に対して所定画像を重畳することでマスクをする指令であってもよい。また、たとえば、マスクをする指令は、再生画像に対してぼかし等のエフェクトを適用することでマスクをする指令であってもよい。またたとえば、マスクをする指令は、露出している所定部位の領域を少なくとも含む再生画像の一部に対して所定画像を重畳することでマスクをする指令であってもよい。またたとえば、露出している所定部位の領域を少なくとも含む再生画像の一部に対してばかし等のエフェクトを適用することでマスクをする指令であってもよい。
- A command to mask the playback image when a scene in which a specific part is exposed is played back when commercial video data is played back on the
・ユーザ端末５０に対してなされる、ＣＭ動画データを再生してはいけない旨の指令である。これは、たとえばアプリケーションプログラム５４ａが、同指令を検知する場合にはＣＭ動画データの再生をしない設定と組み合わせることが望ましい。
- A command issued to the
＜第３の実施形態＞
以下、第３の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
Third Embodiment
Hereinafter, the third embodiment will be described with reference to the drawings, focusing on the differences from the first embodiment.
本実施形態では、前景識別写像データ３４ｂによって規定される学習済みモデルを変更する。
図６に、フレーム評価処理の詳細を示す。図６に示す処理は、記憶装置３４に記憶された画像評価プログラム３４ａを、ＰＵ３２がたとえば所定周期でくり返し実行することにより実現される。なお、図６において、図４に示した処理に対応する処理については、便宜上、同一のステップ番号を付与する。
In this embodiment, the trained model defined by the foreground
The frame evaluation process is shown in detail in Fig. 6. The process shown in Fig. 6 is realized by the
図６に示す一連の処理において、ＰＵ３２は、まず、フレームデータＦＤを人識別モデルＭ１４に入力することによって、フレームデータＦＤの各画素に、人を示す領域か否かに応じたラベル変数の値を付与する（Ｓ４０）。人識別モデルＭ１４は、セマンティックセグメンテーションを実行するモデルである。 In the series of processes shown in FIG. 6, the PU32 first inputs the frame data FD to the person identification model M14, thereby assigning to each pixel of the frame data FD a label variable value according to whether or not the pixel is an area that indicates a person (S40). The person identification model M14 is a model that performs semantic segmentation.
人識別モデルＭ１４は、例として、教師あり学習によって学習された学習済みモデルである。人識別モデルＭ１４は、たとえば、画素領域のそれぞれに、人を示す場合とそうではない場合とで異なるラベル変数の値が付与されたフレームデータＦＤを訓練データとして学習されたモデルである。人識別モデルＭ１４は、たとえばＮＮであってよい。その場合、人識別モデルＭ１４を構成するＮＮの出力活性化関数は、ソフトマックス関数であってよい。人識別モデルＭ１４は、教師なし学習によって学習された学習済みモデルであってよく、半教師あり学習によって学習された学習済みモデルであってもよい。なお、人識別モデルＭ１４がＮＮの場合、ＮＮの具体的な構成は、露出度識別モデルＭ１０の説明において例示した構成としてもよい。 The person identification model M14 is, for example, a trained model trained by supervised learning. The person identification model M14 is, for example, a model trained using frame data FD in which each pixel region is assigned a different label variable value depending on whether it represents a person or not, as training data. The person identification model M14 may be, for example, a NN. In this case, the output activation function of the NN constituting the person identification model M14 may be a softmax function. The person identification model M14 may be a trained model trained by unsupervised learning, or may be a trained model trained by semi-supervised learning. Note that when the person identification model M14 is a NN, the specific configuration of the NN may be the configuration exemplified in the description of the exposure identification model M10.
人識別モデルＭ１４は、図１に示した記憶装置３４に記憶された前景識別写像データ３４ｂによって規定される。前景識別写像データ３４ｂは、パラメトリックモデルである人識別モデルＭ１４の学習済みのパラメータの値を含むデータである。前景識別写像データ３４ｂは、人識別モデルＭ１４に応じて適宜構成される。
The person identification model M14 is defined by foreground
次にＰＵ３２は、Ｓ４０の処理によって人を示すラベル変数の値が付与された画素のうちの連続する画素の塊ごとに、予め定められた背景画像に埋め込む（Ｓ４２）。ここで、ＰＵ３２は、人を示すラベル変数の値が付与された画素のうちの連続する画素を、１人の人を示す画素と見なす。また、ＰＵ３２は、人を示すラベル変数の値が付与された画素のうちの不連続な画素については、異なる人を示す画素であるとみなす。したがって、ＰＵ３２は、Ｓ４２の処理によって、フレームデータＦＤが示す人の数に応じた埋込画像データＩＭＤを生成する。埋込画像データＩＭＤのそれぞれは、Ｒ，Ｇ，Ｂの３つの画像データを含む。なお、上記背景画像は、たとえば無地の背景画像であってもよい。 Next, PU32 embeds each group of consecutive pixels among the pixels to which the label variable value indicating a person has been assigned by the process of S40 into a predetermined background image (S42). Here, PU32 regards consecutive pixels among the pixels to which the label variable value indicating a person has been assigned as pixels indicating one person. Also, PU32 regards discontinuous pixels among the pixels to which the label variable value indicating a person has been assigned as pixels indicating different people. Therefore, PU32 generates embedded image data IMD according to the number of people indicated by the frame data FD by the process of S42. Each embedded image data IMD includes three image data of R, G, and B. Note that the above background image may be, for example, a plain background image.
次にＰＵ３２は、Ｓ４２の処理によって生成された画像データを、露出度識別モデルＭ１０に入力することによって、露出度変数ｙｅ１，ｙｅ２，ｙｅ３，…の値を算出する（Ｓ３０ａ）。そして、ＰＵ３２は、Ｓ３２の処理を実行する。 Next, PU32 inputs the image data generated by the process of S42 into the exposure identification model M10 to calculate the values of the exposure variables ye1, ye2, ye3, ... (S30a). Then, PU32 executes the process of S32.
続いてＰＵ３２は、フレームデータＦＤを衣類識別モデルＭ１６に入力することによって、衣類変数ｙｃ１，ｙｃ２，…の値を算出する（Ｓ４４）。
衣類識別モデルＭ１６は、例として、教師あり学習によって学習された学習済みモデルである。衣類識別モデルＭ１６は、たとえば、衣類変数ｙｃ１，ｙｃ２，ｙｃ３，…のそれぞれに該当するフレームデータを訓練データとして学習されたモデルである。衣類識別モデルＭ１６は、たとえばＮＮであってよい。その場合、衣類識別モデルＭ１６を構成するＮＮの出力活性化関数は、例として、ソフトマックス関数であってよい。衣類識別モデルＭ１６は、教師なし学習によって学習された学習済みモデルであってよく、半教師あり学習によって学習された学習済みモデルであってもよい。なお、衣類識別モデルＭ１６がＮＮの場合、ＮＮの具体的な構成は、露出度識別モデルＭ１０の説明において例示した構成としてもよい。
Next, the
The clothing identification model M16 is, for example, a trained model trained by supervised learning. The clothing identification model M16 is, for example, a model trained using frame data corresponding to each of the clothing variables yc1, yc2, yc3, ... as training data. The clothing identification model M16 may be, for example, a NN. In this case, the output activation function of the NN constituting the clothing identification model M16 may be, for example, a softmax function. The clothing identification model M16 may be a trained model trained by unsupervised learning, or may be a trained model trained by semi-supervised learning. Note that when the clothing identification model M16 is a NN, the specific configuration of the NN may be the configuration exemplified in the description of the exposure level identification model M10.
衣類識別モデルＭ１６は、図１に示した記憶装置３４に記憶された前景識別写像データ３４ｂによって規定される。前景識別写像データ３４ｂは、パラメトリックモデルである衣類識別モデルＭ１６の学習済みのパラメータの値を含むデータである。また、前景識別写像データ３４ｂは、衣類識別モデルＭ１６に応じて適宜構成される。
The clothing identification model M16 is defined by foreground
次にＰＵ３２は、衣類変数ｙｃ１，ｙｃ２，…のうちの値が最大となるものを、衣類変数Ｖｃｌに代入する（Ｓ４６）。Ｓ４６の処理は、衣類変数ｙｃ１，ｙｃ２，…のうちの値が最大となるもののラベル変数自体を、衣類変数Ｖｃｌに代入する処理である。 Next, PU32 assigns the clothing variable yc1, yc2, ..., whose value is the maximum, to clothing variable Vcl (S46). The process of S46 is a process of assigning the label variable of the clothing variable yc1, yc2, ..., whose value is the maximum, to clothing variable Vcl.
次にＰＵ３２は、図７に示すように、Ｓ３４，Ｓ３６の処理を実行する。そしてＰＵ３２は、露出度変数Ｖｅｐの値、衣類変数Ｖｃｌの値および背景識別変数Ｖｂｇの値に応じて、フレームデータＦＤを評価する（Ｓ３８ａ）。図７には、ルールベースデータ３４ｄによって規定されるルールを例示している。
Then, the
ここで、衣類変数ｙｃ１は、公序良俗に反するラベルが付与された衣類を示す変数である。ルールベースデータ３４ｄは、衣類変数Ｖｃｌの値が「ｙｃ１」である場合、露出度変数Ｖｅｐの値と背景識別変数Ｖｂｇの値とにかかわらず、ＮＧ判定をすべきことを規定する。また、ルールベースデータ３４ｄは、衣類変数Ｖｃｌの値が「ｙｃ１」以外であって且つ露出度変数Ｖｅｐの値が「ｙｅ１」である場合、背景識別変数Ｖｂｇの値にかかわらず、ＯＫ判定をすべきことを規定する。また、ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値が「ｙｅ２」である場合、衣類変数Ｖｃｌの値および背景識別変数Ｖｂｇの値にかかわらず、ＮＧ判定をすべきことを規定する。
Here, the clothing variable yc1 is a variable that indicates clothing that has been given a label that violates public order and morals. The rule-based
一方、衣類変数ｙｃ２は、水着を示す変数である。ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値が「ｙｅ３」であって且つ衣類変数Ｖｃｌの値が「ｙｃ２」である場合、背景識別変数Ｖｂｇの値に応じて異なる評価を規定する。すなわち、ルールベースデータ３４ｄは、背景識別変数Ｖｂｇの値が「ｙｂ１」である場合には、ＯＫ判定をすべきことを規定する。一方、ルールベースデータ３４ｄは、背景識別変数Ｖｂｇの値が「ｙｂ３」である場合には、ＮＧ判定をすべきことを規定する。
On the other hand, the clothing variable yc2 is a variable that indicates a swimsuit. When the value of the exposure variable Vep is "ye3" and the value of the clothing variable Vcl is "yc2", the rule-based
また、衣類変数ｙｃ３は、スポーツウェアを示す変数である。ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値が「ｙｅ３」であって且つ衣類変数Ｖｃｌの値が「ｙｃ３」である場合、背景識別変数Ｖｂｇの値に応じて異なる評価を規定する。すなわち、ルールベースデータ３４ｄは、背景識別変数Ｖｂｇの値が「ｙｂ２」である場合には、ＯＫ判定をすべきことを規定する。一方、ルールベースデータ３４ｄは、背景識別変数Ｖｂｇの値が「ｙｂ３」である場合には、ＮＧ判定をすべきことを規定する。
The clothing variable yc3 is a variable that indicates sportswear. When the value of the exposure variable Vep is "ye3" and the value of the clothing variable Vcl is "yc3", the rule-based
ＰＵ３２は、Ｓ３８ａの処理を完了する場合、Ｓ４０の処理によって生成された埋込画像データＩＭＤの全てについて、ＯＫ判定またはＮＧ判定の何れかの評価が完了したか否かを判定する（Ｓ４６）。ＰＵ３２は、未だ評価が完了していない領域がある場合（Ｓ４６：ＮＯ）、Ｓ３０ａの処理に戻る。一方、ＰＵ３２は、全ての評価が完了したと判定する場合（Ｓ４６：ＹＥＳ）、Ｓ３８ａの評価の対象となった埋込画像データＩＭＤにＮＧ判定されたデータがあったか否かを判定する（Ｓ４８）。ＰＵ３２は、ＮＧ判定されたデータがあると判定する場合（Ｓ４８：ＹＥＳ）、ＮＧ判定をする（Ｓ５０）。これに対し、ＰＵ３２は、ＮＧ判定されたデータがないと判定する場合（Ｓ４８：ＮＯ）、ＯＫ判定をする（Ｓ５２）。
When the processing of S38a is completed, the
なお、ＰＵ３２は、Ｓ５０，Ｓ５２の処理を完了する場合、図３のＳ１６の処理を完了する。
以上説明した本実施形態によれば、上記第１の実施形態において得られる作用および効果に準じた効果に加えて、さらに以下の作用および効果が得られる。
When the
According to the present embodiment described above, in addition to the effects and advantages similar to those obtained in the first embodiment, the following effects and advantages can be obtained.
（３－１）人の状態を識別する変数である前景識別変数を、露出度変数Ｖｅｐと衣類変数Ｖｃｌとの組によって構成した。これにより、フレームデータＦＤが示す人の状態が、ＣＭ動画データの配信にとって適切か否かをより詳細に評価できる。 (3-1) The foreground identification variable, which is a variable for identifying a person's state, is configured as a pair of the exposure variable Vep and the clothing variable Vcl. This allows for a more detailed evaluation of whether the state of a person indicated by the frame data FD is appropriate for the distribution of CM video data.
（３－２）ＰＵ３２は、フレームデータＦＤの画素領域のうち、人を示す画素領域を、連続する領域毎に抽出して、所定の背景画像に埋め込んだ。そしてＰＵ３２は、所定の背景画像に埋め込まれた人の画像データである埋込画像データＩＭＤを、露出度識別モデルＭ１０および衣類識別モデルＭ１６に入力した。これにより、フレームデータＦＤが示す画像に複数の人が含まれる場合、複数の人のそれぞれについて状態を評価できる。 (3-2) PU32 extracted pixel areas representing people from the pixel areas of frame data FD, one for each consecutive area, and embedded them in a specified background image. PU32 then inputs embedded image data IMD, which is image data of the people embedded in the specified background image, to exposure identification model M10 and clothing identification model M16. In this way, when the image represented by frame data FD includes multiple people, it is possible to evaluate the condition of each of the multiple people.
＜第４の実施形態＞
以下、第４の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
Fourth Embodiment
Hereinafter, the fourth embodiment will be described with reference to the drawings, focusing on the differences from the first embodiment.
本実施形態では、前景識別写像データ３４ｂによって規定される学習済みモデルを変更する。
図８に、フレーム評価処理の詳細を示す。図８に示す処理は、記憶装置３４に記憶された画像評価プログラム３４ａを、ＰＵ３２がたとえば所定周期でくり返し実行することにより実現される。
In this embodiment, the trained model defined by the foreground
The frame evaluation process is shown in detail in Fig. 8. The process shown in Fig. 8 is realized by the
図８に示す一連の処理において、ＰＵ３２は、まずフレームデータＦＤを身体識別モデルＭ１８に入力することによって、フレームデータＦＤの各画素に関する身体識別変数の値を算出する（Ｓ６０）。身体識別変数は、対応する画素が表現する身体の部分を特定するラベル変数である。このラベル変数は、少なくとも図２の部分「３～５，１１～１４，１８」のそれぞれを識別する変数である。身体識別モデルＭ１８は、セマンティックセグメンテーションを実行するモデルである。 In the series of processes shown in FIG. 8, PU32 first inputs the frame data FD into the body identification model M18 to calculate the value of the body identification variable for each pixel of the frame data FD (S60). The body identification variable is a label variable that identifies the part of the body represented by the corresponding pixel. This label variable is a variable that identifies at least each of the parts "3-5, 11-14, 18" in FIG. 2. The body identification model M18 is a model that performs semantic segmentation.
身体識別モデルＭ１８は、例として、教師あり学習によって学習された学習済みモデルである。身体識別モデルＭ１８は、たとえば、画素領域のそれぞれに、少なくとも図２の部分「３～５，１１～１４，１８」のそれぞれを識別するラベル変数の値が付与されたフレームデータＦＤを訓練データとして学習されたモデルである。身体識別モデルＭ１８は、たとえばＮＮであってよい。その場合、身体識別モデルＭ１８を構成するＮＮの出力活性化関数は、ソフトマックス関数であってよい。身体識別モデルＭ１８は、教師なし学習によって学習された学習済みモデルであってよく、半教師あり学習によって学習された学習済みモデルであってもよい。なお、身体識別モデルＭ１８がＮＮの場合、ＮＮの具体的な構成は、露出度識別モデルＭ１０の説明において例示した構成としてもよい。 The body identification model M18 is, for example, a trained model trained by supervised learning. The body identification model M18 is, for example, a model trained by using frame data FD in which each pixel region is assigned a label variable value that identifies at least each of the portions "3 to 5, 11 to 14, and 18" in FIG. 2 as training data. The body identification model M18 may be, for example, a neural network. In this case, the output activation function of the neural network that constitutes the body identification model M18 may be a softmax function. The body identification model M18 may be a trained model trained by unsupervised learning, or may be a trained model trained by semi-supervised learning. Note that when the body identification model M18 is a neural network, the specific configuration of the neural network may be the configuration exemplified in the description of the exposure identification model M10.
身体識別モデルＭ１８は、図１に示した記憶装置３４に記憶された前景識別写像データ３４ｂによって規定される。前景識別写像データ３４ｂは、パラメトリックモデルである身体識別モデルＭ１８の学習済みのパラメータの値を含むデータである。また、前景識別写像データ３４ｂは、身体識別モデルＭ１８に応じて適宜構成される。
The body identification model M18 is defined by foreground
次にＰＵ３２は、フレームデータＦＤを、着衣識別モデルＭ２０に入力することによって、フレームデータＦＤが示す各画素に関する着衣識別変数の値を算出する（Ｓ６２）。着衣識別変数は、対応する画素が、皮膚であるか衣類であるかそれ以外であるかを識別するラベル変数である。着衣識別モデルＭ２０は、セマンティックセグメンテーションを実行するモデルである。 Next, PU32 inputs the frame data FD into the clothing identification model M20 to calculate the value of the clothing identification variable for each pixel indicated by the frame data FD (S62). The clothing identification variable is a label variable that identifies whether the corresponding pixel is skin, clothing, or something else. The clothing identification model M20 is a model that performs semantic segmentation.
着衣識別モデルＭ２０は、例として、教師あり学習によって学習された学習済みモデルである。着衣識別モデルＭ２０は、たとえば、画素領域のそれぞれに、少なくとも皮膚、衣類、およびそれら以外のそれぞれを識別するラベル変数の値が付与されたフレームデータＦＤを訓練データとして学習されたモデルである。着衣識別モデルＭ２０は、たとえばＮＮであってよい。その場合、着衣識別モデルＭ２０を構成するＮＮの出力活性化関数は、ソフトマックス関数であってよい。着衣識別モデルＭ２０は、教師なし学習によって学習された学習済みモデルであってよく、半教師あり学習によって学習された学習済みモデルであってもよい。着衣識別モデルＭ２０がＮＮの場合、ＮＮの具体的な構成は、露出度識別モデルＭ１０の説明において例示した構成としてもよい。 The clothing identification model M20 is, for example, a trained model trained by supervised learning. The clothing identification model M20 is, for example, a model trained using frame data FD in which each pixel region is assigned a label variable value that identifies at least skin, clothing, and other than them as training data. The clothing identification model M20 may be, for example, a neural network. In this case, the output activation function of the neural network that constitutes the clothing identification model M20 may be a softmax function. The clothing identification model M20 may be a trained model trained by unsupervised learning, or may be a trained model trained by semi-supervised learning. When the clothing identification model M20 is a neural network, the specific configuration of the neural network may be the configuration exemplified in the explanation of the exposure identification model M10.
着衣識別モデルＭ２０は、図１に示した記憶装置３４に記憶された前景識別写像データ３４ｂによって規定される。前景識別写像データ３４ｂは、パラメトリックモデルである着衣識別モデルＭ２０の学習済みのパラメータの値を含むデータである。また、前景識別写像データ３４ｂは、着衣識別モデルＭ２０に応じて適宜構成される。
The clothing identification model M20 is defined by foreground
次にＰＵ３２は、胸部、正面下腹部、および尻部の少なくとも１つの領域に関する、着衣識別変数の値に、肌を示す値が含まれるか否かを判定する（Ｓ６４）。ここで、胸部、正面下腹部、および尻部の少なくとも１つの領域は、身体識別変数の値によって、図２の部分「３～５，１１～１４，１８」のいずれかを示す値が付与された領域である。Ｓ６４の処理は、胸部、正面下腹部、および尻部の少なくとも一部が露出しているか否かを判定する処理である。ＰＵ３２は、肌を示す値が存在すると判定する場合（６４：ＹＥＳ）、着衣識別変数の値が肌を示す値となるのが、胸部のみであるか否かを判定する（Ｓ６６）。 Next, PU32 determines whether or not the value of the clothing identification variable for at least one of the areas of the chest, the front lower abdomen, and the buttocks includes a value indicating skin (S64). Here, at least one of the areas of the chest, the front lower abdomen, and the buttocks is an area to which a value indicating any of the parts "3-5, 11-14, 18" in Figure 2 has been assigned depending on the value of the body identification variable. The process of S64 is a process for determining whether or not at least a part of the chest, the front lower abdomen, and the buttocks is exposed. If PU32 determines that a value indicating skin is present (64: YES), it determines whether or not the clothing identification variable value indicating skin is only for the chest (S66).
ＰＵ３２は、上記肌を示す値となるのが胸部のみであると判定する場合（Ｓ６６：ＹＥＳ）、図２に示した部分「４，５」に付与された着衣識別変数の値に肌を示す値が存在するか否かを判定する（Ｓ６８）。そして、ＰＵ３２は、肌を示す値が存在すると判定する場合（Ｓ６８：ＹＥＳ）、露出度変数Ｖｅｐに露出度変数ｙｅ２を代入する（Ｓ７０）。Ｓ７０の処理は、露出度変数Ｖｅｐに、ラベル変数としての露出度変数ｙｅ２自体を代入する処理である。 When PU32 determines that only the chest has a value indicating skin (S66: YES), it determines whether or not a value indicating skin is present in the value of the clothing identification variable assigned to the portion "4, 5" shown in FIG. 2 (S68). Then, when PU32 determines that a value indicating skin is present (S68: YES), it assigns the exposure variable ye2 to the exposure variable Vep (S70). The process of S70 is a process of assigning the exposure variable ye2 itself as a label variable to the exposure variable Vep.
一方、ＰＵ３２は、図２に示した部分「４，５」に付与された着衣識別変数の値に肌を示す値が存在しないと判定する場合（Ｓ６８：ＮＯ）、Ｓ７２の処理に移行する。ＰＵ３２は、Ｓ７２の処理において、図２に示した部分「４，５」に付与された着衣識別変数の値が衣類を示す値であるか否かを判定する（Ｓ７２）。この処理は、図２に示した部分「４，５」が、衣類によって覆われているか否かを判定する処理である。ＰＵ３２は、図２に示した部分「４，５」に付与された着衣識別変数の値が衣類を示す値であると判定する場合（Ｓ７２：ＹＥＳ）、露出度変数Ｖｅｐに、露出度変数ｙｅ３を代入する（Ｓ７４）。すなわち、Ｓ７２の処理において肯定判定される場合、フレームデータＦＤが示す人の状態は次の状態となっていると考えられる。すなわち、胸部、正面下腹部、および尻部のうち図２に示した部分「３」に限って、局所的に露出している状態である。 On the other hand, when PU32 determines that the value of the clothing identification variable assigned to the portion "4, 5" shown in FIG. 2 does not include a value indicating skin (S68: NO), it proceeds to the process of S72. In the process of S72, PU32 determines whether or not the value of the clothing identification variable assigned to the portion "4, 5" shown in FIG. 2 is a value indicating clothing (S72). This process is a process for determining whether or not the portion "4, 5" shown in FIG. 2 is covered by clothing. When PU32 determines that the value of the clothing identification variable assigned to the portion "4, 5" shown in FIG. 2 is a value indicating clothing (S72: YES), it assigns the exposure degree variable ye3 to the exposure degree variable Vep (S74). That is, when the process of S72 is determined to be positive, it is considered that the state of the person indicated by the frame data FD is the following state. That is, the state is that only the portion "3" shown in FIG. 2 among the chest, front lower abdomen, and buttocks is locally exposed.
このように、本実施形態では、身体識別変数の値によって、部分「３～５，１１～１４，１８」であると特定された画素領域のそれぞれについて、着衣識別変数の値に応じて肌の露出の有無を判定する。そして、その判定結果に応じて露出度変数Ｖｅｐの値を定める。 In this way, in this embodiment, for each pixel area identified as part "3-5, 11-14, 18" by the value of the body identification variable, a determination is made as to whether or not skin is exposed, depending on the value of the clothing identification variable. Then, the value of the exposure degree variable Vep is determined depending on the result of this determination.
なお、ＰＵ３２は、露出度変数Ｖｅｐの値が定まると、図４のＳ３４～Ｓ３８の処理を実行する。
＜第５の実施形態＞
以下、第５の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。
When the value of the exposure variable Vep is determined, the
Fifth embodiment
Hereinafter, the fifth embodiment will be described with reference to the drawings, focusing on the differences from the first embodiment.
本実施形態では、フレームデータＦＤの評価を、３通りとする。
図９に、本実施形態にかかる画像評価装置３０によって実行される、ＣＭ動画データの評価処理の手順を示す。図９に示す処理は、記憶装置３４に記憶された画像評価プログラム３４ａを、ＰＵ３２がたとえば所定周期でくり返し実行することにより実現される。なお、図９において、図３に示した処理に対応する処理については、便宜上、同一のステップ番号を付与してその説明を省略する。
In this embodiment, the frame data FD is evaluated in three ways.
Fig. 9 shows the procedure of the evaluation process of CM video data executed by the
図９に示す一連の処理において、ＰＵ３２は、Ｓ１４の処理を完了する場合、フレーム評価処理を実行する（Ｓ１６ａ）。
図６および図１０に、Ｓ１６ａの処理の詳細を示す。なお、図１０において、図７に示した処理に対応する処理については、便宜上、同一のステップ番号を付与している。
In the series of processes shown in FIG. 9, when the
The details of the process of S16a are shown in Figures 6 and 10. Note that in Figure 10, the processes corresponding to those shown in Figure 7 are given the same step numbers for convenience.
図１０に示すように、ＰＵ３２は、Ｓ３６の処理を完了する場合、露出度変数Ｖｅｐ、衣類変数Ｖｃｌおよび背景識別変数Ｖｂｇに応じてフレームデータＦＤを評価する（Ｓ３８ｂ）。ここでＰＵ３２は、ルールベースデータ３４ｄに従って、フレームデータＦＤを評価する。
As shown in FIG. 10, when the
本実施形態にかかる衣類変数ｙｃ１は、公序良俗に反することが特に顕著なラベルが付与された衣類を示す。以下、これを「公序良俗違反ラベル第１類」と称する。ルールベースデータ３４ｄは、衣類変数Ｖｃｌの値が衣類変数ｙｃ１の場合、露出度変数Ｖｅｐの値および背景識別変数Ｖｂｇの値にかかわらず、ＮＧ判定をすべきことを規定する。また、ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値、衣類変数Ｖｃｌの値、および背景識別変数Ｖｂｇの値のそれぞれが「ｙｅ３，ｙｃ２，ｙｂ１」の場合、ＯＫ２判定をすべきことを規定する。また、ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値、衣類変数Ｖｃｌの値、および背景識別変数Ｖｂｇの値のそれぞれが「ｙｅ３，ｙｃ３，ｙｂ２」の場合、ＯＫ１判定をすべきことを規定する。ここで、ＯＫ２判定は、ＯＫ１判定よりも、配信に制限を設けることが望ましい可能性が高い旨を示す。
The clothing variable yc1 in this embodiment indicates clothing to which a label that is particularly conspicuously against public order and morals has been attached. Hereinafter, this will be referred to as "
衣類変数ｙｃ４は、「公序良俗違反ラベル第１類」と比較して公序良俗に反する可能性が低いものの、学校等、特定のシチュエーションにおいては必ずしも許容されるとは限らないラベルが付与された衣類を示す。以下、これを、「公序良俗違反ラベル第２類」と称する。また、背景識別変数ｙｂ４は、校内を示す。ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値、衣類変数Ｖｃｌの値、および背景識別変数Ｖｂｇの値のそれぞれが「ｙｅ１，ｙｃ４，ｙｂ４」の場合、ＯＫ２判定をすべきことを規定する。一方、ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値、および衣類変数Ｖｃｌの値のそれぞれが「ｙｅ１，ｙｃ４」であっても、背景識別変数Ｖｂｇの値が「ｙｂ４」ではない場合、ＯＫ１判定をすべきことを規定する。これは、学校等においては好ましくない衣類の表示がある場合に、ＯＫ１判定よりも配信に制限を設けることが望ましい可能性があることを示す。
The clothing variable yc4 indicates clothing to which a label is attached that is less likely to violate public order and morals than the "Public Order and Morals
また、衣類変数ｙｃ５は、たとえばミニスカート等の所定の服装を示す。ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値、衣類変数Ｖｃｌの値、および背景識別変数Ｖｂｇの値のそれぞれが「ｙｅ１，ｙｃ５，ｙｂ４」の場合、ＯＫ２判定をすべきことを規定する。一方、ルールベースデータ３４ｄは、露出度変数Ｖｅｐの値、および衣類変数Ｖｃｌの値のそれぞれが「ｙｅ１，ｙｃ５」であっても、背景識別変数Ｖｂｇの値が「ｙｂ４」ではない場合、ＯＫ１判定をすべきことを規定する。これは、学校等においては、上記所定の服装をまとった人の画像を含むＣＭ動画データを、ＯＫ１判定よりも配信に制限を設けることが望ましい可能性があることを示す。
Furthermore, the clothing variable yc5 indicates a specified outfit such as a miniskirt. The rule-based
ＰＵ３２は、Ｓ３８ｂの処理を完了する場合、Ｓ４２の処理によって生成された埋込画像データＩＭＤの全てについて、Ｓ３８ｂの処理が完了したか否かを判定する（Ｓ９０）。そしてＰＵ３２は、未だＳ３８ｂの処理が完了していない埋込画像データＩＭＤが存在する場合（Ｓ９０：ＮＯ）、図６のＳ３０ａの処理に戻る。一方、ＰＵ３２は、Ｓ３８ｂの処理がすべて完了したと判定する場合（Ｓ９０：ＹＥＳ）、ＮＧ判定があるか否かを判定する（Ｓ９２）。ＰＵ３２は、ＮＧ判定があると判定する場合（Ｓ９２：ＹＥＳ）、フレームデータＦＤに対して最終的なＮＧ判定をする（Ｓ９４）。これに対し、ＰＵ３２は、ＮＧ判定がないと判定する場合（Ｓ９２：ＮＯ）、ＯＫ２判定があるか否かを判定する（Ｓ９６）。ＰＵ３２は、ＯＫ２判定があると判定する場合、フレームデータＦＤに対して最終的なＯＫ２判定をする（Ｓ９８）。一方、ＰＵ３２は、ＯＫ２判定がないと判定する場合（Ｓ９６：ＮＯ）、フレームデータＦＤに対して最終的なＯＫ１判定をする（Ｓ１００）。
When the
なお、ＰＵ３２は、Ｓ９４，Ｓ９８，Ｓ１００の処理が完了する場合、図９のＳ１６ａの処理を完了する。
図９に戻り、ＰＵ３２は、フレームデータＦＤ（ｉ），ＦＤ（ｉ＋Ｎ），ＦＤ（ｉ＋２Ｎ）のうちの１つ以上についてＮＧ判定がなされたか否かを判定する（Ｓ８０）。そして、ＰＵ３２は、ＮＧ判定が１つ以上であると判定する場合（Ｓ８０：ＹＥＳ）、ＣＭ動画データに対してＮＧ判定をする（Ｓ８２）。一方、ＰＵ３２は、ＮＧ判定が「０」であると判定する場合（Ｓ８０：ＮＯ）、フレームデータＦＤ（ｉ），ＦＤ（ｉ＋Ｎ），ＦＤ（ｉ＋２Ｎ）のうちの１つ以上についてＯＫ２判定がなされたか否かを判定する（Ｓ８４）。ＰＵ３２は、１つ以上ＯＫ２判定がなされたと判定する場合（Ｓ８４：ＹＥＳ）、ＣＭ動画データに対してＯＫ２判定をする（Ｓ８６）。一方、ＰＵ８２は、ＯＫ２判定が「０」であると判定する場合（Ｓ８４：ＮＯ）、変数ｉに「Ｎ」を加算する（Ｓ２２）。そしてＰＵ３２は、フレームデータＦＤ（ｉ＋２Ｎ）が存在するか否かを判定する（Ｓ２４）。ＰＵ３２は、フレームデータＦＤ（ｉ＋２Ｎ）が存在すると判定する場合（Ｓ２４：ＹＥＳ）、Ｓ１４の処理に戻る。一方、ＰＵ３２は、フレームデータＦＤ（ｉ＋２Ｎ）が存在しないと判定する場合（Ｓ２４：ＮＯ）、ＣＭ動画データに対してＯＫ１判定をする（Ｓ８８）。
When the processes of S94, S98, and S100 are completed, the
Returning to FIG. 9, the
図１１に、ユーザ端末５０において、ユーザが望む基準を満たす画像を表示することを支援する処理の手順を示す。図１１に示す処理は、２つの処理よりなる。１つは、ユーザ端末５０の記憶装置５４に記憶されたアプリケーションプログラム５４ａをＰＵ５２が所定周期でくり返し実行することにより実現される処理である。もう１つは、画像評価装置３０の記憶装置３４に記憶された画像評価プログラム３４ａをＰＵ３２が所定周期でくり返し実行することにより実現される処理である。
Figure 11 shows the procedure for a process that supports displaying images that meet the criteria desired by a user on a
図１１に示すように、ユーザ端末５０のＰＵ５２は、ユーザから再生を許容するＣＭ動画の基準についての要求を受け付ける（Ｓ１１０）。ここで、ＰＵ５２は、ユーザインターフェース５８が備える表示装置に、ＯＫ１判定のみを許容するか、ＯＫ１判定およびＯＫ２判定を許容するかを選択可能である旨を表示する。Ｓ１１０の処理は、ユーザによるユーザインターフェース５８への要求入力を受け付ける処理である。次に、ＰＵ５２は、通信機５６を操作することによって、ユーザの識別記号であるユーザＩＤと、要求された基準と、を送信する（Ｓ１１２）。
As shown in FIG. 11, the
これに対し、画像評価装置３０のＰＵ３２は、ユーザＩＤと要求された基準とを受信する（Ｓ１２０）。そしてＰＵ３２は、ユーザＩＤと要求された基準とを記憶装置３４に記憶する（Ｓ１２２）。そして、ＰＵ３２は、ＣＭ動画データを評価する（Ｓ１２４）。Ｓ１２４の処理は、図９に示した処理である。
In response, the
そしてＰＵ３２は、通信機３６を操作することによって、評価結果に応じて、ユーザ端末５０（１），５０（２），…のそれぞれに、要求された基準を満たす画像が表示可能なように画像データを送信する（Ｓ１２６）。すなわち、ＰＵ３２は、ＯＫ１判定のＣＭ動画データについては、全てのユーザ端末５０に無条件でＣＭ動画データを送信する。一方、ＰＵ３２は、ＯＫ２判定のＣＭ動画データについては、ＯＫ２判定を許容するユーザのユーザ端末５０に無条件でＣＭ動画データを送信する。これに対し、ＯＫ２判定を許容しないユーザのユーザ端末５０には、ＯＫ２判定のＣＭ動画データの送信を禁止してもよい。またこれに代えて、ＰＵ３２は、Ｓ２０ａの処理と同様の処理を実行してもよい。一方、ＰＵ３２は、ＮＧ判定のＣＭ動画データについては、全てのユーザのユーザ端末にその動画データを送信することを禁止してもよい。またこれに代えて、ＰＵ３２は、Ｓ２０ａの処理を実行してもよい。なお、ＰＵ３２は、Ｓ１２６の処理を完了する場合、図１１に示す一連の処理のうちのＰＵ３２が実行する処理を一旦終了する。
Then, the
一方、ユーザ端末５０のＰＵ５２は、画像評価装置３０から送信された画像データを受信する（Ｓ１１４）。ここで、ＰＵ５２は、基準を満たすＣＭ動画データについては無条件で再生する。また、基準を満たさないＣＭ動画データを受信する場合、同ＣＭ動画データに付与された制限指令に応じて、警告を発するか、マスクをするか、再生を禁止するかする。
Meanwhile, the
なお、ＰＵ５２は、Ｓ１１４の処理を完了する場合、図１１に示す一連の処理のうちのＰＵ５２が実行する処理を一旦終了する。
＜対応関係＞
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。
When completing the process of S114, the
<Correspondence>
The correspondence between the matters in the above embodiment and the matters described in the "Means for solving the problem" column is as follows. In the following, the correspondence is shown for each number of the means for solving the problem described in the "Means for solving the problem" column.
［１，３，５，６，１１］実行装置は、ＰＵ３２に対応する。記憶装置は、記憶装置３４に対応する。前景識別写像データは、前景識別写像データ３４ｂに対応する。背景識別写像データは、背景識別写像データ３４ｃに対応する。
[1,3,5,6,11] The execution unit corresponds to
前景識別写像は、図４においては、Ｓ３０，Ｓ３２の処理によって実現される写像に対応する。すなわち、フレームデータＦＤが入力されて露出度変数Ｖｅｐの値を出力する写像に対応する。前景識別写像は、図６および図９においては、Ｓ３０ａ，Ｓ３２，Ｓ４０～Ｓ４６の処理によって実現される写像に対応する。すなわち、フレームデータＦＤが入力されて露出度変数Ｖｅｐの値および衣類変数Ｖｃｌの値を出力する写像に対応する。前景識別写像は、図８においては、図８に示す処理によって実現される写像に対応する。すなわち、フレームデータＦＤが入力されて露出度変数Ｖｅｐの値を出力する写像に対応する。 In FIG. 4, the foreground identification mapping corresponds to the mapping realized by the processing of S30 and S32. That is, it corresponds to a mapping that receives frame data FD and outputs the value of the exposure variable Vep. In FIG. 6 and FIG. 9, the foreground identification mapping corresponds to the mapping realized by the processing of S30a, S32, and S40-S46. That is, it corresponds to a mapping that receives frame data FD and outputs the value of the exposure variable Vep and the value of the clothing variable Vcl. In FIG. 8, the foreground identification mapping corresponds to the mapping realized by the processing shown in FIG. 8. That is, it corresponds to a mapping that receives frame data FD and outputs the value of the exposure variable Vep.
前景識別変数は、図４および図８においては、露出度変数Ｖｅｐに対応する。前景識別変数は、図６においては、露出度変数Ｖｅｐおよび衣類変数Ｖｃｌの組に対応する。
評価処理は、Ｓ３８，Ｓ１８～Ｓ２４の処理、Ｓ３８ａ，Ｓ１８～Ｓ２４の処理、および図９の処理に対応する。
The foreground identification variable corresponds to the exposure variable Vep in Fig. 4 and Fig. 8. The foreground identification variable corresponds to the set of the exposure variable Vep and the clothing variable Vcl in Fig. 6.
The evaluation process corresponds to the processes of S38, S18 to S24, S38a, S18 to S24, and the process of FIG.
［２］第１の値は、図４における「ｙｅ１」、「ｙｅ２」と、図７における「－，ｙｃ１」、「ｙｅ１，ｙｃ１以外」、「ｙｅ２，－」と、図１０における「－，ｙｃ１」、「ｙｅ１，ｙｃ１、ｙｃ３以外」、「ｙｅ２，－」と、に対応する。第２の値は、図４における「ｙｅ３」と、図７における「ｙｅ３，ｙｃ２」，「ｙｅ３，ｙｃ３」と、図１０における「ｙｅ３，ｙｃ２」、「ｙｅ３，ｙｃ３」、「ｙｅ１，ｙｃ４」、「ｙｅ１，ｙｃ５」と、に対応する。［４］衣類の種類を特定する値は、衣類変数Ｖｃｌの値に対応する。 [2] The first value corresponds to "ye1" and "ye2" in FIG. 4, "-, yc1", "other than ye1, yc1", and "ye2, -" in FIG. 7, and "-, yc1", "other than ye1, yc1, yc3", and "ye2, -" in FIG. 10. The second value corresponds to "ye3" in FIG. 4, "ye3, yc2", and "ye3, yc3" in FIG. 7, and "ye3, yc2", "ye3, yc3", "ye1, yc4", and "ye1, yc5" in FIG. 10. [4] The value specifying the type of clothing corresponds to the value of the clothing variable Vcl.
［７］ユーザ端末は、ユーザ端末５０（１），５０（２），…に対応する。提供処理は、図３および図５のＳ２６の処理と、図１１のＳ１２４において要求基準を満たすと判定されたときのＳ１２６の処理とに対応する。制限処理は、図３のＳ２０の処理、図５のＳ２０ａの処理、および図１１のＳ１２４において要求基準を満たさないと判定されたときのＳ１２６の処理に対応する。［８，１０］指示処理は、Ｓ１１０，Ｓ１１２の処理に対応する。［９］禁止処理は、Ｓ２０の処理、および図１１のＳ１２４において要求基準を満たさないと判定されたときのＳ１２６の処理に対応する。制限送信処理は、Ｓ２０ａの処理、および図１１のＳ１２４において要求基準を満たさないと判定されたときのＳ１２６の処理に対応する。［１２］画像評価プログラムは、画像評価プログラム３４ａに対応する。
[7] The user terminal corresponds to the user terminals 50(1), 50(2), .... The provision process corresponds to the process of S26 in Fig. 3 and Fig. 5, and the process of S126 when it is determined in S124 in Fig. 11 that the request criteria are met. The restriction process corresponds to the process of S20 in Fig. 3, the process of S20a in Fig. 5, and the process of S126 when it is determined in S124 in Fig. 11 that the request criteria are not met. [8, 10] The instruction process corresponds to the processes of S110 and S112. [9] The prohibition process corresponds to the process of S20 and the process of S126 when it is determined in S124 in Fig. 11 that the request criteria are not met. The restricted transmission process corresponds to the process of S20a and the process of S126 when it is determined in S124 in Fig. 11 that the request criteria are not met. [12] The image evaluation program corresponds to the
［１３～１５］提供工程は、図３および図６のＳ２６の処理を実行する工程と、図１１のＳ１２４において要求基準を満たすと判定されたときのＳ１２６の処理とを実行する工程に対応する。制限工程は、図３のＳ２０の処理を実行する工程、図５のＳ２０ａの処理を実行する工程、および図１１のＳ１２４において要求基準を満たさないと判定されたときのＳ１２６の処理を実行する工程に対応する。取得工程は、Ｓ１０の処理に対応する。 [13-15] The providing process corresponds to the process of S26 in FIG. 3 and FIG. 6, and the process of S126 when it is determined in S124 in FIG. 11 that the required criteria are met. The restricting process corresponds to the process of S20 in FIG. 3, the process of S20a in FIG. 5, and the process of S126 when it is determined in S124 in FIG. 11 that the required criteria are not met. The acquiring process corresponds to the process of S10.
＜その他の実施形態＞
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
<Other embodiments>
This embodiment can be modified as follows: This embodiment and the following modifications can be combined with each other to the extent that no technical contradiction occurs.
「所定部位について」
再生して問題がある画像であるという評価の根拠である、１以上の身体の部分（所定の部位）は、胸部、正面下腹部、および尻部に限らず、例えば図２における身体の部分の少なくとも１つを含む態様で適宜、定義されてよい。また、一の実施形態において、上記根拠は、例えば図２における１の身体の部分の一部の態様で適宜、定義されてよい。具体的には、顔部を構成する唇，眼，髪等の身体の部分の一部が上記根拠となってもよい。
"Regarding specified parts"
The one or more body parts (predetermined parts) that are the basis for evaluating that the image is problematic when reproduced are not limited to the chest, the lower front abdomen, and the buttocks, and may be appropriately defined in a form including at least one of the body parts in Fig. 2. In one embodiment, the above-mentioned basis may be appropriately defined in the form of a part of one body part in Fig. 2. Specifically, the above-mentioned basis may be a part of a body part such as the lips, eyes, hair, etc. that constitute the face.
「衣類変数について」
・衣類変数が、水着とスポーツウェアとで互いに異なる値となることは必須ではない。水着、スポーツウェア等、胸部、正面下腹部、および尻部に限って覆っている所定の衣類を同じ変数値としてもよい。
"About clothing variables"
The clothing variables do not necessarily have to be different values for swimsuits and sportswear. The same variable values may be used for specific clothing such as swimsuits and sportswear that only cover the chest, lower front abdomen, and buttocks.
「背景識別変数について」
・背景識別変数が、プール、川、海と、スポーツジムとで互いに異なる値となることは必須ではない。たとえば、それらを同一の変数値としてもよい。
"About background identification variables"
The background identification variables do not necessarily have to be different values for a pool, a river, the sea, and a sports gym. For example, they may be set to the same variable value.
・たとえば、背景識別変数の値に、公序良俗を乱すポスター、アダルトグッズ等が含まれる場合の値を含めてもよい。
「衣類識別写像について」
・図６等には、衣類識別写像を構成する衣類識別モデルＭ１６を複数の出力を有する単一のモデルとしたが、これに限らない。たとえば、衣類が水着であるか否かを識別するモデル、衣類がスポーツウェアであるか否かを識別するモデル等の複数の識別モデルとしてもよい。
For example, the value of the background identification variable may include a value in the case where posters that disturb public order and morals, adult goods, etc. are included.
"On clothing identification mapping"
6 and other figures, the clothing identification model M16 constituting the clothing identification map is a single model having multiple outputs, but this is not limited to this. For example, multiple identification models may be used, such as a model that identifies whether the clothing is a swimsuit, a model that identifies whether the clothing is sportswear, and so on.
・衣類識別写像を構成する衣類識別モデルＭ１６の入力が、埋込画像データＩＭＤであることは必須ではない。たとえば、フレームデータＦＤを入力としてもよい。その場合、フレームデータＦＤが示す画像中に複数の人が存在する場合、異常の度合いが最も大きくなる評価が最もなされやすくなる衣類の変数を指定するモデルとすればよい。具体的には、たとえば、ＯＫ判定とＮＧ判定との２値的な判定をする場合、複数人のそれぞれが身に着けている衣類のうちのＮＧ判定がされやすい衣類を指定すればよい。また、たとえば、ＯＫ１判定、ＯＫ２判定およびＮＧ判定の３値の判定をする場合であってＮＧ判定がされやすい衣類がある場合、ＮＧ判定がされやすい衣類を指定すればよい。また、たとえば、ＯＫ１判定、ＯＫ２判定およびＮＧ判定の３値の判定をする場合であってＮＧ判定がされやすい衣類がない場合、ＯＫ２判定がされやすい衣類を指定すればよい。 - The input of the clothing identification model M16 that constitutes the clothing identification mapping does not necessarily have to be the embedded image data IMD. For example, the frame data FD may be used as the input. In this case, if there are multiple people in the image shown by the frame data FD, the model may specify the variables of the clothing that is most likely to be evaluated as having the highest degree of abnormality. Specifically, for example, when making a binary judgment of OK and NG, it is sufficient to specify the clothing that is likely to be judged as NG among the clothing worn by each of the multiple people. Also, for example, when making a ternary judgment of OK1, OK2, and NG and there is clothing that is likely to be judged as NG, it is sufficient to specify the clothing that is likely to be judged as NG. Also, for example, when making a ternary judgment of OK1, OK2, and NG and there is no clothing that is likely to be judged as NG, it is sufficient to specify the clothing that is likely to be judged as OK2.
またたとえば、人の代表点の座標と、その人の衣類変数との双方を出力する回帰モデル兼識別モデルにフレームデータＦＤを直接入力してもよい。具体的には、このモデルは、予め定められた上限の人数「ｋ」人について、ｋ個の代表点の出力と、ｋ個の衣類変数の値とを出力するモデルとしてもよい。その場合、フレームデータＦＤに含まれる人の数が「ｋ」人に満たない場合、それらに対応する衣類変数の値が所定の値となるようにすればよい。このモデルは、「衣類識別写像について」の欄に記載した回帰モデル兼識別モデルとともに用いて好適である。 For example, the frame data FD may be directly input to a regression model and identification model that outputs both the coordinates of a person's representative points and the clothing variables of that person. Specifically, this model may output k representative points and k clothing variable values for a predetermined upper limit of "k" people. In that case, if the number of people included in the frame data FD is less than "k", the values of the clothing variables corresponding to those people may be set to predetermined values. This model is suitable for use together with the regression model and identification model described in the "Regarding clothing identification mapping" section.
「露出度識別写像について」
・露出度識別写像を構成する露出度識別モデルＭ１０を、露出度に応じた複数の値を出力する単一モデルとすることは、必須ではない。たとえば、「ｙｅ１」相当であるか否かを識別するモデル、「ｙｅ２」相当であるか否かを識別するモデル等、複数の識別モデルとしてもよい。
"On the exposure discrimination map"
The exposure level identification model M10 constituting the exposure level identification mapping does not necessarily have to be a single model that outputs multiple values according to the exposure level. For example, multiple identification models such as a model that identifies whether or not the exposure level is equivalent to "ye1" and a model that identifies whether or not the exposure level is equivalent to "ye2" may be used.
・Ｓ３０ａの処理における露出度識別モデルＭ１０の入力が埋込画像データＩＭＤであることは必須ではない。たとえば、フレームデータＦＤを入力としてもよい。その場合、フレームデータＦＤが示す画像中に複数の人が存在する場合、異常の度合いが最も大きくなる評価が最もなされやすくなる露出度を示すモデルとすればよい。具体的には、たとえば、ＯＫ判定とＮＧ判定との２値的な判定をする場合、複数人のうちのＮＧ判定がされやすい人の露出度を示せばよい。また、たとえば、ＯＫ１判定、ＯＫ２判定およびＮＧ判定の３値の判定をする場合であってＮＧ判定がされやすい衣類がある場合、ＮＧ判定がされやすい露出度を示せばよい。また、たとえば、ＯＫ１判定、ＯＫ２判定およびＮＧ判定の３値の判定をする場合であってＮＧ判定がされやすい露出度の人が存在しない場合、ＯＫ２判定がされやすい人の露出度を示せばよい。 - It is not essential that the input of the exposure identification model M10 in the process of S30a is the embedded image data IMD. For example, the frame data FD may be used as the input. In that case, if there are multiple people in the image shown by the frame data FD, the model may be used to indicate the exposure level that is most likely to be evaluated as the highest degree of abnormality. Specifically, for example, when a binary judgment of OK judgment and NG judgment is made, it is sufficient to indicate the exposure level of the person who is most likely to be judged as NG among multiple people. Also, for example, when a ternary judgment of OK1 judgment, OK2 judgment, and NG judgment is made and there is clothing that is likely to be judged as NG, it is sufficient to indicate the exposure level that is likely to be judged as NG. Also, for example, when a ternary judgment of OK1 judgment, OK2 judgment, and NG judgment is made and there is no person with an exposure level that is likely to be judged as NG, it is sufficient to indicate the exposure level of the person who is likely to be judged as OK2.
またたとえば、人の代表点の座標と、その人の露出度変数との双方を出力する回帰モデル兼識別モデルにフレームデータＦＤを直接入力してもよい。具体的には、このモデルは、予め定められた上限の人数「ｋ」人について、ｋ個の代表点の出力と、ｋ個の露出度変数の値とを出力するモデルとしてもよい。その場合、フレームデータＦＤに含まれる人の数が「ｋ」人に満たない場合、それらに対応する露出度変数の値が所定の値となるようにすればよい。このモデルは、「衣類識別写像について」の欄に記載した回帰モデル兼識別モデルとともに用いて好適である。 For example, the frame data FD may be directly input to a regression model and identification model that outputs both the coordinates of a person's representative point and the exposure variable of that person. Specifically, this model may output k representative points and k exposure variable values for a predetermined upper limit of "k" people. In that case, if the number of people included in the frame data FD is less than "k", the values of the exposure variables corresponding to those people may be set to predetermined values. This model is suitable for use together with the regression model and identification model described in the "Regarding clothing identification mapping" section.
「露出度識別モデルの出力について」
・たとえば露出を問題とする所定部位が複数ある場合において、それら各部位ごとに、露出の有無を出力するモデルであってもよい。すなわち、たとえば、胸部、正面下腹部、および尻部の３つを所定部位とする場合、それらのそれぞれ毎に、露出の有無の判定結果を示す変数値を出力するようにしてもよい。これは、たとえば出力活性化関数を、ロジスティックシグモイド関数を所定部位の数である３個用意することによって実現できる。
"About the output of the exposure discrimination model"
For example, in a case where there are multiple predetermined parts that are problematic for exposure, the model may output whether each of the parts is exposed. That is, in a case where the three predetermined parts are the chest, the front lower abdomen, and the buttocks, for example, a variable value indicating the result of the determination of whether each of the parts is exposed may be output. This can be realized, for example, by preparing three logistic sigmoid functions as the output activation function, which is the number of predetermined parts.
「前景識別写像について」
・図６においては、露出度識別モデルＭ１０および衣類識別モデルＭ１６の２つの学習済みモデルを利用して前景識別写像を構成したが、これに限らない。たとえば、身体の露出度と衣類の種類との双方を識別するラベル変数を出力する単一の学習済みモデルを利用して前景識別写像を構成してもよい。これは、たとえば図６において、「ｙｅ１，ｙｃ１」に対応するフレームデータＦＤ、「ｙｅ１，ｙｃ１以外」に対応するフレームデータなどに各別の目標変数を付与した訓練データを用いて実現できる。
"On foreground discriminative mapping"
In Fig. 6, the foreground identification map is constructed using two trained models, the exposure identification model M10 and the clothing identification model M16, but this is not limited to the above. For example, the foreground identification map may be constructed using a single trained model that outputs label variables that identify both the exposure level of the body and the type of clothing. This can be realized, for example, by using training data in Fig. 6 in which separate target variables are assigned to the frame data FD corresponding to "ye1, yc1" and the frame data corresponding to "other than ye1, yc1".
「前景識別処理について」
・Ｓ３０の処理において、露出度識別モデルＭ１０への入力データとしては、フレームデータＦＤに限らない。たとえば、Ｒ，Ｇ，Ｂの各画像データに代えて、モノクロの画像データを用いてもよい。またたとえば、フレームデータＦＤから人に関する画像領域を抽出して所定の背景画像に埋め込んだデータを入力してもよい。ここで、人に関する画像領域の抽出処理は、セマンティックセグメンテーションモデルを利用してＰＵ３２により実施する。
"About foreground classification processing"
In the process of S30, the input data to the exposure identification model M10 is not limited to the frame data FD. For example, monochrome image data may be used instead of the R, G, and B image data. Also, for example, data in which an image area related to a person is extracted from the frame data FD and embedded in a predetermined background image may be input. Here, the extraction process of the image area related to a person is performed by the
・Ｓ３０ａの処理において、露出度識別モデルＭ１０への入力データとしては、Ｒ，Ｇ，Ｂの各画像データに限らない。たとえば、Ｒ，Ｇ，Ｂの各画像データに代えて、モノクロの画像データを用いてもよい。 - In the process of S30a, the input data to the exposure identification model M10 is not limited to R, G, and B image data. For example, monochrome image data may be used instead of R, G, and B image data.
・衣類識別モデルＭ１６への入力データとしては、Ｒ，Ｇ，Ｂの各画像データに限らない。たとえば、Ｒ，Ｇ，Ｂの各画像データに代えて、モノクロの画像データを用いてもよい。 - The input data to the clothing identification model M16 is not limited to R, G, and B image data. For example, monochrome image data may be used instead of R, G, and B image data.
・身体識別モデルＭ１８への入力データとしては、フレームデータＦＤに限らない。たとえば、Ｒ，Ｇ，Ｂの各画像データに代えて、モノクロの画像データを用いてもよい。またたとえば、フレームデータＦＤから人に関する画像領域を抽出して所定の背景画像に埋め込んだデータを入力してもよい。ここで、人に関する画像領域の抽出処理は、セマンティックセグメンテーションモデルを利用してＰＵ３２により実施する。 - The input data to the body identification model M18 is not limited to the frame data FD. For example, monochrome image data may be used instead of the R, G, and B image data. Also, for example, data in which an image area related to a person is extracted from the frame data FD and embedded in a specified background image may be input. Here, the process of extracting the image area related to a person is performed by PU32 using a semantic segmentation model.
・着衣識別モデルＭ２０への入力データとしては、フレームデータＦＤに限らない。たとえば、Ｒ，Ｇ，Ｂの各画像データに代えて、モノクロの画像データを用いてもよい。またたとえば、フレームデータＦＤから人に関する画像領域を抽出して所定の背景画像に埋め込んだデータを入力してもよい。ここで、人に関する画像領域の抽出処理は、セマンティックセグメンテーションモデルを利用してＰＵ３２により実施する。 - The input data to the clothing identification model M20 is not limited to the frame data FD. For example, monochrome image data may be used instead of the R, G, and B image data. Also, for example, image areas related to people may be extracted from the frame data FD and embedded in a specified background image, and data may be input. Here, the process of extracting image areas related to people is performed by PU32 using a semantic segmentation model.
・たとえば、「露出度識別写像について」および「衣類識別写像について」の欄に記載したように、露出度識別モデルと衣類識別モデルとが上述の回帰モデル兼識別モデルの場合、次のようにすればよい。すなわち、露出度識別モデルが出力する代表点と衣類識別モデルが出力する代表点とを対応付ければよい。これにより、対応付けられた一対の代表点のそれぞれに紐づいている露出度変数と衣類変数とからＳ３８ａ，Ｓ３８ｂの処理を実行することができる。 - For example, as described in the "Regarding exposure identification mapping" and "Regarding clothing identification mapping" sections, if the exposure identification model and clothing identification model are the above-mentioned regression model and identification model, the following can be done. That is, the representative points output by the exposure identification model and the representative points output by the clothing identification model can be associated with each other. This makes it possible to execute the processes of S38a and S38b from the exposure variable and clothing variable linked to each of the associated pairs of representative points.
「背景識別処理について」
・背景識別モデルＭ１２への入力データとしては、フレームデータＦＤに限らない。たとえば、Ｒ，Ｇ，Ｂの各画像データに代えて、モノクロの画像データを用いてもよい。またたとえば、フレームデータＦＤから背景に関する画像領域を抽出して所定の背景画像に埋め込んだデータを入力してもよい。ここで、背景に関する画像領域の抽出処理は、セマンティックセグメンテーションモデルを利用してＰＵ３２により実施する。
"Background Classification Processing"
The input data to the background identification model M12 is not limited to the frame data FD. For example, monochrome image data may be used instead of the R, G, and B image data. Also, for example, data in which an image region related to the background is extracted from the frame data FD and embedded in a predetermined background image may be input. Here, the process of extracting the image region related to the background is performed by the
「評価処理について」
・評価処理が、前景識別変数の値のみから異常か否かを評価する処理と、前景識別変数の値と背景識別変数の値との双方から異常か否かを評価する処理と、からなることは必須ではない。たとえば、前景識別変数の値にかかわらず、ＮＧ判定される処理を含めてもよい。この処理は、たとえば、背景識別変数の値に、「背景識別変数について」の欄に記載したように、アダルトグッズ等が含まれる場合の値が含まれる場合等において好適である。
"About evaluation processing"
The evaluation process does not necessarily have to consist of a process for evaluating whether or not there is an abnormality only from the value of the foreground identification variable, and a process for evaluating whether or not there is an abnormality from both the value of the foreground identification variable and the value of the background identification variable. For example, the evaluation process may include a process for NG judgment regardless of the value of the foreground identification variable. This process is suitable, for example, in the case where the value of the background identification variable includes a value that includes adult goods, etc., as described in the "About the background identification variable" section.
・複数のフレームにおいてそれらの一部且つ所定数以上異常がない旨の評価がなされる場合に異常がない旨の最終的な評価をすることは必須ではない。たとえば、所定周期でサンプリングされたフレームデータＦＤの全てがフレーム評価処理によってＯＫとされる場合に限って、最終的なＯＫ判定をしてもよい。なお、ここで所定周期は、フレームの周期と等しくてもよい。 - If some or a predetermined number of frames are evaluated as being free of abnormalities, it is not necessary to make a final evaluation that there are no abnormalities. For example, a final OK judgment may be made only when all of the frame data FD sampled at a predetermined period is judged to be OK by the frame evaluation process. Note that the predetermined period here may be equal to the frame period.
「前景識別写像データについて」
・前景識別写像データが、パラメトリックモデルにおける学習済みのパラメータのみからなることは必須ではない。たとえば、特徴抽出器を規定するデータと、サポートベクトルとからなってもよい。ここで、特徴抽出器は、ＣＮＮ等、フレームデータＦＤ等を入力として特徴ベクトルを出力する学習済みモデルである。一方、サポートベクトルは、サポートベクトルマシンの学習によって選択されたベクトルである。すなわち、訓練データが特徴抽出器に入力されることによって出力される特徴ベクトルから学習過程でサポートベクトルを抽出する。そして、特徴抽出器を規定するパラメータとサポートベクトルとを、前景識別写像データとして記憶装置３４に記憶する。
"Foreground discrimination mapping data"
The foreground identification mapping data does not necessarily have to consist of only trained parameters in a parametric model. For example, it may consist of data defining a feature extractor and support vectors. Here, the feature extractor is a trained model such as CNN that takes frame data FD as input and outputs feature vectors. Meanwhile, the support vector is a vector selected by training of a support vector machine. That is, support vectors are extracted during the learning process from feature vectors output by inputting training data into the feature extractor. Then, the parameters defining the feature extractor and the support vectors are stored in the
「背景識別写像データについて」
・背景識別写像データが、パラメトリックモデルにおける学習済みのパラメータのみからなることは必須ではない。たとえば、特徴抽出器を規定するデータと、サポートベクトルとからなってもよい。ここで、特徴抽出器は、ＣＮＮ等、フレームデータＦＤ等を入力として特徴ベクトルを出力する学習済みモデルである。一方、サポートベクトルは、サポートベクトルマシンの学習によって選択されたベクトルである。すなわち、訓練データが特徴抽出器に入力されることによって出力される特徴ベクトルから学習過程でサポートベクトルを抽出する。そして、特徴抽出器を規定するパラメータとサポートベクトルとを、背景識別写像データとして記憶装置３４に記憶する。
"About background discrimination mapping data"
The background identification mapping data does not necessarily have to consist of only trained parameters in a parametric model. For example, it may consist of data defining a feature extractor and support vectors. Here, the feature extractor is a trained model such as CNN that takes frame data FD as input and outputs feature vectors. Meanwhile, the support vector is a vector selected by training of a support vector machine. That is, support vectors are extracted during the learning process from feature vectors output by inputting training data into the feature extractor. Then, the parameters defining the feature extractor and the support vectors are stored in the
「制限処理、制限工程について」
・Ｓ２０ａの処理としては、たとえば、再生画像のうち所定部位が露出している領域を少なくとも含む再生画像の一部に対して所定画像を重畳することでマスクをする指令であってよい。またたとえば、再生画像のうち所定部位が露出している領域を少なくとも含む再生画像の一部に対してぼかし等のエフェクトを適用することでマスクをする指令であってよい。すなわち、Ｓ２０ａの処理は、露出することが問題とされて且つ露出していると判定された所定部位が非表示となるような指令であればその態様に制限はない。なお、露出することが問題とされる所定部位のうちの実際に露出している領域は、たとえば露出度識別モデルＭ１０の注視領域に基づき特定してもよい。
"About restricted processing and restricted processes"
The process of S20a may be, for example, a command to mask a part of the reproduced image including at least the area where the specified part is exposed by superimposing a specified image. Also, for example, a command to mask a part of the reproduced image including at least the area where the specified part is exposed by applying an effect such as blurring. That is, the process of S20a is not limited in its form as long as it is a command to hide the specified part that is considered to be problematic and is determined to be exposed. Note that the area that is actually exposed among the specified parts that are considered to be problematic to be exposed may be identified based on, for example, the gaze area of the exposure degree identification model M10.
・たとえば、ＰＵ３２は、所定数の連続する複数のフレームデータＦＤのうち、ＯＫ判定がなされなかったフレームデータＦＤの数が所定数に満たない場合に、ＣＭ動画データの配信（送信）を禁止してもよい。その場合、ＰＵ３２は、所定数の連続する複数のフレームデータＦＤのすべてにおいてＯＫ判定がなされることを条件として、ＣＭ動画データの配信（送信）を行ってもよい。 - For example, PU32 may prohibit the distribution (transmission) of the CM video data if the number of frame data FD that has not been judged as OK among a predetermined number of consecutive frames of data FD does not reach a predetermined number. In this case, PU32 may distribute (transmit) the CM video data on the condition that all of the predetermined number of consecutive frames of data FD are judged as OK.
またたとえば、ＰＵ３２は、所定数の連続する複数のフレームデータＦＤのうち、ＯＫ判定がなされなかったフレームデータＦＤの数が所定数である場合に、ＣＭ動画データの配信（送信）を禁止してもよい。その場合、ＰＵ３２は、所定数の連続する複数のフレームデータＦＤの少なくとも一部においてＯＫ判定がなされることを条件として、ＣＭ動画データの配信（送信）を行ってもよい。 For example, PU32 may prohibit the distribution (transmission) of CM video data when a predetermined number of consecutive frames of data FD are not judged as OK. In this case, PU32 may distribute (transmit) CM video data on the condition that at least a portion of the predetermined number of consecutive frames of data FD are judged as OK.
またたとえば、ＰＵ３２は、所定数の連続する複数のフレームデータＦＤのうち、ＯＫ判定がなされなかった所定数に満たないフレームデータＦＤを挟んでＯＫ判定がなされたフレームデータＦＤが連続する場合、ＣＭ動画データの配信（送信）を行ってもよい。 For example, PU32 may distribute (transmit) commercial video data when, among a predetermined number of consecutive frames of data FD, consecutive frames of data FD that have been judged as OK are sandwiched between frames of data FD that do not meet the predetermined number and have not been judged as OK.
なお、ＰＵ３２は、所定数の連続する複数のフレームデータＦＤのうち、ＯＫ判定がなされた所定数に満たないフレームデータＦＤを挟んでＯＫ判定がなされなかったフレームデータＦＤが連続する場合、ＣＭ動画データの配信（送信）を禁止してもよい。 In addition, PU32 may prohibit the distribution (transmission) of CM video data when, among a predetermined number of consecutive frames of data FD, there are consecutive frames of data FD that have not been judged as OK, sandwiched between frames of data FD that do not meet the predetermined number of frames that have been judged as OK.
・Ｓ２０ａの処理によってユーザ端末５０において画像が表示されることを制限する処理にとって、図４に示すフレーム評価処理等によって評価がなされることは必須ではない。たとえば図６に示した処理、またはその変更例に示したフレーム評価処理等によって評価がなされる場合にＳ２０ａの処理を適用してもよい。またたとえば、図８に示した処理、またはその変更例に示したフレーム評価処理等によって評価がなされる場合にＳ２０ａの処理を適用してもよい。
- For the process of restricting the display of an image on the
・図１１の処理において、Ｓ１１２，Ｓ１２０，Ｓ１２２の処理を省いてもよい。その場合、ＰＵ３２は、ＯＫ２判定の場合、Ｓ１２６の処理において、ＯＫ２判定である旨を制限指令としてＣＭ動画データに付与すればよい。その場合、ユーザ端末５０のＰＵ５２は、Ｓ１１０の処理によって受け付けた基準と、制限指令とに応じてＣＭ動画データを再生するか否か等を決定すればよい。
- In the process of FIG. 11, the processes of S112, S120, and S122 may be omitted. In that case, in the case of an OK2 judgment, the
・たとえばＮＧ判定がなされたフレームを削除したＣＭ動画データをユーザ端末５０に送信してもよい。これによっても、ユーザ端末５０において不適切な画像が表示されることを抑制できる。
- For example, commercial video data from which frames that have been judged as NG have been deleted may be transmitted to the
・ユーザ端末５０に専用のアプリケーションプログラム５４ａが記憶されていることは必須ではない。たとえば、画像評価装置３０から配信されたＣＭ動画データを汎用のブラウザを利用して再生してもよい。
- It is not essential that the
「実行装置について」
・実行装置としては、ＰＵ３２に限らない。たとえば、実行装置を、ＡＳＩＣ、およびＦＰＧＡ等の専用のハードウェア回路としてもよい。すなわち、実行装置は、以下の（ａ）～（ｃ）のいずれかの構成を備える処理回路を含んでいてもよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶する記憶装置等のプログラム格納装置とを備える処理回路。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路（ハードウェアアクセレータ）とを備える処理回路。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える処理回路。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置は、複数であってもよい。また、専用のハードウェア回路は複数であってもよい。
"About the execution device"
The execution device is not limited to the
「画像評価装置について」
・画像評価装置が、画像を評価する処理と、評価結果をユーザ端末５０に配信する処理との双方を行うことは必須ではない。たとえば、評価結果をユーザ端末５０に配信する処理を、画像評価装置とは別の装置が実行してもよい。また、画像評価装置が業者端末１０から送信された画像データを受信することも必須ではない。業者端末１０から送信された画像データを受信して且つ画像評価装置に送信する装置を別途備えてもよい。
"About image evaluation devices"
It is not essential that the image evaluation device performs both the process of evaluating the image and the process of delivering the evaluation results to the
「コンピュータについて」
・画像評価プログラム３４ａを実行するコンピュータとしては、画像評価装置３０が備えるＰＵ３２に限らない。たとえば、画像評価プログラム３４ａをユーザ端末５０にインストールすることによって、ユーザ端末５０のＰＵ５２を画像評価プログラム３４ａを実行するコンピュータとしてもよい。
"About Computers"
The computer that executes the
「そのほか」
・ＰＵ１２が、ＰＵ３２に含まれ得る態様の演算ユニットを含んでもよい。
・上記実施形態では、ＣＭ動画データとして、ストリーミング映像の態様でユーザ端末５０に対して配信（送信）されるものを想定したが、これに限らない。たとえば、ライブストリーミングの態様のサービスでユーザ端末５０に対してリアルタイムに配信（送信）されてよい。評価対象となる画像データは、ＣＭ動画データに限らない。たとえば、商品等の広告の用に供する動画に限らず、人（人物）の身体の少なくとも一部が含まれ得る動画であればその種別や異常判定の目的に制限はない。さらに、評価対象となる画像データは、たとえば任意の静止画像のデータであってもよい。
"others"
In the above embodiment, it is assumed that the CM video data is distributed (transmitted) to the
・ＰＵ３２は、ルールベースデータ３４ｄにおいて、ＯＫ判定またはＮＧ判定の根拠として扱われる、明示的に予め定められた各種変数の組み合わせを、業者端末１０および／またはユーザ端末５０に対して、ＣＭ動画データの配信（送信）の前に通知してよい。また、ＰＵ３２は、当該組み合わせを、業者端末１０および／またはユーザ端末５０に対して、ＣＭ動画データの配信（送信）中に通知してよい。また、ＰＵ３２は、配信（送信）中のＣＭ動画データのフレームデータＦＤについてＮＧ判定の根拠となった各種変数の組み合わせを、業者端末１０および／またはユーザ端末５０に対して、通知してよい。なお、ここでの「通知」とは、業者端末１０および／またはユーザ端末５０に対するメッセージ送信の態様であってよく、業者端末１０および／またはユーザ端末５０において表示中のＣＭ動画データに重畳させる表示処理の態様であってよい。
- The
１０…業者端末
１４…記憶装置
２０…ネットワーク
３０…画像評価装置
５０…ユーザ端末
５４…記憶装置
Reference Signs List 10: business operator terminal 14: storage device 20: network 30: image evaluation device 50: user terminal 54: storage device
Claims (14)
前記記憶装置には、前景識別写像データと、背景識別写像データと、が記憶され、
前記前景識別写像データは、前景識別写像を規定するためのデータであり、
前記前景識別写像は、前景識別変数の値を出力する写像であり、
前記前景識別変数は、評価対象の画像データが示す画像において人の状態を識別する変数であり、
前記背景識別写像データは、背景識別写像を規定するためのデータであり、
前記背景識別写像は、背景識別変数の値を出力する写像であり、
前記背景識別変数は、前記画像データが示す前記人の背景の種類を識別する変数であり、
前記実行装置は、前景識別処理、背景識別処理、および評価処理を実行するように構成され、
前記前景識別処理は、前記画像データを前記前景識別写像に入力することによって前記前景識別変数の値を出力する処理であり、
前記背景識別処理は、前記画像データを前記背景識別写像に入力することによって前記背景識別変数の値を識別する処理であり、
前記評価処理は、前記画像データに異常があるか否かを評価する処理であって且つ、前記前景識別変数の値が第１の値である場合には、前記背景識別変数の値にかかわらず異常があると評価して且つ、前記前景識別変数の値が前記第１の値とは別の第２の値である場合には、前記背景識別変数の値を加味して前記異常か否かを評価する処理を含む画像評価装置。 an execution unit and a storage unit;
The storage device stores foreground discrimination mapping data and background discrimination mapping data,
the foreground discrimination mapping data is data for defining a foreground discrimination mapping,
the foreground discrimination map is a map that outputs a value of a foreground discrimination variable,
The foreground classification variable is a variable for identifying a state of a person in an image represented by the image data to be evaluated,
The background discrimination mapping data is data for defining a background discrimination mapping,
the background classification map is a map that outputs a value of a background classification variable;
the background identification variable is a variable for identifying a type of background of the person represented by the image data,
the execution unit is configured to execute a foreground classification process, a background classification process, and an evaluation process;
the foreground classification process is a process of inputting the image data to the foreground classification mapping to output a value of the foreground classification variable;
the background classification process is a process of identifying a value of the background classification variable by inputting the image data into the background classification map;
The evaluation process is a process for evaluating whether or not there is an abnormality in the image data, and includes a process for evaluating that there is an abnormality regardless of the value of the background classification variable when the value of the foreground classification variable is a first value, and for evaluating whether or not there is an abnormality taking into account the value of the background classification variable when the value of the foreground classification variable is a second value different from the first value.
前記第２の値は、前記所定部位の少なくとも一部が衣類で覆われているものの、前記身体の露出度合いが大きい状態において前記前景識別変数の値が取り得る値である請求項１記載の画像評価装置。 the first value is a possible value of the foreground discrimination variable when a predetermined part of the body is exposed;
2. The image evaluation device according to claim 1, wherein the second value is a possible value of the foreground classification variable in a state in which the predetermined part is at least partially covered by clothing but the body is largely exposed.
前記前景識別変数の値が前記第２の値であることと、前記背景識別変数の値が、前記背景が、水遊び、またはスポーツをする所定の場所において取り得る値であることとの論理積が真である場合、前記異常ではないと評価する処理と、
前記前景識別変数の値が前記第２の値であることと、前記背景識別変数の値が、前記背景が前記所定の場所とは異なる所定の室内であるときに取り得る値であることとの論理積が真である場合、前記異常であると評価する処理と、を含む請求項２記載の画像評価装置。 The evaluation process includes:
a process of evaluating that the image is not abnormal when a logical product of the value of the foreground identification variable being the second value and the value of the background identification variable being a value that can be taken in a predetermined location where the background is splashing around in water or playing sports is true;
and evaluating the image as abnormal if a logical product of the value of the foreground identification variable being the second value and the value of the background identification variable being a value that can be taken when the background is a specified room different from the specified location is true.
前記第２の値は、前記所定部位の少なくとも一部が、水着またはスポーツウェアで覆われている場合に取り得る値である請求項３記載の画像評価装置。 the foreground identification variable includes a value identifying a type of clothing;
4. The image evaluation device according to claim 3, wherein the second value is a value that can be taken when at least a part of the predetermined part is covered with a swimsuit or sportswear.
前記露出度識別写像は、前記人の所定部位の露出度を示す変数である露出度変数の値を出力する写像であり、
前記衣類識別写像は、前記人が身に着けている衣類の種類を識別する変数である衣類変数の値を出力する写像であり、
前記前景識別変数は、前記露出度変数および前記衣類変数に基づく請求項１記載の画像評価装置。 The foreground identification map includes an exposure identification map and a clothing identification map;
the exposure degree identification map is a map that outputs a value of an exposure degree variable that is a variable indicating an exposure degree of a predetermined part of the person,
the clothing identification map is a map that outputs a value of a clothing variable that identifies a type of clothing worn by the person;
The image evaluation device of claim 1 , wherein the foreground classification variable is based on the exposure variable and the clothing variable.
前記身体識別写像は、前記人の身体の部位を識別する変数である身体識別変数の値を出力する写像であり、
前記着衣識別写像は、前記人の身体であるか、前記人が身に着けている衣類であるかを識別する変数である着衣識別変数の値を出力する写像であり、
前記前景識別処理は、前記身体識別変数の値および前記着衣識別変数の値に応じて前記前景識別変数の値を算出する処理を含む請求項１記載の画像評価装置。 The foreground identification map includes a body identification map and a clothing identification map;
the body identification mapping is a mapping that outputs a value of a body identification variable that is a variable that identifies a part of the person's body;
the clothing identification map is a map that outputs a value of a clothing identification variable that is a variable for identifying whether the clothing is the person's body or clothing worn by the person;
2. The image evaluation device according to claim 1, wherein the foreground classification process includes a process of calculating a value of the foreground classification variable in accordance with a value of the body classification variable and a value of the clothing classification variable.
前記実行装置は、提供処理、および制限処理を実行するように構成され、
前記提供処理は、前記評価処理によって前記異常がない旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する処理であり、
前記制限処理は、前記評価処理によって前記異常がある旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する処理である画像処理システム。 The image evaluation device according to claim 1 , comprising: the execution device and the storage device; and a plurality of user terminals,
The execution device is configured to execute a providing process and a limiting process;
the providing process is a process of transmitting the image data to the user terminal so that an image indicated by the image data that has been evaluated as having no abnormality by the evaluation process can be displayed on the user terminal;
The restriction process is a process of restricting an image represented by the image data that has been evaluated as having an abnormality by the evaluation process from being displayed on the user terminal in an image processing system.
前記評価処理は、前記異常の度合いを複数段階に評価する処理を含み、
前記指示処理は、前記ユーザ端末において表示される画像の許容範囲を指示する処理であり、
前記提供処理は、前記評価処理によって評価された前記異常の度合いが前記許容範囲内である場合に前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する処理であり、
前記制限処理は、前記評価処理によって評価された前記異常の度合いが前記許容範囲から外れる場合に前記画像データが示す画像が前記ユーザ端末により表示されることを制限する処理である請求項７記載の画像処理システム。 The user terminal is configured to execute an instruction process;
The evaluation process includes a process of evaluating the degree of the abnormality in a plurality of stages,
the instruction process is a process of instructing an acceptable range of an image to be displayed on the user terminal,
the providing process is a process of transmitting the image data to the user terminal so that an image represented by the image data can be displayed on the user terminal when the degree of the abnormality evaluated by the evaluation process is within the allowable range;
The image processing system according to claim 7 , wherein the restriction process restricts the image represented by the image data from being displayed by the user terminal when the degree of abnormality evaluated by the evaluation process falls outside the acceptable range.
前記画像データの前記ユーザ端末への送信を禁止する禁止処理と、
前記画像データを制限指令とともに送信する制限送信処理と、
の少なくとも１つの処理を含み、
前記制限指令は、前記ユーザ端末において前記画像データが示す画像が警告とともに表示されるようにする指令、前記ユーザ端末において前記画像データが示す画像のうちの所定部位の露出にマスクをする指令、および前記ユーザ端末において前記画像データが示す画像を表示しないようにする指令のいずれかである請求項７記載の画像処理システム。 The restriction process is
A prohibition process for prohibiting transmission of the image data to the user terminal;
a restricted transmission process for transmitting the image data together with a restriction command;
The method includes at least one process of
The image processing system of claim 7, wherein the restriction command is any one of a command to cause the image represented by the image data to be displayed on the user terminal along with a warning, a command to mask the exposure of a specified part of the image represented by the image data on the user terminal, and a command not to display the image represented by the image data on the user terminal.
前記ユーザ端末により表示される画像の候補を示す画像データのうち、請求項１に記載の画像評価装置における前記評価処理によって前記異常がない旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、
前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記評価処理によって前記異常がある旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、
を有する画像表示支援方法。 An image display assistance method for assisting a user terminal in selectively displaying an image, comprising:
a providing step of transmitting image data to the user terminal, the image data being among image data showing candidates for images to be displayed by the user terminal, the image data being evaluated as having no abnormality by the evaluation process in the image evaluation device according to claim 1, so that an image shown by the image data can be displayed on the user terminal;
a restriction step of restricting, from being displayed by the user terminal, an image represented by image data that has been evaluated as having an abnormality by the evaluation process, among image data representing candidates for images to be displayed by the user terminal;
The image display assistance method includes the steps of:
前記ユーザ端末は、指示処理を実行するように構成され、
請求項１に記載の画像評価装置における前記評価処理は、前記異常の度合いを複数段階に評価する処理を含み、
前記指示処理は、前記ユーザ端末において表示される画像の許容範囲を指示する処理であり、
前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記画像評価装置における前記評価処理によって評価された前記異常の度合いが前記許容範囲内である場合に前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、
前記ユーザ端末により表示される画像の候補を示す画像データのうち、前記評価処理によって評価された前記異常の度合いが前記許容範囲から外れる場合に前記画像データが示す画像が前記ユーザ端末により表示されることを制限する制限工程と、
を有する画像表示支援方法。 An image display assistance method for assisting a user terminal in selectively displaying an image, comprising:
The user terminal is configured to execute an instruction process;
The evaluation process in the image evaluation device according to claim 1 includes a process of evaluating the degree of the abnormality in a plurality of stages,
the instruction process is a process of instructing an acceptable range of an image to be displayed on the user terminal,
a providing step of transmitting image data to the user terminal so that an image represented by the image data, which represents candidate images to be displayed by the user terminal, can be displayed on the user terminal when the degree of the abnormality evaluated by the evaluation process in the image evaluation device is within the allowable range;
a limiting step of limiting the display of an image represented by image data indicating candidates for an image to be displayed by the user terminal when the degree of the abnormality evaluated by the evaluation process falls outside the allowable range; and
The image display assistance method includes the steps of:
前記ユーザ端末により表示される画像の候補を示す画像データを取得する取得工程と、
前記取得工程において取得された前記画像データのうち請求項１に記載の画像評価装置における前記評価処理によって前記異常がない旨の評価がなされた前記画像データが示す画像を前記ユーザ端末に表示可能とすべく、前記画像データを前記ユーザ端末に送信する提供工程と、
前記取得工程において取得された前記画像データのうち、前記評価処理によって前記異常がある旨の評価がなされた前記画像データが示す画像が、前記ユーザ端末により表示されることを制限する制限工程と、
を有する画像表示支援方法。 An image display assistance method for assisting a user terminal in selectively displaying an image, comprising:
an acquisition step of acquiring image data indicating candidates for an image to be displayed by the user terminal;
a providing step of transmitting the image data to the user terminal so that an image represented by the image data that has been evaluated as having no abnormality by the evaluation process in the image evaluation device according to claim 1 among the image data acquired in the acquiring step can be displayed on the user terminal;
a limiting step of limiting, from being displayed on the user terminal, an image represented by the image data that has been evaluated as having an abnormality by the evaluation process, among the image data acquired in the acquiring step;
The image display assistance method includes the steps of:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022064668A JP7506109B2 (en) | 2022-04-08 | 2022-04-08 | IMAGE EVALUATION DEVICE, IMAGE PROCESSING SYSTEM, USER TERMINAL, IMAGE EVALUATION METHOD, IMAGE EVALUATION PROGRAM, AND IMAGE DISPLAY SUPPORT METHOD |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022064668A JP7506109B2 (en) | 2022-04-08 | 2022-04-08 | IMAGE EVALUATION DEVICE, IMAGE PROCESSING SYSTEM, USER TERMINAL, IMAGE EVALUATION METHOD, IMAGE EVALUATION PROGRAM, AND IMAGE DISPLAY SUPPORT METHOD |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023154981A JP2023154981A (en) | 2023-10-20 |
| JP7506109B2 true JP7506109B2 (en) | 2024-06-25 |
Family
ID=88373254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022064668A Active JP7506109B2 (en) | 2022-04-08 | 2022-04-08 | IMAGE EVALUATION DEVICE, IMAGE PROCESSING SYSTEM, USER TERMINAL, IMAGE EVALUATION METHOD, IMAGE EVALUATION PROGRAM, AND IMAGE DISPLAY SUPPORT METHOD |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7506109B2 (en) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002175527A (en) | 2000-12-06 | 2002-06-21 | Gala Inc | Method for discriminating obscene nude image through computer image processing |
| JP2002189925A (en) | 2000-12-21 | 2002-07-05 | Gala Inc | Advertisement managing server on internet |
| JP2008027424A (en) | 2006-06-21 | 2008-02-07 | Sharp Corp | Data transmitter/receiver, server device, data transmission/reception system and method for controlling them, and control program and computer readable recording medium recorded with the same |
| JP2008033656A (en) | 2006-07-28 | 2008-02-14 | Noritsu Koki Co Ltd | Photographic image processor |
| JP2008033654A (en) | 2006-07-28 | 2008-02-14 | Noritsu Koki Co Ltd | Photographic image discrimination method, photographic image discrimination program, and photographic image processing apparatus |
| JP2008033655A (en) | 2006-07-28 | 2008-02-14 | Noritsu Koki Co Ltd | Photographic image processing apparatus |
| JP2009169518A (en) | 2008-01-11 | 2009-07-30 | Kddi Corp | Area identification apparatus and content identification apparatus |
| JP2009252243A (en) | 2008-04-04 | 2009-10-29 | Nhn Corp | Adult object determination method and system |
| WO2018109048A1 (en) | 2016-12-16 | 2018-06-21 | Glaxosmithkline Intellectual Property Development Limited | A clothing compliance detection apparatus, and associated clothing standard enforcement apparatus |
| JP2023154980A (en) | 2022-04-08 | 2023-10-20 | 楽天グループ株式会社 | Image evaluation device, image processing system, user terminal, image evaluation method, image evaluation program, and image display support method |
-
2022
- 2022-04-08 JP JP2022064668A patent/JP7506109B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002175527A (en) | 2000-12-06 | 2002-06-21 | Gala Inc | Method for discriminating obscene nude image through computer image processing |
| JP2002189925A (en) | 2000-12-21 | 2002-07-05 | Gala Inc | Advertisement managing server on internet |
| JP2008027424A (en) | 2006-06-21 | 2008-02-07 | Sharp Corp | Data transmitter/receiver, server device, data transmission/reception system and method for controlling them, and control program and computer readable recording medium recorded with the same |
| JP2008033656A (en) | 2006-07-28 | 2008-02-14 | Noritsu Koki Co Ltd | Photographic image processor |
| JP2008033654A (en) | 2006-07-28 | 2008-02-14 | Noritsu Koki Co Ltd | Photographic image discrimination method, photographic image discrimination program, and photographic image processing apparatus |
| JP2008033655A (en) | 2006-07-28 | 2008-02-14 | Noritsu Koki Co Ltd | Photographic image processing apparatus |
| JP2009169518A (en) | 2008-01-11 | 2009-07-30 | Kddi Corp | Area identification apparatus and content identification apparatus |
| JP2009252243A (en) | 2008-04-04 | 2009-10-29 | Nhn Corp | Adult object determination method and system |
| WO2018109048A1 (en) | 2016-12-16 | 2018-06-21 | Glaxosmithkline Intellectual Property Development Limited | A clothing compliance detection apparatus, and associated clothing standard enforcement apparatus |
| JP2023154980A (en) | 2022-04-08 | 2023-10-20 | 楽天グループ株式会社 | Image evaluation device, image processing system, user terminal, image evaluation method, image evaluation program, and image display support method |
Non-Patent Citations (1)
| Title |
|---|
| 報道発表 不適切コンテンツの自動フィルタリングシステムのトライアルを開始 －ＤｅｅｐＬｅａｒｎｉｎｇ技術を活用して人間の感性に近い判定が可能に－［オンライン］，日本，ＮＴＴコムウェア株式会社，2015年02月09日，https://www.nttcom.co.jp/news/pr15020901.html |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023154981A (en) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kao et al. | Hierarchical aesthetic quality assessment using deep convolutional neural networks | |
| US20200237266A1 (en) | Action recognition and pose estimation method and apparatus | |
| Jiang et al. | Photohelper: portrait photographing guidance via deep feature retrieval and fusion | |
| CN110263681A (en) | The recognition methods of facial expression and device, storage medium, electronic device | |
| KR20190056720A (en) | Method and device for learning neural network | |
| CN111127476A (en) | Image processing method, device, equipment and storage medium | |
| KR20190114448A (en) | Method for recommending user optimized clothes and server performing the same | |
| JP7455889B2 (en) | Image evaluation device, image processing system, user terminal, image evaluation method, and image evaluation program | |
| JP7506109B2 (en) | IMAGE EVALUATION DEVICE, IMAGE PROCESSING SYSTEM, USER TERMINAL, IMAGE EVALUATION METHOD, IMAGE EVALUATION PROGRAM, AND IMAGE DISPLAY SUPPORT METHOD | |
| Kwon et al. | Tailor me: An editing network for fashion attribute shape manipulation | |
| Gupta et al. | Intelligent Music Recommendation System Based on Face Emotion Recognition | |
| US20220358752A1 (en) | Apparatus and method for developing space analysis model based on data augmentation | |
| CN116597317A (en) | Remote sensing image change detection data generation method, device, equipment and medium | |
| CN111182295A (en) | Video data processing method, device, equipment and readable storage medium | |
| Lee et al. | Life chasing: A location-based game prototype for elderly health promotion | |
| CN113379716B (en) | Method, device, equipment and storage medium for predicting color spots | |
| JP2020003879A (en) | Information processing device, information processing method, watermark detection device, watermark detection method, and program | |
| JP7263864B2 (en) | Image processing device, image processing method, image processing program and product development system | |
| Nagai et al. | Action quality assessment with ignoring scene context | |
| US10991064B1 (en) | System and method of applying watermark in a digital image | |
| Goree et al. | Correct for whom? subjectivity and the evaluation of personalized image aesthetics assessment models | |
| CN112070662A (en) | Evaluation method and device of face changing model, electronic equipment and storage medium | |
| KR101117543B1 (en) | sign estimation system | |
| Yue et al. | Subjective and objective quality assessment of multi-attribute retouched face images | |
| Bourhim et al. | Reshaping Sport with Extended Reality in an Era of Metaverse: Insights from XR the Moroccan Association Experts |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240319 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240401 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240604 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240613 |