JP2023047661A - 判定理由の提示可能なウェブ広告判定装置、システム、プログラム及び方法 - Google Patents

Abstract

【課題】自らの判定結果によって使用する判定モデルを更新することができ、さらに判定理由の提示可能なウェブ広告判定装置を提供する。【解決手段】本装置は、判定対象広告から生成された広告特徴量を、学習用データベースを用いて更新可能な広告良否判定モデルへ入力し、この広告良否判定モデルの出力から、初期判定情報を決定する初期判定手段と、判定対象広告を提示された判断者による判定対象広告の良否判断結果に係る主観判断情報、及び判断者による判断理由の情報を取得する主観判断手段と、主観判断情報及び初期判定情報から所定の判定ロジックを用いて、判定対象広告の最終判定情報を決定して出力し、最終判定情報の内容に応じ、判定理由として判断理由の情報も出力する最終判定手段とを有する。ここで初期判定手段は、主観判断情報及び／又は最終判定情報によって学習用データベースを更新し、これにより広告良否判定モデルを更新する。【選択図】図１

Description

本発明は、ウェブ広告の良否、例えばクリックベイドか否かを判定する技術に関する。

現在、ウェブ広告においてクリックベイト（clickbait）が大きな問題となっている。ここでクリックベイトとは、中身の内容とは異なった若しくは関連性に乏しいタイトルやサムネイル等を用い、不当にユーザの興味を引こうとする虚偽広告や誇大広告等のことであり、日本語では釣り広告とも称されている。

クリックベイトは、フェイクニュース（fake news）のように完全に虚偽の内容に誘導するものではない場合もあるが、基本的にユーザの期待とは異なる欺瞞的な内容であるので、結果的に、ユーザの信頼を損ねる悪質なウェブ広告として問題視されている。また、ユーザがクリックベイトを閲覧する際、個人情報や位置情報が不正に取得され、悪質な詐欺に陥るケースも少なからず報告されている。

このようなインターネット上で急速に広まっているクリックベイトを抑制し、その被害を食い止めるべく、現在、ウェブ広告を扱う大手ＩＴ企業では様々な取り組みが行われている。例えば、クリックベイトに相当するような誇大な若しくは誤認を与える表現の広告表示を最小限に抑えるべくアルゴリズムの変更を行ったり、ウェブ広告に関するポリシーを導入したりして、クリックベイトの表示を極力許可しない取り組みを進めている。

またクリックベイトを検知する技術として、例えば非特許文献１は、クリックベイトを検出するための各種技術・手法、すなわちOnline dataset available、Features used、Word embedding model、Classification algorithms in machine learning、The method uses a Deep Learning and Neural Network approachesを、網羅的にレビューした結果を開示している。

さらに、クリックベイトではないが、特許文献１には、フェイクニュースの検出技術が開示されている。この検出技術は、オンラインコンテンツ内の虚偽情報のインスタンスを特定し、虚偽情報であるとの検出結果をユーザにフィードバックするものとなっている。ここで虚偽情報は具体的に、ＵＲＬ（Uniform Resource Locator）、ＵＲＬに紐づいたコンテンツのテキストや、ＵＲＬに関連するメタデータに対し、構文解析及び意味解析を実施することによって検出されている。

米国特許出願公開第２０２０／０００４８８２号明細書

Nurrida Aini Zuhroh et al., "Clickbait detection: A literature review of the methods used", Jurnal Ilmiah Teknologi Sistem Informasi (Scientific Journal of Information System Technology), 6(1), pp.1-10, ２０２０年

以上述べたように、クリックベイトを含む意味での虚偽情報は従来、例えばコンテキストの構文解析や意味解析を行い、分類器や深層学習等のアルゴリズムを用いて検出されてきた。しかしながら、このような従来技術においては、判定理由の説明不可能性や、判定モデルの自己成長性の欠如が大きな問題となっている。

実際、分類器や深層学習等のアルゴリズムは、設計者によってその詳細な内容が設定されており、エンドユーザにとってはいわばブラックボックスとなっている。したがって、虚偽情報の判定結果を提示されたエンドユーザは、この情報がなぜ虚偽情報として判定されたのか、この情報に対しなぜ注意を払わないといけないのか、さらには今後似たような情報が提示された際に如何に判別すべきか等について、全くの不明状態におかれてしまう。

その結果、エンドユーザは、提示された判定結果の信憑性を疑ったり、虚偽情報であるとの結論を受け入れなかったりする場合も生じ、結局、虚偽であるとの注意喚起の効果も限定的となってしまうのである。

さらに、従来の虚偽情報の検出システムで使用される分類器や深層学習等のアルゴリズムについては、外部から学習用データを取り入れる意図的な更新処理によらない限り、例えば自らのフィードバックを受けその場その場で、若しくはリアルタイムで更新・成長するといったことはあり得ず、また、想定されてもこなかった。

そこで、本発明は、自らの判定結果によって、使用する判定モデルを更新することができ、さらに判定理由を提示することの可能なウェブ広告判定装置、システム、プログラム及び方法を提供することを目的とする。

本発明によれば、ウェブ上の広告の良否を判定するウェブ広告判定装置であって、
判定対象広告の内容から生成された広告特徴量を、当該広告の学習用データベースを用いて更新可能な広告良否判定モデルへ入力し、該広告良否判定モデルの出力から、初期の良否判定結果に係る情報である初期判定情報を決定する初期判定手段と、
当該判定対象広告を提示された判断者による当該判定対象広告の良否判断結果に係る情報である主観判断情報と、当該判断者による判断の理由に係る判断理由情報とを取得する主観判断手段と、
当該主観判断情報及び当該初期判定情報から所定の判定ロジックを用いて、当該判定対象広告の最終的な良否判定結果に係る情報である最終判定情報を決定して出力し、当該最終判定情報の内容に応じ、判定理由として当該判断理由情報も出力する最終判定手段と
を有し、
初期判定手段は、当該主観判断情報及び／又は当該最終判定情報によって学習用データベースを更新し、これにより広告良否判定モデルを更新する
ことウェブ広告判定装置が提供される。

この本発明によるウェブ広告判定装置に係る当該判断理由情報は、当該判断者による判断の理由を示す所定の判断指標であって、（ａ）新奇性に係る指標、（ｂ）意外性に係る指標、（ｃ）信憑性に係る指標、及び（ｄ）有用性に係る指標のうちの少なくとも１つを含む判断指標の値に係る情報であることも好ましい。

また、本発明によるウェブ広告判定装置の初期判定手段は、当該判断理由情報によっても学習用データベースを更新することも好ましい。

さらに、本発明によるウェブ広告判定装置の一実施形態として、本ウェブ広告判定装置は、当該判定対象広告に対した際のユーザの操作ログ情報から生成された、その際の操作時間及び／又は操作深度に係る情報から、操作時間及び／又は操作深度に係る所定の判定基準を用いて、当該判定対象広告の良否判定結果に係る情報である客観検証情報を決定する客観検証手段を更に有し、
最終判定手段は、当該主観判断情報、当該初期判定情報及び当該客観検証情報から、所定の判定ロジックを用いて当該最終判定情報を決定し、
初期判定手段は、当該客観検証情報によっても学習用データベースを更新することも好ましい。

また、上記の実施形態において、最終判定手段は、当該主観判断情報、当該初期判定情報、及び当該客観検証情報の各々に対しこの順に高い優先度を付与し、良判定に係る優先度及び否判定に係る優先度を比較して当該最終判定情報を決定することも好ましい。

さらに、上記の実施形態において、最終判定手段は、当該最終判定情報の内容に応じ、判定理由として当該操作時間及び／又は操作深度に係る情報も出力することも好ましい。

また、本発明によるウェブ広告判定装置の他の実施形態として、客観検証手段は、当該操作時間及び／又は操作深度に係る情報と、当該初期判定情報との相関に係る情報である初期判定・操作相関情報を決定し、
初期判定手段は、当該初期判定・操作相関情報によっても学習用データベースを更新することも好ましい。

さらに、本発明によるウェブ広告判定装置の初期判定手段は具体的に、当該主観判断情報及び／又は当該最終判定情報を含む取得した情報に基づいて、学習用データベースに対し、（ａ）新たな学習用データを追加する、（ｂ）含まれた学習用データを削除する、及び／又は（ｃ）含まれた学習用データに付与された正解ラベルを変更することによって更新を行うことも好ましい。

また、本発明に係る当該判定対象広告についての良否の判定の好適な具体例として、クリックベイトか否かを判定することも好ましい。

本発明によれば、また、ウェブ上の広告の良否を判定するウェブ広告判定システムであって、
判定対象広告の内容から生成された広告特徴量を、当該広告の学習用データベースを用いて更新可能な広告良否判定モデルへ入力し、この広告良否判定モデルの出力から、初期の良否判定結果に係る情報である初期判定情報を決定する初期判定手段と、
当該判定対象広告を提示された判断者による当該判定対象広告の良否判断結果に係る情報である主観判断情報と、当該判断者による判断の理由に係る判断理由情報とを取得する主観判断手段と、
当該主観判断情報及び当該初期判定情報から所定の判定ロジックを用いて、当該判定対象広告の最終的な良否判定結果に係る情報である最終判定情報を決定して出力し、当該最終判定情報の内容に応じ、判定理由として当該判断理由情報も出力する最終判定手段と
を有し、
初期判定手段は、当該主観判断情報及び／又は当該最終判定情報によって学習用データベースを更新し、これにより広告良否判定モデルを更新する
ことを特徴とするウェブ広告判定システムが提供される。

本発明によれば、さらに、ウェブ上の広告の良否を判定するコンピュータを機能させるウェブ広告判定プログラムであって、
判定対象広告の内容から生成された広告特徴量を、当該広告の学習用データベースを用いて更新可能な広告良否判定モデルへ入力し、この広告良否判定モデルの出力から、初期の良否判定結果に係る情報である初期判定情報を決定する初期判定手段と、
当該判定対象広告を提示された判断者による当該判定対象広告の良否判断結果に係る情報である主観判断情報と、当該判断者による判断の理由に係る判断理由情報とを取得する主観判断手段と、
当該主観判断情報及び当該初期判定情報から所定の判定ロジックを用いて、当該判定対象広告の最終的な良否判定結果に係る情報である最終判定情報を決定して出力し、当該最終判定情報の内容に応じ、判定理由として当該判断理由情報も出力する最終判定手段と
してコンピュータを機能させ、
初期判定手段は、当該主観判断情報及び／又は当該最終判定情報によって学習用データベースを更新し、これにより広告良否判定モデルを更新する
ことを特徴とするウェブ広告判定プログラムが提供される。

本発明によれば、さらにまた、ウェブ上の広告の良否を判定するコンピュータによって実施されるウェブ広告判定方法であって、
判定対象広告の内容から生成された広告特徴量を、当該広告の学習用データベースを用いて更新可能な広告良否判定モデルへ入力し、この広告良否判定モデルの出力から、初期の良否判定結果に係る情報である初期判定情報を決定するステップと、
当該判定対象広告を提示された判断者による当該判定対象広告の良否判断結果に係る情報である主観判断情報と、当該判断者による判断の理由に係る判断理由情報とを取得するステップと、
当該主観判断情報及び当該初期判定情報から所定の判定ロジックを用いて、当該判定対象広告の最終的な良否判定結果に係る情報である最終判定情報を決定して出力し、当該最終判定情報の内容に応じ、判定理由として当該判断理由情報も出力するステップと、
当該主観判断情報及び／又は当該最終判定情報によって学習用データベースを更新し、これにより広告良否判定モデルを更新するステップと
を有するウェブ広告判定方法が提供される。

本発明のウェブ広告判定装置、システム、プログラム及び方法によれば、自らの判定結果によって、使用する判定モデルを更新することができ、さらに、ウェブ広告判定結果を出力するにあたり判定理由を提示することが可能となる。

本発明によるウェブ広告判定装置の一実施形態における機能構成を示す機能ブロック図である。 本発明によるウェブ広告判定方法の一実施形態を説明するための模式図である。 本発明によるウェブ広告判定システムの一実施形態を説明するための模式図である。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

[ウェブ広告判定装置]
図１は、本発明によるウェブ広告判定装置の一実施形態における機能構成を示す機能ブロック図である。

図１に示した、本発明によるウェブ広告判定装置の一実施形態としてのスマートフォン１は、
（ａ）インターネット上の種々様々なウェブ広告を、例えばそれを含むウェブページの閲覧とともに取り込み、これらウェブ広告の各々を、又はそのうちの（例えばユーザによりタッチパネル・ディスプレイ１０５を介して）選択されたウェブ広告を、判定対象に設定した上で、
（ｂ）判定対象に設定されたウェブ広告（判定対象広告）の良否、本実施形態ではクリックベイトであるか否かを判定して、この判定結果を、本実施形態ではタッチパネル・ディスプレイ１０５を介して提示し、
（ｃ）上記（ａ）の判定結果ともに、その「判定理由」も提示する
装置となっている。

このような判定・提示処理を実現すべく、スマートフォン１は具体的に、
（Ａ）判定対象広告の内容から生成された広告特徴量を、ウェブ広告の学習用広告データベース（ＤＢ）１０２を用いて生成・更新可能な「広告良否判定モデル」へ入力し、「広告良否判定モデル」の出力から、初期の良否判定結果に係る情報である「初期判定情報」を決定する初期判定部１１１と、
（Ｂ）判定対象広告を提示された「判断者」による判定対象広告の良否判断結果に係る情報である「主観判断情報」と、「判断者」による判断の理由に係る「判断理由情報」とを取得する主観判断部１１２と、
（Ｃ）「主観判断情報」及び「初期判定情報」から所定の判定ロジックを用いて、判定対象広告の最終的な良否判定結果に係る情報である「最終判定情報」を決定して出力し（本実施形態ではタッチパネル・ディスプレイ１０５に表示させ）、「最終判定情報」の内容に応じ、判定理由として「判断理由情報」も出力する（タッチパネル・ディスプレイ１０５に表示させる）最終判定部１１４と
を有し、
（Ｄ）上記（Ａ）の初期判定部１１１は、「主観判断情報」及び／又は「最終判定情報」によって学習用広告ＤＢ１０２を更新し、これにより「広告良否判定モデル」を更新する
ことを特徴とするウェブ広告判定装置となっている。

ここで、上記（Ａ）の「広告良否判定モデル」は、例えば非特許文献１で紹介された分類器や深層学習等のアルゴリズムにより構築された、公知の機械学習モデルとすることができる。また、上記（Ｂ）の「判断者」は、例えばスマートフォン１のユーザや、判定対象広告を提示された他の端末（パーソナルコンピュータ（ＰＣ）やスマートフォン等）のユーザであってもよい。いずれにしても上記（Ｂ）の主観判断部１１２は、「人間」と機械学習の協調学習、いわゆる人間協調学習における対「人間」処理部分となっている。

このように、スマートフォン（ウェブ広告判定装置）１によれば、単純に「広告良否判定モデル」による「初期判定情報」を提示するのではなく、この「初期判定情報」と、人間協調学習の一環としての「主観判断情報」とから決定された「最終判定情報」を出力（提示）することができる。その結果、より確度の高い判定結果を提供可能となるのである。

また、スマートフォン（ウェブ広告判定装置）１は、最終判定の判定理由として（人間協調学習の結果、取得された）「判断理由情報」も出力（提示）可能となっている。すなわち、より確度の高い判定結果だけでなく、その判定理由も提供することができる。

さらに上記（Ｄ）で示したように、「広告良否判定モデル」は、「主観判断情報」及び／又は「最終判定情報」によって自動的に更新可能となっている。すなわち、スマートフォン（ウェブ広告判定装置）１によれば、自らの判定結果によって、使用する判定モデルを更新することができるのである。

以上、スマートフォン（ウェブ広告判定装置）１によれば、従来技術で大きな障害となっていた判定理由の説明不可能性や、使用する判定モデルの自己成長性欠如の問題が、ともに改善若しくは解消されることが理解される。

なお、本発明によるウェブ広告判定装置は当然、本実施形態のようにスマートフォンに限定されるものではない。例えばこの後述べるように、汎用のクラウドサーバや非クラウド型サーバであってもよく、またパーソナル・コンピュータ（ＰＣ）、又はノート型若しくはタブレット型コンピュータとすることもできる。さらに、ウェブ広告判定処理専用の装置であってもよい。また後に図３を用いて説明するように、本ウェブ広告判定装置の機能は、例えば複数の装置（サーバや端末等）からなるウェブ広告判定システムとして具現されてもよい。

さらに本実施形態において、スマートフォン（ウェブ広告判定装置）１で判定されるその内容は、「判定対象広告がクリックベイトか否か」となっているが、判定の内容は当然、これに限定されるものではない。すなわち、「広告良否判定モデル」を適切に準備すれば、例えば「判定対象広告に係る分野（例えば医療分野や教育分野）において、この判定対象広告が当該分野に相応しいものか否か」といったような広告の良否に係る判定を行うことも可能となっている。

ただし、本発明によるスマートフォン（ウェブ広告判定装置）１で「判定対象広告がクリックベイトか否か」の判定を行うことによって、例えば該当するウェブ広告についてユーザに対し注意喚起を促し、現在深刻な問題となっているクリックベイトの被害を防止・低減することも可能となるのである。

［装置機能構成，ウェブ広告判定プログラム］
以下、以上に述べたスマートフォン１の機能構成を詳細に説明する。同じく図１の機能ブロック図によれば、本発明によるウェブ広告判定装置としてのスマートフォン１は、通信インタフェース部１０１と、学習用広告ＤＢ１０２と、操作ログ保存部１０３と、クリックベイト情報保存部１０４と、タッチパネル・ディスプレイ（ＴＰ・ＤＰ）１０５と、プロセッサ・メモリとを有する。

ここで、このプロセッサ・メモリは、本発明に係るウェブ広告判定プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、このウェブ広告判定プログラムを実行することによってウェブ広告判定処理を実施する（なお本実施形態ではさらに、対ユーザ提示情報生成・提示処理も実施することになる）。

また以上に述べたことから分かるように、本発明によるウェブ広告判定装置は、スマートフォンに限定されず、本発明によるウェブ広告判定プログラムを搭載した、汎用のクラウドサーバや非クラウド型サーバであってもよく、またパーソナル・コンピュータ（ＰＣ）、又はノート型若しくはタブレット型コンピュータとすることもできる。さらに、ウェブ広告判定処理専用の装置とすることも可能である。

また、上記のプロセッサ・メモリは、ＤＢ（データベース）管理・モデル更新部１１１ａを含む初期判定部１１１と、主観判断部１１２と、初期判定・操作相関決定部１１３ａを含む客観検証部１１３と、クリックベイト情報生成部１１４ａを含む最終判定部１１４と、通信制御部１２１と、入出力制御部１２２とを有する。これらの機能構成部は、プロセッサ・メモリに保存されたウェブ広告判定プログラムの機能と捉えることができる。また、図１におけるスマートフォン（ウェブ広告判定装置）１の機能構成部間を矢印で接続して示した処理の流れは、本発明によるウェブ広告判定方法の一実施形態としても理解される。

＜初期判定手段＞
同じく図１の機能ブロック図において、初期判定部１１１は本実施形態において、
（ａ）通信インタフェース部１０１を介して受信されたウェブ広告の各々を、又はそのうちの（例えばユーザによりタッチパネル・ディスプレイ１０５を介して）選択されたウェブ広告を判定対象広告に設定し、
（ｂ）設定された判定対象広告の内容に対し、自然言語処理における公知の形態素解析、構文解析（係り受け解析）及び意味解析を実施し、公知の手法で当該内容の特徴量、例えば単語分散表現を生成したり、公知の画像認識・画像解析技術によって当該内容の画像特徴量を生成したりして、これらの特徴量を広告特徴量とし、
（ｂ）生成した広告特徴量を、公知の分類アルゴリズム（例えばランダムフォレスト（Random Forest）、ＳＶＭ（Support Vector Machine）、XGBoost、ナイーブベイズ（Naive Bayes）等）や、公知の深層学習アルゴリズム（例えばＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short Term Memory）、多層パーセプトロン（Multilayer Perceptron）等）で構築された「広告良否判定モデル」へ入力し、
（ｃ）「広告良否判定モデル」の出力から、初期の良否判定結果としての初期判定情報、本実施形態では「判定対象広告がクリックベイトである（Yes）かクリックベイトではない（No）か」の初期判定(Yes/No)情報を決定する。

ここで、初期判定部１１１は本実施形態において、決定した初期判定(Yes/No)情報を、主観判断部１１２、客観検証部１１３、及び最終判定部１１４へ出力するのである。

＜主観判断手段＞
同じく図１の機能ブロック図において、主観判断部１１２は本実施形態において、
（ａ）判定対象広告と、
（ｂ）この判定対象広告についての質問と
を、入出力制御部１２２を介してタッチパネル・ディスプレイ１０５に表示させ、さらに、
（ｃ）表示された判定対象広告を見たユーザ（判断者）によって回答として入力された、判定対象広告の良否判断結果に係る情報である主観判断情報、本実施形態では「判定対象広告がクリックベイトである（Yes）かクリックベイトではない（No）か」の主観判断(Yes/No)情報と、
（ｄ）当該ユーザ（判断者）によって回答として入力された、当該ユーザ（判断者）による判断の理由に係る判断理由情報と
を、タッチパネル・ディスプレイ１０５及び入出力制御部１２２を介して取得する。

ここで、上記（ａ）の判定対象広告とともに、又は上記（ｂ）の質問の中で、（初期判定部１１１から受け取った）判定対象広告に対する初期判定(Yes/No)情報が提示されることも好ましい。

また、上記（ｂ）の質問は本実施形態において、
（ｂ１）（ユーザは）判定対象広告を見てクリックベイトであると判断するか否か、及び
（ｂ２）その判断の理由は何か
を問いかける内容となっている。また上記（ｂ２）の判断の理由については、ユーザ（判断者）による判断の理由を示す判断指標であって、「新奇性に係る指標」、「意外性に係る指標」、「信憑性に係る指標」、及び「有用性に係る指標」のうちの少なくとも１つ（下記の例では全て）に基づいて回答することを指定するものとすることができる。

具体的に上記（ｂ）の質問は、例えば、
「この広告バナーはクリックベイトと初期判定されました。この初期判定結果についてどう思いますか？あなたはクリックベイトと判断しますか。それともクリックベイトではないと判断されますか。またそのような判断をされた理由は何ですか。その理由を、新奇性、意外性、有用性、及び信憑性の観点で説明してください。」
といったような内容であってもよい。

また、このような質問文とともに、例えば「Yes（クリックベイトだ）」及び「No（クリックベイトではない）」のチェック入力欄と、新奇性指標値としての新奇性スコア（0～1の値）、意外性指標値としての意外性スコア（0～1の値）、有用性指標値としての有用性スコア（0～1の値）、及び信憑性指標値としての信憑性スコア（0～1の値）の入力可能なスライドバーといったような、ユーザ（判断者）に回答を入力させるための回答入力表示を行うことも好ましい。

主観判断部１１２は、以上に述べたような質問に対する回答として、上記（ｃ）の（ユーザによる）主観判断(Yes/No)情報、及び上記（ｄ）の（ユーザによる判断の理由である）判断理由情報を取得するのである。ここでこの判断理由情報は、上記の例から分かるように、新奇性スコア、意外性スコア、信憑性スコア、及び有用性スコアのうちの少なくとも１つ（下記の例では全て）に係る情報となっている。

また、判断理由を示す判断指標として上記以外の指標を採用することも可能である。しかしながら、特にクリックベイト判定の際には、上記４つの判断指標が、判定理由を表す指標として非常に好適なものとなることが確認されている。なおこのうち、
（ａ）新奇性スコア（0～1の値）及び意外性スコア（0～1の値）については、その値が大きいほどクリックベイトである可能性が高いことを示し、一方、
（ｂ）有用性スコア（0～1の値）及び信憑性スコア（0～1の値）については、その値が小さいほどクリックベイトである可能性が高いことを示す
ものとなっている。

したがって、判断指標として、正相関に係る新奇性スコア及び意外性スコアのうちの少なくとも１つと、負相関に係る有用性スコア及び信憑性スコアのうちの少なくとも１つとを、両極にある指標として採用することも好ましい。これにより、判断理由をより的確に表現することも可能となるのである。

なお、以上に説明したユーザ（判断者）による回答は、例えば具体的に、
「（提示された）初期判定結果は正しい、すなわち判定対象広告はクリックベイトであると判断しました。またその判断理由は、判定対象広告の新奇性スコア及び意外性スコアはそれぞれ0.8及び0.7であって（例えば閾値0.5を超えているので）高いとみられる一方、信憑性スコア及び有用性スコアはそれぞれ0.1及び0.4であって（例えば閾値0.5以下であるので）低いとみられることです。」
といったような内容のものであってもよい。

いずれにしても主観判断部１１２は、「人間」と機械学習の協調学習、いわゆる人間協調学習における対「人間」処理部分となっており、判定対象広告がクリックベイトか否かの判定（判定対象広告の良否判定）において、主観的な（人間の認識力や感性に基づいた）判断の結果を取得・決定可能となっているのである。

なお、主観判断部１１２は、スマートフォン１以外の端末（ＰＣやスマートフォン等）から当該端末のユーザによる判定対象広告についての主観判断情報を収集する実施形態をとることも可能である。これにより、判定対象広告についてより多数の主観判断情報を取得することも可能となる。また、主観判断部１１２は本実施形態において、取得した主観判断(Yes/No)情報、及び判断理由情報（例えば新奇性スコア、意外性スコア、信憑性スコア及び有用性スコアの組に係る情報）を、最終判定部１１４へ出力する。

＜客観検証手段＞
同じく図１の機能ブロック図において、客観検証部１１３は、判定対象広告に対した際のユーザの「操作ログ情報」から生成された、その際の「操作時間に係る情報」及び／又は「操作深度に係る情報」から、操作時間及び／又は操作深度に係る所定の判定基準を用いて、判定対象広告の良否判定結果に係る情報である客観検証情報、本実施形態では「判定対象広告がクリックベイトである（Yes）かクリックベイトではない（No）か」の客観検証(Yes/No)情報を決定する。

ここで「操作ログ情報」は、判定対象広告に対したスマートフォン１のユーザによる操作ログに係る情報であって、操作ログ保存部１０３で保存・管理されている情報とすることもできる。また「操作ログ情報」は、他の通信端末のユーザによる判定対象広告に対した際の操作ログに係る情報であって、スマートフォン１が当該通信端末から通信インタフェース部１０１及び通信制御部１２１を介して受信し、操作ログ保存部１０３へ取り込んだ情報であってもよい。

本実施形態において具体的に、客観検証部１１３は、判定対象広告を閲覧した際のユーザの操作ログから、
（ａ）判定対象広告を閲覧した時間（閲覧時間）が所定閾値以下であるか否かの判定を行い、また、
（ｂ）判定対象広告を閲覧した際の操作深度（例えばウェブ広告の内容・選択肢に入り込むためのクリック数、タップ数やスライド数等）が所定閾値以下であるか否かの判定を行って、
いずれにおいても真（所定閾値以下であると）の判定がなされた場合に、「判定対象広告はクリックベイトである（Yes）」旨の客観検証(Yes)情報を決定し、それ以外の場合、「クリックベイトではない（No）」旨の客観検証(No)情報を決定してもよい。

または、上記（ａ）及び（ｂ）のうちの少なくとも一方において真（所定閾値以下であると）の判定がなされた場合に、「判定対象広告はクリックベイトである（Yes）」旨の客観検証(Yes)情報を決定し、それ以外の場合、クリックベイトではない（No）旨の客観検証(No)情報を決定することも可能である。

さらに変更態様として、客観検証部１１３は、
（ａ’）判定対象広告を閲覧した時間（閲覧時間）を、例えば0～1の値をとる閲覧時間スコアに正規化し、
（ｂ’）判定対象広告を閲覧した際の操作深度（例えばクリック数、タップ数やスライド数等）を、例えば0～1の値をとる操作深度スコアに正規化して、
閲覧時間スコアと操作深度スコアとの和若しくは積が所定閾値（和の場合は例えば1、積の場合は例えば0.5）以下であるか否かの判定を行って、真（所定閾値以下であると）の判定がなされた場合に、「判定対象広告はクリックベイトである（Yes）」旨の客観検証(Yes)情報を決定し、それ以外の場合、「クリックベイトではない（No）」旨の客観検証(No)情報を決定してもよい。

また勿論、客観検証部１１３は、閲覧時間及び（閲覧時）操作深度のうちの一方のみを用い、上記と同様にして客観検証情報を決定することも可能である。さらに、客観検証部１１３は、１つの判定対象広告に対した複数のユーザに係る複数の操作ログ情報の各々について、以上に述べたような判定を行い、それらの判定結果を総合して、例えば多数決によって若しくは平均して、最終的な客観検証情報を決定してもよい。いずれにしても、客観検証部１１３は本実施形態において、以上のように決定した客観検証(Yes/No)情報を、最終判定部１１４へ出力する。

なお本実施形態において、客観検証部１１３は、判定対象広告に対し客観的な（操作ログによる）検証を行うという意味で、主観的な（人間による）判断を扱う主観判断部１１２とは装置構成上、対をなしているといえる。ここで、客観検証部１１３は、（操作ログ情報が入手できていて）初期判定情報が出力された際に常時、そのうちの所定の頻度で、又は定期的に、上述したような客観検証処理を実施し客観検証情報を出力してもよい。一方、主観判断部１１２は、それよりも（相当に）少ない頻度をもって、定期的に又はランダムに主観判断処理を実施し主観判断情報を出力することも好ましいのである。

また本実施形態において、客観検証部１１３の初期判定・操作相関決定部１１３ａは、
（ａ）判定対象広告に対した際の「操作時間に係る情報」及び／又は「操作深度に係る情報」、本実施形態ではこれら両方と、
（ｂ）この判定対象広告についての初期判定情報と
の相関に係る情報である「初期判定・操作相関情報」を決定し、後に説明する学習用フィードバックとしてＤＢ管理・モデル更新部１１１ａ（初期判定部１１１）へ出力する。

この初期判定・操作相関情報はいわば、初期判定部１１１と客観検証部１１３との間で実施される"強化学習"における、初期判定部１１１に対する報酬（reward）に相当する情報となっている。

本実施形態において具体的に、初期判定・操作相関決定部１１３ａは、
（ａ’）上記（ａ）の操作時間に係る情報及び操作深度に係る情報として、複数の判定対象広告における当該判定対象広告毎に、上述した閲覧時間スコア及操作深度スコアを決定し、また、
（ｂ’）上記（ｂ）の初期判定情報として、当該判定対象広告毎に、「当該判定対象広告はクリックベイトではない（No）」である場合の判定スコア（尤度）を、初期判定部１１１から取得し、
（ｃ）上記（ａ’）の閲覧時間スコアと上記（ｂ’）の判定スコア（尤度）との間の相関係数（閲覧時間相関係数）、上記（ａ’）の操作深度スコアと上記（ｂ’）の判定スコア（尤度）との間の相関係数（操作深度相関係数）を算出し、これらの相関係数の平均を「初期判定・操作相関情報」に決定する
ことができる。ここで勿論、「初期判定・操作相関情報」として、上記（ｃ）の２つの相関係数（閲覧時間相関係数，操作深度相関係数）のうちの１つを採用することも可能である。

また、算出した相関係数（の平均）を一致スコア化して、この一致スコアS_cを「初期判定・操作相関情報」に決定してもよい。例えば、相関係数（の平均）が、
・0.6未満であれば、一致スコアS_cは－2とし、
・0.6以上であって0.7未満ならば、一致スコアS_cは－1とし、
・0.7以上であって0.8未満ならば、一致スコアS_cは0とし、
・0.8以上であって0.9未満ならば、一致スコアS_cは＋1とし、
・0.9以上であれば、一致スコアS_cは＋2としてもよい。

＜最終判定手段＞
同じく図１の機能ブロック図において、最終判定部１１４は本実施形態において、入力されてきた初期判定情報、主観判断情報、及び客観検証情報から、所定の判定ロジックを用いて、判定対象広告の最終的な良否判定結果に係る情報である最終判定情報を決定して出力する。

具体的に本実施形態では、最終判定部１１４は、主観判断(Yes/No)情報、初期判定(Yes/No)情報、及び客観検証(Yes/No)情報に対し、以下に示すような判定ロジックを用いて最終判定(Yes/No)情報を決定する。
（ａ）３つ全ての判断・判定・検証結果（Yes/No）が一致する場合、当該結果（Yes又はNo）を最終判定(Yes/No)情報とする。
（ｂ）主観判断(Yes/No)情報の判断結果と、初期判定(Yes/No)情報の判定結果とが一致し、客観検証(Yes/No)情報の検証結果は一致しない場合、一致した当該判断・判定結果（Yes又はNo）を最終判定(Yes/No)情報とする。
（ｃ）主観判断(Yes/No)情報の判断結果と、客観検証(Yes/No)情報の検証結果とが一致し、初期判定(Yes/No)情報の判定結果は一致しない場合、一致した当該判断・検証結果（Yes又はNo）を最終判定(Yes/No)情報とする。
（ｄ）初期判定(Yes/No)情報の判定結果と、客観検証(Yes/No)情報の検証結果とが一致し、主観判断(Yes/No)情報の判断結果は一致しない場合、最終判定情報を「判定不能である」旨の情報とする。

また好適な変更態様として、最終判定部１１４は、取得した
１.主観判断(Yes/No)情報，２.初期判定(Yes/No)情報，３.客観検証(Yes/No)情報
の各々に対しこの順に高い優先度を付与し、Yes判定（否判定）に係る優先度とNo判定（良判定）に係る優先度とを比較して最終判定情報を決定することも好ましい。

例えば、優先度をそれぞれ0.45、0.35及び0.20とした場合に、主観判断(Yes/No)情報がYes判定であって他の２つがNo判定であれば、Yes判定に係る（総）優先度は0.45であって、No判定に係る（総）優先度は0.55（＝0.35＋0.20＞0.45）であるので、最終判定(Yes/No)情報は、「判定対象広告はクリックベイトではない（No）」旨の情報に決定されるのである。

ここで、主観判断(Yes/No)情報は、人間が（新奇性や信憑性等の判断指標に基づき）主観的に判断した結果であって、ある意味、機械学習における教師データ（正解データ）に相当する情報であるので、最も高い優先度が付与される。また、初期判定(Yes/No)情報は、分類器や深層学習等のアルゴリズムに基づく判定の結果であるので、相当の精度が期待され、中位の優先度が付与される。

さらに、客観検証(Yes/No)情報は、検証の基準となる操作時間や操作深度等が、操作を行うユーザの嗜好や偏向等にも依存する量となっていることから、他の２つとの間で最も低い優先度が付与されるのである。例えば、操作時間が短い場合に、その理由は、ユーザが単に、判定対象広告であるバナーに使用されているキャラクタを好まないことである可能性もある。したがって、客観検証(Yes/No)情報は、他の２つと比較すると優先度のより低い判定情報として扱われるのである。

以上説明したように本実施形態において、スマートフォン（ウェブ広告判定装置）１は最終判定部１１４によって、判定対象広告に対し、（単に機械学習を用いて導出した）初期判定情報だけを決定し出力するのではなく、主観判断情報や客観検証情報も勘案した、より高い精度を有する最終判定情報を決定し出力することができるのである。なお、最終判定情報は、主観判断情報が取得されなくとも、初期判定情報と客観検証情報とから決定されてもよいが、主観判断情報が取得された際には必ずこの主観判断情報も勘案して最終判定情報を決定することも好ましいのである。

同じく図１の機能ブロック図において、最終判定部１１４のクリックベイト情報生成部１１４ａは本実施形態において、出力する最終判定情報の内容に応じ、判定理由として（主観判断部１１２から取得した）判断理由情報も出力する。ここでクリックベイト情報生成部１１４ａは、最終判定(Yes/No)情報が、主観判断(Yes/No)情報とYes判定／No判定について異なっている場合、判定理由として判断理由情報は提示しないことにしてもよく、または主観判断における判断理由と断った上で、判断理由情報を提示してもよい。

さらに、クリックベイト情報生成部１１４ａは本実施形態において、最終判定情報の内容に応じ、判定理由として（客観検証部１１３から取得した）「操作時間に係る情報」及び／又は「操作深度に係る情報」を出力することも好ましい。ここでクリックベイト情報生成部１１４ａは、最終判定(Yes/No)情報が、客観検証(Yes/No)情報とYes判定／No判定について異なっている場合、判定理由として「操作時間に係る情報」及び／又は「操作深度に係る情報」は提示しないことにしてもよく、または客観検証における判断理由と断った上で、「操作時間に係る情報」及び／又は「操作深度に係る情報」を提示してもよい。

また、クリックベイト情報生成部１１４ａは、最終判定(Yes/No)情報におけるYes判定（クリックベイトであるとの判定）の「可能性（尤度）情報」を算出し出力することも好ましい。この可能性（尤度）情報は、例えば、上述した主観判断(Yes/No)情報、初期判定(Yes/No)情報、及び客観検証(Yes/No)情報の優先度（上記の例ではそれぞれ0.45、0.35及び0.20）において、Yes判定に係る優先度の合計値としてもよい。

ここで、初期判定(Yes/No)情報の優先度（例えば0.35）を用いる場合、当該優先度（0.35）に対し、初期判定部１１１から取得したYes判定の判定スコア（尤度）C_Yesを重みとして乗算した新たな優先度（0.35×C_Yes）を用いることも好ましい。また、主観判断(Yes/No)情報の優先度（例えば0.45）を用いる場合、当該優先度（0.45）に対し、主観判断部１１２から取得した（新奇性スコア(0～1の値)））、（意外性スコア(0～1の値)）、（有用性スコア(0～1の値)×－1）及び（信憑性スコア(0～1の値)×－1）における所定の重み付け平均値S_Yesを重みとして乗算した新たな優先度（0.45×S_Yes）を用いることも好ましい。

本実施形態において、以上に説明したような出力情報は、クリックベイト情報生成部１１４ａによって対ユーザ提示情報としてまとめられ、ユーザへ提示されるのである。この対ユーザ提示情報は、例えば、
「このバナー広告はクリックバイトと判定されました。その可能性（尤度）は98％です。また、クリックバイトと判定された理由は、新規性及び意外性が高く、信憑性及び有用性が低いからであり、実際、75％のユーザが開いてから1秒以内にこのバナーを閉じているからです。」
といったような内容の情報とすることができる。

このような対ユーザ提示情報の提示によって、従来問題となっていた判定理由の説明不可能性が解消され、例えばこのような判定理由を提示されたユーザは、提示された判定結果をより信頼し易くなる。またその結果、例えばクリックベイトであるとの注意喚起も、より効果的なものとなり得るのである。さらに、クリックベイト識別のリテラシの向上に貢献することも可能となる。

なお上述したように、最終判定情報は「判定不能である」旨の情報であってもよい。この場合、クリックベイト情報生成部１１４ａによって生成される対ユーザ提示情報は、例えば「このバナー広告がクリックバイトであるかどうかは不明です。」といったような内容の情報とすることができる。

また、以上に説明した、最終判定結果及びその判定理由を含む対ユーザ提示情報は、例えば入出力制御部１２２及びタッチパネル・ディスプレイ１０５を介し、ユーザに提示されてもよく、また、通信制御部１２１及び通信インタフェース部１０１を介し、外部の情報処理装置へ送信されることも好ましい。さらに、クリックベイト情報保存部１０４に保存され、適宜読み出されて使用されてもよい。

＜初期判定手段でのモデル更新＞
同じく図１の機能ブロック図において、初期判定部１１１のＤＢ管理・モデル更新部１１１ａは、取得した主観判断情報及び最終判定情報のいずれか一方、好ましくは両方によって、又はそれに加えて客観検証情報にもよって、学習用広告ＤＢ１０２を更新し、これにより広告良否判定モデルを更新する。

さらに、ＤＢ管理・モデル更新部１１１ａは、上記に加えて判断理由情報及び初期判定・操作相関情報のいずれか一方、好ましくは両方にもよって、学習用広告ＤＢ１０２を更新し、これにより広告良否判定モデルを更新することも好ましい。

すなわち上記に述べた各種情報に基づいて、本実施形態では最終判定(Yes/No)情報、主観判断(Yes/No)情報、客観検証(Yes/No)情報、判断理由情報、及び初期判定・操作相関情報の全てに基づいて、学習用広告ＤＢ１０２に対し、
（ａ）新たな学習用データを追加する、
（ｂ）含まれた学習用データを削除する、及び／又は、
（ｃ）含まれた学習用データに付与された正解ラベルを変更する
ことによって更新を行うことができるのである。また、特にこのように更新された学習用データ群をもって、広告良否判定モデルを好適に更新することが可能となる。

ここで一具体例として、最終判定(Yes/No)情報、主観判断(Yes/No)情報、及び客観検証(Yes/No)情報に対しこの順に高い更新スコア（例えばそれぞれ0.6、0.25、及び0.15）を付与した上で、Yes判定の更新スコアの合計値と、No判定の更新スコアの合計値とを比較し、大きい方の判定結果（Yes又はNo）を、判定対象広告の正解値（正解データ）としてもよい。なお、最終判定(Yes/No)情報及び主観判断(Yes/No)情報だけで、上記のように判定対象広告の正解値（正解データ）を決定してもよく、また、最終判定(Yes/No)情報の判定結果（Yes又はNo）をそのまま、判定対象広告の正解値（正解データ）とすることもでき、さらに、主観判断(Yes/No)情報の判定結果（Yes又はNo）をそのまま、判定対象広告の正解値（正解データ）としてもよい。

またこの具体例において、この判定対象広告が学習用広告ＤＢ１０２に含まれていないならば、この判定対象広告に正解データをラベルしたデータを、新たな学習用データとして学習用広告ＤＢ１０２に追加してもよい。さらに、この判定対象広告が学習用広告ＤＢ１０２に含まれていてそのラベル値がこの正解データと異なっているならば、そのラベル値をこの正解データに書き換えることも好ましく、またはこの判定対象広告に係る学習用データを削除してもよい。

また、最終判定(Yes/No)情報が「判定不能である」旨の情報である場合、上記の更新スコアの合計値には、最終判定(Yes/No)情報の更新スコアは加味しないことも好ましい。またはこの場合、更新は行わない設定とすることも可能である。

さらに、主観判断(Yes/No)情報がYes判定である場合、上記の主観判断(Yes/No)情報の更新スコア（0.25）に対し、（新奇性スコア(0～1の値)））、（意外性スコア(0～1の値)）、（有用性スコア(0～1の値)×－1）及び（信憑性スコア(0～1の値)×－1）における所定の重み付け平均値S_Yesを重みとして乗算した新たな更新スコア（0.25×S_Yes）を採用してもよい。一方、主観判断(Yes/No)情報がNo判定である場合、この新たな更新スコアは、（元の更新スコア（0.25）×－S_Yes）とすることができる。

さらにまた、客観検証(Yes/No)情報については、上記の更新スコア（0.15）に（初期判定・操作相関情報である）一致スコアS_c（－2～＋2）を乗算した新たな更新スコア（0.15×S_c）を採用してもよい。ちなみにこの一致スコアS_cは、すでに述べたようにいわば、初期判定部１１１と客観検証部１１３との間で実施される"強化学習"における、初期判定部１１１に対する報酬（reward）に相当するものとなっている。

以上いずれにしても、スマートフォン（ウェブ広告判定装置）１は、ＤＢ管理・モデル更新部１１１ａでの更新処理により、自らの判定結果を用いて、使用する広告良否判定モデルを更新することができ、これにより、従来技術で大きな障害となっていた判定モデルの自己成長性欠如の問題を改善若しくは解消可能とするのである。

［ウェブ広告判定方法］
図２は、本発明によるウェブ広告判定方法の一実施形態を説明するための模式図である。以下、図２を用いて、本発明によるウェブ広告判定方法における好適な一実施形態について、概略的に説明を行う。

最初に、初期判定部１１１は、受け付けた判定対象広告に対し初期判定処理を行い、判定対象広告についての初期判定情報を決定し、主観判断部１１２、客観検証部１１３、及び最終判定部１１４へ出力する。

次いで、主観判断部１１２は、初期判定情報を提示したユーザ（人間）との協調学習によって、判定対象広告についての主観判断情報及び判断理由情報を決定し、最終判定部１１４及びＤＢ管理・モデル更新部１１１ａ（初期判定部１１１）へ出力する。

また、客観検証部１１３は、操作時間及び操作深度情報（操作ログ情報）から判定対象広告についての客観検証情報を決定し、この客観検証情報と操作時間及び操作深度情報とを最終判定部１１４へ出力する。また、取得した初期判定情報と操作時間及び操作深度情報とから初期判定・操作相関情報を生成し、この初期判定・操作相関情報と客観検証情報とをＤＢ管理・モデル更新部１１１ａ（初期判定部１１１）へ出力する。

次いで、最終判定部１４は、取得した主観判断情報、初期判定情報、及び客観検証情報に基づいて最終判定情報を決定し、この最終判定情報と、取得した判断理由情報と、取得した操作時間及び操作深度情報とから、（判定結果と判定理由を含んだ）対ユーザ提示情報を生成し、ユーザへ提示する。また、決定した最終判定情報をＤＢ管理・モデル更新部１１１ａ（初期判定部１１１）へ出力する。

さらに、ＤＢ管理・モデル更新部１１１ａ（初期判定部１１１）は、受け取った主観判断情報、最終判定情報、客観検証情報、判断理由情報、及び初期判定・操作相関情報を用いて、学習用広告ＤＢ１０２を更新し、さらにこれによって広告良否判定モデルを更新させるのである。

以上説明したようなウェブ広告判定方法を実施することによって、より精度の高いウェブ広告判定結果を出力することができ、また、自らの判定結果によって、使用する判定モデルを更新することもでき、さらに、ウェブ広告判定結果を出力するにあたり判定理由を提示することも可能となるのである。

［ウェブ広告判定システム］
図３は、本発明によるウェブ広告判定システムの一実施形態を説明するための模式図である。

図３に示された本実施形態のウェブ広告判定システム２は、
（ａ）図１における同名の機能構成部と同様の機能を有する学習用広告ＤＢ２０２及び初期判定部２１１を備えており、外部のウェブサーバ等から判定対象広告を含む種々様々なウェブ広告を取り込み可能な初期判定装置（例えばサーバ）２Ａと、
（ｂ）図１における同名の機能構成部と同様の機能を有する主観判断部２１２を備えており、外部の（複数の）端末（ＰＣやスマートフォン等）から例えば通信によって、当該端末のユーザの主観判断情報を取得可能な主観判断装置（例えばサーバ）２Ｂと、
（ｃ）図１における同名の機能構成部と同様の機能を有する操作ログ保存部２０３及び客観検証部２１３を備えており、外部の（複数の）端末（ＰＣやスマートフォン等）から例えば通信によって、当該端末のユーザによる操作ログ情報を取得可能な客観検証装置（例えばサーバ）２Ｃと、
（ｄ）図１における同名の機能構成部と同様の機能を有するクリックベイト情報保存部２０４及び最終判定部２１４を備えており、タッチパネル・ディスプレイ２０５を介し、（クリックベイトか否かの）判定結果とその判定理由とを含む対ユーザ提示情報をユーザに提示可能な最終判定装置（例えば端末）２Ｄと
を有するシステムとなっている。

すなわち、ウェブ広告判定システム２は、上記装置２Ａ～２Ｄの全体をもって、図１に示したスマートフォン（ウェブ広告判定装置）１と同様の機能を果たし、同様の効果を奏功するものとなっている。勿論、スマートフォン（ウェブ広告判定装置）１と比較して、収集し処理するデータ量を格段に多くし、これにより、より精度の高い判定結果を得たり、広告良否判定モデルをより精度の高いものに更新したりすることも可能となるのである。

ちなみに、このウェブ広告判定システム２をベースにして、初期判定装置２Ａ及び主観判断装置２Ｂを１つの装置に統合したり、さらにそれに合わせて客観検証装置２Ｃも統合したり、初期判定装置２Ａ及び客観検証装置２Ｃを１つの装置に統合したり、さらにそれに合わせて最終判定装置２Ｄも統合したり、初期判定装置２Ａ及び最終判定装置２Ｄを１つの装置に統合したり、さらにそれに合わせて主観判断装置２Ｂも統合したり、主観判断装置２Ｂ及び客観検証装置２Ｃを１つの装置に統合したり、さらにそれに合わせて最終判定装置２Ｄも統合したり、主観判断装置２Ｂ及び最終判定装置２Ｄを１つの装置に統合したり、客観検証装置２Ｃ及び最終判定装置２Ｄを１つの装置に統合したりしたシステムを構築することも可能である。いずれにしても、自らの判定結果によって、使用する判定モデルを更新することができ、さらに、ウェブ広告判定結果を出力するにあたり判定理由を提示することが可能なシステムを実現することができるのである。

以上詳細に説明したように、本発明のウェブ広告判定装置、システム、プログラム及び方法によれば、自らの判定結果によって、使用する広告良否判定モデルを更新することができ、さらに、ウェブ広告判定結果を出力するにあたり判定理由を提示することができる。すなわち、従来技術で大きな障害となっていた説明不可能性や自己成長性欠如の問題を、ともに改善若しくは解消することも可能となるのである。

また、例えばデジタルネイティブ世代の子供達に対し、将来必須となるクリックベイト識別のリテラシ教育を提供するために、本発明によってクリックベイトか否かを判定したウェブ広告群を教材として活用することもできる。また本発明に係る判断指標（新奇性，意外性，信憑性，有用性）に基づくクリックベイト判断を子供達に体験させることも可能となる。すなわち本発明によれば、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標４「すべての人々に包摂的かつ公平で質の高い教育を提供し、生涯学習の機会を促進する」に貢献することも可能となるのである。

さらに、ウェブ広告から商品を購入する機会の多い現代の消費者に対し、持続可能な且つ無駄のない消費とライフスタイルについての教育を提供するために、本発明によってクリックベイトか否かを判定したウェブ広告群を教材として活用することもできる。また本発明に係る判断指標（新奇性，意外性，信憑性，有用性）に基づくクリックベイト判断を消費者に体験させることも可能となる。すなわち本発明によれば、国連が主導するＳＤＧｓの目標１２「持続可能な消費と生産のパターンを確保する」に貢献することも可能となるのである。

上述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。上述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ スマートフォン（ウェブ広告判定装置）
１０１ 通信インタフェース部
１０２、２０２ 学習用広告データベース（ＤＢ）
１０３、２０３ 操作ログ保存部
１０４、２０４ クリックベイト情報保存部
１０５、２０５ タッチパネル・ディスプレイ（ＴＰ・ＤＰ）
１１１、２１１ 初期判定部
１１１ａ ＤＢ管理・モデル更新部
１１２、２１２ 主観判断部
１１３、２１３ 客観検証部
１１３ａ 初期判定・操作相関決定部
１１４、２１４ 最終判定部
１１４ａ クリックベイト情報生成部
１２１ 通信制御部
１２２ 入出力制御部
２ ウェブ広告判定システム
２Ａ 初期判定装置
２Ｂ 主観判断装置
２Ｃ 客観検証装置
２Ｄ 最終判定装置

Claims (12)

1. ウェブ上の広告の良否を判定するウェブ広告判定装置であって、
   判定対象広告の内容から生成された広告特徴量を、当該広告の学習用データベースを用いて更新可能な広告良否判定モデルへ入力し、該広告良否判定モデルの出力から、初期の良否判定結果に係る情報である初期判定情報を決定する初期判定手段と、
   当該判定対象広告を提示された判断者による当該判定対象広告の良否判断結果に係る情報である主観判断情報と、当該判断者による判断の理由に係る判断理由情報とを取得する主観判断手段と、
   当該主観判断情報及び当該初期判定情報から所定の判定ロジックを用いて、当該判定対象広告の最終的な良否判定結果に係る情報である最終判定情報を決定して出力し、当該最終判定情報の内容に応じ、判定理由として当該判断理由情報も出力する最終判定手段と
   を有し、
   前記初期判定手段は、当該主観判断情報及び／又は当該最終判定情報によって前記学習用データベースを更新し、これにより前記広告良否判定モデルを更新する
   ことを特徴とするウェブ広告判定装置。
2. 当該判断理由情報は、当該判断者による判断の理由を示す所定の判断指標であって、新奇性に係る指標、意外性に係る指標、信憑性に係る指標、及び有用性に係る指標のうちの少なくとも１つを含む判断指標の値に係る情報であることを特徴とする請求項１に記載のウェブ広告判定装置。
3. 前記初期判定手段は、当該判断理由情報によっても前記学習用データベースを更新することを特徴とする請求項１又は２に記載のウェブ広告判定装置。
4. 当該判定対象広告に対した際のユーザの操作ログ情報から生成された、その際の操作時間及び／又は操作深度に係る情報から、操作時間及び／又は操作深度に係る所定の判定基準を用いて、当該判定対象広告の良否判定結果に係る情報である客観検証情報を決定する客観検証手段を更に有し、
   前記最終判定手段は、当該主観判断情報、当該初期判定情報及び当該客観検証情報から、所定の判定ロジックを用いて当該最終判定情報を決定し、
   前記初期判定手段は、当該客観検証情報によっても前記学習用データベースを更新する
   ことを特徴とする請求項１から３のいずれか１項に記載のウェブ広告判定装置。
5. 前記最終判定手段は、当該主観判断情報、当該初期判定情報、及び当該客観検証情報の各々に対しこの順に高い優先度を付与し、良判定に係る優先度と否判定に係る優先度とを比較して当該最終判定情報を決定することを特徴とする請求項４に記載のウェブ広告判定装置。
6. 前記最終判定手段は、当該最終判定情報の内容に応じ、判定理由として当該操作時間及び／又は操作深度に係る情報も出力することを特徴とする請求項４又は５に記載のウェブ広告判定装置。
7. 前記客観検証手段は、当該操作時間及び／又は操作深度に係る情報と、当該初期判定情報との相関に係る情報である初期判定・操作相関情報を決定し、
   前記初期判定手段は、当該初期判定・操作相関情報によっても前記学習用データベースを更新する
   ことを特徴とする請求項４から６のいずれか１項に記載のウェブ広告判定装置。
8. 前記初期判定手段は、当該主観判断情報及び／又は当該最終判定情報を含む取得した情報に基づいて、前記学習用データベースに対し、新たな学習用データを追加する、含まれた学習用データを削除する、及び／又は含まれた学習用データに付与された正解ラベルを変更することによって更新を行うことを特徴とする請求項１から７のいずれか１項に記載のウェブ広告判定装置。
9. 当該判定対象広告の良否の判定としてクリックベイトか否かを判定することを特徴とする請求項１から８のいずれか１項に記載のウェブ広告判定装置。
10. ウェブ上の広告の良否を判定するウェブ広告判定システムであって、
    判定対象広告の内容から生成された広告特徴量を、当該広告の学習用データベースを用いて更新可能な広告良否判定モデルへ入力し、該広告良否判定モデルの出力から、初期の良否判定結果に係る情報である初期判定情報を決定する初期判定手段と、
    当該判定対象広告を提示された判断者による当該判定対象広告の良否判断結果に係る情報である主観判断情報と、当該判断者による判断の理由に係る判断理由情報とを取得する主観判断手段と、
    当該主観判断情報及び当該初期判定情報から所定の判定ロジックを用いて、当該判定対象広告の最終的な良否判定結果に係る情報である最終判定情報を決定して出力し、当該最終判定情報の内容に応じ、判定理由として当該判断理由情報も出力する最終判定手段と
    を有し、
    前記初期判定手段は、当該主観判断情報及び／又は当該最終判定情報によって前記学習用データベースを更新し、これにより前記広告良否判定モデルを更新する
    ことを特徴とするウェブ広告判定システム。
11. ウェブ上の広告の良否を判定するコンピュータを機能させるウェブ広告判定プログラムであって、
    判定対象広告の内容から生成された広告特徴量を、当該広告の学習用データベースを用いて更新可能な広告良否判定モデルへ入力し、該広告良否判定モデルの出力から、初期の良否判定結果に係る情報である初期判定情報を決定する初期判定手段と、
    当該判定対象広告を提示された判断者による当該判定対象広告の良否判断結果に係る情報である主観判断情報と、当該判断者による判断の理由に係る判断理由情報とを取得する主観判断手段と、
    当該主観判断情報及び当該初期判定情報から所定の判定ロジックを用いて、当該判定対象広告の最終的な良否判定結果に係る情報である最終判定情報を決定して出力し、当該最終判定情報の内容に応じ、判定理由として当該判断理由情報も出力する最終判定手段と
    してコンピュータを機能させ、
    前記初期判定手段は、当該主観判断情報及び／又は当該最終判定情報によって前記学習用データベースを更新し、これにより前記広告良否判定モデルを更新する
    ことを特徴とするウェブ広告判定プログラム。
12. ウェブ上の広告の良否を判定するコンピュータによって実施されるウェブ広告判定方法であって、
    判定対象広告の内容から生成された広告特徴量を、当該広告の学習用データベースを用いて更新可能な広告良否判定モデルへ入力し、該広告良否判定モデルの出力から、初期の良否判定結果に係る情報である初期判定情報を決定するステップと、
    当該判定対象広告を提示された判断者による当該判定対象広告の良否判断結果に係る情報である主観判断情報と、当該判断者による判断の理由に係る判断理由情報とを取得するステップと、
    当該主観判断情報及び当該初期判定情報から所定の判定ロジックを用いて、当該判定対象広告の最終的な良否判定結果に係る情報である最終判定情報を決定して出力し、当該最終判定情報の内容に応じ、判定理由として当該判断理由情報も出力するステップと、
    当該主観判断情報及び／又は当該最終判定情報によって前記学習用データベースを更新し、これにより前記広告良否判定モデルを更新するステップと
    を有することを特徴とするウェブ広告判定方法。

Images