JP6779174B2 - プログラム及び情報処理方法 - Google Patents
プログラム及び情報処理方法 Download PDFInfo
- Publication number
- JP6779174B2 JP6779174B2 JP2017100038A JP2017100038A JP6779174B2 JP 6779174 B2 JP6779174 B2 JP 6779174B2 JP 2017100038 A JP2017100038 A JP 2017100038A JP 2017100038 A JP2017100038 A JP 2017100038A JP 6779174 B2 JP6779174 B2 JP 6779174B2
- Authority
- JP
- Japan
- Prior art keywords
- metadata
- client
- information
- image
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
そのようなサービスを提供するに辺り、スマートフォン等のカメラを用いた「チェックイン」操作により、視聴者が特定のテレビジョン番組を視聴していることを確認する技術は、極めて有用である。
従来では、二次元バーコードや可聴域外の音波を用いてチェックインを行っていた。しかしながら、これらの技術は、コンテンツと直接関係ないコード等を画面上に表示することや、特殊なスピーカーを必要とするものであり、テレビジョン放送に直接適用することはできなかった。
この点、テレビジョン放送に適用することができる技術としては、あらかじめシステムに格納されているビデオ映像を対象に特徴量を抽出し、その特徴量に応じてチェックインの照合を行う技術(例えば特許文献1を参照)が存在する。また、テレビジョン映像を携帯電話機で撮像した画像の情報をそのままサーバに送信し、その画像の情報を対象として、チェックインの照合を行う技術が存在する(例えば特許文献2を参照)。
他方、上述の特許文献2の技術では、撮影した画像の情報自体をサーバ側に送信し、サーバ側で照合するため、信頼できない入力に対しても用いることができるものの、画像の情報自体をサーバ側に送信するため大量の視聴者の同時チェックインに耐えることが難しい(いわゆるスケーラビリティが低い)という問題があった。
以上のように、テレビジョン放送へのスマートフォン等を用いたチェックイン技術には、多くの問題が含有していた。
そのような従来技術の課題を解決すべく、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビジョン受像機やスマートフォン機種の異種性の吸収と、テレビジョン映像を偽装することによる不正なチェックイン防止の3点を実現することができるチェックイン技術の開発が望まれていた。
クライアントとサーバからなる情報処理システムにおいて、
前記クライアントは、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストを取得する基準色リスト取得手段と、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記M枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段と、
前記クライアント側映像の前記メタデータを、前記サーバに送信する制御を実行するメタデータ送信制御手段と、
を備え、
前記サーバは、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段と、
を備える。
また、「動画像」には、次の第1処理乃至第3処理の夫々により表示される画像を含むものとする。
第1処理とは、平面画像(2D画像)におけるオブジェクト(例えばアニメのキャラクタ)の夫々の動作に対して、複数枚からなる一連の静止画像を時間経過と共に連続的に切り替えて表示させる処理をいう。具体的には例えば、2次元アニメーション、いわゆるパラパラ漫画的な処理が第1処理に該当する。
第2処理とは、立体画像(3Dモデルの画像)におけるオブジェクト(例えばアニメのキャラクタ)の夫々の動作に対応するモーションを設定しておき、時間経過と共に当該モーションを変化させて表示させる処理をいう。具体的には例えば、3次元アニメーションが第2処理に該当する。
第3処理とは、オブジェクト(例えばアニメのキャラクタ)の夫々の動作に対応した映像(即ち動画)を準備しておき、時間経過と共に当該映像を流していく処理をいう。
ここで、「映像(即ち動画)」は、複数のフレームやフィールド等の画像(以下、「単位画像」と呼ぶ)から構成される。なお以下の例では、単位画像はフレームであるものとして説明する。
また、後述する本実施形態では、映像は、テレビジョン放送により伝達されるが、以下、「テレビジョン」を「テレビ」と省略する。
図1を用いて、本発明の一実施形態に係る情報処理システムの概要について説明する。
図1に示す情報処理システムは、オンエア中のテレビ放送等をユーザが視聴していることをリアルタイムに確認するための「チェックイン」を実現する。
ここで「チェックイン」とは、所定のユーザが、ある特定の事柄や手続きを行ったか否かを確認することである。
特に本実施形態における「チェックイン」とは、所定のユーザが、特定のテレビ番組等を視聴しているか否かをリアルタイムに確認するための技術である。
特に図1に示す情報処理システムは、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビやスマートフォン等の機種の異種性の吸収と、正当性検証のためのデータ(後述するメタデータ)を偽装することによる不正なチェックインの防止との3点を同時に実現することができる。
その結果、図1に示す情報処理システムは、大規模な視聴を想定したテレビ放送やインターネット放送に有用である。
サービス提供者は、このようなテレビ放送等のチェックインの結果を用いて、例えば、スマートフォン等で提供されるゲーム等における様々なサービスにも応用することができる。
図1に示す情報処理システムは、全ユーザに共通のプロセスaと、各ユーザ/グループに固有のプロセスbと、チェックイン認証のプロセスcという3つのプロセスからなる一連の処理を実行する。
図1に示す情報処理システムは、ユーザにより使用されるユーザ端末1と、サーバ2とを含むシステムである。
ユーザ端末1とサーバ2とは、インターネット等の所定のネットワークを介して相互に接続されている。
なお、図1には1台のユーザ端末1のみが図示されているが、実際には多数のユーザが存在し、その分だけユーザ端末1の台数も多数存在する。
ここでユーザ端末1は、ユーザによって操作される例えばスマートフォン等であって、サーバ2が行うチェックインを行うためのテレビ番組等の映像がテレビの表示画面に表示されている場合に、その表示面の撮影等を行う。なお、テレビの表示面の部分を専ら含む映像を本明細書では「テレビ映像」と呼んでいる。
サーバ2は、サービス提供者によって管理され、所定のユーザが、特定のテレビ番組等を視聴しているか否かのチェックインを行う。
全ユーザに共通のプロセスaは、全ユーザが共通の情報を生成する前処理段階のプロセスである。
各ユーザ/グループに固有のプロセスbは、ユーザ毎又は複数のユーザが属するグループ毎に異なる情報(後述するメタデータ)を生成する後処理段階のプロセスである。
このテレビ映像の情報は、コンテンツの映像のうちの一定時区間(例えば一定の時間方向範囲を示す)の情報、即ち一定時区間に含まれる全フレーム又は複数フレームの各情報である。各フレームの情報は、均等性のある色空間(例えば、HSV空間等を示す)に写像された情報、即ち色空間の各要素を画素値として有する情報である。
ここで、均等性のある色空間とは、色空間の座標上の2点間距離と肉眼での色差感とが可能な限り一致するように設計された色空間のことを言う。
一般に、ユーザ端末1上で色を表現するRGB空間は、均等性がない色空間であり、空間内の任意の2点間の距離と、肉眼での色差感は大きく乖離している。即ち、ユーザ端末1のカメラ等から得られた画像の情報は、RGB画像の情報であり、それぞれの画素値をHSV等の均等性のある色空間の画素値に変換する必要がある。
なお、RGBからHSVへの変換は、次の式(1)から(3)のように定義することができる。
ここで、クラスタリングについて説明するための前提として、クラスタリング用カラーリスト(以下、「基準色リスト」と呼ぶ)について説明する。本実施形態では、クラスタリングの基準となり得る色(以下、「基準色」と呼ぶ)の母集合として、例えば120種類程度の色が用意されており、これらの色を示す情報がサーバ2に記憶されている。そして、この120種類程度の色の中から選ばれたN個(Nは2以上の整数値)の色に関する情報の順列によって示されるリストが、基準色リストとして採用される。
そして、図2の画像β1は、上述の基準色のうち90色の基準色リストを用いてクラスタリングをした結果得られる画像である。これにより、画像αの複雑な色彩は、基準となる90色のいずれかの色に分類される。
さらに、図2の画像β2は、上述の基準色のうち30色の基準色リストを用いてクラスタリングした画像であり、90色でクラスタリングを行った画像β1に比べ、さらに単調な色彩のみで元の画像αが表現されている。
なお、このように画像αの複雑な色彩は、様々な所定の色の基準色リストを用いて、適宜、クラスタリングすることが可能である。
このように90色や30色等の限定されたN個の色にクラスタリングを行うことで、テレビ受像器やスマートフォン等の機種の異種性によらず、元の画像(図2の画像α)に比較して、類似性の高い画像(図2の画像β1や画像β2)として再現される。したがって、テレビ受像器やスマートフォン等の機種の異種性の吸収することができる。
図3は、本発明の一実施形態に係る情報処理システムに適用される色彩の適合性計量プロセスの手順の一例を示す図である。
まず、チェックインの対象となるテレビ番組等の映像Cがテレビの表示面に映っている状態で、ユーザ端末1によって撮像されることで、その撮像映像C1の情報が取得される。
この撮像映像C1の情報は、前述の前処理段階(例えば図1の全ユーザ共通のプロセスa)においてトリミングにより、表示面以外の部分(具体的には、テレビ番組が表示された表示面以外の、例えばモニタの別の部分や背景等)が除去されて、テレビ映像C1の情報となる。
さらに、このトリミング後のテレビ映像C1の情報に対して、基準色リストCLによるクラスタリングが行われることで、当該テレビ映像C1の分析結果を示す情報としてメタデータが生成される。
ここで、クラスタリングの手法は、特に限定されないが、元画像の色と基準色の色との距離の計量に基づいてクラスタリングを行う手法が採用されている。この距離の計量には、goodlove色差系や、CIE2000等を用いることも考えられるが、本実施形態では、評価実験により有効であることが確認された、円錐空間上のユークリッド距離を採用するものとする。
このように、本明細書でいう「メタデータ」とは、映像の情報そのものとは異なる情報の意であり、具体的には、その映像の少なくとも一部(例えば所定枚数の各フレーム)に関する分析結果を示す情報である。
本実施形態では、処理対象の映像を構成する時系列の各フレームについてクラスタリングされ、各フレームのクラスタリングの結果から、メタデータが生成される。具体的には例えば次の式(4)で定義される時系列カラーヒストグラム行列Mが、メタデータとして採用されている。
なお、図3中、テレビ映像C2は、テレビ映像C1の情報をクラスタリングした結果得られる情報により表示される映像である。オリジナルの映像D1は、オリジナルの映像Dの情報をクラスタリングした結果得られる情報により表示される映像である。これらのテレビ映像C2及びオリジナルの映像D1は、説明の便宜上図3中に描画しているに過ぎず、本実施形態では、これらのテレビ映像C2及びオリジナルの映像D1の情報は実際には生成されない。即ち、本実施形態では、テレビ映像C1やオリジナルの映像Dが処理対象の映像として、次の式(4)で定義される時系列カラーヒストグラム行列Mが、メタデータとして生成される。
ユーザ端末1側で行うプロセスでは、メタデータを生成するための処理対象の映像は、テレビ映像C1である。従って、テレビ映像C1の情報に対して、前述の基準色リストCLによるクラスタリングが実行される。このクラスタリングンの結果から、時系列カラーヒストグラム行列Mが、メタデータとして生成される。
このようにしてユーザ端末1側で行うプロセスにより生成されるメタデータを、以下、「Cメタデータ」と呼ぶ。
サーバ2側では、チェックインの対象のテレビ番組のオリジナルの映像Dの情報が保管されている。サーバ2は、このオリジナルの映像Dの情報に対して、前述の基準色リストCLによるクラスタリングを実行する。なお、詳細については図7を用いて説明するが、上記2つの基準色リストCLは同一の基準色リストを使用するものとする。
サーバ2は、このクラスタリングの結果から、時系列カラーヒストグラム行列Mを、メタデータとして生成する。
このようにしてサーバ2側で行うプロセスにより生成されるメタデータを、以下、「Sメタデータ」と呼ぶ。
具体的には、チェックインの対象となるテレビ番組等のオリジナルの映像全体を構成する各フレームのうち、所定のフレームを開始点フレームとして、その開始点フレームを含む時系列のM枚(Mは、Cメタデータにおけるフレーム数(ヒストグラム数)を示す)の各フレームのカラーヒストグラムの集合体が、比較対象部分である。
具体的には例えば、Cメタデータのサーバ2への送信時刻(或いはCメタデータの生成時刻や、Cメタデータに対応するテレビ映像の撮像時刻等)よりも少し前の時刻に放映された、オリジナルの映像の対応するフレームが、開始点フレームとして最初に設定される。その開始点フレームを含む時系列のM枚の各フレームのカラーヒストグラムの集合体が、比較対象部分として最初に設定される。なお、最初の開始点フレームの放映時刻は、後述する放送時間情報及び放送地域情報等により判断される。そして、Sメタデータのうち最初の比較対象部分と、Cメタデータとについて、最初の類似度(差分)が演算される。
その後、これまで開始点フレームであったものより時間的に後のフレームが、新たな開始点フレームとして設定される(フレーム1枚分のフレームシフトが行われる)。その開始点フレームを含む時系列のM枚の各フレームのカラーヒストグラムの集合体が、比較対象部分として新たに設定される。つまり、比較対象部分が変化する。Sメタデータの変化後の比較対象部分と、Cメタデータとについて、類似度(差分)が新たに演算される。
このようなフレーム1枚毎のフレームシフトが繰り返し行われて、比較対象部分が変化する毎に、Sメタデータの変化後の比較対象部分と、Cメタデータとについて、類似度(差分)が新たに演算される。
このようなフレーム1枚毎のフレームシフトの繰り返しにより演算された複数の類似度(差分)に基づいて、チェックインの可否が判定される。例えば、複数の類似度(差分)のうち最高の類似度が一定値以上(最少の差分が一定値以下)の場合、ユーザのチェックイン(正当性)が判定される。換言すると、このようなフレームシフトの繰り返しにより設定された複数の比較対象部分の中に、Cメタデータと同一又は一定以上の類似度(一定以下の差分量)を有する比較対象部分が存在した場合、ユーザのチェックイン(正当性)が判定される。
これに対して、画像データは情報量が多いため、そのままサーバ2へ送信すると、直接ネットワーク帯域を圧迫するため、スケーラビリティを劇的に悪化させる。
具体的に例えば、120色の基準色リストを使用して、1秒間に3フレームを分析対象として5秒間のメタデータを生成した場合、1回のチェックインに送信されるメタデータのサイズは、120色と、4バイト(浮動小数点)と、3フレームと、5秒間との積算であり、およそ7キロバイトである。
一方、1秒間に3フレームを分析対象として5秒間分の画像の情報をそのまま送信した場合、JPEG(Joint Photographic Experts Group)等の圧縮アルゴリズムを適用しても、およそ3000キロバイト程度になる。したがって、メタデータを生成した場合と比較して、画像の情報は400倍以上大きなサイズとなる。情報量は、直接ネットワーク帯域を圧迫するため、スケーラビリティを劇的に悪化させる。
さらに言えば、画像の情報をサーバ2が直接受信した場合、サーバ2はメタデータの分析を別途行う必要があるため、サーバ2のCPU負荷は、極めて増大することになる。
このように、画像の情報を直接サーバ2へ送信してしまうと、大量の視聴者の同時チェックインに耐えるスケーラビリティを実現することができない。
そこで、本実施形態では、時系列カラーヒストグラム行列M(図1の例では時系列カラーヒストグラム行列CMD)という情報量の少ないCメタデータに変換されて、ユーザ端末1からサーバ2に送信される。そして、サーバ2において、オリジナルの映像から作成された時系列カラーヒストグラム行列M(図1の例では時系列カラーヒストグラム行列SMD)としてのSメタデータの比較対象部分と比較されて、チェックインの認証が行われる。
このようにして、サーバ2側で処理する情報量が劇的に抑えられ、大量の視聴者の同時チェックインに耐えるスケーラビリティを実現することができる。
したがって、第三者がこの基準色リストを再現してCメタデータを偽造することは実質不可能である。即ち、不正なチェックインの防止を実現することができる。
図4を見ると、例えば、上段にはR/V、YR/V、Y/V・・・と10色の色が配置されている。これらは、夫々、各基準色の色彩を表しており、例えば、R/Vは、色彩が赤で、色のトーンがVivid(鮮やか)であることを示している。
ここで、色のトーンとは、明度と彩度のバランスのことを示しており、例えば、12段階に分類される。即ち、図4の例では、10種類の色彩と12種類のトーンの積算による合計120種類の色が基準色として採用され、リスト化されているものである。
また、上述したように、本実施形態におけるチェックイン処理の最大の特徴は、ユーザ/グループ毎に異なる基準色リストが放送直前にユーザ端末1へ配信されるか、若しくは、チェックイン時にユーザ端末1側が基準色リストをダウンロードさせることにより、事前に作成できず、かつ他ユーザと共有できないチェックインデータ(Cメタデータ)をユーザ端末1側に生成させる点にある。
具体的には、図4に基づく基準色リストを、チェックインの直前等にサーバ2側で決定することにより、ユーザ端末1側でのクラスタリングの結果を不正に偽造することや、あるいは、他ユーザへ送信し、実際には映像を見ていない他ユーザにチェックインさせることを防止することができる。
即ち、ユーザ端末1側で、サーバ2側で生成される時系列カラーヒストグラム行列M(Sメタデータ)と適合性の高いCメタデータを生成するためには、サーバ2側と同一の基準色リストを使用する必要があり、かつサーバ2側と同じ映像を入力する必要があることから不正なチェックインの防止を実現することができるのである。
換言すると、基準色リストの動的配信により、ユーザ間によるCメタデータの共有、及び、事前の分析によるCメタデータのバッチ生成の両方を防止することができる。
このように、本実施形態では、基準色リストの動的な配信により、従来不可能であった分散処理によるスケーラビリティの向上とチート防止の両立を実現している。
ユーザ端末1は、CPU(Central Processing Unit)21と、ROM(Read Only Memory)22と、RAM(Random Access Memory)23と、バス24と、入出力インターフェース25と、タッチ操作入力部26と、表示部27と、入力部28と、記憶部29と、通信部30と、撮像部31と、ドライブ32と、を備えている。
RAM23には、CPU21が各種の処理を実行する上において必要な情報等も適宜記憶される。
表示部27は、液晶等のディスプレイにより構成され、ゲームに関する画像等、各種画像を表示する。
このように、本実施形態では、タッチ操作入力部26と表示部27とにより、タッチパネルが構成されている。
なお、本明細書で「表示媒体」と呼ぶ場合、単に表示部27を意味せず、タッチ操作入力部26と表示部27とから構成される「タッチパネル」を意味する。
記憶部29は、ハードディスクやDRAM(Dynamic Random Access Memory)等で構成され、各種情報を記憶する。
通信部30は、図示せぬインターネットを含むネットワークを介して他の装置(図示せぬサーバや図示せぬ他のユーザ端末)との間で行う通信を制御する。
撮像部31は、被写体を撮像するカメラ等である。
また、リムーバブルメディア41は、記憶部29に記憶されている各種情報も、記憶部29と同様に記憶することができる。
サーバ2の構成は、ユーザ端末1のタッチパネルを除いた構成と基本的に同様であるので、ここではその説明は省略する。また、リムーバブルメディア61についても、同様である。
即ち、ユーザ端末1及びサーバ2は、各種処理の実行にあたり、図7に示すような機能的構成を有する。
図7に示すように、ユーザ端末1のCPU21においては、ユーザインターフェイス制御部101と、Cメタデータ生成部102と、Cメタデータ送信制御部103と、基準色リスト取得部104と、判定取得部105とが機能する。
また、サーバ2のCPU51においては、Cメタデータ取得部201と、基準色リスト生成部202と、基準色リスト送信制御部203と、Sメタデータ生成部204と、番組情報管理部205と、正当判定部206と、判定送信制御部207とが機能する。
さらに、サーバ2の記憶部58の一領域には、RVDB(Raw Video Data Base)300と、CLDB(Color List Data Base)400と、CMDB(Color Metadata Data Base)500と、TVPDB(TV Program Data Base)600とが設けられる。
図7において点線で示す枠は、図1で上述したプロセスa、プロセスb、及びプロセスcのうち、図7中の引き出し線で示すプロセスに該当することを意味している。
番組情報管理部205は、このような番組詳細情報を管理し、例えばチェックインの対象となるテレビ番組の放送時間前又は放送中の所定タイミングになると、その旨を基準色リスト生成部202等に通知する。
基準色リスト送信制御部203は、基準色リスト生成部202により生成された基準色リストを、番組情報管理部205から通知されたタイミング、即ちチェックインの対象となるテレビ番組の放送時間前又は放送中の所定タイミングにおいて、ユーザ端末1へと送信するための制御を実行する。
Sメタデータ生成部204は、チェックインの対象となるテレビ番組のオリジナルの映像の情報をRVDB300から取得する。Sメタデータ生成部204は、取得したオリジナルの映像を構成する各フレームの各情報に対して、基準色リスト生成部202によりユーザ毎又はグループ毎に生成された基準色リストを適用してクラスタリングを行う。そして、Sメタデータ生成部204は、クラスタリング後の映像を構成する時系列の各フレームのカラーヒストグラムの集合体を、ユーザ毎又はグループ毎のSメタデータとして生成する。
このようにして生成されたSメタデータは、CMDB500に格納される。なお、CMDB500では、Sメタデータと、その生成に使用された基準色リストとが紐づけられて格納されている。
ユーザインターフェイス制御部101は、タッチパネルを用いてユーザインターフェイスの制御を実行する。このユーザインターフェイス制御部101には、映像取得部121と、表示制御部122とが設けられている。
映像取得部121は、このようにしてユーザ端末1の撮像部31等で撮像された映像の情報をフレームを単位として取得する。ここで言う映像の情報は、前述の通り、RGBを保持したRGB画像の情報である。なお、映像取得部121は、図1の全ユーザ共通のプロセスaに該当する処理を実行する。
そこで、基準色リスト取得部104は、このようにしてサーバ2から送信されてきた基準色リストを、通信部30を介して取得する。
そこで、判定取得部105は、サーバ2から送信されてきた当該判定の結果を、通信部30を介して取得する。
表示制御部122は、判定取得部105によって取得された判定の結果を表示部27へと表示するための制御を実行する。
Cメタデータ取得部201は、前述の通り、ユーザ端末1から送信されてきたCメタデータを通信部59を介して取得する。
ここで、同一の放送番組であっても、放送時間帯や放送地域によっては、同一時刻に放送される内容が異なることがある。そこで、正当判定部206は、番組情報管理部205により管理される放送時間情報及び放送地域情報等も考慮して、抽出対象を決定する。
正当判定部206は、このようにしてCMDB500により抽出されたSメタデータについて、上述した開始点フレームを時系列に順次シフトさせながら(フレームシフトを繰り返しながら)、開始点フレームを含む比較対象部分を順次設定していく。正当判定部206は、比較対象部分が設定される毎に、その比較対象部分と、Cメタデータ取得部201により取得されたCメタデータとの類似度(差分)を夫々演算する。
正当判定部206は、これらの繰り返し演算の結果において、Cメタデータと同一又は一定以上の類似度を有する比較対象部分が存在した場合、ユーザのチェックイン(正当性)を判定する。
本実施形態における適合性評価関数は、オリジナルの映像の情報から生成された時系列カラーヒストグラム行列M(例えばSメタデータ)のうち比較対象部分と、ユーザ端末1により表示画面が撮像された結果から得られるテレビ映像の情報から生成された時系列カラーヒストグラム行列Q(例えばCメタデータ)との適合性を評価し、各フレームの適合性を0以上の実数として返す関数として定義できる。以下、式の詳細を示す。
つまり、正当判定部206は、k回のフレームシフトの繰り返しにより、k+1個の適合性スコアS0乃至Skを演算する。そして、正当判定部206は、これらの適合性スコアS0乃至Skのうちの例えば最も0に近いものを用いてチェックインの可否を判定する。
次に、図8以降の図面を参照して、図7の機能的構成を有するユーザ端末1及びサーバ2が実行する処理の流れについて説明する。
図8は、ユーザ端末1側の処理の流れの一例を説明するフローチャートである。
図9は、サーバ2側の処理の流れの一例を説明するフローチャートである。
そして、ユーザ端末1側の処理とサーバ2側の処理との関係は、図10に示されている。
即ち、図10は、ユーザ端末1側の処理とサーバ2側の処理との関係を説明するアローチャートである。
ステップS1において、ユーザインターフェイス制御部101の映像取得部121は、撮像部31から出力された映像の情報に対してトリミング処理等を施すことで、テレビ映像の情報を取得する。
チェックインの対象のテレビ番組等が放送される前に基準色リストがサーバ2により生成され、ユーザ端末1で既に取得されている場合、当該基準色リストは基準色リスト取得部104に検出され、ステップS2においてYESであると判定される。この場合、ステップS3及びS4は実行されずに、処理はそのままステップS5に進む。
これに対して、基準色リストがユーザ端末1に未だ取得されていない場合、ステップS2においてNOであると判定されて、処理はステップS3に進む。そして、ステップS3及びステップS4の処理の実行後、処理はステップS5に進む。
すると、サーバ2側では送信条件が満たされたと判定され(後述するステップS22参照)、基準色リストが送信される(後述するステップS23参照)。
ステップS4において、基準色リスト取得部104は、サーバ2から送信されてきた基準色リストを取得する。
ステップS6において、Cメタデータ送信制御部103は、ステップS5で生成されたCメタデータをサーバ2に送信する。
ステップS8において、ユーザインターフェイス制御部101の表示制御部122は、ステップS7で取得された判定の結果を表示部27に表示させる。
ステップS9において、ユーザ端末1のCPU21は、処理の終了指示が有ったか否かを判断する。ここで、処理の終了指示は、特に限定されないが、本実施形態ではユーザ端末1の電源遮断が採用されている。つまり、ユーザ端末1において電源が遮断されると、ステップS9においてYESであると判断されて、ユーザ端末1の処理は終了になる。
これに対して、ユーザ端末1において電源が遮断されない限り、ステップS9においてNOであると判断されて処理はステップS1に戻され、それ以降の処理が繰り返される。
まず、後述する図9(b)の処理前に準備処理として実行される図9(a)の処理について説明する。
図9(a)の処理のタイミングは、図9(b)の処理前であれば特に限定されないが、チェックインの対象となるテレビ番組等の放送前又は放送中の所定タイミングに開始されるとよい。基準色リストの生成タイミングは、なるべく使用タイミングに近いほうが、チート対策として有効になるからである。
ステップS22において、基準色リスト送信制御部203は、ステップS21で生成された基準色リストの送信条件が満たされているか否かを判定する。
ここで、基準色リストの送信条件としては、各種各様な条件を採用することができる。例えば本例では、チェックインの対象となるテレビ番組等の放送前又は放送中の所定タイミングになったことと、ユーザ端末1から送信の要求があったこと(図8のステップS3の処理が実行されたこと)という2つの条件が採用されているものとする。
2つの送信条件の何れもが満たされていないと判定された場合、ステップS22においてNOであると判定されて処理はステップS21に戻される。
これに対して、2つの基準色リストのうち少なくとも一方の送信条件が満たされた場合、ステップS22においてYESであると判定されて処理はステップS23に進む。
ステップS23において、基準色リスト送信制御部203は、基準色リストをユーザ端末1に送信する。
ステップS24において、Sメタデータ生成部204は、ステップS21で作成された基準色リストと、RVDB300に格納されたテレビ放送番組等のオリジナル映像の情報とから、Sメタデータを生成する。
ステップS25において、Sメタデータ生成部204は、ステップS24で生成したSメタデータをCMDB500に格納する。
ステップS26において、サーバ2のCPU51は、処理の終了指示が有ったか否かを判断する。ここで、処理の終了指示は、特に限定されないが、本実施形態ではサーバ2の電源遮断が採用されている。つまり、サーバ2において電源が遮断されると、ステップS26においてYESであると判断されて、サーバ2の処理は終了になる。
これに対して、サーバ2において電源が遮断されない限り、ステップS26においてNOであると判断されて処理はステップS21に戻され、それ以降の処理が繰り返される。
ステップS41において、Cメタデータ取得部201は、ユーザ端末1からCメタデータが送信されてきたか否かを判定する。
Cメタデータ取得部201によりCメタデータが送信されてきたことが検出されなければ、ステップS41においてNOであると判定されて処理はステップS41に戻される。
これに対して、図8のステップS6においてCメタデータがユーザ端末1から送信され、そのことがCメタデータ取得部201により検出されれば、ステップS41においてYESであると判定されて処理はステップS42に進む。
ステップS42において、Cメタデータ取得部201は、ユーザ端末1から送信されてきたCメタデータを取得する。
ステップS43において、正当判定部206は、ステップS42において取得されたCメタデータの生成用の基準色リストと同一のものを用いて生成されたSメタデータ(図9(a)のステップS24参照)の一部を、CMDB500から抽出する。
ステップS44において、正当判定部206は、ステップS43で抽出されたSメタデータの一部とステップS42で取得されたCメタデータとに基づいて、チェックインの可否を判定する。
ステップS45において、判定送信制御部207は、チェックインの可否についての判定の結果をユーザ端末1へ送信する。
ステップS46において、サーバ2のCPU51は、処理の終了指示が有ったか否かを判断する。ここで、処理の終了指示は、特に限定されないが、本実施形態ではサーバ2の電源遮断が採用されている。つまり、サーバ2において電源が遮断されると、ステップS46においてYESであると判断されて、サーバ2の処理は終了になる。
これに対して、サーバ2において電源が遮断されない限り、ステップS46においてNOであると判断されて処理はステップS41に戻され、それ以降の処理が繰り返される。
図11は、ユーザによる対象となるテレビ画面の取り込み方法の一例を示す図である。
図11の状態では、ユーザがテレビ映像を撮影するためのアプリケーションソフトウェアを起動している状態であり、この状態では表示部27上に、テレビ映像の読み取り領域301と、説明文表示領域302が配置される。
ユーザは、テレビ映像の読み取り領域301の中央に対象となるテレビ番組の画面を維持し、テレビ映像の撮影を行うことで、前述のチェックイン処理が開始される。
ここで、説明文表示領域302には、「アニメが表示されているテレビ画面を枠に入れて3秒間待って下さい」というメッセージが表示されている。即ち、説明文表示領域302は、ユーザがスムーズにテレビ映像の撮影を行うための説明文等を示すメッセージが表示される。
なお、テレビ映像を撮像するための操作方法はいかなる方法でも構わないが、例えば表示部27のいずれかの部位にタッチ操作を行った場合に撮影できるような仕様としても良い。また、図示はしないが、別途、撮影用のボタン表示部上に設けても良い。
例えば、予め決められた所定の種類の色を固定的にユーザ端末1が所持し、サーバ2は、ユーザ端末1又はグループ毎に基準色の順列が異なるよう生成された基準色リストの順序情報をユーザ端末1へと送信するという構成を取ることで、基準色リストの生成を可能にすることもできる。
なお、ここでいう「基準色リストの生成」とは、上述の通り、予め用意された所定数の色の中から選ばれたN個(Nは2以上で所定数未満の整数値)の色を基準色として選択し、それらのN個の基準色の順列を決定するまでの一連の処理のことをいう。
また、上述の実施形態では、基準色がその全てが互いに異なるN種類の色を用いているが、基準色リストの順列の中に同一の色を含むことも自由である。即ち、ここで言うNよりも色の種類が少ない場合も本発明の技術的範囲に含まれるものである。
また例えば、ヒストグラム差分の代わりに、ヒストグラムの非類似性を計量する任意の関数として以下のような式を用いることもできる。以下、式の詳細を示す。
このようにして得られた複数の適合性と、現在時刻を用いて、ユーザから送信されたCメタデータが、現在放送されているオリジナルの映像のSメタデータに適合することを確認する。
そのため、チェックイン用のサーバ2へ、クライアントのユーザ端末1から直接アクセスできるようにしつつ、チェックインのピークに合わせてロードバランサによる負荷分散を実施するのが好ましい。
また、チェックイン結果をデータベースに格納する際、データベーストラフィックの輻輳がおきるため、定期的にチェックイン結果を更新するのが望ましい。こうすることで、例えば50万人が同時にチェックインしてもDBは輻輳しにくい。
さらに、本発明に係る情報処理システムは、2つの独立したAPIとして実装することができる。一つは、クラスタリング用の基準色リストをサーバ2に問い合わせるAPIであり、もう一つは実際にチェックインを受付けるAPIである。ユーザ端末1は、第1のAPIである基準色リストAPIを呼び出し、基準色リストを受け取り、カメラから得た映像をその基準色リストを用いて分析する。そして、ユーザ端末1は、その分析結果を、第2のAPIであるチェックインAPIへ送信することにより、チェックイン処理を完了する。
換言すると、図7の機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。また、機能ブロックの存在場所も、図7に特に限定されず、任意でよい。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
即ち、本発明が適用される情報処理システムは、
クライアント(例えば図1のユーザ端末1)とサーバ(例えば図1のサーバ2)からなる情報処理システムであって、
前記クライアントは、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段(例えば図7の映像取得部121)と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストを取得する基準色リスト取得手段(例えば図7の基準色リスト取得部104)と、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記M枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段(例えば図7のCメタデータ生成部102)と、
前記クライアント側映像の前記メタデータを、前記サーバに送信する制御を実行するメタデータ送信制御手段(例えば図7のCメタデータ送信制御部103)と、
を備え、
前記サーバは、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段(例えば図7の基準色リスト生成部202)と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段(例えば図7の基準色リスト送信制御部203)と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段(例えば図7のSメタデータ生成部204)と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段(例えば図7の正当判定部206)と、
を備える情報処理システムであれば足りる。
即ち、本発明が適用される情報処理システムは、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビやスマートフォン機種の異種性の吸収と、正当性検証のためのメタデータを偽装することによる不正なチェックインの防止の3点を実現することができる。
本発明が適用される情報処理システムが生成するメタデータは、数キロバイト程度であるため、ネットワーク上を高速に送信することができる。また、チェックイン認証のコア関数であるフレームシフト色差距離系は、比較的高速なアルゴリズムであるため、リアルタイムにチェックイン認証を行うことができる。リアルタイム性を有することにより、例えば、照明やスマートフォンの持ち方が良くなかったために認証できなかったユーザであっても再度、チェックインすることが可能となる。
本発明が適用される情報処理システムは、映像コンテンツ内に、二次元コードや特徴的な画像などを埋め込む必要がなく、非侵襲的なチェックイン認証機構である。したがって、チェックインを実現するために映像コンテンツを加工する必要がない。
本発明が適用される情報処理システムによる基準色の動的変更機能により、サーバ側で生成されるSメタデータ(時系列カラーヒストグラム行列)と高い適合性を示すCメタデータを生成するためには、サーバ側と同一の基準色リスト(即ち、クラスタリング用カラーリスト)を使用する必要があり、かつ、サーバ側と同じ映像の情報を入力とする必要があるため、チートを行うことは極めて困難である。
本発明が適用される情報処理システムによる基準色の動的変更機能は、たとえば、特定の放送回の色彩に合わせて、より色彩特徴を抽出しやすい基準色リストを設定することを可能にする。これにより、認証精度をさらに向上させることが可能となる。
本発明が適用される情報処理システムによる基準色の動的変更機能は、たとえば、特定のスマートフォン機種のカメラの特性に合わせて、より色彩特徴を抽出しやすい基準色リストを設定することを可能にする。これにより、認証精度をさらに向上させることが可能となる。
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段(例えば図7の映像取得部121)と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストであって、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる当該基準色リストを取得する基準色リスト取得手段(例えば図7の基準色リスト取得部104)と、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記M枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段(例えば図7のCメタデータ生成部102)と、
前記クライアント側映像の前記メタデータを、前記クライアント側映像の正当性を判定するために用いる情報として、前記サーバに送信する制御を実行するメタデータ送信制御手段(例えば図7のCメタデータ送信制御部103)と、
を備える情報処理装置とすることもできる。
これにより、カメラを用いた「チェックイン」操作により、不特定多数の視聴者が所定の映像を視聴していることを高精度かつ高速に確認することができる。
即ち、カメラを用いた「チェックイン」操作において、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビやスマートフォン等の機種の異種性の吸収と、正当性検証のためのメタデータを偽装することによる不正なチェックインの防止という発明の効果を実現することができる。
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとは、行又は列の一方を、時間的に連続するM個の単位画像を要素とし、行又は列の他方を、前記N個の基準色を要素とする行列であることができる。
これにより、クライアント側メタデータ(例えば図7のCメタデータ)及びサーバ側メタデータ(例えば図7のSメタデータ)の夫々は、同一の基準色リストに基づいて得られる同一の基準色を要素とする行又は列を有し、M個の単位画像を要素とする列又は行を有する同一形態の行列で表現することができ、同一のクライアント(例えば図1のユーザ端末1)であることがチェックインの条件となっているため、クライアント側メタデータを偽装することを困難にし、結果として、より正確な「チェックイン」操作を行うことができる。また、同一形態の行列で表現することにより、時系列の各単位画像のヒストグラムの比較演算という高速な処理としてチェックインを高速に行うことができるようになる。
前記クライアント側メタデータ生成手段は、前記抽出手段により夫々抽出された前記情報を前記処理対象として用いる。
これにより、クライアント側映像の情報から表示面以外の情報を除去して、表示面に映るコンテンツの映像(テレビ映像等)の情報を抽出できることから、結果として、より正確な「チェックイン」操作を行うことができる。
クライアントとサーバからなる情報処理システムにおける前記サーバとして機能する情報処理装置であって、
前記クライアントにおいて、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報が、クライアント側映像の情報として取得され(例えば図7の映像取得部121)、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストが取得され(例えば図7の基準色リスト取得部104)、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々が処理対象とされて、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックが前記N個の基準色の何れかに分類され、当該処理対象についての前記N個の基準色の分布状態を示す情報が生成され、M枚の単位画像の夫々の前記分布状態を示す情報が、前記クライアント側映像のメタデータとして生成され(例えば図7のCメタデータ生成部102)、
前記クライアント側映像の前記メタデータが、前記サーバに送信される場合において、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段(例えば図7の基準色リスト生成部202)と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段(例えば図7の基準色リスト送信制御部203)と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段(例えば図7のSメタデータ生成部204)と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段(例えば図7の正当判定部206)と、
を備える情報処理装置とすることができる。
カメラを用いた「チェックイン」操作により、不特定多数の視聴者が所定の映像を視聴していることを高精度かつ高速に確認することができる。
これにより、カメラを用いた「チェックイン」操作において、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビやスマートフォン等の機種の異種性の吸収と、正当性検証のためのメタデータを偽装することによる不正なチェックインの防止という発明の効果を実現することができる。
これにより、クライアント側メタデータ(例えば図7のCメタデータ)及びサーバ側メタデータ(例えば図7のSメタデータ)の夫々は、同一の基準色リストに基づいて得られる同一の基準色を要素とする行又は列を有し、M個の単位画像を要素とする列又は行を有する同一形態の行列で表現することができ、同一のクライアント(例えば図1のユーザ端末1)であることがチェックインの条件となっているため、クライアント側メタデータを偽装することを困難にし、結果として、より正確な「チェックイン」操作を行うことができる。また、同一形態の行列で表現することにより、時系列の各単位画像のヒストグラムの比較演算という高速な処理としてチェックインを高速に行うことができるようになる。
これにより、時間的に連続する画像についても正確に「チェックイン」操作を行うことが可能となり、結果として、より正確な「チェックイン」操作を行うことができる。
これにより、各ユーザ又や各グループ毎に異なる基準色リストを利用することが可能となり、不正な手段による「チェックイン」操作を効果的に予防することができる。
これにより、コンテンツの放送時間を正確に反映した「チェックイン」操作を行うことができ、結果としてより正確な「チェックイン」操作を行うことができる。
これにより、コンテンツの放送地域の差を正確に反映した「チェックイン」操作を行うことができ、結果としてより正確な「チェックイン」操作を行うことができる。
Claims (4)
- クライアントとサーバからなる情報処理システムにおける前記クライアントに、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得ステップと、
N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストを予め前記サーバから取得する基準色リスト取得ステップと、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の各情報に対して前記基準色リストを適用して分類し、分類結果に基づいて前記クライアント側映像のメタデータを生成するクライアント側メタデータ生成ステップと、
前記クライアント側映像の前記メタデータを、前記クライアント側映像の正当性を判定するために用いる情報として、前記サーバに送信する制御を実行するメタデータ送信制御ステップと、
を含む制御処理を実行させるプログラム。 - 前記クライアント側メタデータ生成ステップは、前記単位画像の夫々を処理対象として、前記基準色リストに基づいて前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記M枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成する、請求項1に記載のプログラム。
- 前記クライアントに、前記クライアント側映像の情報から、前記M枚の単位画像の情報の夫々のうち、前記コンテンツが表示される前記表示面に対応する情報を夫々抽出する抽出ステップをさらに含む制御処理を実行させ、
前記クライアント側メタデータ生成ステップは、前記抽出ステップにより夫々抽出された前記情報を前記処理対象として用いる、請求項2に記載のプログラム。 - クライアントとサーバからなる情報処理システムにおける前記クライアントであるコンピュータが実行する情報処理方法であって、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段と、
N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストを予め前記サーバから取得する基準色リスト取得手段と、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の各情報に対して前記基準色リストを適用して分類し、分類結果に基づいて前記クライアント側映像のメタデータを生成するクライアント側メタデータ生成手段と、
前記クライアント側映像の前記メタデータを、前記クライアント側映像の正当性を判定するために用いる情報として、前記サーバに送信する制御を実行するメタデータ送信制御手段と、
を含む情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017100038A JP6779174B2 (ja) | 2017-05-19 | 2017-05-19 | プログラム及び情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017100038A JP6779174B2 (ja) | 2017-05-19 | 2017-05-19 | プログラム及び情報処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016251688A Division JP6148785B1 (ja) | 2016-12-26 | 2016-12-26 | 情報処理システム、情報処理装置及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018107787A JP2018107787A (ja) | 2018-07-05 |
JP2018107787A5 JP2018107787A5 (ja) | 2020-04-30 |
JP6779174B2 true JP6779174B2 (ja) | 2020-11-04 |
Family
ID=62787532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017100038A Active JP6779174B2 (ja) | 2017-05-19 | 2017-05-19 | プログラム及び情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6779174B2 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3775186B2 (ja) * | 2000-08-10 | 2006-05-17 | 日本電気株式会社 | 放送確認システム、放送確認装置および方法、放送確認プログラムを記録した記録媒体 |
WO2005011294A1 (ja) * | 2003-07-28 | 2005-02-03 | Nec Corporation | 視聴調査システム |
JP2007049584A (ja) * | 2005-08-12 | 2007-02-22 | Casio Comput Co Ltd | 宣伝支援システム及びプログラム |
JP2007206920A (ja) * | 2006-02-01 | 2007-08-16 | Sony Corp | 画像処理装置および方法、検索装置および方法、プログラム、並びに記録媒体 |
JP6082716B2 (ja) * | 2014-07-30 | 2017-02-15 | 株式会社ビデオリサーチコムハウス | 放送照合システム及び方法 |
-
2017
- 2017-05-19 JP JP2017100038A patent/JP6779174B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018107787A (ja) | 2018-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104618803B (zh) | 信息推送方法、装置、终端及服务器 | |
WO2022184117A1 (zh) | 基于深度学习的视频剪辑方法、相关设备及存储介质 | |
CN109690538A (zh) | 用于识别匹配内容的***和方法 | |
CN106777116A (zh) | 一种内容获取方法、用户客户端、服务器及*** | |
CN106416220A (zh) | 将视频自动***照片故事 | |
US10499097B2 (en) | Methods, systems, and media for detecting abusive stereoscopic videos by generating fingerprints for multiple portions of a video frame | |
KR20190093746A (ko) | 신경망을 이용한 컨텐츠 인지 기반 컨텐츠 전송 서버 장치 및 방법 | |
US11696001B2 (en) | Enhanced immersive digital media | |
CN110659604A (zh) | 视频检测方法、装置、服务器及存储介质 | |
CN114598919B (zh) | 视频处理方法、装置、计算机设备和存储介质 | |
CN114139491A (zh) | 一种数据处理方法、装置及存储介质 | |
JP6148785B1 (ja) | 情報処理システム、情報処理装置及びプログラム | |
KR102261544B1 (ko) | 스트리밍 서버 및 이를 이용한 다시점 동영상에서의 객체 처리 방법 | |
US11095901B2 (en) | Object manipulation video conference compression | |
JP6779174B2 (ja) | プログラム及び情報処理方法 | |
CN112601099A (zh) | 直播图像处理方法及装置、存储介质和电子设备 | |
CN110198457B (zh) | 视频播放方法及其设备、***、存储介质、终端、服务器 | |
CN112055258A (zh) | 加载直播画面的时延测试方法、装置及电子设备 | |
CN112437332B (zh) | 一种目标多媒体信息的播放方法和装置 | |
CN116193149A (zh) | 直播数据处理方法、装置、设备及计算机可读存储介质 | |
KR20160098927A (ko) | 스트리밍 컨텐츠 제공 장치 및 방법 | |
JP2015198298A (ja) | 映像配信システム | |
CN114220051B (zh) | 视频处理方法、应用程序的测试方法及电子设备 | |
CN117714712B (zh) | 视频会议的数据隐写方法、设备及存储介质 | |
US20240119637A1 (en) | Image synthesis method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190919 |
|
RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20190919 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191004 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200319 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200910 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200923 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201013 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6779174 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |