JP2021100263A - メディアにおける広告および他の挿入物の位置およびタイミングを判定するスキーム - Google Patents
メディアにおける広告および他の挿入物の位置およびタイミングを判定するスキーム Download PDFInfo
- Publication number
- JP2021100263A JP2021100263A JP2021033129A JP2021033129A JP2021100263A JP 2021100263 A JP2021100263 A JP 2021100263A JP 2021033129 A JP2021033129 A JP 2021033129A JP 2021033129 A JP2021033129 A JP 2021033129A JP 2021100263 A JP2021100263 A JP 2021100263A
- Authority
- JP
- Japan
- Prior art keywords
- area
- additional content
- content
- frames
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 155
- 238000003780 insertion Methods 0.000 claims abstract description 102
- 230000037431 insertion Effects 0.000 claims abstract description 102
- 238000004590 computer program Methods 0.000 claims abstract description 37
- 230000002452 interceptive effect Effects 0.000 claims abstract description 36
- 230000001052 transient effect Effects 0.000 claims abstract description 26
- 230000000694 effects Effects 0.000 claims description 29
- 239000003086 colorant Substances 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims 1
- 230000001815 facial effect Effects 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 6
- 230000033001 locomotion Effects 0.000 description 14
- 239000010813 municipal solid waste Substances 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 235000003095 Vaccinium corymbosum Nutrition 0.000 description 4
- 235000017537 Vaccinium myrtillus Nutrition 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 235000021014 blueberries Nutrition 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 244000077233 Vaccinium uliginosum Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 244000013123 dwarf bean Species 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 235000021331 green beans Nutrition 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 208000029152 Small face Diseases 0.000 description 1
- CDBYLPFSWZWCQE-UHFFFAOYSA-L Sodium Carbonate Chemical compound [Na+].[Na+].[O-]C([O-])=O CDBYLPFSWZWCQE-UHFFFAOYSA-L 0.000 description 1
- 240000000851 Vaccinium corymbosum Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/812—Monomedia components thereof involving advertisement data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】ユーザ作成の映像のサービスのようなメディアにおいて広告を挿入可能なコンピュータプログラム、方法、装置及びコンピュータプログラムを記憶する非一過性コンピュータ可読記憶媒体を提供する。【解決手段】コンピュータプログラムは、画像を分析するステップと、顔認識手法を使用して1つまたはそれ以上の顔を画像内で識別するステップと、識別された顔の少なくとも1つを集合的に第1の対象の区域と指定するステップと、第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域が画像内に存在するかどうか判定するステップと、を含む。別のコンピュータプログラムは、挿入区域が色に基づいて2つ以上の領域に分割することができるかどうか判定するステップを含む。【選択図】図4
Description
[関連出願]
本出願は、現在は、「SCHEME FOR DETERMINING THE LOCATIONS AND TIMING OF ADVERTISEMENTS AND OTHER INSERTIONS IN MEDIA」という名称の米国特許第8,451,380号である、2007年3月22日出願の米国特許出願第11/689,982号の継続出願である、現在は、「SCHEME FOR DETERMINING THE LOCATIONS AND TIMING OF ADVERTISEMENTS AND OTHER INSERTIONS IN MEDIA」という名称の米国特許第8,665,373号である、2013年5月9日出願の、米国特許出願第13/891,095号の一部継続出願(CIP)である、2014年2月7日出願の、「SCHEME FOR DETERMINING THE LOCATIONS AND TIMING OF ADVERTISEMENTS AND OTHER INSERTIONS IN MEDIA」という名称の米国特許出願第14/175,996号の継続出願であり、これらの開示全体が本明細書に完全に参照により全体が組み入れられる。
本出願は、現在は、「SCHEME FOR DETERMINING THE LOCATIONS AND TIMING OF ADVERTISEMENTS AND OTHER INSERTIONS IN MEDIA」という名称の米国特許第8,451,380号である、2007年3月22日出願の米国特許出願第11/689,982号の継続出願である、現在は、「SCHEME FOR DETERMINING THE LOCATIONS AND TIMING OF ADVERTISEMENTS AND OTHER INSERTIONS IN MEDIA」という名称の米国特許第8,665,373号である、2013年5月9日出願の、米国特許出願第13/891,095号の一部継続出願(CIP)である、2014年2月7日出願の、「SCHEME FOR DETERMINING THE LOCATIONS AND TIMING OF ADVERTISEMENTS AND OTHER INSERTIONS IN MEDIA」という名称の米国特許出願第14/175,996号の継続出願であり、これらの開示全体が本明細書に完全に参照により全体が組み入れられる。
[技術分野]
本発明は、デジタル映像処理に一般に関し、更に詳しくは、プログラムコンテンツにおける画像および映像のデジタル挿入に関する。
本発明は、デジタル映像処理に一般に関し、更に詳しくは、プログラムコンテンツにおける画像および映像のデジタル挿入に関する。
広告の1つの従来の形態は、テレビコマーシャルである。そのようなテレビコマーシャルは、典型的には、長さが数秒〜数分の範囲の短い広告スポットから成る。コマーシャルは、番組間に表示され、かつ、規則正しく間隔で番組を中断する。広告主の目標は、視聴者の注意をコマーシャルに集めておくことであるが、視聴者は、コマーシャルを見ないようにコマーシャル中にチャンネル変えることが多い。
視聴者がテレビコマーシャルを回避した別の方法は、デジタルビデオレコーダ(DVR)を使用することによるものである。DVRで、人は、番組を録画し、その後、再生中にコマーシャルを飛ばして後早送りすることができる。他のメディアプレーヤも、視聴者にコマーシャルを追跡して飛ばすさらにより大きな能力を提供することが予想される。
YouTube(登録商標)などのユーザ作成の映像のサービスの成長および人気を含め、上記および他の基礎的情報要素、および、そのようなメディアにおいて広告を挿入する必要性に関して、本発明に至った。
一実施形態は、プロセッサベースのシステムに、画像を分析するステップと、顔認識手法を使用して1つまたはそれ以上の顔を画像内で識別するステップと、識別された顔の少なくとも1つを集合的に第1の対象の区域と指定するステップと、および、かつ、第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域が画像内に存在するかどうか判定するステップとを含むステップを実行させるように適合された1つまたはそれ以上のコンピュータプログラムを記憶する非一過性コンピュータ可読記憶媒体を提供する。
別の実施形態は、プロセッサベースのシステムに、コンテンツのフレームのシーケンスを分析するステップと、視聴されることから妨げられるべきではないフレームのシーケンスにより示されたシーンにおいて第1の対象の区域を識別するステップと、第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域がシーンにおいて存在するかどうか判定するステップと、挿入区域が色に基づいて2つ以上の領域に分割することができるかどうか判定するステップとを含むステップを実行させるように適合された1つまたはそれ以上のコンピュータプログラムを記憶する非一過性コンピュータ可読記憶媒体を提供する。
別の実施形態は、コンテンツのフレームの第1のシーケンスを分析するステップと、顔認識手法を使用してフレームの第1のシーケンスにより示されたシーンにおいて1つまたはそれ以上の顔を識別するステップと、識別された顔の少なくとも1つを集合的に第1の対象の区域と指定するステップと、第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域がシーンにおいて存在するかどうか判定するステップとを含む方法を提供する。
別の実施形態は、コンテンツのフレームのシーケンスを分析するステップと、視聴されることから妨げられるべきではないフレームのシーケンスにより示されたシーンにおいて第1の対象の区域を識別するステップと、第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域がシーンにおいて存在するかどうか判定するステップと、挿入区域が色に基づいて2つ以上の領域に分割することができるかどうか判定するステップとを含む方法を提供する。
別の実施形態は、プロセッサベースのシステムに、フレームの第1のシーケンスを再生するステップであって、フレームの第1のシーケンスは、フレームの第1のシーケンスにおいて少なくともフレームのいくつかにより示される、シーンに挿入された広告を含む、ステップと、フレームの第1のシーケンス後にフレームの第2のシーケンスを再生するステップであって、広告は、顔認識手法を使用して1つまたはそれ以上の顔をシーンにおいて識別するステップと、識別された顔の少なくとも1つを集合的に第1の対象の区域と指定するステップと、シーンにおいて広告を第1の対象の区域を妨げない挿入区域に挿入するステップとを含むプロセスによりフレームの第1のシーケンスにおけるシーンに挿入された、ステップとを含むステップを実行させるように適合された1つまたはそれ以上のコンピュータプログラムを記憶する非一過性コンピュータ可読記憶媒体を提供する。
別の実施形態は、コンテンツのフレームのシーケンスを分析するステップと、シーンにおいてアクティビティを妨げることなく広告などの更なるコンテンツを挿入することができる領域がフレームのシーケンスにより示されるシーンにおいて存在するかどうか判定するステップと、任意のそのような区域について、この区域がフレームのシーケンスが再生されているときに利用可能である時間量を判定するステップと、任意のそのような区域について、区域のサイズを判定するステップとを含む、コンテンツとともに使用される方法を提供する。
別の実施形態は、プロセッサベースのシステムに、コンテンツのフレームのシーケンスを分析するステップと、シーンにおいてアクティビティを妨げることなく広告などの更なるコンテンツを挿入することができる領域がフレームのシーケンスにより示されるシーンにおいて存在するかどうか判定するステップと、任意のそのような区域について、この区域がフレームのシーケンスが再生されているときに利用可能である時間量を判定するステップと、任意のそのような区域について、区域のサイズを判定するステップとを含むステップを実行させる、プロセッサベースのシステムにより実行可能なコンピュータプログラムを記憶する記憶媒体を提供する。
別の実施形態は、コンテンツのフレームのシーケンスを分析して、シーンにおいてアクティビティを妨げることなく広告などの更なるコンテンツを挿入することができる領域がフレームのシーケンスにより示されるシーンにおいて存在するかどうか判定するように構成されるプロセッサベースのシステムを含み、任意のそのような区域については、プロセッサベースのシステムは、更に、フレームのシーケンスが再生されているときに区域が利用可能である時間量を判定して、区域のサイズを判定するように構成される、コンテンツとともに使用される装置を提供する。
本発明の様々な実施形態の特徴および利点のより深い理解が、本発明の実施形態の原理が利用される例示的な実施形態を定める以下の詳細な説明および添付図面を参照すれば得られるであろう。
本発明の実施形態の上記および他の態様、特徴、および利点は、以下の図面に関連して提示する、以下のより特定の説明からより明らかであろう。
視聴者が従来のテレビコマーシャルを先述したように回避したとき、広告主のメッセージは、視聴者により受けられず、これは不利である。そのような短所のため、本発明の実施形態は、テレビ番組または他のプログラム自体への広告または他のコンテンツの挿入に関する。
本発明の実施形態の一部は、コンテンツに入れられるべき広告または他の挿入物のタイミングおよび位置を判定する自動化された方法を伴う。そのようなコンテンツとしては、例えば、テレビ番組、映画、映像、ウェブページ、ゲームなど任意の形式のコンテンツを挙げることができる。一部の実施形態において、この方法は、シーンにおけるアクティビティが広告オーバレイにより占有されたゾーンにより妨げられないきれいな、整ったか、または、他の区域、または、領域をメディアにおいて判定するために経時的に映像フレームのシーケンスを分析することにより動作することができる。
例えば、図1を参照すると、本発明の実施形態により動作する方法100が例示されている。方法100は、任意の形式のコンテンツとともに使用され得るが、コンテンツのフレームのシーケンスを分析するステップ102で始まる。一例として、映像フレームのシーケンスの映像分析が、広告または他のグラフィックスをメディアに入れるべき適切な位置を判定するために使用され得る。一部の実施形態において、そのような分析は、フレーム単位で自動的に行なわれ得る。
ステップ104において、フレームのシーケンスにより示されるシーンにおいて、シーンにおいてアクティビティを妨げることなく更なるコンテンツを挿入することができる領域が存在するかどうか判定する。一部の実施形態において、これは、フレーム単位で映像フレームを通過して、動きが起こっている場所または空隙の領域を識別することにより行われ得る。例えば、画面の片側に人々およびアクション発生があり、画面の反対側には動きがない場合がある。動きのない区域は、広告または他の更なるコンテンツを挿入するべき適切な場所であり得る。
ステップ106において、更なるコンテンツを受容する妥当と識別された任意の区域については、フレームのシーケンスが再生されているときに区域が利用可能である時間量を判定する。また、ステップ108において、任意の識別された区域のサイズを判定する。従って、この方法を実行するシステムは、アクティビティの領域が広告に適合するのに十分な大きさかどうか判定することができる。
方法100は、任意の形式のコンピュータまたはプロセッサベースのシステムにより自動的に実行され得る。そのようなシステムは、経時的にフレーム単位の分析を行って、アクションをシーンにおいて追跡して、広告または他の画像またはコンテンツの挿入に適切である映像のブロックをマーキングすることができる。一部の実施形態において、フレーム単位の分析は、画像解析ソフトウェアにより行われ得る。
したがって、一部の実施形態において、システムは、映像におけるフレームを見て、アクティビティがある場所およびアクティビティがない場所を映像において識別する。単一のシナリオにおいて、カメラが固定され、アクターが移動している。すなわち、フレームのシーケンスは、固定式カメラにより撮られた映像の表現を含む。より複雑シナリオにおいて、カメラは、移動している、つまり、シーン全体にわたって上下左右に移動しており、これは、固定されたオブジェクト、並びに、移動中のオブジェクトを含む。すなわち、フレームのシーケンスは、移動カメラにより撮られた映像の表現を含む。
図2Aは、固定式カメラシナリオの実施例を例示する。この実施例において、フレームボーダ202はカメラが固定されるのでフレームのシーケンス内の各フレームを表す。2人の子供たち204、206が画面の右側でサッカーボール208で遊んでいる場合、広告が、サッカーボールで遊んである子供たちの姿を妨げないように画面の反対側に位置され得る。このようにして、広告が、移動するオブジェクト、またはアクティビティ、すなわちボール208で遊んでいる子供たち204、206の姿を妨げないようにシーンに入れられ得る。
図2Bは、シーンに挿入された「ベストソーダ」の広告212を例示する。2人の子供たち204、206がサッカーボール208で遊んでいる、まだ、見えるので、映像の焦点に関連したアクティビティは、広告212により妨げられてはいない。すなわち、シーンにおける主要または目標つまり動いていうるオブジェクトは、広告212により妨げられてはいない。
一部の実施形態において、フレームを分析する際に、システムは、動きが多すぎるのでフレームまたはフレームの一部を広告を受容することができないとマーキングし得る。そのようなフレームまたはフレームの部分は、「ダーティ」すぎると本明細書で言われ得る。したがって、本実施例において、システムは、それらの空間が広告または他の挿入物の位置に使用されないように、サッカーボール208で遊んでいる子供たち204、206に関連したフレームの部分を遮断し得る。
別の実施例として、アクター全員および特定のシーンにおける動きは、画面の左側に位置し得る。従って、システムは、画面の左側のアクターに対応するフレームの部分を遮断し得、かつ、広告がそこで位置することはできないことを示し得る。すなわち、広告は、画面の左側に位置することはできないが、それは、移動中の人々がおり、物事が画面の左側で起こっているからである。しかしながら、一方、画面の右面は、きれいであり得、広告の位置づけに十分であり得る特定の期間にわたってきれいであり得る。
一部の実施形態において、シーンは、フレームに関し、かつ、フレーム内で移動するオブジェクトの履歴および運動量を含む情報を特徴づけるメタデータを含み得、本発明の一部の実施形態は、そのようなメタデータを利用して、広告を含めコンテンツがシーンにおいて位置され得る潜在的な領域を判定し得る。
一部の実施形態において、フレームが「ダーティ」かどうか、または、フレーム領域が「ダーティ」かどうか判定するステップは、1つまたはそれ以上のフレーム全体にわたってフレームデータを分析することにより実行され得る。一定または可変の閾値が、対象のオブジェクトおよび関心領域の判定において使用され得る。一部の実施形態において、システムは、また、上述したようにコンテンツの再生システム挿入を可能にするメタデータを符号化または作成し得る。
図3Aは、移動カメラによるシナリオの実施例を例示する。この実施例において、フレームボーダ302、304、306は、カメラが移動するときのフレームのシーケンス内のフレームのうちの3つを表す。カメラがシーン全体にわたって移動または上下左右に移動しているので、ゴミ箱308などの固定されたオブジェクトは、シーンの背景にわたってゆっくり摺動しているように見えることになる。ゴミ箱308は、この外観外見を有するが、それはフレーム302の右側の方に、フレーム304の中心近傍に、その後、フレーム306の左側の方へ位置決めされるからである。カメラがセット全体にわたってゆっくり上下左右に移動する状態で、かつ、シーンにおけるオブジェクトはセット上に固定され、各フレームは、一定の動きがあるのでダーティに見える。
しかしながら、映像のフレームを検討することにより、システムは、カメラは移動しており、シーンにおける人々が移動しているが、ゴミ箱308は固定されていると判定し得る。従って、ゴミ箱308上の空間は、ゴミ箱自体が主として固定されているので広告または他の画像またはグラフィックスに自由に使用され得る。
図3Bは、ゴミ箱308上のシーンに挿入された「町不動産」の広告312を例示する。この実施例において、ゴミ箱308は、更なるコンテンツをシーンにおけるアクティビティを妨げることなく挿入することができるシーンにおける区域を含む。したがって、一部の実施形態において、カメラが移動または上下左右に移動しているシナリオにおいて、システムは、固定されたオブジェクトを識別し、その後、広告が固定されたオブジェクト上へどのように重ね合わされ得るか識別し得る。一部の実施形態において、これは、固定されたオブジェクトを移動中のオブジェクトから除外するためにフレームに沿って支点を移動させることにより行われ得る。すなわち、システムは、カメラの移動をシーンにおいて移動する実際のアクタから除外することができるように、基準要素がフレーム内でどこに位置するかに関して視点(point of perspective)を摺動させ得る。
上述したように、方法100(図1)は、フレームのシーケンスが再生されているときに区域が利用可能である時間量を判定するステップ106、および、区域のサイズを判定するステップ108を含む。例えば、システムは、画面の右側は一定量の時間に掛けて自由であり得、かつ、その量時間に掛けて特定の寸法まで自由であり得ると判定し得る。この情報は、広告を選ぶのに重要であり得るが、その寸法は、特定の最大寸法での広告を取ることができる場合があるからである。また、更に、その寸法は、例えば、2秒、5秒、15秒、20秒など、一定量の時間に掛けてのみ利用可能であり得る。
一部の実施形態において、システムは、特定のサイズの広告を保持するのに十分に大きい領域または空間がないか一連のフレーム内のフレームをサーチすることができる。システムは、また、特定の広告を位置するのに十分に長い時間の長さがないか映像内でサーチし得る。例えば、特定の広告は、広告の位置づけに15秒の自由かつ空いた領域を必要とし得る。システムは、映像内の各々の空の領域がどのくらい続くことになるのか判定することによりこれを行い得る。
一部の実施形態において、システムは、判定された時間およびサイズ情報を使用して、広告のデータベースを見渡して、利用可能な寸法および利用可能な時間量に適切である広告を選択し得る。したがって、一部の実施形態において、映像シーケンスのプロファイリングがあり、その後、どれくらいの時間および空間が広告に利用可能かに基づいて広告のデータベースルックアップがある。例えば、一部の実施形態において、システムは、閉鎖状態のないゾーンに向けてどれだけの時間が映像において利用可能であるか判定し得る。その後、データベースルックアップは、閉鎖状態のないゾーンのサイズおよび利用可能な時間がデータベースにいずれかの広告の条件を満たすかどうか判定する。
他の要素が、特定の広告を選ぶ際に使用される場合もあれば、使用ない場合もある。例えば、一部の実施形態において、システムは利用可能な最大時間および利用可能な最大寸法を満たす次の広告を単に選び得る。
または、一部の実施形態において、システムは、広告空間販売から生成することができる収益を最大化する広告を選び得る。様々な異なるサイズおよび形式の広告が、利用可能な広告空間に向けてドル収益を最大化し得る。例えば、最大収益は、空間をいくつかのより小さい広告で満たすか、または、空間を1つの大きい広告で満たすことにより生成され得る。一部の実施形態において、システムは、それらの仕様に基づいてドル収入を最大化するために利用可能な空間および時間を分析し得る。
一部の実施形態において、システムは、経済企業モデルを満たすために広告の選択を整理する方法を使用し得る。例えば、システムは、広告を選択する優先順位スキームを使用し得る。別の実施例として、いくつかの小さい広告が、利用可能空間を最適化するために使用され得、これは、1つの大きい広告よりも多くの収益を生成し得る。任意のそのようなシナリオで、システムは、それでも、次の選ばれた広告が判定された時間およびサイズ仕様を満たすかどうか判定し得る。
したがって、本発明の実施形態は、メディアにおいて位置される広告および他のコンテンツの場所およびタイミングを判定する方法を提供する。本発明の実施形態は、広告または他のコンテンツが挿入され得る映像内の空所つまり空隙を自動的に見つけるために使用され得る。すなわち、映像が、広告が挿入され得る映像内の空所つまり空隙を自動的に見つけるために現在の意向の実施形態によるプロセスを介して実行され得る。例えば、映像の10秒クリップが、2秒の空白又は黒の画面を含み得る。この実施例において、画面全体は、2秒間の広告に利用可能であり得る。したがって、この10秒の映像の20パーセントは、広告または他のコンテンツでポピュレートされ得る。
広告だけではなく他の形式のコンテンツも空所つまり空隙に挿入され得ることを十分に理解されたい。例えば、他の形式のグラフィックス、画像、写真などは、更なるコンテンツがシーンにおいてアクティビティを妨げることなく挿入することができる区域に挿入され得る更なるコンテンツを含み得る。
したがって、一部の実施形態において、コンテンツとともに使用される方法は、コンテンツのフレームのシーケンスを分析するステップと、フレームのシーケンスにより示されるシーンにおいて、シーンにおいてアクティビティを妨げることなく広告などの更なるコンテンツを挿入することができる領域が存在するかどうか判定するステップと、任意のそのような区域について、この区域がフレームのシーケンスが再生されているときに利用可能である時間量を判定するステップと、任意のそのような区域について、区域のサイズを判定するステップとを含む。一部の実施形態において、プロセッサベースのシステムにこれらのステップを実行させるコンピュータプログラムを記憶する記憶媒体およびコンテンツとともに利用される装置も開示する。
図4を参照すると、本発明の別の実施形態により動作する方法400の実施例が例示されている。一部の実施形態において、方法400は、メディアに挿入されるべきである広告など更なるコンテンツの場所およびタイミングを判定するのに使用され得る。一部の実施形態において、方法400は、更なるコンテンツについて挿入区域の場所を判定するのを手助けするために顔認識技術を使用する。
方法400は、画像を分析するステップ402で始まる。画像は、静止画像または写真、または、映像形式コンテンツの1つのフレームなどフレームのシーケンス内の1つのフレームであり得る。
ステップ404において、顔認識手法または顔認識技術を使用して1つまたはそれ以上の顔を画像内で識別する。任意の1つまたはそれ以上の既知の顔認識手法が使用され得る。一部の実施形態において、識別される顔は、人の顔を含むことができる。一部の実施形態において、識別される顔は、動物および/または人の顔を含むことができる。
ステップ406において、識別された顔の少なくとも1つを第1の対象の区域と指定する。一部の実施形態において、第1の対象の区域としての指定は、これは視聴者が、おそらく見たいと思われる区域であり、それで、この区域は、挿入されることになる更なるコンテンツにより妨げられるべきではないことを意味する。一部の実施形態において、識別された顔の1つ超えが第1の対象の区域と指定される場合、また、識別された顔は、集合的に第1の対象の区域を含む。すなわち、識別された顔の全てを包含する区域が、第1の対象の区域と指定される。
一部の実施形態において、第1の対象の区域としての1つまたはそれ以上の顔の指定は、アクティビティを有する区域をシーンにおいて識別することを論じた上記の内容と類似のものである。すなわち、アクティビティを有するシーンにおける区域は、おそらく視聴者が見たいと思われる区域であり、それで、この区域は、挿入されることになる更なるコンテンツによりは妨げられるべきではないことが好ましい。同様に、1つまたはそれ以上の顔を有するシーンまたは画像内の区域は、また、おそらく視聴者が見たいと思われる区域であり、それで、この区域は、挿入されることになる更なるコンテンツによりは妨げられるべきではないことが好ましい。したがって、一部の実施形態において、識別された顔は、アクティビティの形式と考えられ得る。
更に以下で論じるように、一部の実施形態において、調整可能な閾値が、識別された顔のサイズ、焦点、重要性などに関連され得る。任意選択的な調整可能な閾値は、識別された顔のうちどれが第1の対象の区域内に含まれるべきか定義するために使用され得る。すなわち、一部の実施形態において、任意選択的な調整可能な閾値は、識別された顔のうちのどれが、挿入されることになる更なるコンテンツにより妨げられるべきではないアクティビティの形式というレベルまで上がるのか判定するために使用される。したがって、一部の実施形態において、識別された顔は、識別された顔が閾値設定を満たす場合にはアクティビティの形式と考えられ得る。
ステップ408において、第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域が画像内に存在するかどうかとして判定を行う。すなわち、一部の実施形態において、第1の対象の区域の図を妨げることなく更なるコンテンツを挿入することができる挿入区域と本明細書でいう区域が画像内にあるかどうかとして判定が行われる。また、そのような挿入区域が存在する場合、一部の実施形態において、例えば、広告など、更なるコンテンツを挿入区域に挿入することができ、そのような更なるコンテンツは、第1の対象の区域の図を妨げないことにならない。
方法400の例示的な適用を、図5A、図5B、図5C、および図5Dを参照してここで説明する。具体的には、図5Aは、分析される画像502を例示する。図示するように、画像502はいくつかの顔を含む。一部の実施形態において、大勢の顔が分析され得る。1つまたはそれ以上の顔認識手法、または、顔認識技術が、1つまたはそれ以上の顔を画像502内で識別するために使用される。識別された顔は、いくつかの異なるサイズを有する。すなわち、いくつかの大きい顔504、いくつかの小さい顔514、および、最大の顔と最小の顔との間の様々なサイズを有するいくつかの顔506、508、510、および512がある。
一部の実施形態において、次のステップは、識別された顔の少なくとも1つを第1の対象の区域と指定することである。上述したように、一部の実施形態において、第1の対象の区域としての指定は、これは視聴者が、おそらく見たいと思われる区域であり、それで、この区域は、挿入されることになる更なるコンテンツにより妨げられるべきでないことを意味する。一部の実施形態において、顔のサイズは、識別された顔のうちのどれが第1の対象の区域と指定されるべきかを判定するために使用される。例えば、視聴者は、おそらく画像において小さい顔よりも大きい顔を見たいと思われると考えられる。より大きい顔が、おそらく画像において捕捉されると意図されていた主な主題であったと更に考えられる。従って、より大きい顔を第1の対象の区域と指定することは、該顔は、挿入されることになる、1つまたはそれ以上の広告など更なるコンテンツにより妨げられ(または、覆われ)ないことを意味する。
したがって、一部の実施形態において、集合的に識別された顔の少なくとも1つを第1の対象の区域と指定するステップは、識別された顔の各々のサイズを判定するステップを含む。識別された顔の各々のサイズが判定された後、第1の対象の区域内に含められるべきである識別された顔は、その後、識別された顔のサイズに基づいて選択される。
一部の実施形態において、識別された顔のサイズに基づいて顔を選択するプロセスは、閾値設定を利用し得る。具体的には、任意選択的な閾値設定は、第1の対象の区域内に含められることになる識別された顔のサイズを定義するように設定されることができる。一部の実施形態において、任意選択的な閾値設定は、顔が他の顔に対する特定の比率であるかどうかに基づいて、第1の対象の区域に含めるために顔を選択するために使用することができる。任意選択的な閾値設定は、比率を定義することができ、該比率は、一部の実施形態において、ユーザにより設定され得るか、または、アプリケーションにより設定され得るか、自動的に設定され得る、または、何らかの他の方法で設定され得る。
図5Bは、任意選択的な閾値設定の1つの実施形態の実施例を例示する。この実施形態において、閾値設定は、識別された顔のうちの最大の顔の特定の百分率を表す。従って、識別された顔のサイズに基づいて第1の対象の区域内に含まれるべきである、識別された顔の少なくとも1つを選択するプロセスは、識別された顔のうちの最大の顔を識別することで始まり得る。例示する実施例において、識別された顔のうちの最大の顔は、顔504である。
一部の実施形態において、任意選択的な閾値設定は、閾値スライダ520を使用して調整され得る。この実施例において、閾値スライダ520は、最大の顔504のサイズの0%〜100%間で実行される。例示するように、この実施例において、閾値設定522は、70%に設定される。これは、最大の顔504のサイズの少なくとも70%もの大きさである識別された顔のみが第1の対象の区域内に含められることになることを意味する。したがって、この実施例において、顔504および506は、第1の対象の区域内に含められることになり、顔508、510、512、および514は第1の対象の区域内に含められないことになる。顔508、510、512、および514は、第1の対象の区域内に含められないが、それは、最大の顔504のサイズの70%より小さいからである。したがって、一部の実施形態において、更なるコンテンツを顔508、510、512、および514に位置することは問題ないが、該顔は、第1の対象の区域内に含められないからである。すなわち、カットオフされるのは、最大の顔のサイズの70%未満が更なるコンテンツ位置づけに問題のない任意の顔である。
したがって、例示する実施例において、第1の対象の区域内に含められるように選択される顔は、識別された顔のうちの最大の顔(すなわち、顔504)、および、識別された顔のうちの最大の顔の特定の百分率(すなわち70%)よりも小さくない識別された顔のみ(すなわち、顔506)である。基本的に、閾値を満たす顔であり、また、上述のシーンにおけるアクティビティと類似する場合、広告など更なるコンテンツにより妨げられるべきではない。しかし、顔が閾値を満たさない場合、例えば、多分、顔が最大の顔のわずか1/32のサイズである場合、また、広告など更なるコンテンツの挿入に向けてその空間を開けることが問題のない可能性がある。
図5Cは、第1の対象の区域524が識別された画像502を例示する。例示するように、顔504(そのうちの2個)および顔506(そのうちの4個)は、第1の対象の区域524内に含められる。70%という例示的な閾値設定522も例示されている。わかるように、顔508(そのうちの6個)、510(そのうちの8個)、512(そのうちの9個)、および514(そのうちの11個)のどれも、の第1の対象の区域524内に含められないが、それは、最大の顔504のサイズの70%より小さいからである。
閾値設定522は、任意の値に設定され得ることを十分に理解されたい。すなわち、閾値設定522は、任意の値0%〜100%に設定され得る。例えば、閾値設定522が70%の代わりに50%に設定された場合、また、図5Bに従って、顔508(そのうちの6個)は、また、の第1の対象の区域524内に含められることになる。別の実施例として、閾値設定522が70%の代わりに100%に設定された場合、そうすると、第1の対象の区域524内に含められると思われる唯一の顔は、顔504(そのうちの2個)になるが、該顔は、同じサイズであり、最大の顔であり、かつ、識別された顔のうちの最大の顔のサイズの100%より小さくないからである。
閾値設定522は、任意の目安に基づき得、かつ、百分率である必要はないことも十分に理解されたい。例えば、閾値設定522は、顔の直径、半径、周縁部などに基づき得る。あるいは、閾値設定522は、任意の他の目安に基づき得る。
閾値設定522は、多種多様な方法で設定および/または調整され得ることも十分に理解されたい。一部の実施形態において、閾値設定522はユーザにより設定および/または調整され得る。例えば、閾値設定522は、ユーザにより手作業で設定および/または調整され得る。したがって、例示する実施例において、閾値設定522の特定の百分率は、ユーザにより指定されよう。一部の実施形態において、閾値設定522はソフトウェアアプリケーションなどアプリケーションにより設定および/または調整され得る。例えば、閾値設定522は、アプリケーションにより自動的に設定および/または調整され得る。閾値設定522の自動設定および/または調整は、多種多様な状態、パラメータ、変数、要素などに基づき得る。
一部の実施形態において、第1の対象の区域524が指定された後、第1の対象の区域524を妨げることなく更なるコンテンツを挿入することができる挿入区域が画像502内に存在するかどうかに関して判定が行われ得る。一部の実施形態において、第1の対象の区域524外の画像502上の任意の区域が、挿入区域を含み得る。例えば、例示する実施形態において、第1の対象の区域524の任意の一部の図を覆ったりまたは妨げたりしない顔508、510、512、および514上およびその周りの任意の区域が、挿入区域を含み得る。
一部の実施形態において、次のステップは、更なるコンテンツを挿入区域に挿入することである。図5Dは、画像502内の挿入区域への更なるコンテンツの挿入の実施例を示す。具体的には、この実施例において、更なるコンテンツは、「アクションだ。スポーツアパレル」の広告530を含む。広告530は、顔508、510、512、および514のいくつかの上に位置され、かつ、第1の対象の区域524の一切の部分の図を妨げない。更なるコンテンツは、広告だけではなく任意の形式のコンテンツを含み得ることも十分に理解されたい。
一部のシナリオにおいて、画像は、挿入区域を含まないことがあり得る。例えば、第1の対象の区域が大きくて画像の大部分を占める場合、また、大きい十分な挿入区域が、画像内に存在し得ないことがある。図6Aおよび6Bは、そのような実施例を示す。具体的には、画像602が例示されている。上述した方法および技術を使用して、画像602を分析する。顔認識手法または顔認識技術を使用していくつかの顔604、606、608、および610を識別する。
この特定の画像602において、識別された顔604、606、608、および610は、サイズがあまり異ならない。したがって、第1の対象の区域が顔のサイズに基づいて指定または定義された場合、全ての顔604、606、608、および610は、第1の対象の区域内に含められる可能性がある。一部の実施形態において、この可能性は、閾値設定に左右されるであろう。例えば、上記の任意選択的な閾値設定を使用する実施形態において、閾値設定が50%などの値に設定された場合、また、全ての顔604、606、608、および610は、第1の対象の区域内に含められるであろう。これは、全ての顔606、608、および610は最大の顔604のサイズの少なくとも50%の大きさであるからである。すなわち、識別された顔のいずれも、最大の顔604のサイズの50%より小さくない。
図6Bは、この特定の実施例において画像602において指定された第1の対象の区域620を例示する。例示するように、顔604(そのうち4個)、606(そのうち4個)、608(そのうち4個)、および610(そのうち4個)の全てが、第1の対象の区域620内に含められる。また、例示するように、第1の対象の区域620は画像602内の空間の大部分を占める。従って、この特定の実施例において、画像602は、挿入区域を含まない。したがって、更なるコンテンツを挿入する場所がなく、これは、顔のいずれも更なるコンテンツにより覆われたり、または、妨げられたりしないことを意味する。
上記の実施例において、顔のサイズは、識別された顔のうちのどれが第1の対象の区域と指定されるべきか判定するために使用される。一部の実施形態において、顔の焦点の量つまり焦点の鮮明度が、代わりにまたは更に、識別された顔のうちのどれが第1の対象の区域と指定されるべきか判定するために使用され得る。上述したように、一部の実施形態において、第1の対象の区域としての指定は、これは視聴者が、おそらく見たいと思われる区域であり、それで、この区域は、挿入されることになる更なるコンテンツにより妨げられるべきでないことを意味する。視聴者が焦点されていない顔より焦点された顔を見ることにおいて、おそらくより興味があるだろうと考えられている。より鮮明な焦点を有する顔が、おそらく画像において捕捉されると意図されていた主な主題であったと更に考えられる。従って、第1の対象の区域としてより焦点された顔を指定することは、該顔は、挿入されることになる、1つまたはそれ以上の広告など更なるコンテンツにより妨げられ(または、覆われ)ないことを意味する。一部の実施形態において、先に論じた任意選択的な閾値設定は、第1の対象の区域内に含められるべき顔を適格とすることになる焦点の量つまり焦点の鮮明度を設定するために使用され得る。したがって、一部の実施形態において、顔が焦点が合う閾値レベルを満たすと、上述のシーンにおけるアクティビティに類似しそして、顔は、広告など更なるコンテンツにより妨げられるべきではない。すなわち、一部の実施形態において、焦点が合っているという閾値レベルを満たす顔は、シーンにおけるアクティビティと類似する。
一部の実施形態において、画像502(図5A)および602(図6A)は、各々、静止画像または写真を含み得る。一部の実施形態において、画像502および602は、各々、コンテンツのフレームのシーケンス内の1つのフレームを含み得る。例えば、画像502および602は、各々、映像形式コンテンツの1つのフレームを含み得る。そのような実施形態において、コンテンツのフレームのシーケンスは、図5A〜図5Dに関して先に説明した技術を使用して分析され得る。
例えば、そのような実施形態において、1つまたはそれ以上の顔を画像内で識別するステップは、シーンにおけるフレームのシーケンスにより示された1つまたはそれ以上の顔を識別するステップを含み得る。第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域が画像内に存在するかどうか判定するステップは、第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域がシーンにおいて存在するかどうか判定するステップを含み得る。
更に、一部の実施形態において、フレームのシーケンスにより示される挿入区域がシーンにおいて存在する場合、次にフレームのシーケンスが再生されているときに挿入区域が利用可能である時間量が判定され得る。また、一部の実施形態において、挿入区域のサイズが判定され得る。
図7を参照すると、本発明の別の実施形態により動作する方法700の実施例が例示されている。一部の実施形態において、方法700は、また、メディアに挿入されるべきである広告など更なるコンテンツの場所およびタイミングを判定するのに使用され得る。
方法700は、コンテンツのフレームのシーケンスを分析するステップ702で始まる。そのようなコンテンツは、例えば、テレビ番組、映画、映像、ウェブページ、ゲームなど、または、任意の映像形式のコンテンツを含むことができる。
ステップ704において、視聴されることから妨げられるべきではないフレームのシーケンスにより示されるシーンにおいて第1の対象の区域を識別する。一部の実施形態において、この識別は、顔認識手法を使用して1つまたはそれ以上の顔をシーンにおいて識別することにより行われ得る。すなわち、一部の実施形態において、顔をシーンにおいて識別する上述の手法は、第1の対象の区域を識別するために使用され得る。一部の実施形態において、第1の対象の区域の識別は、あるいはまたは更に、アクティビティを有する区域をシーンにおいて識別することにより行われ得る。すなわち、一部の実施形態において、アクティビティを有する区域を顔をシーンにおいて識別する上述の手法は、第1の対象の区域を識別するために使用され得る。一部の実施形態において、アクティビティを有していない区域をシーンにおいて識別する上述の手法は、第1の対象の区域を識別するために使用され得る。
ステップ706において、第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域が画像内に存在するかどうかに関して判定を行う。すなわち、上述したようにと同様に、一部の実施形態において、第1の対象の区域の図を妨げることなく更なるコンテンツを挿入することができる挿入区域と本明細書でいう区域がシーンにおいてあるかどうかとして判定が行われる。また、そのような挿入区域が存在する場合、一部の実施形態において、例えば、広告など、更なるコンテンツを挿入区域に挿入することができ、そのような更なるコンテンツは、第1の対象の区域の図を妨げないことにならない。
ステップ708において、挿入区域を色に基づいて2つ以上の領域に分割することができるかどうかに関して判定を行う。すなわち、時には、一般的に異なる色を有する2つ以上の領域に跨る挿入区域が識別される。そのようなシナリオにおいて、一部の実施形態において、更なるコンテンツが実質的に異なる色を有する2つ以上の領域を覆ったりまたは該領域内へ延在したりしないようにそれらの領域の1つのみに更なるコンテンツを挿入することが好ましくあり得る。したがって、一部の実施形態において、挿入区域は、更に分析され、かつ、シーンにおける色に基づいて1つまたはそれ以上の領域、小領域、またはカテゴリに再分割または分解される。
方法700の例示的な適用を、図8A、図8B、図8C、図8D、図8E、図8F、図8G、および図8Hを参照してここで説明する。具体的には、図8Aは、コンテンツのフレームのシーケンスにより示されるシーン802を例示する。例示するように、シーン802は、いくつかの顔804および806を含む。図示されているように、シーン802は、また、顔の後の緑色の草深い丘810、および、丘より上方の青空812を含む。
一部の実施形態により、シーン802を示すコンテンツのフレームのシーケンスが分析される。具体的には、視聴されることから妨げられるべきではないシーン802における第1の対象の区域が識別される。上述したように、一部の実施形態において、顔をシーンにおいて識別する上述の手法は、第1の対象の区域を識別するために使用され得る。具体的には、この実施例において、1つまたはそれ以上の顔認識手法または顔認識技術が、1つまたはそれ以上の顔804および806をシーン802において識別するために使用される。図8Bを参照すると、顔認識プロセスの結果として、顔804および806が第1の対象の区域820と指定される。
次に、第1の関心820のある区域を妨げることなく更なるコンテンツを挿入することができる挿入区域がシーン802において存在するかどうかに関して判定を行う。この判定の結果として、緑色の草深い丘810に架かる区域および青色空812が挿入区域822と識別される。
その後、挿入区域822を色に基づいて2つ以上の領域に分割することができるかどうかに関して判定を行う。この特定の実施例において、挿入区域822を2つのそのような領域に分割することができる。すなわち、緑色の草深い丘810の区域は、挿入区域822の第1の領域を形成することができ、青空812の区域は、挿入区域822の第2の領域を形成することができる。これらの2つの領域の識別は、色(すなわち、緑色の丘810および青空812)に基づく。したがって、例示するように、挿入区域822は、色に基づいて2つの領域に分割され、すなわち、緑色の草深い丘810の区域は、第1の領域を形成し、青空812の区域は、第2の領域を形成する。
挿入された更なるコンテンツは、異なる色を有する領域に重なり合わない場合にはより良好な外見を有すると考えられる。すなわち、一部の実施形態において、挿入された更なるコンテンツは、小領域に跨らない場合にはより良好な外見を有することになると考えられる。例えば、挿入された更なるコンテンツが1つの領域内に含まれる場合、そうすると挿入された更なるコンテンツの色および外見は、領域とよく混ざり合うようにより容易に選ぶことができる。すなわち、広告など更なるコンテンツは、更なるコンテンツが小領域の芸術的なクロマトグラフィ面に適合するように選択することができる。
次に、一部の実施形態において、更なるコンテンツが2つ以上の領域の1つに完全に含まれるように更なるコンテンツを2つ以上の領域の1つに挿入する。図8Cは、シーン802への更なるコンテンツの挿入を例示する。具体的には、この実施例において、更なるコンテンツは、青空812の区域を含む第2の領域に挿入された「スカイブルーブルーベリだよ」の広告830を含む。例示するように、広告830は、完全に青色空812領域内に含まれて、その領域を越えて延在しない。
一部の実施形態において、バッファ区域が、更なるコンテンツと2つ以上の領域の1つの縁部との間に位置され得る。すなわち、広告など更なるコンテンツは、その領域の特定のバッファ区域内の後に残るように位置され得る。そのようなバッファ区域は、例えば、.25”、.5”、.75”、1”など特定の量、または、任意の他の量のオフセットを提供することができる。バッファ区域は、更なるコンテンツが領域の縁部に近づきすぎるのを防ぐ種類の制限された区域である。例えば、バッファ区域は、広告が領域の縁部に近づきすぎるのを防ぐ一助になる。バッファ区域は、更なるコンテンツの全ての側および領域の全ての縁部との間に維持され得る。
本実施例に例示するように、バッファ区域832が、広告が領域の縁部に近づきすぎないように広告830の周りに維持される。バッファ区域832は、任意の選ばれた、選定された、所定の、可変の、動的ななどのサイズまたは量の空間を含み得る。バッファ区域832は、領域の水平縁部について1つの値または設定、および、領域の垂直縁部について同じまたは異なる値または設定を含み得る。
一部の実施形態において、更なるコンテンツは、2つ以上の領域の1つの色に少なくともある程度基づいて選択される。例えば、例示する実施形態において、広告830は、「スカイブルーブルーベリ!」用である。青空812領域は色が青色であるので広告「スカイブルーブルーベリ!」は、青色に基づいて選ばれたが、それは、効果的な広告を提供することがあり得ると考えられるからである。すなわち、青地にブルーベリの考え方は、一部の消費者に訴えることがあり得る。更に、一部の実施形態において、広告830自体は、色が青色とするか、または、何らかの青色を有するか、または、青色、または、青色とよく合う他の色の一部の影を含むことができよう。そのような色の選択肢は、広告830が領域と良好に混ざり合うかまたは適合する一助になると考えられる。
図8Dは、更なるコンテンツが2つ以上の領域の1つ内に完全に含まれるように更なるコンテンツが2つ以上の領域の1つに挿入される別の例実施形態を例示する。具体的には、この実施例において、更なるコンテンツは、緑色の草深い丘810の区域を含む第1の領域に挿入されていた「ベストブランドグリーンビーンズ」の広告840を含む。例示するように、広告840は、緑色の草深い丘810領域内に完全に含まれ、かつ、その領域を越えて延在しない。更に、例示するように、バッファ区域842が、広告が領域の縁部に近づきすぎないように広告840の周りに維持される。上述したように、バッファ区域842は、任意の選ばれた、所定の、可変の、動的ななどのサイズまたは量の空間を含み得る。更に、バッファ区域842は、領域の水平縁部について1つの値または設定、および、領域の垂直縁部について同じまたは異なる値または設定を含み得る。
この実施例において、広告840は、「ベストブランドグリーンビーンズ」用であり、該広告は、領域の縁色に少なくともある程度基づいて選択されたものである。すなわち、緑色の草深い丘810領域が色が緑色であるので、広告「ベストブランドグリーンビーンズ」は、緑色に基づいて選ばれたが、それは効果的な広告を提供することがあり得ると考えられるからである。すなわち、緑地にグリーンビーンズの考え方は、一部の消費者に訴えることがあり得る。更に、一部の実施形態において、広告840自体は、色が緑色とするか、または、何らかの緑色を有するか、または、緑色、または、緑色とよく合う他の色の一部の影を含むことができよう。そのような色の選択肢は、広告840が領域と良好に混ざり合うかまたは適合して、広告の外見においてより自然に見せる一助になると考えられる。
カメラが動き回ってシーン802のカメラビューが変わるにつれて、領域のサイズも変わる。1つのオプションは、更なるコンテンツを領域において固定された状態に保つことである。したがって、一部の実施形態において、更なるコンテンツは、2つ以上の領域の1つ内に固定されてシーンにおいて移動することが許容されないように位置される。すなわち、更なるコンテンツは、カメラビューが変わるにつれて浮いたりまたは移動したりすることが許容されない。図8Eは、シーン802のこの特徴の実施例を例示する。例示するように、カメラビューは、左に移動済みである。広告840は、緑色の山腹810に固定またはピン留めされ、カメラが移動したとき、広告840は、画面から切れる。すなわち、広告840は、画面の右側からある程度切れるが、それは、広告840は緑色丘810上に固定されているからである。したがって、この実施形態において、広告840は固定されて、カメラビューとともに移動しない。
カメラ移動の別のオプションは、更なるコンテンツが領域のバッファ区域内に全体的に留まるように該コンテンツを浮動させることである。したがって、一部の実施形態において、更なるコンテンツは、該コンテンツがシーンにおける2つ以上の領域の1つ内で移動することが許容されるように位置される。すなわち、更なるコンテンツは、カメラビューが変わるにつれて浮いたり、または、移動したりすることが許容される。図8Fは、シーン802のこの特徴の実施例を例示する。例示するように、カメラビューは、図8Eの場合と同じ量だけ左に移動済みである。今度は、広告840は、シーンにおいてまだ完全に見えるが、それは、やはり、カメラの移動とともに移動した、つまり、浮動したからである。すなわち、この実施形態では、広告840は、カメラビューが移動したときに画面から切れないが、それは、広告は、カメラビューの移動とともに移動する、つまり、浮動することが許容されるからである。
この実施形態において広告840が移動しているので、そのような移動は、また、一部の実施形態において、所望のバッファ区域842を広告840と緑色の草深い丘810領域の縁部との間に維持することを含むことができる。所望のバッファ区域842を、広告が領域の縁部に近づきすぎないように広告840の周りに維持することができる。一部の実施形態において、バッファ区域842のサイズは、カメラビューの移動との広告840の移動に対応するように動的に調整される。例えば、バッファ区域842は、広告840が領域の中心内に全体的に留まるように調整され得るが、これは、必要条件ではない。カメラが移動するにつれて、広告840は、広告840が山腹上に留まるようにカメラとともに移動する。広告840は、カメラが移動するにつれて視聴者が該広告を見続けるように、中心が領域においてまたはバッファ区域内にある状態が保たれ得る。
また、一部の実施形態におけるカメラ移動の更に別のオプションは、初めに更なるコンテンツを固定し、その後、少しカメラ移動に追いつくように少し浮動させることである。これであれば視聴者の注意を得るであろうと考えられ、これにより挿入された広告をより効果的にすることができよう。
上述したように、一部の実施形態において、バッファ区域が、更なるコンテンツの項目の周り中に維持され得る。例えば、バッファ区域が、更なるコンテンツと領域の水平縁部との間に維持され得、バッファ区域が、更なるコンテンツと領域の垂直縁部との間に維持され得る。一部の実施形態において、バッファ区域のサイズは、更なるコンテンツが領域内を中心とするように設定され得る。例えば、更なるコンテンツは、領域内で垂直にのみ中心があり得るか、または、領域内で水平にのみ中心があり得るか、または、領域内で垂直および水平の両方に中心があり得る。しかしながら、そのようなセンタリングは必要条件ではないことを十分理解されたい。例えば、一部の実施形態において、更なるコンテンツは、領域の任意の所望の1以上の縁部のより近く位置決めされ得る。更に、一部の実施形態において、領域は、形状が矩形または正方形ではない場合がある。従って、バッファ区域は、更なるコンテンツと任意の形状を有する領域の任意の縁部との間で維持され得る。
図8Gおよび図8Hは、水平および垂直の両方のバッファ区域の使用の実施例を例示する。具体的には、シーン802は、先述したように、第1の対象の区域820、挿入区域822、緑色の草深い丘810、および青空812を含む。しかしながら、この実施例において、茶色の木850が、緑色草深い丘810に位置する。茶色の木850は、緑色の草深い丘810の区域を含む第1の領域および青空812の区域を含む第2の領域の両方に重なり合う。茶色の木850は、緑色の草深い丘810の区域を含む第1の領域を分割し、かつ、青空812の区域を含む第2の領域を分割する効果を有する。すなわち、木850は、第1の領域を2つのより小さい領域に分割し、かつ、第2の領域を2つのより小さい領域に分割する効果を有する。先に論じたように、領域は、領域が色に基づいて定義されるので分割される。従って、茶色の木850は、緑色の草深い丘810を分割し、茶色の木850は、青空812を分割する。
図8Hは、緑色の草深い丘810の区域を含む今はより小さい第1の領域に挿入されている広告852を例示する。例示するように、広告852は、この今はより小さい領域内に完全に含まれ、かつ、その領域を越えて延在しない。更に例示するように、バッファ区域は、広告852の周り中に維持される。バッファ区域は、広告852が領域の縁部にどのくらい近くなるか制御するために使用され得る。
具体的には、この実施形態において、バッファ区域854は、広告852と領域の垂直縁部との間に維持される。この実施例において、領域の垂直縁部は、左側では茶色の木850を、右側では挿入区域822の右縁部を含む。バッファ区域856は、また、広告852と領域の水平縁部との間に維持される。この実施例において、領域の水平縁部は、上側では緑色の草深い丘810の頂部を、下側では挿入区域822の下縁部を含む。
上述したようにと同様に、バッファ区域854および856は、任意の選ばれた、選定された、所定の、可変の、動的ななどのサイズまたは量の空間を含み得る。一部の実施形態において、バッファ区域854および856は、同じ設定または値を有する必要はなく、該区域を共にまたは別々に制御することができる。更に、一部の実施形態において、垂直バッファ区域854の左右の成分は、同じ設定または値を有する必要はなく、該区域を共にまたは別々に制御することができる。同様に、一部の実施形態において、水平バッファ区域856の上下の成分は、同じ設定または値を有する必要はなく、該区域を共にまたは別々に制御することができる。一部の実施形態において、バッファ区域854および856は、ユーザにより制御および/または手作業で設定される。一部の実施形態において、バッファ区域854および856は、アプリケーションまたはプログラミングにより自動的に制御および/または手作業で設定される。
先述したように、一部の実施形態において、更なるコンテンツは、更なるコンテンツが2つ以上の領域の1つ内に完全に含まれるように2つ以上の領域の1つに挿入される。しかしながら、これは、全ての実施形態により必要条件とされるわけではないことを理解されたい。すなわち、一部の実施形態において、更なるコンテンツは、2つ以上の領域の1つ内に完全に含まれる必要はなく、かつ、2つ以上の領域内へ延在し、跨り、および/または重なり合うことが許容される。
したがって、メディアに挿入されるべきである広告など更なるコンテンツの場所およびタイミングを判定するのに使用され得る方法の様々な実施形態を上述してきた。例えば、一部の実施形態において、誰かが、コンテンツのフレームのシーケンスを含む映像を撮り得る。上述した方法の1つまたはそれ以上に従って動作するツールが、映像を分析するために使用され得る。一部の実施形態において、第1の対象の区域は、映像内の1つのフレームまたは画像において、または、映像のフレームのシーケンスにより示されるシーンにおいて識別される。第1の対象の区域は、上述の顔認識手法を使用して、および/または先述したようにアクティビティを有する区域をシーンにおいて識別することにより識別され得る。一部の実施形態において、第1の対象の区域は、1つまたはそれ以上の広告など、更なるコンテンツの挿入により視点から妨げられないかまたは遮断されないことになる区域を含む。
一部の実施形態において、第1の対象の区域が識別された後、第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域が、その後、画像内またはシーンにおいて識別される。広告など更なるコンテンツを挿入区域に挿入することにより第1の対象の区域の視野は、更なるコンテンツにより妨げられたりまたは遮断されたりしない。したがって、一部の実施形態において、映像内の画像またはシーンは、第1の対象の区域および挿入区域に分類される。挿入区域は、1つまたはそれ以上の広告など、挿入された更なるコンテンツを受容するために開放されている。このようにして、更なるコンテンツは、特定の閾値を満たしおよび/またはアクティビティを有する顔を有する区域に挿入されないことになる。したがって、一部の実施形態において、顔認識または検出が、広告が挿入されていない空間を識別するために使用され得、顔認識または検出は、1つまたはそれ以上の広告に向けて画像またはシーンの残りをおそらく開放する。
一部の実施形態において、挿入区域は、該区域が色に基づいて2つ以上の領域に分割することができるかどうか判定するために更に分析される。例えば、画像またはシーン内の開放スポットは、領域を作成するために色に基づいて再分割され得る。一部の実施形態において、広告など更なるコンテンツは、該コンテンツが1つの領域内に完全にあって異なる領域全体に跨らないように位置される。異なる領域に跨ると、更なるコンテンツがいいかげんに見えるようになると考えられる。広告など更なるコンテンツは、該コンテンツが1つの色領域内にきちんと位置された場合にはより自然に見えることになると更に考えられる。したがって、一部の実施形態において、領域は色に基づいて定義され、広告など更なるコンテンツは、該コンテンツを美観的により感じの良くするために該コンテンツが領域の色に適合するように選択され得る。
上記の方法は、静止画像、写真、および画像、並びに、映像形式コンテンツ、映画、テレビ、映像などにおいてなど、コンテンツのフレームのシーケンスなど、動画形式のコンテンツに適用され得る。一部の実施形態において更に、上述した方法は、リアルタイムで動作する。すなわち、例えば、一部の実施形態において、映像コンテンツの項目が視聴者に再生され得、コンテンツが再生されて視聴者が見ている間、第1の対象の区域を識別する、挿入区域を識別する、挿入領域を領域に分割する、および、更なるコンテンツを挿入するという上記のステップの1つまたはそれ以上が、視聴者がコンテンツ再生を観ている間にリアルタイムで実行され得る。したがって、例えば、一部の実施形態において、顔認識を使用して第1の対象の区域を判定し、挿入区域を判定し、挿入領域を領域に分割し、その後更なるコンテンツを挿入するという上述した手法は、視聴者がコンテンツ再生を見ている間にリアルタイムで実行され得る。
これとは対照的に、一部の実施形態において、上記の方法の1つまたはそれ以上は、非リアルタイムで動作する。すなわち、例えば、一部の実施形態において、第1の対象の区域を識別する、挿入区域を識別する、挿入領域を領域に分割する、および、更なるコンテンツを挿入するという上記のステップの1つまたはそれ以上、は、コンテンツが視聴者に再生される前にコンテンツの項目に関して実行され得る。または、別の代替方法として、一部の実施形態において、上記のステップの1つまたは一部は、非リアルタイム内で実行され得、ステップの1つまたは一部は、リアルタイムで実行され得る。すなわち、例えば、一部の実施形態において、第1の対象の区域を識別する、挿入区域を識別する、および、挿入区域を領域に分割するステップは、コンテンツが視聴者に再生される前にコンテンツの項目に関して実行され得、その後、広告など更なるコンテンツを挿入するステップは、視聴者がコンテンツ再生を見ている間にリアルタイムでコンテンツに関して実行され得る。ステップの任意の組み合わせが、非リアルタイムおよびリアルタイムで実行され得ることを理解されたい。
一部の実施形態において、ユーザは、例えば、セットトップボックス、ケーブルボックス、エンターテイメントシステム、ゲームコンソール、コンピュータ、テレビなどの任意の1つまたはそれ以上など任意の形式のプロセッサベースの装置を使用してコンテンツを再生および視聴し得る。任意のそのようなデバイスは、外部ディスプレイに接続され得るか、または、一体型または内蔵ディスプレイを有し得る。一部の実施形態において、そのようなプロセッサベースの装置は、上記の方法および手法の1つまたはそれ以上のステップにより処理および/または修正されたか、または、処理および/または修正されることになるコンテンツの項目を受信および再生し得る。例えば、一部の実施形態において、そのようなプロセッサベースの装置は、上記の方法および手法の1つまたはそれ以上のステップにより以前に処理および/または修正されたコンテンツの項目を受信および再生し得る。これは、コンテンツの項目が上記の方法および手法の1つまたはそれ以上のステップにより以前に処理および/または修正されたことから上記のステップの少なくとも1つまたはそれ以上が非リアルタイムで実行される実施例を含む。前回の処理および/または修正は、異なるプロセッサベースの装置により実行され得、該装置は、任意の形式のコンピュータ、サーバ、ワークステーション、メインフレームコンピュータ、中央計算機などを含み得るか、または、セットトップボックス、ケーブルボックス、エンターテイメントシステム、ゲームコンソール、コンピュータ、テレビなどの任意の1つまたはそれ以上を含み得る。または、以前の処理および/または修正は、同じプロセッサベースの装置により実行され得る。
別の実施例として、一部の実施形態において、そのようなプロセッサベースの装置は、コンテンツの項目を受信、処理、および再生し得る。すなわち、プロセッサベースの装置は、上記の方法および手法の1つまたはそれ以上のステップに従って、リアルタイムでコンテンツの項目を処理および/または修正する。そのようなシナリオにおいて、一部の実施形態において、処理は、セットトップボックス、ケーブルボックス、エンターテイメントシステム、ゲームコンソール、コンピュータ、テレビなどの任意の1つまたはそれ以上を使用して視聴者の家庭、会社、または他の場所で行われ得る。
一部の実施形態において、上記の手法を使用して処理または修正されたか、または、処理または修正されることになるコンテンツの第1の部分または項目が、1人またはそれ以上の視聴者に再生されるときにコンテンツの第2の部分または項目とペアリングされ得る。例えば、広告など更なるコンテンツが上記の手法を使用して挿入されたコンテンツの第1の部分または項目が、コンテンツの副または主部分または項目とペアリングされ得、その後、コンテンツのこの2つの部分は、1人またはそれ以上の視聴者に順番に再生される。
図9は、本発明の実施形態によるそのようなペアリングの実施例を例示する。具体的には、時間軸線902が例示されている。コンテンツ904の第1の部分または項目は次に、コンテンツ906の第2の部分または項目がある。コンテンツ904の第1の部分または項目は、コンテンツのフレームの第1のシーケンスを含み得、コンテンツ906の第2の部分または項目は、コンテンツのフレームの第2のシーケンスを含み得る。一部の実施形態において、コンテンツ904の第1の部分または項目およびコンテンツ906の第2の部分または項目は、コンテンツの同じ項目の一部であり得るか、または、コンテンツの2つの別個の項目と考えられ得る。一例として、コンテンツ904の第1の部分または項目およびコンテンツ906の第2の部分または項目は、1つまたはそれ以上の映像、映画、テレビ番組、などを含み得る。一部の実施形態において、コンテンツ906の第2の部分または項目は、主たる1次コンテンツの項目を含み、一方、コンテンツ904の第1の部分または項目は、概してより短い映像を含む。
例示するように、コンテンツ904の第1の部分または項目は、更なるコンテンツ908をその中に挿入するために上記の手法を使用して修正されたものである。例えば、一部の実施形態において、第1の対象の区域が、コンテンツ904の第1の部分または項目において識別され、その後、挿入区域が識別され、その後、更なるコンテンツ908はその中で挿入された場合がある。一部の実施形態において、更なるコンテンツ908は、1つまたはそれ以上の広告を含み得る。コンテンツ904および906の部分が順番に再生されるとき、フレーム904の第1のシーケンスは、挿入された更なるコンテンツ908を再生および表示し、その後、フレーム906の第2のシーケンスが再生される。再生されるとき、コンテンツ904および906の部分および挿入された更なるコンテンツ908が、ユーザのディスプレイ画面上で表示される。そのような実施形態の例示的なシナリオは、広告が上記の技術を用いて中に挿入された映像が映画、テレビ番組、ドキュメンタリ、ミュージックビデオ、ニュース番組など1次コンテンツの前に再生されるモデルである。
したがって、ユーザがコンテンツ906の第2の部分または項目を視聴するために、ユーザは、コンテンツ904の第1の部分または項目をまず視聴しなければならず、これは、広告を含み得る挿入された更なるコンテンツ908を視聴するステップを含む。すなわち、ユーザは、第1のコンテンツ904の第1の部分または項目を視聴するまでコンテンツ906の第2の部分または項目にはアクセスしない。このようにして、更なるコンテンツ908の形の広告が、ユーザが一部の実施形態において主たる1次コンテンツの項目を含み得るコンテンツ906の第2の部分または項目へのアクセスにアクセスする前に再生され得る。
一部の実施形態において、ユーザは、フレーム904の第1のシーケンス再生中に挿入された更なるコンテンツ908を飛び抜かすオプションが提供される。一部の実施形態において、この飛び抜かしオプションは、挿入された更なるコンテンツ908のみを飛び抜かして、その後、フレーム906の第2のシーケンスを再生する前にフレーム904の第1のシーケンスの残りを再生し続ける。一部の実施形態において、飛び抜かしオプションは、挿入された更なるコンテンツ908、並びに、フレーム904の第1のシーケンスの残りを飛び抜かして、その後、フレーム906の第2のシーケンスの開始にて改めて再生し始める。すなわち、飛び抜かしオプションは、前へ第2のシーケンスのフレーム906まで飛ぶ。どちらかの実施形態においても、飛び抜かしオプションは、少なくとも挿入された更なるコンテンツ908を飛び抜かす。したがって、挿入された更なるコンテンツ908を飛び抜かすステップは、挿入された更なるコンテンツ908のみを飛び抜かし、その後、フレーム904の第1のシーケンスの残りを再生し続けることを意味するものとし、および/または、該飛び抜かすステップは、前へ第2のシーケンスのフレーム906まで飛ぶことを意味するものとする。
一部の実施形態において、挿入された更なるコンテンツ908を飛び抜かすオプションは、経過した時間量の後にユーザに提供される。したがって、ユーザは、少なくとも経過した時間量にわたって挿入された更なるコンテンツ908を見ることが必要とされる。そのような実施形態の例示的なシナリオは、上記の技術を用いて広告が中に挿入された映像が1次コンテンツの前に再生され、かつ、ユーザは、経過した時間量の後に広告を飛び抜かすオプションが提供されるモデルである。経過した時間量は、任意の時間量を含み得る。
一部の実施形態において、挿入された更なるコンテンツ908を飛び抜かすオプションは、ユーザがユーザの画面上の何かをクリックすることに応答してユーザに提供される。例えば、一部の実施形態において、ユーザは、挿入された更なるコンテンツ908を飛び抜かすオプションをトリガするために該コンテンツが表示されたときに該コンテンツ908をクリックすることが必要とされ得る。または、一部の実施形態において、ユーザは、挿入された更なるコンテンツ908を飛び抜かすオプションをトリガするために他の何かをクリックすることが必要とされ得る。そのような実施形態の例示的なシナリオは、上記の技術を用いて広告が中に挿入された映像が1次コンテンツの前に再生され、かつ、ユーザは、ユーザの画面上に表示されたときの広告など、何かをクリックした後に広告を飛び抜かすオプションが提供されるモデルである。すなわち、ユーザは、1次コンテンツに直に入るためにどこかをクリックする。ユーザは、広告をクリックする必要はなく、ユーザは、どこかをクリックしなければならないだけである。
一部の実施形態において、コンテンツ904の第1の部分または項目はコンテンツ906の第2の部分または項目がバッファされている間に再生され得る。更に、一部の実施形態において、挿入された更なるコンテンツ908を飛び抜かすオプションは、コンテンツ906の第2の部分または項目のバッファが適切レベルになるまでユーザに提供されない。したがって、ユーザが速度の遅い帯域幅を有する場合、ユーザは、更なるコンテンツ908を飛び抜かすことができないことがあり得る。すなわち、更なるコンテンツ908を含むコンテンツ904の第1の部分または項目全体は、バッファがコンテンツ906の第2の部分または項目と適切なレベルになる前に再生されることがあり得る。これとは対照的に、また、ユーザが高速の帯域幅を有する場合、ユーザは、より素早く更なるコンテンツ908を飛び抜かすことが恐らくできることになる。
したがって、一部の実施形態において、挿入された更なるコンテンツ908を飛び抜かすオプションは、遅延されてすぐにはユーザに提供されない。例えば、一部の実施形態において、挿入された更なるコンテンツ908を飛び抜かすオプションは、コンテンツ906の第2の部分または項目のバッファ状態またはバッファリング進捗に基づいてユーザに提供され、該第2の部分または項目は、1次コンテンツを含み得る。一部の実施形態において、挿入された更なるコンテンツ908を飛び抜かすオプションは、業況または商況に基づいてユーザに提供される。例えば、また、挿入された更なるコンテンツ908が広告を含み、業況により、広告の視聴が増大されるべきと示唆される場合、挿入された更なるコンテンツ908を飛び抜かすオプションを提供する際の遅延を、視聴者に強制的に広告をもっと見させるために増大させることができよう。
一部の実施形態において、挿入された更なるコンテンツ908を飛び抜かすオプションをユーザに提供する際の遅延の量を調整する能力は、広告主が広告消費者はどのくらい忍容することになるかを測定する一助になり得る。
一部の実施形態において、更なるコンテンツ908は、コンテンツ904の第1の部分または項目ではなく、その代わりにコンテンツ906の第2の部分または項目に挿入され、コンテンツ906の第2の部分または項目は、主たる1次コンテンツを含む。一部の実施形態において、コンテンツ904の第1の部分または項目は、それ自体、従来の広告を含み、かつ、それでも、部分904を飛び抜かすオプションを含み得る。また、ユーザが飛び抜かすそのようなオプションを行使する場合、コンテンツ906の第2の部分または項目が再生されることになり、これであれば、広告を含み得る挿入された更なるコンテンツ908を再生するステップを含むであろう。
上述したように、一部の実施形態において、第1の対象の区域を識別するステップ、挿入区域を識別するステップ、および、更なるコンテンツを挿入するステップという上記のステップの1つまたはそれ以上は、視聴者がコンテンツ再生を見ている間にリアルタイムで実行され得る。一部の実施形態において、これは、また、ユーザがコンテンツ再生を見ている間にリアルタイムにおいて飛び抜かすオプションを提供するステップを含む。
一部の実施形態において、そのようなステップの1つまたはそれ以上は、非リアルタイムで実行され得る。例えば、第1の対象の区域を識別するステップ、挿入区域を識別するステップ、および、更なるコンテンツを挿入するステップという上記のステップの1つまたはそれ以上は、コンテンツがユーザに再生される前に実行され得る。例えば、フレームの第1のシーケンスが再生され得、フレームの第1のシーケンスは、フレームの第1のシーケンスにおいてフレームの少なくともいくつかにより示されるシーンに挿入された広告を含む。その後、フレームの第2のシーケンスが、フレームの第1のシーケンス後に再生され得、飛び抜かしオプションが、また、提供され得る。一部の実施形態において、フレームの第1および第2のシーケンスの再生の前に、広告は、顔認識手法を使用して1つまたはそれ以上の顔をシーンにおいて識別するステップと、識別された顔の少なくとも1つを集合的に第1の対象の区域と指定するステップと、シーンにおいて広告を第1の対象の区域を妨げない挿入区域に挿入するステップとを含み得るプロセスによりフレームの第1のシーケンスにおいてシーンに挿入される。
本明細書で説明する方法および手法は、多くの異なる形式のシステム、コンピュータ、グラフィクスワークステーション、テレビ、セットトップボックス、ケーブルボックス、エンターテイメントシステム、ゲームコンソール、テレビゲームシステム、DVDプレーヤ、DVR、メディアプレーヤ、ホームサーバ、テレビゲームコンソールなど、および、任意の他の形式のプロセッサベースのシステムまたは装置上で利用、実施、および/または実行され得る。図10を参照すると、任意のそのような実行例に使用され得るシステム1000が例示されている。システム1000の1つまたはそれ以上のコンポーネントは、上述の任意のシステムを実行するのに使用され得る。しかしながら、システム1000またはその任意の部分の使用は、もちろん、必要条件ではない。
一例として、システム1000は、中央演算装置(CPU)1002、グラフィックスプロセッシングユニット(GPU)1004、デジタル差分解析(DDA)ハードウェア1006、ランダムアクセスメモリ(RAM)1008、および、ディスクドライブなど大容量記憶装置1010を含むが、含むことが必要とされはしない。システム1000は、例えば、本明細書で言及したディスプレイの形式のいずれかを含め、任意の形式のディスプレイなど、ディスプレイ1012に結合または該ディスプレイと一体化され得る。システム1000は、プロセッサベースのシステムおよび/またはプロセッサベースの装置の実施例を含む。システム1000の例示したコンポーネントの全てが、そのようなプロセッサベースのシステムおよび/またはプロセッサベースの装置に必要とされるというわけではない。
CPU1002および/またはGPU1004は、本明細書で説明する方法および手法のステップを実行するか、または、実行するのを支援するために使用され得、様々なプログラムコンテンツ、画像、映像などが、ディスプレイ1012上でレンダリングされ得る。取り外し可能な記憶媒体1014は、任意選択的に大容量記憶装置1010とともに使用され得、該大容量記憶装置は、本明細書で説明する方法および手法を実行するコードを記憶するのに使用され得る。しかしながら、RAM1008または大容量記憶装置1010など記憶デバイスのいずれも、そのようなコードを記憶するのに使用され得る。更に、RAM1008または大容量記憶装置1010など記憶デバイスのいずれも、上述のデータベースを記憶するのに使用され得る。システム1000の全部または一部は、本明細書で言及する任意の形式のデバイスを含め、例えば、コンピュータ、ワークステーション、テレビ、テレビゲームコンソール、または、システム、または任意の他の形式のデバイスなど任意の形式のデバイスにおいて実施され得る。
入力デバイス(図示せず)が、また、含まれ得、かつ、任意の形式の入力デバイスまたは入力手法または方法を含み得る。例えば、入力デバイスはゲームコントローラ、ゲームパッド、ジョイスティック、マウス、ワンド、または、他の入力デバイスおよび/または入力手法を含み得る。入力デバイスは、無線または有線であり得、例えば、システム1000に無線で結合されるか、または、有線接続部を含み得る。
大容量記憶装置1010は、任意の形式のコンピュータ可読記憶または記録媒体または媒体類を含むかまたは備え得る。コンピュータ可読記憶または記録媒体または媒体類は、大容量記憶装置1010において固定され得るか、または、大容量記憶装置1010は、ディジタルビデオディスク(DVD)、ブルーレイディスク、コンパクトディスク(CD)、USB記憶デバイス、フロッピー(登録商標)ディスク、または、他の媒体など取り外し可能な記憶媒体1014を任意選択的に含み得る。一例として、大容量記憶装置1010は、ディスクドライブ、ハードディスクドライブ、フラッシュメモリデバイス、USB記憶デバイス、ブルーレイディスクドライブ、DVDドライブ、CDドライブ、フロッピーディスクドライブなどを含み得る。大容量記憶装置1010または取り外し可能な記憶媒体1014は、本明細書で説明する方法および手法を実行するコードまたはマクロを記憶するのに使用され得る。
したがって、取り外し可能な記憶媒体1014は、任意選択的に大容量記憶装置1010とともに使用され得、該大容量記憶装置は、上記の方法および手法を実行するプログラムコードなど、本明細書で説明する方法および手法を実行するプログラムまたはコンピューターコードを記憶するのに使用され得る。しかしながら、RAM1008または大容量記憶装置1010など記憶デバイスのいずれも、そのようなコードを記憶するのに使用され得る。例えば、そのような記憶デバイスのいずれも、コンソール、システム、コンピュータ、クライアント、サーバ、または、他のプロセッサベースの装置またはシステムに本明細書で説明する方法、コードおよび/または手法のいずれかのステップを実行または履行させるためのコンピュータプログラムまたはソフトウェアアプリケーションを記憶または実施する有形の非一過性コンピュータ可読記憶媒体の役目をし得る。更に、RAM1008または大容量記憶装置1010など記憶デバイスのいずれも、任意の必要とされるデータベースを記憶するのに使用され得る。
一部の実施形態において、上述の実施形態、方法、アプローチおよび/または手法の1つまたはそれ以上は、プロセッサベースの装置またはシステムにより実行可能な1つまたはそれ以上のコンピュータプログラム、または、ソフトウェアアプリケーションにおいて実行され得る。一例として、そのようなプロセッサベースのシステムは、プロセッサベースの装置つまりシステム1000、または、コンピュータ、エンターテイメントシステム、ゲームコンソール、グラフィクスワークステーション、サーバ、クライアント、ポータブル装置、パッドのようなデバイスなどを含み得る。そのようなコンピュータプログラムは、様々なステップおよび/または上記の方法および/または手法の特徴を実行するのに使用され得る。すなわち、コンピュータプログラムは、プロセッサベースの装置またはシステムに上述の機能を実行および達成するか、または、該機能を実行および達成するように該装置またはシステムを構成するように適合され得る。例えば、そのようなコンピュータプログラムは、上記の方法、ステップ、手法、または、特徴の任意の実施形態を実行するのに使用され得る。別の実施例として、そのようなコンピュータプログラムは、上記の実施形態、方法、アプローチおよび/または手法の任意の1つまたはそれ以上を使用する任意の形式のツールまたは類似のユーティリティを実行するのに使用され得る。一部の実施形態において、1つまたはそれ以上のそのようなコンピュータプログラムは、コンピュータゲーム、テレビゲーム、ロールプレイングゲーム(RPG)、他のコンピュータシミュレーション、または、オペレーティングシステム、BIOS、マクロ、または他のユーティリティなどのシステムソフトウェアを含み得る。一部の実施形態において、コンピュータプログラム内のまたは該プログラムなしのプログラムコードマクロ、モジュール、ループ、サブルーチン、コールなどが、上記の方法および/または手法の様々なステップおよび/または特徴を実行するのに使用され得る。一部の実施形態において、コンピュータプログラムは、本明細書で説明するコンピュータ可読記憶または記録媒体または媒体類のいずれかなど、コンピュータ可読記憶または記録媒体または媒体類上で記憶または実施され得る。
例えば、一部の実施形態において、本発明は、コンピュータへの入力のためのコンピュータプログラムを実施する媒体と、コンピュータに本明細書で説明する実施形態、方法、アプローチおよび/または手法の任意の1つまたはそれ以上に関与するステップの任意の1つまたはそれ以上を含むステップを履行または実行させる、媒体内で実施されるコンピュータプログラムとを含むコンピュータプログラム製品を提供する。例えば、一部の実施形態において、本発明は、プロセッサベースの装置またはシステムに、画像を分析するステップと、顔認識手法を使用して1つまたはそれ以上の顔を画像内で識別するステップと、識別された顔の少なくとも1つを集合的に第1の対象の区域と指定するステップと、第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域が画像内に存在するかどうか判定するステップとを含むステップを実行させるように適合された1つまたはそれ以上のコンピュータプログラムを記憶する1つまたはそれ以上の非一過性コンピュータ可読記憶媒体を提供する。
本発明は、プロセッサベースのシステムに、コンテンツのフレームのシーケンスを分析するステップと、視聴されることから妨げられるべきではないフレームのシーケンスにより示されるシーンにおいて第1の対象の区域を識別するステップと、第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域がシーンにおいて存在するかどうか判定するステップと、挿入区域を色に基づいて2つ以上の領域に分割することができるかどうか判定するステップと含むステップを実行させるように適合された1つまたはそれ以上のコンピュータプログラムを記憶する1つまたはそれ以上の非一過性コンピュータ可読記憶媒体を提供する。
本発明は、プロセッサベースのシステムに、コンテンツのフレームの第1のシーケンスを分析するステップと、顔認識手法を使用してフレームの第1のシーケンスにより示されるシーンにおいて1つまたはそれ以上の顔を識別するステップと、識別された顔の少なくとも1つを集合的に第1の対象の区域と指定するステップと、第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域がシーンにおいて存在するかどうか判定するステップとを含むステップを実行させるように適合された1つまたはそれ以上のコンピュータプログラムを記憶する1つまたはそれ以上の非一過性コンピュータ可読記憶媒体を提供する。
本発明は、プロセッサベースのシステムに、フレームの第1のシーケンスを再生するステップであって、フレームの第1のシーケンスは、フレームの第1のシーケンスにおいてフレームの少なくともいくつかにより示されるシーンに挿入された広告を含む、ステップと、フレームの第1のシーケンス後にフレームの第2のシーケンスを再生するステップであって、広告は、顔認識手法を使用して1つまたはそれ以上の顔をシーンにおいて識別するステップと、識別された顔の少なくとも1つを集合的に第1の対象の区域と指定するステップと、シーンにおいて広告を第1の対象の区域を妨げない挿入区域に挿入するステップとを含むプロセスによりフレームの第1のシーケンスにおけるシーンに挿入された、ステップとを含むステップを実行させるように適合された1つまたはそれ以上のコンピュータプログラムを記憶する1つまたはそれ以上の非一過性コンピュータ可読記憶媒体を提供する。
一部の実施形態において、本発明は、上記の方法、アプローチおよび/または手法の任意の1つまたはそれ以上のステップを含むステップを実行するように構成されるプロセッサベースのシステムまたはプロセッサベースの装置を提供する。例えば、一部の実施形態において、本発明は、画像を分析するステップと、顔認識手法を使用して1つまたはそれ以上の顔を画像内で識別するステップと、識別された顔の少なくとも1つを集合的に第1の対象の区域と指定するステップと、第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域が画像内に存在するかどうか判定するステップとを含むステップを実行するように構成されるプロセッサベースの装置を提供する。
一部の実施形態において、本発明は、コンテンツのフレームのシーケンスを分析するステップと、視聴されることから妨げられるべきではないフレームのシーケンスにより示されるシーンにおいて第1の対象の区域を識別するステップと。第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域がシーンにおいて存在するかどうか判定するステップと、挿入区域を色に基づいて2つ以上の領域に分割することができるかどうか判定するステップとを含むステップを実行するように構成されるプロセッサベースの装置を提供する。
一部の実施形態において、本発明は、コンテンツのフレームの第1のシーケンスを分析するステップと、顔認識手法を使用してフレームの第1のシーケンスにより示されるシーンにおいて1つまたはそれ以上の顔を識別するステップと、識別された顔の少なくとも1つを集合的に第1の対象の区域と指定するステップと、第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域がシーンにおいて存在するかどうか判定するステップとを含むステップを実行するように構成されるプロセッサベースの装置を提供する。
本明細書で開示する本発明を特定の実施形態および用途により説明してきたが、特許請求の範囲で定めた本発明の範囲から逸脱することなく、当業者により多数の改変および変形を行うことができる。
Claims (37)
- プロセッサベースのシステムに、
画像を分析するステップと、
顔認識手法を使用して1つまたはそれ以上の顔を前記画像内で識別するステップと、
前記識別された1以上の顔の各々のサイズおよび焦点の鮮明度を判定するステップと、
前記識別された1以上の顔の判定された前記サイズ、重要性、および焦点の鮮明度に基づいて前記識別された1以上の顔の少なくとも1つを集合的に第1の対象の区域と指定するステップと、
前記第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域が前記画像内に存在するかどうか判定するステップとを含むステップを実行させるように適合された1つまたはそれ以上のコンピュータプログラムを記憶する非一過性コンピュータ可読記憶媒体。 - 前記識別された1以上の顔の判定された前記サイズおよび焦点の鮮明度に基づいて前記識別された1以上の顔の少なくとも1つを集合的に第1の対象の区域と指定するステップは、
前記識別された顔のうちの最大の顔、および、前記識別された顔のうちの前記最大の顔の特定の百分率よりも小さくない前記識別された顔のうちの顔のみを選択するステップを含む、請求項1に記載の非一過性コンピュータ可読記憶媒体。 - 前記特定の百分率は、ユーザにより指定される、請求項2に記載の非一過性コンピュータ可読記憶媒体。
- 前記1つまたはそれ以上のコンピュータプログラムは、更に、前記プロセッサベースのシステムに、
前記更なるコンテンツを前記挿入区域に挿入するステップを含むステップを実行させるように適合される、請求項1〜請求項3のいずれか1項に記載の非一過性コンピュータ可読記憶媒体。 - 前記1つまたはそれ以上のコンピュータプログラムは、更に、前記プロセッサベースのシステムに、
前記挿入区域を色に基づいて2つ以上の領域に分割することができるかどうか判定するステップを含むステップを実行させるように適合される、請求項1〜請求項3のいずれか1項に記載の非一過性コンピュータ可読記憶媒体。 - 前記1つまたはそれ以上のコンピュータプログラムは、更に、前記プロセッサベースのシステムに、
前記挿入区域を色に基づいて2つ以上の領域に分割するステップと、
前記更なるコンテンツが前記2つ以上の領域の前記1つ内に完全に含まれるように前記更なるコンテンツを前記2つ以上の領域の1つに挿入するステップとを含むステップを実行させるように適合される、請求項1〜請求項3のいずれかに記載の非一過性コンピュータ可読記憶媒体。 - 前記画像は、コンテンツのフレームのシーケンスにおける1つのフレームを含む、請求項1〜請求項3のいずれか1項に記載の非一過性コンピュータ可読記憶媒体。
- 1つまたはそれ以上の顔を前記画像内で識別する前記ステップは、1つまたはそれ以上の顔をフレームの前記シーケンスにより示されるシーンにおいて識別するステップを含み、
前記第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域が前記画像内に存在するかどうか判定する前記ステップは、前記第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域が前記シーンにおいて存在するかどうか判定するステップを含む、請求項7に記載の非一過性コンピュータ可読記憶媒体。 - 前記1つまたはそれ以上のコンピュータプログラムは、更に、前記プロセッサベースのシステムに、フレームの前記シーケンスが再生されているときに前記挿入区域が利用可能である時間量を判定するステップを含むステップを実行させるように適合される、請求項8に記載の非一過性コンピュータ可読記憶媒体。
- 前記1つまたはそれ以上のコンピュータプログラムは、更に、前記プロセッサベースのシステムに、前記挿入区域のサイズを判定するステップを含むステップを実行させるように適合される、請求項8に記載の非一過性コンピュータ可読記憶媒体。
- プロセッサベースのシステムに、
コンテンツのフレームのシーケンスを分析するステップと、
視聴されることから妨げられるべきではないフレームの前記シーケンスにより示されるシーンにおいて第1の対象の区域を識別するステップと、
前記第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域が前記シーンにおいて存在するかどうか判定するステップと、
前記挿入区域が一般的に異なる色を有する2つ以上の領域を前記挿入区域内に含むかどうか判定するステップと、
前記更なるコンテンツが一般的に異なる色を有する前記2つ以上の領域の1つ内に完全に含まれるように前記更なるコンテンツを前記2つ以上の領域の前記1つに挿入するステップであって、挿入される前記更なるコンテンツの色および外見が一般的に異なる色を有する前記2つ以上の領域の1つとよく混ざり合うように選ばれ、可変の量の空間を含むバッファ区域が挿入される前記更なるコンテンツの周りに維持される、前記挿入するステップとを含むステップを実行させるように適合された1つまたはそれ以上のコンピュータプログラムを記憶する非一過性コンピュータ可読記憶媒体。 - 前記1つまたはそれ以上のコンピュータプログラムは、更に、前記プロセッサベースのシステムに、
前記挿入区域を一般的に異なる色を有する前記2つ以上の領域に分割するステップを含むステップを実行させるように適合される、請求項11に記載の非一過性コンピュータ可読記憶媒体。 - 前記1つまたはそれ以上のコンピュータプログラムは、更に、前記プロセッサベースのシステムに、
一般的に異なる色を有する前記2つ以上の領域の1つの色に少なくともある程度基づいて前記更なるコンテンツを選択するステップを含むステップを実行させるように適合される、請求項11に記載の非一過性コンピュータ可読記憶媒体。 - 前記更なるコンテンツが一般的に異なる色を有する前記2つ以上の領域の1つ内に完全に含まれるように前記更なるコンテンツを前記2つ以上の領域の前記1つに挿入する前記ステップは、
前記バッファ区域を前記更なるコンテンツと前記2つ以上の領域の前記1つの縁部との間に維持するステップを含む、請求項11〜請求項13のいずれか1項に記載の非一過性コンピュータ可読記憶媒体。 - 前記更なるコンテンツが一般的に異なる色を有する前記2つ以上の領域の1つ内に完全に含まれるように前記更なるコンテンツを前記2つ以上の領域の前記1つに挿入する前記ステップは、
前記シーンにおいて前記2つ以上の領域の前記1つ内に固定され、かつ、前記シーンにおいて動くことが許容されないように前記更なるコンテンツを位置するステップを含む、請求項11〜請求項13のいずれか1項に記載の非一過性コンピュータ可読記憶媒体。 - 前記更なるコンテンツが一般的に異なる色を有する前記2つ以上の領域の1つ内に完全に含まれるように前記更なるコンテンツを前記2つ以上の領域の前記1つに挿入する前記ステップは、
前記シーンにおいて前記2つ以上の領域の前記1つ内で移動することが許容にされるように前記更なるコンテンツを位置するステップを含む、請求項11〜請求項13のいずれか1項に記載の非一過性コンピュータ可読記憶媒体。 - 視聴されることから妨げられるべきではないフレームの前記シーケンスにより示されるシーンにおいて第1の対象の区域を識別する前記ステップは、
顔認識手法を使用して1つまたはそれ以上の顔を前記シーンにおいて識別するステップを含む、請求項11〜請求項13のいずれか1項に記載の非一過性コンピュータ可読記憶媒体。 - 視聴されることから妨げられるべきではないフレームの前記シーケンスにより示されるシーンにおいて第1の対象の区域を識別する前記ステップは、
アクティビティを有する区域を前記シーンにおいて識別するステップを含む、請求項11〜請求項13のいずれか1項に記載の非一過性コンピュータ可読記憶媒体。 - コンテンツのフレームの第1のシーケンスを分析するステップと、
顔認識手法を使用してフレームの前記第1のシーケンスにより示されるシーンにおいて1つまたはそれ以上の顔を識別するステップと、
前記識別された1以上の顔の各々のサイズおよび焦点の鮮明度を判定するステップと、
前記識別された1以上の顔の判定された前記サイズ、重要性、および焦点の鮮明度に基づいて前記識別された1以上の顔の少なくとも1つを集合的に第1の対象の区域と指定するステップと、
前記第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域が前記シーンにおいて存在するかどうか判定するステップと、
を含む、方法。 - 前記更なるコンテンツをフレームの前記第1のシーケンスにより示された前記シーンにおいて前記挿入区域に挿入するステップを更に含む、請求項19に記載の方法。
- 前記コンテンツは、フレームの前記第1のシーケンス後にフレームの第2のシーケンスを更に含む、請求項20に記載の方法。
- フレームの前記第1のシーケンスが前記挿入された更なるコンテンツを再生および表示し、その後、フレームの前記第2のシーケンスが再生するように前記コンテンツを再生するステップを更に含む、請求項21に記載の方法。
- 前記コンテンツを前記に再生する前記ステップは、
前記挿入された更なるコンテンツを飛び抜かすオプションをフレームの前記第1のシーケンス中にユーザに提供するステップを更に含む、請求項22に記載の方法。 - 前記挿入された更なるコンテンツを飛び抜かす前記オプションは、経過した時間量の後にユーザに提供される、請求項23に記載の方法。
- 前記挿入された更なるコンテンツを飛び抜かす前記オプションは、前記ユーザが前記ユーザの画面上の何かをクリックすることに応答して前記ユーザに提供される、請求項23に記載の方法。
- プロセッサベースの装置を用いて前記コンテンツを再生するステップをさらに含む、請求項19〜請求項25のいずれか1項に記載の方法。
- 前記プロセッサをベースとする装置は、セットトップボックス、ケーブルボックス、エンターテイメントシステム、ゲームコンソール、コンピュータ、またはテレビの任意の1つまたはそれ以上を含む、請求項26に記載の方法。
- コンテンツのフレームのシーケンスを分析するステップと、
視聴されることから妨げられるべきではないフレームの前記シーケンスにより示されるシーンにおいて第1の対象の区域を識別するステップと、
前記第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域が前記シーンにおいて存在するかどうか判定するステップと、
前記挿入区域が一般的に異なる色を有する2つ以上の領域を前記挿入区域内に含むかどうか判定するステップと、
前記更なるコンテンツが一般的に異なる色を有する前記2つ以上の領域の1つ内に完全に含まれるように前記更なるコンテンツを前記2つ以上の領域の前記1つに挿入するステップであって、挿入される前記更なるコンテンツの色および外見が一般的に異なる色を有する前記2つ以上の領域の1つとよく混ざり合うように選ばれ、可変の量の空間を含むバッファ区域が挿入される前記更なるコンテンツの周りに維持される、前記挿入するステップと、
を含む、方法。 - 前記挿入区域を一般的に異なる色を有する前記2つ以上の領域に分割するステップを更に含む、請求項28に記載の方法。
- プロセッサベースの装置を用いて前記コンテンツを再生するステップをさらに含む、請求項28または請求項29に記載の方法。
- 前記プロセッサをベースとする装置は、セットトップボックス、ケーブルボックス、エンターテイメントシステム、ゲームコンソール、コンピュータ、またはテレビの任意の1つまたはそれ以上を含む、請求項30に記載の方法。
- プロセッサベースのシステムに、
フレームの第1のシーケンスを再生するステップであって、フレームの前記第1のシーケンスは、フレームの前記第1のシーケンスにおいてフレームの少なくともいくつかにより示されるシーンに挿入された広告を含む、ステップと、
フレームの前記第1のシーケンス後にフレームの第2のシーケンスを再生するステップであって、前記広告は、
顔認識手法を使用して1つまたはそれ以上の顔を前記シーンにおいて識別するステップと、
前記識別された1以上の顔の各々のサイズおよび焦点の鮮明度を判定するステップと、
前記識別された1以上の顔の判定された前記サイズ、重要性、および焦点の鮮明度に基づいて前記識別された1以上の顔の少なくとも1つを集合的に第1の対象の区域と指定するステップと、
前記シーンにおいて前記広告を前記第1の対象の区域を妨げない挿入区域に挿入するステップとを含むプロセスによりフレームの前記第1のシーケンスにおけるシーンに挿入された、ステップとを含むステップを実行させるように適合された1つまたはそれ以上のコンピュータプログラムを記憶する非一過性コンピュータ可読記憶媒体。 - 前記1つまたはそれ以上のコンピュータプログラムは、更に、前記プロセッサベースのシステムに、
前記広告を飛び抜かすオプションをフレームの前記第1のシーケンスの再生中にユーザに提供するステップを含むステップを実行させるように適合される、請求項32に記載の非一過性コンピュータ可読記憶媒体。 - 前記広告を飛び抜かす前記オプションは、経過した時間量の後に前記ユーザに提供される、請求項33に記載の非一過性コンピュータ可読記憶媒体。
- 前記広告を飛び抜かす前記オプションは、前記ユーザが前記ユーザの画面上の何かをクリックすることに応答して前記ユーザに提供される、請求項33または請求項34に記載の非一過性コンピュータ可読記憶媒体。
- コンテンツを格納するように構成された記憶媒体と、
プロセッサベースの装置と、
を含むシステムであって、前記プロセッサベースの装置は、
画像を分析するステップと、
顔認識手法を使用して1つまたはそれ以上の顔を前記画像内で識別するステップと、
前記識別された1以上の顔の各々のサイズおよび焦点の鮮明度を判定するステップと、
前記識別された1以上の顔の判定された前記サイズ、重要性、および焦点の鮮明度に基づいて前記識別された1以上の顔の少なくとも1つを集合的に第1の対象の区域と指定するステップと、
前記第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域が前記画像内に存在するかどうか判定するステップとを含むステップを実行するように構成された、システム。 - コンテンツを格納するように構成された記憶媒体と、
プロセッサベースの装置と、
を含むシステムであって、前記プロセッサベースの装置は、
コンテンツのフレームのシーケンスを分析するステップと、
視聴されることから妨げられるべきではないフレームの前記シーケンスにより示されるシーンにおいて第1の対象の区域を識別するステップと、
前記第1の対象の区域を妨げることなく更なるコンテンツを挿入することができる挿入区域が前記シーンにおいて存在するかどうか判定するステップと、
前記挿入区域が一般的に異なる色を有する2つ以上の領域を前記挿入区域内に含むかどうか判定するステップと、
前記更なるコンテンツが一般的に異なる色を有する前記2つ以上の領域の1つ内に完全に含まれるように前記更なるコンテンツを前記2つ以上の領域の前記1つに挿入するステップであって、挿入される前記更なるコンテンツの色および外見が一般的に異なる色を有する前記2つ以上の領域の1つとよく混ざり合うように選ばれ、可変の量の空間を含むバッファ区域が挿入される前記更なるコンテンツの周りに維持される、前記挿入するステップとを含むステップを実行するように構成された、システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/175,996 | 2014-02-07 | ||
US14/175,996 US8988609B2 (en) | 2007-03-22 | 2014-02-07 | Scheme for determining the locations and timing of advertisements and other insertions in media |
JP2019016736A JP2019110544A (ja) | 2014-02-07 | 2019-02-01 | メディアにおける広告および他の挿入物の位置およびタイミングを判定するスキーム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019016736A Division JP2019110544A (ja) | 2014-02-07 | 2019-02-01 | メディアにおける広告および他の挿入物の位置およびタイミングを判定するスキーム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021100263A true JP2021100263A (ja) | 2021-07-01 |
Family
ID=53778333
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016550473A Pending JP2017510167A (ja) | 2014-02-07 | 2015-01-14 | メディアにおける広告および他の挿入物の位置およびタイミングを判定するスキーム |
JP2019016736A Pending JP2019110544A (ja) | 2014-02-07 | 2019-02-01 | メディアにおける広告および他の挿入物の位置およびタイミングを判定するスキーム |
JP2021033129A Pending JP2021100263A (ja) | 2014-02-07 | 2021-03-03 | メディアにおける広告および他の挿入物の位置およびタイミングを判定するスキーム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016550473A Pending JP2017510167A (ja) | 2014-02-07 | 2015-01-14 | メディアにおける広告および他の挿入物の位置およびタイミングを判定するスキーム |
JP2019016736A Pending JP2019110544A (ja) | 2014-02-07 | 2019-02-01 | メディアにおける広告および他の挿入物の位置およびタイミングを判定するスキーム |
Country Status (6)
Country | Link |
---|---|
EP (3) | EP3103258B1 (ja) |
JP (3) | JP2017510167A (ja) |
CN (2) | CN108093271A (ja) |
AU (1) | AU2015200290B2 (ja) |
CA (1) | CA2879235C (ja) |
WO (1) | WO2015119749A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9883232B2 (en) * | 2014-08-26 | 2018-01-30 | Panasonic Intellectual Property Management Co., Ltd. | Display control apparatus, and display control method |
CN105117463B (zh) * | 2015-08-24 | 2019-08-06 | 北京旷视科技有限公司 | 信息处理方法和信息处理装置 |
WO2018033156A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 视频图像的处理方法、装置和电子设备 |
EP3556101B1 (en) | 2016-12-13 | 2022-07-20 | Rovi Guides, Inc. | Systems and methods for minimizing obstruction of a media asset by an overlay by predicting a path of movement of an object of interest of the media asset and avoiding placement of the overlay in the path of movement |
US10270833B2 (en) * | 2017-01-09 | 2019-04-23 | International Business Machines Corporation | Intelligent insertion of secondary content in live streaming |
WO2019125474A1 (en) * | 2017-12-21 | 2019-06-27 | Rovi Guides, Inc. | Systems and method for dynamic insertion of advertisements |
CN108419115A (zh) * | 2018-02-13 | 2018-08-17 | 杭州炫映科技有限公司 | 一种广告植入方法 |
JP7189779B2 (ja) * | 2019-01-11 | 2022-12-14 | ヤフー株式会社 | 決定装置、決定方法、決定プログラム |
CN110225389A (zh) * | 2019-06-20 | 2019-09-10 | 北京小度互娱科技有限公司 | 在视频中***广告的方法,装置和介质 |
CN110503930A (zh) * | 2019-07-05 | 2019-11-26 | 太仓秦风广告传媒有限公司 | 一种与交通信号灯联动的电子广告牌显示方法及其*** |
CN110942349B (zh) * | 2019-11-28 | 2023-09-01 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种广告植入方法及*** |
CN110996121A (zh) * | 2019-12-11 | 2020-04-10 | 北京市商汤科技开发有限公司 | 信息处理方法及装置、电子设备和存储介质 |
JPWO2021182091A1 (ja) * | 2020-03-09 | 2021-09-16 | ||
CN111667323B (zh) * | 2020-06-30 | 2023-07-11 | 成都新潮传媒集团有限公司 | 一种广告点位的余量调度方法、装置及计算机设备 |
CN114902649A (zh) * | 2020-10-30 | 2022-08-12 | 谷歌有限责任公司 | 非遮挡视频叠加 |
CN113313791B (zh) * | 2021-07-30 | 2021-10-01 | 深圳市知小兵科技有限公司 | 互联网游戏的图像处理方法及相关设备 |
WO2024018166A1 (en) * | 2022-07-22 | 2024-01-25 | Blackbird Plc | Computer-implemented methods of blurring a digital image; computer terminals and computer program products |
CN115334346A (zh) * | 2022-08-08 | 2022-11-11 | 北京达佳互联信息技术有限公司 | 界面显示方法、视频发布方法、视频编辑方法及装置 |
Citations (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07334648A (ja) * | 1994-06-10 | 1995-12-22 | Canon Inc | 画像処理方法及びその装置 |
JPH09504666A (ja) * | 1993-10-27 | 1997-05-06 | プリンストン エレクトロニック ビルボード インコーポレイテッド | 電子ビルボードの下流制御 |
JPH09510336A (ja) * | 1994-03-14 | 1997-10-14 | サイテックス・アメリカ・コーポレイション | 画像合成システム及び画像合成方法 |
JPH1026967A (ja) * | 1996-07-12 | 1998-01-27 | Toshiba Corp | 画像処理装置 |
JP2001043371A (ja) * | 1999-07-29 | 2001-02-16 | Canon Inc | 画像処理方法、画像処理装置及び記憶媒体 |
JP2002032590A (ja) * | 2000-06-22 | 2002-01-31 | Internatl Business Mach Corp <Ibm> | 広告方法、広告システム、広告枠の取引方法、広告枠の取引システムおよび記録媒体 |
JP2002077726A (ja) * | 2000-09-01 | 2002-03-15 | Nippon Telegr & Teleph Corp <Ntt> | 映像中の広告情報の供給システムおよび供給方法ならびにこのプログラムを記録した記録媒体 |
JP2003101949A (ja) * | 2001-09-20 | 2003-04-04 | Matsushita Electric Ind Co Ltd | 放送受信機およびコンテンツを放送する方法 |
JP2003158721A (ja) * | 2001-11-19 | 2003-05-30 | Star Collaboration Kk | デジタルコンテンツの再生管理方法、コンテンツ再生装置、広告コンテンツ管理システム及びコンピュータプログラム |
JP2004166221A (ja) * | 1992-02-25 | 2004-06-10 | Atlus Co Ltd | 映像イメージの一部を背景に挿入するためのイメージ編集システム |
US20060026628A1 (en) * | 2004-07-30 | 2006-02-02 | Kong Wah Wan | Method and apparatus for insertion of additional content into video |
JP2007004677A (ja) * | 2005-06-27 | 2007-01-11 | Seiko Epson Corp | コメントレイアウト装置、アルバム作成装置 |
JP2007251273A (ja) * | 2006-03-13 | 2007-09-27 | Oki Electric Ind Co Ltd | 画像処理装置,画像伝送システムおよび画像処理方法 |
JP2008227813A (ja) * | 2007-03-12 | 2008-09-25 | Sony Corp | 画像処理装置、画像処理方法、画像処理システム |
US20080231751A1 (en) * | 2007-03-22 | 2008-09-25 | Sony Computer Entertainment America Inc. | Scheme for determining the locations and timing of advertisements and other insertions in media |
JP2010045457A (ja) * | 2008-08-08 | 2010-02-25 | Canon Inc | 画像処理装置および画像処理方法 |
JP2010532934A (ja) * | 2007-04-04 | 2010-10-14 | ヴィジブル ワールド インコーポレイテッド | 宣伝を調整するシステム及び方法 |
US20110188836A1 (en) * | 2008-05-28 | 2011-08-04 | Mirriad Limited | Apparatus and Method for Identifying Insertion Zones in Video Material and for Inserting Additional Material into the Insertion Zones |
JP2011193325A (ja) * | 2010-03-16 | 2011-09-29 | Kddi Corp | ディスプレイを有するデジタル写真表示装置、システム及びプログラム |
JP2012010117A (ja) * | 2010-06-25 | 2012-01-12 | Kddi Corp | 映像コンテンツに重畳する付加情報の領域を決定する映像出力装置、プログラム及び方法 |
JP2012048639A (ja) * | 2010-08-30 | 2012-03-08 | Kddi Corp | 自由視点映像生成装置、自由視点映像システムにおいて広告を表示する方法及びプログラム |
JP2012138648A (ja) * | 2010-12-24 | 2012-07-19 | Nikon Corp | 画像処理装置及び画像処理プログラム |
JP2013092856A (ja) * | 2011-10-25 | 2013-05-16 | Sony Corp | 画像処理装置およびプログラム |
JP2013164753A (ja) * | 2012-02-10 | 2013-08-22 | Fujitsu Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8574074B2 (en) * | 2005-09-30 | 2013-11-05 | Sony Computer Entertainment America Llc | Advertising impression determination |
JP2001357300A (ja) * | 2000-06-12 | 2001-12-26 | Sony Corp | 映像コンテンツ提供方法、映像コンテンツ提供システム、映像コンテンツ提供装置、映像コンテンツを提供するプログラムを格納したプログラム格納媒体、広告映像提供装置、広告映像を提供するプログラムを格納したプログラム格納媒体、映像コンテンツ再生装置、映像コンテンツを再生するプログラムを格納したプログラム格納媒体、広告料集計システム、広告料集計方法及び広告料を集計するプログラムを格納したプログラム格納媒体 |
US7116342B2 (en) * | 2003-07-03 | 2006-10-03 | Sportsmedia Technology Corporation | System and method for inserting content into an image sequence |
US7979877B2 (en) * | 2003-12-23 | 2011-07-12 | Intellocity Usa Inc. | Advertising methods for advertising time slots and embedded objects |
US20060026059A1 (en) * | 2004-07-30 | 2006-02-02 | Grosz Aryk E | Advertising method for digitally rented movies |
US20070061838A1 (en) * | 2005-09-12 | 2007-03-15 | I7 Corp | Methods and systems for displaying audience targeted information |
US8549554B2 (en) * | 2006-03-07 | 2013-10-01 | Sony Computer Entertainment America Llc | Dynamic replacement of cinematic stage props in program content |
US20080033801A1 (en) * | 2006-07-14 | 2008-02-07 | Vulano Group, Inc. | System for dynamic personalized object placement in a multi-media program |
US9294822B2 (en) | 2006-11-23 | 2016-03-22 | Mirriad Advertising Limited | Processing and apparatus for advertising component placement utilizing an online catalog |
US20080152300A1 (en) * | 2006-12-22 | 2008-06-26 | Guideworks, Llc | Systems and methods for inserting advertisements during commercial skip |
JP2008306236A (ja) * | 2007-06-05 | 2008-12-18 | Sony Corp | 画像表示装置、画像表示方法、画像表示方法のプログラム及び画像表示方法のプログラムを記録した記録媒体 |
CN101196995B (zh) * | 2007-12-27 | 2011-06-15 | 北京中星微电子有限公司 | 图像中最大人脸的检测装置及方法 |
CN100589114C (zh) * | 2007-12-29 | 2010-02-10 | 北京中星微电子有限公司 | 图像中最大人脸的跟踪装置和方法 |
CN101621636B (zh) * | 2008-06-30 | 2011-04-20 | 北京大学 | 基于视觉注意力模型的广告标志自动***和变换方法及*** |
US8752087B2 (en) * | 2008-11-07 | 2014-06-10 | At&T Intellectual Property I, L.P. | System and method for dynamically constructing personalized contextual video programs |
KR100999056B1 (ko) * | 2009-10-30 | 2010-12-08 | (주)올라웍스 | 이미지 컨텐츠에 대해 트리밍을 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체 |
US9473826B2 (en) * | 2010-04-29 | 2016-10-18 | Vdopia Inc. | Method and apparatus for insertion of advertising in a live video stream |
CN103297811A (zh) * | 2012-02-24 | 2013-09-11 | 北京明日时尚信息技术有限公司 | 一种智能嵌入式视频广告的实现方法 |
-
2015
- 2015-01-14 EP EP15746382.9A patent/EP3103258B1/en active Active
- 2015-01-14 JP JP2016550473A patent/JP2017510167A/ja active Pending
- 2015-01-14 EP EP20184718.3A patent/EP3745712B1/en active Active
- 2015-01-14 WO PCT/US2015/011405 patent/WO2015119749A1/en active Application Filing
- 2015-01-14 EP EP17171365.4A patent/EP3236655A1/en not_active Ceased
- 2015-01-22 CA CA2879235A patent/CA2879235C/en active Active
- 2015-01-22 AU AU2015200290A patent/AU2015200290B2/en active Active
- 2015-02-03 CN CN201711402792.5A patent/CN108093271A/zh active Pending
- 2015-02-03 CN CN201510054926.3A patent/CN104837060A/zh active Pending
-
2019
- 2019-02-01 JP JP2019016736A patent/JP2019110544A/ja active Pending
-
2021
- 2021-03-03 JP JP2021033129A patent/JP2021100263A/ja active Pending
Patent Citations (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004166221A (ja) * | 1992-02-25 | 2004-06-10 | Atlus Co Ltd | 映像イメージの一部を背景に挿入するためのイメージ編集システム |
JPH09504666A (ja) * | 1993-10-27 | 1997-05-06 | プリンストン エレクトロニック ビルボード インコーポレイテッド | 電子ビルボードの下流制御 |
JPH09510336A (ja) * | 1994-03-14 | 1997-10-14 | サイテックス・アメリカ・コーポレイション | 画像合成システム及び画像合成方法 |
JPH07334648A (ja) * | 1994-06-10 | 1995-12-22 | Canon Inc | 画像処理方法及びその装置 |
JPH1026967A (ja) * | 1996-07-12 | 1998-01-27 | Toshiba Corp | 画像処理装置 |
JP2001043371A (ja) * | 1999-07-29 | 2001-02-16 | Canon Inc | 画像処理方法、画像処理装置及び記憶媒体 |
JP2002032590A (ja) * | 2000-06-22 | 2002-01-31 | Internatl Business Mach Corp <Ibm> | 広告方法、広告システム、広告枠の取引方法、広告枠の取引システムおよび記録媒体 |
JP2002077726A (ja) * | 2000-09-01 | 2002-03-15 | Nippon Telegr & Teleph Corp <Ntt> | 映像中の広告情報の供給システムおよび供給方法ならびにこのプログラムを記録した記録媒体 |
JP2003101949A (ja) * | 2001-09-20 | 2003-04-04 | Matsushita Electric Ind Co Ltd | 放送受信機およびコンテンツを放送する方法 |
JP2003158721A (ja) * | 2001-11-19 | 2003-05-30 | Star Collaboration Kk | デジタルコンテンツの再生管理方法、コンテンツ再生装置、広告コンテンツ管理システム及びコンピュータプログラム |
US20060026628A1 (en) * | 2004-07-30 | 2006-02-02 | Kong Wah Wan | Method and apparatus for insertion of additional content into video |
JP2007004677A (ja) * | 2005-06-27 | 2007-01-11 | Seiko Epson Corp | コメントレイアウト装置、アルバム作成装置 |
JP2007251273A (ja) * | 2006-03-13 | 2007-09-27 | Oki Electric Ind Co Ltd | 画像処理装置,画像伝送システムおよび画像処理方法 |
JP2008227813A (ja) * | 2007-03-12 | 2008-09-25 | Sony Corp | 画像処理装置、画像処理方法、画像処理システム |
US20080231751A1 (en) * | 2007-03-22 | 2008-09-25 | Sony Computer Entertainment America Inc. | Scheme for determining the locations and timing of advertisements and other insertions in media |
JP2010532934A (ja) * | 2007-04-04 | 2010-10-14 | ヴィジブル ワールド インコーポレイテッド | 宣伝を調整するシステム及び方法 |
US20110188836A1 (en) * | 2008-05-28 | 2011-08-04 | Mirriad Limited | Apparatus and Method for Identifying Insertion Zones in Video Material and for Inserting Additional Material into the Insertion Zones |
JP2010045457A (ja) * | 2008-08-08 | 2010-02-25 | Canon Inc | 画像処理装置および画像処理方法 |
JP2011193325A (ja) * | 2010-03-16 | 2011-09-29 | Kddi Corp | ディスプレイを有するデジタル写真表示装置、システム及びプログラム |
JP2012010117A (ja) * | 2010-06-25 | 2012-01-12 | Kddi Corp | 映像コンテンツに重畳する付加情報の領域を決定する映像出力装置、プログラム及び方法 |
JP2012048639A (ja) * | 2010-08-30 | 2012-03-08 | Kddi Corp | 自由視点映像生成装置、自由視点映像システムにおいて広告を表示する方法及びプログラム |
JP2012138648A (ja) * | 2010-12-24 | 2012-07-19 | Nikon Corp | 画像処理装置及び画像処理プログラム |
JP2013092856A (ja) * | 2011-10-25 | 2013-05-16 | Sony Corp | 画像処理装置およびプログラム |
JP2013164753A (ja) * | 2012-02-10 | 2013-08-22 | Fujitsu Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2015119749A1 (en) | 2015-08-13 |
CA2879235A1 (en) | 2015-08-07 |
JP2017510167A (ja) | 2017-04-06 |
EP3103258B1 (en) | 2020-07-15 |
CA2879235C (en) | 2017-11-14 |
AU2015200290A1 (en) | 2015-08-27 |
EP3103258A4 (en) | 2017-09-06 |
JP2019110544A (ja) | 2019-07-04 |
CN108093271A (zh) | 2018-05-29 |
EP3103258A1 (en) | 2016-12-14 |
EP3236655A1 (en) | 2017-10-25 |
CN104837060A (zh) | 2015-08-12 |
EP3745712A1 (en) | 2020-12-02 |
EP3745712B1 (en) | 2024-03-06 |
AU2015200290B2 (en) | 2016-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021100263A (ja) | メディアにおける広告および他の挿入物の位置およびタイミングを判定するスキーム | |
US20200344505A1 (en) | Scheme for determining the locations and timing of advertisements and other insertions in media | |
US9538049B2 (en) | Scheme for determining the locations and timing of advertisements and other insertions in media | |
JP5067889B2 (ja) | メタデータを用いて複数の映像ストリームを処理する方法及び装置 | |
US20170134714A1 (en) | Device and method for creating videoclips from omnidirectional video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210303 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220222 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220927 |