JP2015537248A - スクリーンに表示されるビデオコンテンツのコピープロテクションのための環境光の使用 - Google Patents

スクリーンに表示されるビデオコンテンツのコピープロテクションのための環境光の使用 Download PDF

Info

Publication number
JP2015537248A
JP2015537248A JP2015543549A JP2015543549A JP2015537248A JP 2015537248 A JP2015537248 A JP 2015537248A JP 2015543549 A JP2015543549 A JP 2015543549A JP 2015543549 A JP2015543549 A JP 2015543549A JP 2015537248 A JP2015537248 A JP 2015537248A
Authority
JP
Japan
Prior art keywords
ambient light
screen
video content
intensity
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015543549A
Other languages
English (en)
Other versions
JP2015537248A5 (ja
Inventor
ヘルペン マールテン マリヌス ヨハネス ウィルヘルムス ファン
ヘルペン マールテン マリヌス ヨハネス ウィルヘルムス ファン
アルノルドス ヨハネス ルカス マリア マーンドンクス
アルノルドス ヨハネス ルカス マリア マーンドンクス
オスカル ヘンドリクス ウィレムセン
オスカル ヘンドリクス ウィレムセン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2015537248A publication Critical patent/JP2015537248A/ja
Publication of JP2015537248A5 publication Critical patent/JP2015537248A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/20Controlling the colour of the light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44Secrecy systems
    • H04N1/448Rendering the image unintelligible, e.g. scrambling
    • H04N1/4486Rendering the image unintelligible, e.g. scrambling using digital data encryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44Secrecy systems
    • H04N1/448Rendering the image unintelligible, e.g. scrambling
    • H04N1/4493Subsequently rendering the image intelligible using a co-operating image, mask or the like
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4627Rights management associated to the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/155Coordinated control of two or more light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91392Television signal processing therefor for scrambling ; for copy protection using means for preventing making copies of projected video images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/328Processing of the additional information
    • H04N2201/3281Encryption; Ciphering
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/30Semiconductor lamps, e.g. solid state lamps [SSL] light emitting diodes [LED] or organic LED [OLED]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

本発明は、スクリーンに表示されるビデオコンテンツの、光学記録装置を用いた有用なコピーを妨げる方法であって、スクリーンにビデオコンテンツを表示するステップ及び環境光源の環境光でスクリーンを照らすステップを有し、環境光は、スペクトルの可視域における波長を持つ光を有し、環境光は、ビデオコンテンツに応じて制御され、環境光は、40Hz乃至500Hzの範囲から選択される強度変調周波数を持つ強度変調により強度変調される、方法を提供する。

Description

本発明は、スクリーンに表示されるビデオコンテンツの、光学記録装置を用いた有用なコピーを妨げる方法に関する。本発明はまた、斯かる方法で用いられ得るLEDベースの環境光源(ambience light source)及びシネマシステムにも関する。
映画館の映画をビデオでコピーする問題が業界で知られている。不正コピーを防止する幾つかの方法が業界で提案されている。例えば、米国特許出願第US 2003/063361号公報は、光量変調方法を述べている。この方法は、表示された画像を撮像することにより得られる記録画像に光量変化(optical state variation)が出現するよう時間的領域において可視光の輝度を周期的に変調するステップを有し、前記可視光は、前記表示された画像を作り出すよう本来の表示画像に重畳され、前記光量変化は、本来の表示画像とは独立しており、前記表示された画像の直接の鑑賞には妨げとならない効果をもたらす。
コンテンツプロテクションは、デジタルシネマにとって重要なトピックである。著作権侵害者がデジタルコンテンツをコピーすることを防止するために多くのセキュリティ対策が取られている。現在、しばしば暗号化されたコンテンツが、ハードドライブ上で映画館に頒布される。別個の鍵が、映画館に供給される。この鍵は、デジタルシネマサーバ上のコンテンツを解読するために用いられる。次いで、デジタルシネマサーバは、(例えばMPEG2又はJPEG2000で圧縮されているかもしれない)ビデオコンテンツを解凍してもよい。しかしながら、解凍されたコンテンツをプロジェクタに送る前に、該コンテンツが、デジタルシネマサーバとプロジェクタ間の通信を保護するいわゆる"リンク暗号化"のため(例えばHDCP(High-bandwidth Digital Content Protection)で)再び暗号化されてもよい。追加の予防策として、ウォーターマークが、著作権侵害の場合にコンテンツのソースを特定するため、当該コンテンツに付加され得る。
主要な映画撮影スタジオは、著作権侵害により多額のお金を失っている。世界的な映画産業、ディストリビュータ、シアター、ビデオストア及びペイパービューオペレータは、著作権侵害の結果として毎年数十億ドルを失う。
デジタルシネマにおける現在のセキュリティ対策の問題は、著作権侵害者が映画館のスクリーンからコンテンツを撮影することを防止しないことにある。ウォーターマークは、著作権侵害コンテンツのソースを特定する手助けになり得るが、当該コンテンツの実際のコピー及び拡散を防止しない。さらに、しばしば(このような)著作権侵害を妨げる解決策は、容易に回避され得るか、または取り除かれ得る。
それゆえ、本発明の一つの態様は、著作権侵害をより困難にする、ましては著作権侵害を実質的に防止する代替的な方法であって、好ましくは、さらに一つ以上の上述した不利な点を少なくとも部分的に取り除く方法を提供することにある。さらに、本発明の一つの態様は、例えば映画がスクリーンに示される表示空間(display space)において用いられ得る、斯かる方法を実行する(又は支援する)光源を提供することにある。また、本発明の一つの態様は、斯かる(著作権侵害を妨げる)方法に用いられ得るシネマシステムを提供することにある。さらに他の態様は、著作権侵害対策と組み合わせて、表示装置でビデオコンテンツを視聴しているときより夢中になれる体験を提供することにある。
ここで提案される解決策は、映画を再生しながら、映画館のスクリーンに所定の変調周波数で(追加の)光源から可視光を当てることにある。周波数が適切に選択される場合、カメラは、コンテンツを適切に撮影できないであろう。なぜなら、光源が、カメラと同期しないで動作し、その結果映画のコンテンツに広がる縞模様(stripe)が生じるからである。通常、可視光源は、映画のコンテンツから気をそらすであろうが、本発明においては、光源の光の色及び/又は強度(intensity)、とりわけ、少なくとも強度、さらにとりわけ、色及び強度が、映画のコンテンツと結び付けられる。例えば、スクリーンが暗い場合、光源も(より)暗くなってもよく、スクリーンが青い場合、光源の光も青くなってもよい。
それゆえ、第1の態様においては、本発明は、スクリーンに表示されるビデオコンテンツの、光学記録装置を用いた有用なコピーを妨げる方法であって、スクリーンにビデオコンテンツを表示するステップ及び環境光源の環境光(ambience light)でスクリーンを照らすステップを有し、環境光は、スペクトルの可視域における波長を持つ光を有し、環境光は、ビデオコンテンツに応じて制御され、環境光は、40Hz乃至500Hz、とりわけ、50Hz乃至500Hz、さらにとりわけ、50Hz乃至250Hzの範囲から選択される強度変調周波数("変調周波数")を持つ強度変調により強度変調される、方法を提供する。
有利には、これは、同時に追加のセキュリティを提供しながら、スクリーンの周り及び/又は表示空間の他の場所における環境照明(ambience lighting)でもって、映画体験等よりビデオに夢中になれる体験(環境照明)の有益な効果を提供することができる。さらに、本発明においては、光量変化、すなわち、強度の変化をより強くすることができる。なぜなら、映画のコンテンツとリンク付けられ、体験の一部となるからである。
用語"光学記録装置"は、スクリーンから光学データを記録することができる如何なる装置、とりわけ、無線光学記録装置に関してもよい。これらの例は、カムコーダ、携帯電話、又はラップトップ、タブレット等のカメラ、とりわけ、CCDカメラを備えた他の(モバイル)機器である。斯かる光学記録装置は、スクリーンから無許可のデータを記録するため表示空間において用いられ、任意に斯かる表示空間内の観衆(又はクラウド)等の他のデータも記録するため該表示空間において用いられるかもしれない。
((遠隔)スクリーン上での)ビデオコンテンツの表示中、本発明の技術は適用されてもよい。環境光(下記も参照)は、変調周波数、とりわけ、ビデオコンテンツのフレーム周波数(下記も参照)と異なる周波数でスクリーン上の画像を変調するので、斯かる光学記録装置は、該ビデオコンテンツを(容易に)コピーすることができない。なぜなら、このコンテンツは、環境光により妨害されるからである。人の目はこの変調を見ることはできないが、光学記録装置は見ることができる。これは、妨害されたピクチャ(disturbed picture)を招く。このようにして、(スクリーンからの)ビデオコンテンツの有用なコピーが光学記録装置によりなされ得ることが妨げられる(すなわち、より困難であるか、ましては防止される)。環境光の追加の変調が、違法コピーをより一層困難なものにするであろう(下記参照)。
ここで、用語"表示空間"は、例えば、映画館、音楽ホール、劇場、オペラハウス、スタジアム、アリーナ、会議室、家、ホスピタリティエリア(レストラン(レストランのロビー等)、パブ等)、教会、博覧会場及びオープンスクエアを称してもよい。
ある実施例において、スクリーンは、一つ以上の表示スクリーン及び投影スクリーンを有する。表示スクリーンは、とりわけ、LEDテレビ又はプラズマテレビ等のTVであってもよく、投影スクリーン(一般には遠隔スクリーン)は、とりわけ、映画スクリーン等の((スクリーンから離れた)プロジェクタにより)映画が投影され得る(白色)エリアであってもよい。スクリーンは、剛壁取付スクリーン、プルダウンスクリーン、(スクリーンを使用位置及び未使用位置に位置付けるための電気モータを備える)電動スクリーン、(不透明及び透明になり得る)切換可能投影スクリーン又は(ましては)モバイルスクリーンであり得る。用語"スクリーン"は、複数のスクリーンに関してもよい。ゆえに、用語"スクリーン"は、集合スクリーン、すなわち、例えば画像を表示するため又はプロジェクタを用いて画像を投影するため、一つのスクリーンとして用いられる、スクリーンの配列に関してもよい。とりわけ、用語"スクリーン"は、本願明細書においては、ビデオコンテンツが投影装置により投影されるスクリーン、すなわち、遠隔スクリーンに関する。用語"プロジェクタ"も、複数のプロジェクタに関してもよい。用語"追加の環境光源"(下記も参照)も、複数の環境光源に関してもよい。この用語は、とりわけ、(表示空間内の複数のロケーションに配置されてもよい)複数の環境光源を有する環境照明システムに関してもよい。
用語"ビデオコンテンツ"は、画像、とりわけ、スクリーンに順次(連続的に)表示されるべきである複数の画像を称する。ゆえに、用語"ビデオコンテンツ"は、(遠隔)スクリーンに表示されるべき映画("動画")のコンテンツを称してもよい。このようにして、動画は、(遠隔)スクリーンに投影され得る。
環境照明技術(Ambient Lighting Technology)の略語であるアンビライト(Ambilight)は、ビデオコンテンツに対応する照明効果をTVの周囲に生み出す、フィリップスによって発明された技術である。アンビライトは、より大きな仮想スクリーン及びより夢中になる視聴体験の利点を持ち、視聴者の眼精疲労を減らすであろう。
ビデオ信号から色を計算するコンセプト及び種々の方法が、例えば、米国特許出願第US-2006/062424号公報、国際特許出願第WO-2006/003600号公報、国際特許出願第WO-2006/003624号公報に述べられている(これらの文献は、参照により本願明細書に組み込まれる)。
例えば映画館における環境光の生成が、業界において知られている。例えば、国際特許出願第WO-2011/073877号公報(参照により本願明細書に組み込まれる)は、映画館であって、前記映画館の前壁に配設される映画表示画面と、複数の光源とを有する映画館において、環境照明効果を供給するための方法であって、前記映画表示画面に順次表示されるべき第1及び第2画像コンテンツを受け取るステップと、前記第2画像コンテンツの色及び強度のうちの少なくとも1つを決定するステップと、前記第2画像コンテンツの前記色及び前記強度のうちの少なくとも1つに基づく環境照明効果を放射するよう、前記複数の光源を制御するための制御データの第2セットを決定するステップと、前記制御データの第2セットを、前記第1画像コンテンツと関連付けるステップとを有する方法を述べている。国際特許出願第WO-2011/073877号の方法の利点は、とりわけ映画館において利用可能な"余分な空間"、例えば、壁、床及び天井を用いることによって、改善された環境照明経験を供給する可能性を含む。国際特許出願第WO-2011/073877号公報においては、環境照明は、必ずしも(前壁における)スクリーンの後ろ又は直に隣接する光源により生成されず、光源は、側壁等離れて配設されてもよく、又は天井若しくは床に含めてもよいことに留意されたい。
本願明細書においては、アンビエントライト(Ambient light)、すなわち、アンビライト(Ambilight)のコンセプトが、さらに、環境光(ambience light)又は環境照明(ambience lighting)として示される。環境光は、スクリーンに表示されるあるビデオ画像のコンテンツに基づいてもよいが、一つ以上のビデオ画像が現在のビデオ画像に先行し得る及び/又は一つ以上のビデオ画像が現在のビデオ画像に後続し得る、複数のビデオ画像のビデオコンテンツに基づいてもよいことに留意されたい。とりわけ、環境光の色、及び任意に強度も、画像(又は複数の画像)の少なくとも一部の支配色(dominant color)に関連付けられる。
例えば、国際特許出願第WO-2006/003624号公報及び国際特許出願第WO-2006/003600号公報に示されるように、知覚ルールを用いて、演色色空間内で符号化されたビデオコンテンツから支配色を抽出して、環境光源によるエミュレーション用の支配色を生成する方法が適用されてもよい。
とりわけ、このことは、知覚ルールを用いて、演色色空間(例えば、YUV、YCrCb、RGB)内で符号化されたビデオコンテンツから支配色を抽出して、環境光源によるエミュレーション用の支配色を生成する方法であって、[1] 前記演色色空間において、前記ビデオコンテンツからの画素色度からの支配色抽出を実行し、次の[a]〜[d]のいずれかを抽出することによって支配色を生成するステップと:[a] 前記画素色度の最頻値;[b] 前記画素色度の中央値;[c] 前記画素色度の色度による重み付け平均値;[d] 画素位置(i,j)、画素色度(x,y,R)、及び画素輝度のいずれかの関数である画素重み付け関数を用いた前記画素色度の重み付け平均値;[2] さらに、前記支配色の色度を知覚ルールに従って導出するステップであって、前記知覚ルールは、次の[a]〜[c]のいずれかから選定した知覚ルールであるステップと:[a] 単純な色度変換;[b] さらに、前記ビデオコンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーンコンテンツからの影響を示すように公式化した前記画素重み付け関数を用いた重み付け平均値;[c] 前記画素重み付け関数を、前記ビデオコンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーンコンテンツの関数として公式化した、前記画素重み付け関数による重み付け平均値を用いた拡張的な支配色抽出であって、前記重み付け関数はさらに、少なくとも主要画素について重み付けが低減されるように公式化されている;[3] 前記支配色を、前記演色色空間から、前記環境光源の駆動を可能にするように形成された第2の演色色空間(R'G'B')に変換するステップとを具えている方法を含んでもよい。
さらに他の実施例においては、このことは、ユーザ嗜好に応じた知覚ルールを用いて、演色色空間(RGB)内で符号化されたビデオコンテンツから支配色を抽出して、環境光源によるエミュレーション用の支配色を生成する方法であって、[1] 前記演色色空間において、前記ビデオコンテンツからの画素色度からの支配色抽出を実行し、次の[a]〜[d]のいずれかを抽出することによって支配色を生成するステップと:[a] 前記画素色度の最頻値;[b] 前記画素色度の中央値;[c] 前記画素色度の色度による重み付け平均値;[d] 画素位置(i,j)、画素色度(x,y,R)、及び画素輝度のいずれかの関数である画素重み付け関数を用いた前記画素色度の重み付け平均値;[2] さらに、前記支配色の輝度、色度、時間的変化、及び空間的抽出の少なくとも1つを、それぞれの知覚ルールに従って導出して、好適な環境光放光を生成するステップであって、前記それぞれの知覚ルールは、複数の可能な明示的に指示されたユーザ嗜好の少なくとも1つによって特徴及び効果が変化し、前記知覚ルールは次の[I]〜[IV]の少なくとも1つを具えているステップと:[I] 次の[a]〜[c]及び[4]〜[6]のいずれかから選定した輝度知覚ルール:[a] 輝度の増加;[b] 輝度の減少;[c] 輝度の最低値;[4] 輝度の最高値;[5] 輝度の抑制しきい値;[6] 輝度の変換値;[II] 次の[a]〜[c]のいずれかから選定した色度知覚ルール:[a] 単純な色度変換;[b] さらに、前記ビデオコンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーンコンテンツからの影響を示すように公式化した前記画素重み付け関数を用いた重み付け平均値;[c] 前記画素重み付け関数を、前記ビデオコンテンツ中の複数の画素について色度及び輝度のいずれかを評価することによって得られたシーンコンテンツの関数として公式化した、前記画素重み付け関数による重み付け平均値を用いた拡張的な支配色抽出であって、前記重み付け関数はさらに、少なくとも主要画素について重み付けが低減されるように公式化されている;[III] 次の[a]、[b]から少なくとも1つ選定した時間的変化知覚ルール:[a] 前記支配色の輝度及び色度の少なくとも一方の変化速度の減少;[b] 前記支配色の輝度及び色度の少なくとも一方の変化速度の増加;[IV] 次の[a]〜[d]から少なくとも1つ選定した空間的抽出知覚ルール:[a] 前記画素重み付け関数において、新たに出現した特徴部分を含むシーンコンテンツに、より大きい重みを与えること;[b] 前記画素重み付け関数において、新たに出現した特徴部分を含むシーンコンテンツに、より小さい重みを与えること;[c] 前記画素重み付け関数において、選択した抽出領域からのシーンコンテンツに、より大きい重みを与えること;[d] 前記画素重み付け関数において、選択した抽出領域からのシーンコンテンツに、より小さい重みを与えること;[3] 前記好適な環境光放光の輝度及び色度を、前記演色色空間から、前記環境光源の駆動を可能にするように形成された第2の演色色空間(R'G'B')に変換するステップとを具えている方法を含んでもよい。
用語"演色色空間(rendered color space)"は、とりわけ、センサから捕捉した画像若しくは色空間、又は装置及び画像特有である、ソース若しくは表示装置に特有の画像若しくは色空間を示してもよい。RGB色空間は、演色画像空間であり、ビデオディスプレイを駆動するために使用するビデオ空間を含んでもよい。本願明細書において、ビデオディスプレイに特有の色空間及び環境光源に特有の色空間は共に、演色色空間であってもよい。ほとんどのLED光源は、RGB色空間を用いるであろう。なぜなら、LED照明器具は、典型的に、赤色LED、緑色LED及び青色LEDを有するからである。用語"シーンの明るさ(ブライトネス)"は、とりわけ、あらゆる所望の基準による、シーンコンテンツ中の明るさのあらゆる尺度を称する。用語"シーンコンテンツ"又は"画像コンテンツ"は、とりわけ、所望の支配色の選定に影響を与えるべく使用され得る視認可能な画像を形成することのできるビデオ情報の特性を称してもよい。その例は、白雲、またはビデオ画像の大半を通した暗部を含み、これらは、主要画素と判断される画像を作る特定画素を生じさせ得る部分、または画素重み付け関数における画素の異方性の処理を生じさせ得る部分、あるいは検出され、特別な、あるいは拡張的な支配色抽出を施される画像の特徴部分を生じさせ得る部分である。用語"単純な色度変換"は、とりわけ、シーンコンテンツに応じて選定または導出するのではなく、知覚ルールに従った支配色または色度の変更または導出を称してもよく、この変更または導出は、さもなければ選定され得たものとは異なる色度を生じさせる。例:支配色抽出(例えば紫色)によって選定した第1支配色(x,y)を、知覚ルールを満足するように第2支配色(x',y')に変換すること。さらに、句"色情報の非演色色空間への変換"は、本願明細書においては、とりわけ、非演色色空間への直接的変換も、非演色色空間に変換することによって得られた三刺激原色行列(tristimulus primary matrix)の逆行列を用いて導出したものの使用または利益も、あるいは計算的に等価なあらゆるものを含んでもよい。用語"非演色色空間"は、とりわけ、標準的な、あるいは装置に特有でない色空間を表わしてもよく、例えば、標準的なCIE XYZ;ISO 17321規格に規定されているようなISO RGB;Photo YCC;及びCIE LAB色空間を用いて原画像の測色を記述する色空間である。
環境光は、例えばスクリーンに対する距離に応じて強度及び/又は色の点で異なってもよい。一例として、(投影された)ビデオ画像を複数の部分(又はサブセクション)に分割した場合、各部分からの支配色が抽出され、該(投影された)ビデオ画像に隣接して、及びそれぞれの(投影された)ビデオ画像部分に隣接して提供される環境光のための色として用いられてもよい。用語"隣接"は、ある実施例においては、(投影された)ビデオ画像部分と該(投影された)ビデオ画像部分に隣接する環境光との間に事実上距離がないと理解されてもよい。しかしながら、環境光は、例えば国際特許出願第WO-2011/073877号の場合のように、(投影された)ビデオ画像からより離れて供されてもよい。
上述したように、環境光は、ビデオコンテンツに依存する。とりわけ、環境光は、ビデオコンテンツに応じて制御される。どのように環境光、とりわけ、その色及び/又は強度、さらにとりわけ、色及び強度の両方が、ビデオコンテンツに応じて制御され得るかが述べられた。有利には、環境光の色は、画像の色に追従し、照明レベルも、画像の照明レベルに追従する。ゆえに、表示されるシーンが暗い場合、(少なくともスクリーンにおける)環境光レベルも減少されてもよく、表示されるシーンが明るい場合、環境光レベルも高くてもよい。
上述したように、環境光は、一つの画像のビデオコンテンツに基づいてもよい。しかしながら、環境光は、(ある時間に表示される画像より)先行する一つ以上の画像を含む及び/又は後続する一つ以上の画像を含む、複数の画像のビデオコンテンツに応じて制御されてもよい。それゆえ、ある実施例においては、ビデオコンテンツは、順次表示されるべき複数の画像を有し、環境光は、複数の順次の画像の一つ以上のサブセクションの一つ以上の平均色に基づいて決定される一つ以上の色を有する。とりわけ、環境光は、ある画像の一つ以上のサブセクションの一つ以上の平均色に基づいて決定される一つ以上の色を有する、又は、環境光は、複数の順次の画像の一つ以上のサブセクションの一つ以上の平均色に基づいて決定される一つ以上の色を有する。したがって、環境光はビデオコンテンツに応じて制御される。
本発明の方法においては、環境光源が適用される。斯かる環境光源は、例えば、(参照により本願明細書に組み込まれる)国際特許出願第WO-2011/073877号公報に述べられている。環境光源は、例えば、ウォールウォッシャ(wall washer)であってもよく、並びに/又は、壁及び/若しくは壁張り、及び/若しくは天井張り、及び/若しくは床張りに組み込まれてもよい。用語"環境光源"は、複数の環境光源に関連してもよい。この用語は、とりわけ、(表示空間内の複数のロケーションに配設されてもよい)複数の環境光源を有する環境照明システムに関してもよい。
特定の実施例においては、複数の環境光源が、スクリーンを照らすために適用され、これら環境光源は、スクリーンの異なる部分に対応する。斯かる実施例においては、スクリーンを囲む環境光の色が、ビデオコンテンツに応じて一層良好に制御されるであろう。さらに、任意に斯かる環境光源の一つ以上についての変調が互いに異なってもよく、これにより、スクリーン上のビデオコンテンツの不正コピーがより一層妨げられる。
上述したように、本発明の方法は、環境光源の環境光でスクリーンを照らすことを含む。ゆえに、一つ以上の環境光源が、スクリーンを照らすよう構成されてもよい。このことは、環境光源が実質的に環境光でスクリーンしか照らさないことを含む。しかしながら、環境光源は、スクリーンではない部分を照らしてもよい。環境光は望ましく、保護だけではないので、特定の実施例においては、環境光源は、スクリーン及び壁、床、天井又は観客等のスクリーンではない部分を照らすよう構成される。句"スクリーンを照らす"及び同様の句は、スクリーンの一部しか照らされない実施例も含む。ゆえに、ある実施例においては、アンビエンス光源は、スクリーンに対して、可視環境光の一部しかスクリーンに当たらないよう構成される。
特定の実施例においては、環境光源は、スクリーンに対して、間接的に(のみ)環境光源の(可視)環境光がスクリーンに当たるよう構成される。ゆえに、本発明(の方法)は、間接的に(のみ)環境光でスクリーンを照らすことを含んでもよい。ゆえに、用語"間接的に"は、とりわけ、環境光源が、表示空間内の一つ以上の壁、間仕切り、天井、床、観客等、とりわけ、一つ以上の、壁、間仕切り及び天井等のスクリーンではない部分を照らし、表示空間内の照らされる壁、天井、床、観客を介した反射によってのみ、環境光がスクリーンに到達するよう構成される実施例を指す。
二つ以上の環境光源がある場合、一つ以上がスクリーンを照らすよう構成され、他の一つ以上が表示空間の他の部分を照らすよう構成されてもよい。
本願明細書において、環境光は、スペクトルの可視域における波長を持つ光を有する。用語"可視光"又は"可視発光"は、約380nm乃至750nmの範囲内の波長を持つ光を称する。環境光が、スペクトルの可視域における波長を持つ光を有するという事実は、環境光がまた、例えばIR(赤外)の波長を持つ光を有することを除外するものではない。しかしながら、セキュリティは、IR光(のみ)に基づくものではない。なぜなら、IR光は、例えば光学記録装置においてフィルタにより容易に除去される恐れがあるからである。とりわけ、環境光源の光強度(ワット)の少なくとも50%、さらにとりわけ、少なくとも80%、よりとりわけ、少なくとも90%が、スペクトルの可視域内である。更なる実施例においては、(とりわけ、750nm乃至3000nmの範囲内、さらにとりわけ、実質的に750nm乃至1200nmの範囲内の)赤外が、環境光源の光強度(ワット)の5%乃至40%の範囲内にある。
ここで、用語"白色光"が、当業者に知られている。とりわけ、白色光は、約2000K及び20000Kの間、とりわけ、約2700K及び20000Kの間、一般照明については、とりわけ、約2700K乃至6500Kの範囲内、バックライティングの目的には、とりわけ、約7000K乃至20000Kの範囲内の相関色温度(CCT)を持ち、BBL(黒体軌跡)から約15SDCM(カラーマッチングの標準偏差)内、とりわけ、BBLから約10SDCM内、さらにとりわけ、BBLから約5SDCM内の光に関する。
用語"紫外光"又は"紫外発光"は、とりわけ、約380nm乃至440nmの範囲内の波長を持つ光に関する。用語"青色光"又は"青色発光"は、とりわけ、(いくらかの紫外及びシアン色相を含む)約440nm乃至490nmの範囲内の波長を持つ光に関する。用語"緑色光"又は"緑色発光"は、とりわけ、約490nm乃至560nmの範囲内の波長を持つ光に関する。用語"黄色光"又は"黄色発光"は、とりわけ、約560nm乃至590nmの範囲内の波長を持つ光に関する。用語"橙色光"又は"橙色発光"は、とりわけ、約590nm乃至620nmの範囲内の波長を持つ光に関する。用語"赤色光"又は"赤色発光"は、とりわけ、約620nm乃至750nmの範囲内の波長を持つ光に関する。
強度が、とりわけ40Hz乃至500Hzの範囲内の強度変調周波数で変調される。50Hzより低い、とりわけ、40Hzより低いと、変調は人の目に見えるかもしれず、望ましくない。250Hzより高い、とりわけ、500Hzより高いと、変調効果が、とりわけビデオコンテンツのフレームレート(下記参照)を鑑みて、望ましい効果を十分にもたらさないかもしれない。ゆえに、とりわけ、環境光は、50Hz乃至250Hzの範囲から選択される強度変調周波数を持つ強度変調により強度変調される。
ビデオコンテンツは、あるフレームレートでスクリーンに供されてもよい。(フレーム周波数としても知られる)フレームレートは、撮像又は投影装置がフレームと呼ばれる一様な連続画像を生成する周波数(レート)である。この用語は、映画及びビデオカメラ、コンピュータグラフィック、プロジェクタ並びにモーションキャプチャシステムにも等しくあてはまる。フレームレートは、毎秒のフレーム数(FPS)及び/又はヘルツ(Hz)で表されることができる。本願明細書において、フレームレートは、ヘルツで示される。表示装置及び光学記録装置の両方とも、フレームレートを持つ。
特定の実施例においては、ビデオコンテンツが、あるフレームレートでスクリーンに表示され、フレームレート及び(強度)変調周波数が、0.5Hz乃至50Hzの範囲内、好ましくは、1Hz乃至10Hzの範囲内の周波数差を持つ。これは、コピーが、ビデオコンテンツのフレームレートと整合されたカメラでなされた場合、環境光が、0.5Hz乃至50Hzの範囲内、好ましくは、1Hz乃至10Hz内の周波数で見えることを意味する。
言い換えると、用いられてもよいシネマシステム又は用いられる環境光源は、0.5Hz乃至50Hzの範囲内のフレームレート及び変調周波数間の周波数差をもってビデオコンテンツ及び環境光を供するよう構成される。とりわけ、斯かる実施例においては、スクリーン上の(連続)画像を光学的に記録する場合、有用なコピーを妨げるバンド(band)が見えるであろう。下記に述べるように、特定の実施例においては、用いられてもよいシネマシステム又は用いられる環境光源がさらに、時間に応じて周波数差を変えるよう構成される。ゆえに、ある実施例においては、ビデオコンテンツのフレームレート及び変調周波数は、ビデオコンテンツが表示される時間の少なくとも一部において異なる。ゆえに、ある実施例において、環境光は、上述したように強度変調周波数を持つ強度変調で変調されるが、(時間によって変わる)変動強度変調周波数で強度変調される。
業界における特定のフレームレートは、例えば、24Hz、25Hz及び60Hzであるが、(30Hz、48Hz、50Hz、72Hz、120Hz及び300Hz等の)他のフレームレートも知られている。ゆえに、とりわけ、環境光は、少なくとも40Hz、とりわけ、少なくとも50Hzであって、24xHz、25xHz、30xHz、48xHz、50xHz、60xHz、72xHz、120xHz及び300xHzから成る群から選択される強度変調周波数を持つ強度変調で強度変調され、ここで、xは、ゼロより大きな非整数である。言い換えると、強度変調周波数は、24Hz、25Hz、30Hz、48Hz、50Hz、60Hz、72Hz、120Hz及び300Hzから成る群から選択される周波数の倍数ではない。xの値は、少なくとも、強度変調周波数が、少なくとも40Hz、とりわけ、少なくとも50Hzであるような値であり、一般には、xは、強度変調周波数が、500Hzより大きくない、とりわけ、250Hzより大きくならないようなものであろう。
上述したように、xが時間によって(すなわち、ビデオコンテンツが表示される表示時間の間に)変動する方法が適用されてもよい。xが時間変動する場合、時間の少なくとも一部の間、xは、(例えば少なくとも40Hz及び好ましくは500Hzより大きくなく、xはゼロより大きな非整数である)上述した条件を満たすが、時間の一部の間、xは、該条件を満たさなくてもよい。例えば、環境光の変調周波数の変動は、サインカーブをたどってもよい。
上述したように、環境光は、ビデオコンテンツに応じて制御される。このことは、とりわけ、環境光の色及び/又は強度がビデオコンテンツに応じて制御されることを示してもよい。特定の実施例においては、環境光の強度が、ビデオコンテンツに応じて制御される。更なる実施例においては、環境光の色及び強度の両方が、ビデオコンテンツに応じて制御される。環境光の制御は、スクリーンにおける、及び任意にスクリーン近くの複数の照らされる部分(又はサブセクション)を指してもよく、各部分の環境光の(各々の)色及び/又は強度が、画像のそれぞれのサブセクション(又は複数の画像のうちの画像のそれぞれのサブセクション)に関連付けられてもよいことに留意されたい。
さらに、強度変調は、強度(振幅)、周波数及びデューティサイクルに関して変調されてもよい。例えば、環境光の強度変調は、最少振幅及び最大振幅間の強度変調であり、最少振幅及び最大振幅の比が、2:100及び25:100の範囲内、とりわけ、5:100及び20:100の範囲内、さらにとりわけ、5:100及び15:100の範囲内であってもよい。ゆえに、ある実施例において、強度変調は最大振幅を持ち、最大振幅が時間変動する。環境光は、画像が明るい場合、環境光は強くてもよく、逆もまた同様という意味においてビデオコンテンツに応じてもよいことに留意されたい。しかしながら、これがビデオコンテンツに追従することとは別にして、本願明細書において規定されるように振幅(及び/又は周波数及び/又はデューティサイクル等)に関する更なる変調があってもよい。
代替的に又は付加的に、強度変調周波数が、時間によって変動する。さらに、代替的に又は付加的に、強度変調はデューティサイクルを持ち、デューティサイクルは、とりわけ、20%乃至80%等10%乃至90%の範囲内、例えば、10%乃至30%又は70%乃至90%の範囲内であってもよい。代替的に又は付加的に、強度変調がデューティサイクルを持ち、デューティサイクルが時間によって変動してもよい。このことは、スクリーン上のビデオコンテンツの有用なコピーをさらに妨げるであろう。
さらに、本発明の方法は、環境光でスクリーン上にウォーターマークを供することを含んでもよい。スクリーンへのウォーターマークの作り方は、例えば、(本願明細書に参照により組み込まれる)米国特許出願第US-2006/0262280号公報に述べられている。
環境光源として、LEDベースの光源が適用されてもよい。LEDは、一般にパルス幅変調(PWM)される。この変調は、とりわけ、kHz、ましてはMHzの単位であってもよい。ゆえに、LEDベースの光源のこのパルス幅変調は、本願明細書に規定されるような強度変調周波数を得るためさらに変調されてもよい。ゆえに、斯かる実施例において、LEDベースの光源は、パルス幅変調及び本願明細書に規定されるような強度変調という2つの変調周波数で変調されてもよい。
それゆえ、ある実施例においては、環境光源は、LEDベースの光源を有する。それゆえ、更なる側面において、本発明は、強度が可変である環境光を供するよう構成されるLEDベースの環境光源であり、環境光は、スペクトルの可視域における波長を持つ光を有し、当該LEDベースの環境光源は、40Hz乃至500Hz、とりわけ、50Hz乃至500HZ、さらにとりわけ、50Hz乃至250Hzの範囲から選択される強度変調周波数を持つ強度変調周波数で環境光の強度を変調するよう構成される変調器を有する、LEDベースの環境光源を提供する。
さらに他の実施例において、本発明は、(i)スクリーンにビデオコンテンツを表示するよう構成される表示装置を制御するよう構成され、(ii)強度が可変である環境光を供するよう構成される環境光源を制御するよう構成されるコントローラを有するシネマシステムであり(環境光源の環境光は、スペクトルの可視域における波長を持つ光を有する)、コントローラはさらに、ビデオコンテンツに応じて環境光を制御するよう構成され、40Hz乃至500Hz、とりわけ、50Hz乃至500HZ、さらにとりわけ、50Hz乃至250Hzの範囲から選択される強度変調周波数を持つ強度変調で環境光の強度を変調するよう構成される、シネマシステムを提供する。とりわけ、斯かる環境光源は、環境光でスクリーンを照らすよう構成される。
無論、このシネマシステムはさらに、一つ以上の表示装置及び環境光源を含んでもよい。ゆえに、更なる実施例において、シネマシステムはさらに、表示装置及び環境光源を有し、環境光源の環境光は、スペクトルの可視域における波長を持つ光を有し、表示装置は、あるフレームレートでスクリーンにビデオコンテンツを表示するよう構成され、当該シネマシステムは、特定の実施例において、0.5Hz乃至50Hzの範囲内のフレームレート及び変調周波数間の周波数差を持つビデオコンテンツ及び環境光を供するよう構成される。上述したように、環境光源は、とりわけ、LEDベースの光源を有してもよい。さらに、シネマシステムはさらに、遠隔スクリーンにビデオコンテンツを投影するよう構成されるプロジェクタを有してもよい。とりわけ、斯かる環境光源は、環境光でスクリーンを照らすよう構成される。
また別の実施例においては、(直接又は間接的に)環境光でスクリーンを照らすよう(実質的に)構成されない、一つ以上の追加の環境光源が適用されてもよい。シネマシステムは、これら一つ以上の追加の環境光源を制御するよう構成されてもよい。また、これら光源の環境光は、ビデオコンテンツに依存する。ゆえに、(スクリーンを離れた)環境光が、ビデオコンテンツの色、及び任意に強度に応じて、並びにスクリーン又はスクリーンの部分に対する距離に応じて制御されてもよい。
また、さらに別の実施例において、本発明は、コントローラ及びセンサを有し、センサは、スクリーンを光学的に検知し、センサ信号を供するよう構成され、コントローラは、センサ信号から、スクリーンが環境光で照らされているか否かについての情報を得るよう構成され、コントローラはさらに、環境光が検知されない場合(スクリーンへの)ビデオコンテンツの表示を中断するよう構成される、プロジェクタ等の表示装置を提供する。センサは、例えば、カメラであり、コントローラは、カメラで記録されるビデオを分析するコンピュータプログラムを実行する。他の例において、カメラは、光センサであり、コントローラは、光センサの信号において環境光の変調周波数を検出する。
また、さらに別の側面において、本発明は、本願明細書に記載されるシネマシステム及び(本願明細書に記載される)スクリーンを有し、とりわけ、表示装置及び環境光源を含む、表示空間を提供する。
本願明細書において、"実質的に全て放射"又は"実質的になる"等の用語"実質的"は、当業者に理解されるであろう。用語"実質的"は、"全体"、"完全"、"全て"等を持つ実施例を含んでもよい。ゆえに、ある実施例においては、"実質的に"の形容詞は、省かれるかもしれない。あてはまる場合、用語"実質的"は、95%以上等90%以上に関連してもよく、とりわけ、99%以上、更にとりわけ、99.5%以上に関連してもよく、100%を含んでもよい。用語"有する"は、用語"有する"が"からなる"を意味する実施例も含む。
さらに、明細書及び請求の範囲における用語"第1"、"第2"、"第3"等は、同様の要素間を区別するために用いられ、必ずしも順番又は年代を述べるものではない。そのように用いられる用語は、適当な状況下において互いに交換可能なものであり、本願明細書に記載の発明の実施例は、記述又は説明されたもの以外の順序で動作が可能であることに留意されたい。
本願明細書中で、装置は、とりわけ、動作中が述べられている。当業者に明らかであるように、本発明は、動作方法又は動作時の装置に限定されない。
本発明が上述した実施例に限定されるものではなく、当業者は、多くの変形例が添付請求項に記載された本発明の保護範囲から逸脱することなく可能であることが理解されるであろう。請求項において、括弧内の如何なる符号も当該請求項を限定するものと見なしてはならない。また、"有する"なる動詞及びその活用形の使用は、請求項に記載されたもの以外の構成要素又はステップの存在を排除するものではない。また、単数形の構成要素又はステップの使用は、複数の斯様な構成要素又はステップの存在を排除するものではない。本発明は、幾つかの個別の構成要素を有するハードウェアにより、及び適切にプログラムされたコンピュータにより実施化することができる。幾つかの手段を列挙する装置の請求項において、これら手段の幾つかは1つの同一のハードウェア品目により具現化することができる。特定の手段が相互に異なる従属請求項において引用されるという単なる事実は、これら手段の組み合わせを有利に使用することができないことを示すものではない。
本発明はさらに、明細書に記載される及び/又は図面に示される一つ以上の特徴を有する装置に当てはまる。本発明はさらに、明細書に記載される及び/又は図面に示される一つ以上の特徴を有する方法に当てはまる。
この特許で論じられる種々の態様は、追加の利点を提供するために組み合され得る。さらに、幾つかの特徴は、一つ以上の分割出願の基礎をなすことができる。
図1a乃至図1dは、本発明の幾つかの実施例及び/又は態様を図示する。 図2a乃至図2hは、幾つかの変調の可能性を図示する。 図3は、アンビライト又は環境光の幾つかの態様を図示する。
本発明の実施例が、一例として、対応する参照符号は対応する部分を指す添付の図面を参照して、以下詳述されるであろう。
図は、縮尺どおりではない。
図1aは、表示空間200におけるスクリーン201上の画像102を図示する。この実施例において、このスクリーン201は、(下記のように)例えば映画館内の遠隔スクリーンである。スクリーンに画像102を投影するプロジェクタは示されていない(しかしながら、図1b及び図1cを参照されたい)。さらに、環境光211を生成する環境光源210が示されている。スクリーン201(又は画像102)の少なくとも一部が、環境光211で照らされる。この図示される実施例において、環境光は、スクリーンを超えて伸びていることに留意されたい。このことは、より夢中になれる体験等、ビデオコンテンツの体験を改善することができる。ゆえに、この実施例においては、環境光源210は実際のところ、複数の環境光源210を有する。
環境照明(コンテンツ)は、画像(フレーム)から画像(フレーム)へと変化してもよい。環境照明(コンテンツ)は、ビデオコンテンツに応じて制御される。環境光(コンテンツ)は、複数の順次の画像の一つ以上のサブセクションの一つ以上の平均色に基づいて決定される一つ以上の色を有する。複数の環境光源210を備える場合、これら複数の環境光源の一つ以上のサブセットの環境光も、スクリーン(又は画像)のサブセクションのコンテンツに追従してもよいことに留意されたい。(スクリーン201を照らすよう構成される)環境光源により生成される環境光は、可視光を提供し、一般に、スクリーン(201)上のビデオコンテンツ、すなわち、スクリーン上の画像102、並びに任意にスクリーン上の一つ以上の先行する及び/又は一つ以上の後続する画像のビデオ画像に関連付けられる。アンビエンス照明(コンテンツ)は、画像(フレーム)から画像(フレーム)へと変化してもよい。
図1bは、表示状況の実施例を(側面図又は断面図で)図示する。参照符号200は、映画館等の表示空間を示す。参照符号230は、遠隔スクリーン201に画像102を投影するプロジェクタを示す。画像情報を含むビームが、参照符号234で示されている。再び、投影画像が、参照符号102で示されている。さらに、例えば国際特許出願第WO-2011/073877号のように、環境光源210が設けられている。一つ以上の環境光源が、環境光211でスクリーン201(又は画像102)を照らしてもよい。このことは、直接的(図1a参照)又は間接的に生じてもよい。例えば、図1bに図示される一つ以上の環境光源210は、例えば床又は壁における環境光211の反射を経てスクリーン201を照らしてもよい。このようにして、環境光は、間接的にスクリーンに到達する。図1bに図示される実施例は、環境光211でスクリーンを直接照らす光源を含んでもよいことに留意されたい。代替的に、例えば図1c及び図1dに見られるような他の構成も可能である。
参照符号600は、シネマサーバ又はメディアサーバを示し、プロジェクタ230及び環境光源210を制御するために適用されてもよい。ゆえに、この実施例においては、環境光源210は実際のところ、複数の環境光源210を有する。これら環境光源210は、個別に制御される二つ以上のサブセットからなってもよいことに留意されたい。例えば、スクリーンを照らす環境光源により供される環境光211の強度は、(スクリーン201を直接または間接的に)照らさない環境光源210により供される環境光の強度より低くてもよい。スクリーン201を直接又は間接的に照らさない環境光源は、本願明細書において、追加の環境光源とも称される。全ての環境光源がシネマサーバにより制御されてもよく、任意に一つ以上の環境光源が個別に制御されてもよいことに留意されたい。
本願明細書において、"シネマサーバ"とも称されてもよい、用語"メディアサーバ"は、(デジタルビデオ/ムービー、オーディオ/音楽及びピクチャファイルを意味する)種々のデジタルメディアを格納するための、専用のコンピュータアプリケーション又は特定のアプリケーションソフトウェアと規定されてもよい。シネマサーバは、ムービーファイルを持つデータコンテナを持つ、及び/又は、ムービーコンテンツを受信するため衛星接続を持つ。しばしば、シネマサーバは、プロジェクタに送る前に、ムービーを解読、解凍、暗号化することができる。しばしば、シネマサーバは、劇場管理システムと組み合わされる。シネマサーバは、とりわけ外部プロバイダからムービーデータを受信するサーバであり、シネマサーバは、(鍵コードを持つ暗号解読、ウォーターマーキング等の)コンテンツセキュリティを処理してもよく、コンテンツを解凍し、次いでリンク暗号化データ交換を用いてデジタルシネマプロジェクタに送信してもよい。
図1cは、代替的な実施例の上面図を図示する。表示空間200は、任意に、一つ以上の追加の環境光源210を有してもよい。追加の環境光源210は、とりわけ、一つ以上の壁、天井及び床の表示空間部分において環境光を供するよう構成される。例えば、ウォールウォッシャが適用されてもよい。この図示される実施例においては、環境光源の環境光の(少なくとも)一部が、壁及び/又は床等における反射を経て遠隔スクリーン201に当たってもよいことに留意されたい。
図1cはさらに、コントローラ610及びセンサ238を有する表示装置230の実施例を示し、センサ238は、スクリーンを光学的に検知し、センサ信号を供するよう構成され、コントローラは、センサ信号から、スクリーンが環境光で照らされているか否かについての情報を得るよう構成される。コントローラ610はさらに、(スクリーン上の)環境光が検知されない場合スクリーンへのビデオコンテンツの表示を中断するよう構成される。センサは、例えば、カメラであり、コントローラは、カメラで記録されるビデオを分析するコンピュータプログラムであり得る。他の実施例において、カメラは、光センサであり、コントローラは、光センサの信号において環境光の変調周波数を検出する。このようにして、セキュリティの回避がさらに改善される。ある実施例において、コントローラユニット610は、表示装置230に統合されることに代えて、シネマサーバ600に統合されてもよい。別の実施例においては、コントローラ610及びシネマサーバ600が互いに通信してもよい。
図1dは、とりわけ、環境光源210がスクリーンを直接照らすだけではなく、間接的にも照らすことを示すために描かれている。ここでは、この概略的な図において、環境光210は壁を照らす。反射を経て、スクリーン201も照らされる。この例においては、光は壁伝いに上がっているが、好ましくは代替的に又は付加的に、光はスクリーンに直に隣接して壁を照らすようスクリーンに隣接して上がってもよい。これは、環境光及びビデオコンテンツの間の最も直接的な関係を与える。なぜなら、環境光とビデオコンテンツが互いに最も接近しているからである。
図1a乃至図1dに図示される実施例に関し、スクリーンを環境光で照らすよう構成される一つ以上の環境光源、とりわけ、すべての環境光源は、強度が可変である環境光を供するよう構成されるLEDベースの環境光源であり、環境光は、スペクトルの可視域における波長を持つ光を有し、当該LEDベースの環境光源は、40Hz乃至500Hzの範囲から選択される強度変調周波数を持つ強度変調で環境光の強度を変調するよう構成される変調器を有する。変調器は図示されていないが、光強度の変調は業界において知られている。
さらに、図1a乃至図1dに図示される実施例に関し、シネマシステムの実施例が概略的に表示されている。これら実施例は、(i)スクリーン201にビデオコンテンツ102を表示するよう構成される表示装置230を制御するよう構成され、(ii)強度が可変である環境光211を供するよう構成される環境光源210を制御するよう構成されるシネマサーバ600等のコントローラを有し、コントローラはさらに、ビデオコンテンツに応じて環境光211を制御するよう構成され、40Hz乃至500Hzの範囲から選択される強度変調周波数を持つ強度変調で環境光の強度を変調するよう構成される。
一般に、シネマシステムは、複数のユニット、例えば、パーツのキットを有するシステムであってもよく、コントローラは、機能的に表示装置及び(追加の)環境光源に接続されてもよい。
図2a乃至2hは、幾つかの変調の可能性を図示する。ビデオコンテンツの時間変化に起因する強度変動は、原理を理解する目的のためこれらの概略図には含まれていない。図2aは、一定の周波数を持つ"単純な"正弦波強度変調である。図2bは、図2aと同じであるが、振幅が時間とともに変化する。図2cは、強度変調が周波数変動を持つ実施例を示す。この周波数変動は、例えば、ランダムであってもよく、繰り返されるスキームに追従してもよく、複数の異なるスキームに追従してもよい。図2dは、他のタイプの変調であるブロックタイプの変調を図示し、この概略図においては、一定の周波数であるが、オン−オフの変動を除き強度変調はない。デューティサイクルは50%である。図2eにおいては、強度がさらに変調され、単純なオン−オフではない。図2fにおいては、周波数が変わる。再び、この周波数変動は、例えば、ランダムであってもよく、繰り返されるスキームに追従してもよく、複数の異なるスキームに追従してもよい。図2gは、デューティサイクルが50%より小さい実施例を図示する。参照符号t1は、サイクル全体を示し、参照符号t2は、オン状態を示す。この図示される実施例において、デューティサイクルは、約20%である。図2hは、デューティサイクルが時間とともに変化する実施例を図示する。再び、このデューティサイクル変動は、ランダムであってもよく、繰り返されるスキームに追従してもよく、複数の異なるスキームに追従してもよい。周波数及び/又はデューティサイクルを変えることは、有用なコピーを妨げることに非常に効果的である。なぜなら、これらブラックバンド(black band)を除去することは非常に困難だからである。
図3は、環境光の幾つかの態様を図示する。矩形は、画像102を示し、矩形外の参照符号232は、環境光を示す。(ローマ数字で示される)画像内の(シェーディングにより示される)色付け領域及び(ローマ数字及びアクセントマークで示される)画像外の色付け領域、すなわち、環境光は、対応し、画像から外のエリアは同一タイプのシェーディングを持って示されている。無論、環境光は、(実質的に)画像を描写せず、低解像度の色の分布、ましては、(TVアンビライトから知られるように)単色である。これは、高解像度の情報の表示である、花が画像内にある一方、画像から外では、環境光は単色又は低解像度の色の分布(この例においては、エリア232について一色のみ)である例により示されている。環境光は、画像の参照符号239により示される一つ以上のサブセクションの一つ以上の平均色に基づいて決定される一つ以上の色を有する。代替的に、環境光は、複数の順次の画像の一つ以上のサブセクションの一つ以上の平均色に基づいて決定される一つ以上の色を有する。この概略図において、画像102は、一例として、10×6個のサブセクションに分割されている。画像の端に隣接するサブセクションは、画像102/スクリーン201から外の環境光の色を評価するためとりわけ重要であるかもしれない。例えば、エリア232内の色は、前10フレームにわたり平均化される、スクリーンの右下30%の平均色及び輝度である。

Claims (15)

  1. スクリーンに表示されるビデオコンテンツの有用なコピーを作成する光学記録装置の能力を妨げる方法であって、当該方法は、
    スクリーンにビデオコンテンツを表示するステップ、及び
    環境光源の環境光で前記スクリーンを照らすステップを有し、
    前記環境光は、スペクトルの可視域における波長を持つ光を有し、
    前記環境光は、前記ビデオコンテンツに応じて制御され、
    前記環境光は、40Hz乃至500Hzの範囲から選択される強度変調周波数で強度変調される、方法。
  2. 前記ビデオコンテンツは、あるフレームレートで前記スクリーンに表示され、前記フレームレート及び前記強度変調周波数は、0.5Hz乃至50Hzの範囲内の周波数差を持つ、請求項1記載の方法。
  3. 前記環境光は、少なくとも50Hzの強度変調周波数で強度変調され、
    前記強度変調周波数は、24xHz、25xHz、30xHz、48xHz、50xHz、60xHz、72xHz、120xHz及び300xHzから成る群から選択され、xは、ゼロより大きな非整数である、請求項1又は2記載の方法。
  4. 前記ビデオコンテンツは、順次表示されるべき複数の画像を有し、
    前記環境光は、ある画像の一つ以上のサブセクションの一つ以上の平均色に基づいて決定される一つ以上の色を有する、又は、前記環境光は、複数の順次の画像の一つ以上のサブセクションの一つ以上の平均色に基づいて決定される一つ以上の色を有する、請求項1、2又は3記載の方法。
  5. 前記環境光源は、LEDベースの光源を有する、請求項1乃至4の何れか一項記載の方法。
  6. 前記環境光源は、スクリーンに対して、可視環境光の一部しか前記スクリーンに当たらないよう構成される、請求項1乃至5の何れか一項記載の方法。
  7. 間接的に前記環境光で前記スクリーンを照らすステップを含む、請求項1乃至6の何れか一項記載の方法。
  8. 前記環境光の強度が、前記ビデオコンテンツに応じて制御される、請求項1乃至7の何れか一項記載の方法。
  9. 前記強度変調周波数は時間変動する、請求項1乃至8の何れか一項記載の方法。
  10. 前記環境光で前記スクリーン上にウォーターマークを設けるステップを含む、請求項1乃至9の何れか一項記載の方法。
  11. 強度が可変である環境光を供するよう構成されるLEDベースの環境光源であって、前記環境光は、スペクトルの可視域における波長を持つ光を有し、
    当該LEDベースの環境光源は、40Hz乃至500Hzの範囲から選択される強度変調周波数で前記環境光の強度を変調するよう構成される変調器を有する、LEDベースの環境光源。
  12. (i)スクリーンにビデオコンテンツを表示する表示装置を制御するよう構成され、(ii)強度が可変である環境光を供する環境光源を制御するよう構成されるコントローラを有するシネマシステムであって、
    前記コントローラはさらに、(iii)前記ビデオコンテンツに応じて前記環境光を制御するよう構成され、(iv)40Hz乃至500Hzの範囲から選択される強度変調周波数で前記環境光の強度を変調するよう構成される、シネマシステム。
  13. 請求項12記載のシネマシステムであって、前記表示装置及び前記環境光源を有し、
    前記環境光源の前記環境光は、スペクトルの可視域における波長を持つ光を有し、
    前記表示装置は、あるフレームレートで前記スクリーンに前記ビデオコンテンツを表示するよう構成され、
    当該シネマシステムは、0.5Hz乃至50Hzの範囲内の前記フレームレート及び前記強度変調周波数間の周波数差をもって前記ビデオコンテンツ及び前記環境光を供するよう構成される、シネマシステム。
  14. スクリーンにビデオコンテンツを表示する表示装置であって、
    当該表示装置は、コントローラ及びセンサを有し、
    前記センサは、前記スクリーンを光学的に検知し、センサ信号を供するよう構成され、
    前記コントローラは、前記センサ信号から、前記スクリーンが環境光で照らされているか否かについての情報を得るよう構成され、
    前記コントローラはさらに、環境光が検知されない場合前記スクリーンへのビデオコンテンツの表示を中断するよう構成される、表示装置。
  15. 請求項13記載のシネマシステム及びスクリーンを有する表示空間。
JP2015543549A 2012-11-27 2013-11-15 スクリーンに表示されるビデオコンテンツのコピープロテクションのための環境光の使用 Pending JP2015537248A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261730119P 2012-11-27 2012-11-27
US61/730,119 2012-11-27
PCT/IB2013/060158 WO2014083473A1 (en) 2012-11-27 2013-11-15 Use of ambience light for copy protection of video content displayed on a screen

Publications (2)

Publication Number Publication Date
JP2015537248A true JP2015537248A (ja) 2015-12-24
JP2015537248A5 JP2015537248A5 (ja) 2016-12-28

Family

ID=49726835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015543549A Pending JP2015537248A (ja) 2012-11-27 2013-11-15 スクリーンに表示されるビデオコンテンツのコピープロテクションのための環境光の使用

Country Status (6)

Country Link
US (2) US9641725B2 (ja)
EP (1) EP2926553A1 (ja)
JP (1) JP2015537248A (ja)
CN (1) CN104798369A (ja)
RU (1) RU2015125551A (ja)
WO (1) WO2014083473A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022506359A (ja) * 2018-11-01 2022-01-17 シグニファイ ホールディング ビー ヴィ ビデオコンテンツから光効果のための色を抽出するための方法の選択

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644623B (zh) * 2016-07-20 2020-01-14 京东方科技集团股份有限公司 一种背光模组、显示装置及防偷拍***
US9986290B2 (en) * 2016-09-27 2018-05-29 International Business Machines Corporation Video censoring
KR102636465B1 (ko) * 2016-10-24 2024-02-14 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 전자장치
CN106658875A (zh) * 2017-03-22 2017-05-10 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于led的防偷拍***
US10469763B2 (en) 2017-06-07 2019-11-05 Wisconsin Alumni Research Foundation Visual privacy protection system
CN108701365B (zh) * 2017-08-29 2022-05-31 广东虚拟现实科技有限公司 光点识别方法、装置以及***
CN108234977B (zh) * 2018-01-12 2021-03-09 京东方科技集团股份有限公司 一种视频播放方法及显示***
KR102523167B1 (ko) 2018-07-02 2023-04-19 삼성전자주식회사 디스플레이 장치 및 그 제어 방법.
US10992900B1 (en) * 2020-04-09 2021-04-27 Goldman Sachs & Co. LLC Oscillating video refresh

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001343900A (ja) * 2000-05-31 2001-12-14 Matsushita Electric Ind Co Ltd 照明システムおよび照明制御データ作成方法
US20020168069A1 (en) * 2001-02-28 2002-11-14 Babak Tehranchi Copy protection for digital motion picture image data
JP2003057753A (ja) * 2001-08-10 2003-02-26 Sony Corp 撮像妨害方法及びシステム
US20030063361A1 (en) * 2001-10-02 2003-04-03 Michihiro Ohnishi Optical state modulation method and system, and optical state modulation apparatus
JP2003302960A (ja) * 2002-04-08 2003-10-24 Sony Corp 画像表示装置、および画像表示方法、並びにコンピュータ・プログラム
JP2004111213A (ja) * 2002-09-18 2004-04-08 Sony Corp 照明装置及び照明方法
JP2005531908A (ja) * 2002-07-04 2005-10-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 周辺光を制御する方法及びシステムと、照明ユニット
US20060262280A1 (en) * 2003-08-19 2006-11-23 Duffield David J Theater identification system utilizing identifiers projected onto a screen
JP2008507808A (ja) * 2004-06-30 2008-03-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ・コンテンツから導出した周辺光を生成するための知覚規則を用いた支配色抽出
JP2010532014A (ja) * 2007-06-27 2010-09-30 トムソン ライセンシング ビデオ録画の防止のための周波数領域及びスペクトル領域のソリューション
JP2011508986A (ja) * 2007-11-08 2011-03-17 トムソン ライセンシング 海賊行為対策として保護および確認を行う方法、装置、およびシステム
JP2013514623A (ja) * 2009-12-17 2013-04-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 映画館環境照明システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3084796B2 (ja) * 1991-06-14 2000-09-04 ソニー株式会社 映像信号処理装置
AU5448100A (en) 1999-05-27 2000-12-18 Digital Electronic Cinema, Inc. Systems and methods for preventing camcorder piracy of motion picture images
US7324646B1 (en) 1999-10-29 2008-01-29 Sarnoff Corporation Method and apparatus for film anti-piracy
EP1294189A3 (en) * 2001-09-18 2004-01-14 Sony Corporation Optical state modulation
US7221759B2 (en) * 2003-03-27 2007-05-22 Eastman Kodak Company Projector with enhanced security camcorder defeat
WO2006003624A1 (en) 2004-06-30 2006-01-12 Koninklijke Philips Electronics, N.V. Ambient lighting derived from video content and with broadcast influenced by perceptual rules and user preferences
US20100103331A1 (en) 2007-06-27 2010-04-29 Youngshik Yoon Frequency and spectral domain solutions for prevention of video recording
US20110064218A1 (en) * 2008-05-15 2011-03-17 Donald Henry Willis Method, apparatus and system for anti-piracy protection in digital cinema

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001343900A (ja) * 2000-05-31 2001-12-14 Matsushita Electric Ind Co Ltd 照明システムおよび照明制御データ作成方法
US20020168069A1 (en) * 2001-02-28 2002-11-14 Babak Tehranchi Copy protection for digital motion picture image data
JP2003057753A (ja) * 2001-08-10 2003-02-26 Sony Corp 撮像妨害方法及びシステム
US20030063361A1 (en) * 2001-10-02 2003-04-03 Michihiro Ohnishi Optical state modulation method and system, and optical state modulation apparatus
JP2003110967A (ja) * 2001-10-02 2003-04-11 Sony Corp 強度変調方法及びシステム並びに光量変調装置
JP2003302960A (ja) * 2002-04-08 2003-10-24 Sony Corp 画像表示装置、および画像表示方法、並びにコンピュータ・プログラム
JP2005531908A (ja) * 2002-07-04 2005-10-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 周辺光を制御する方法及びシステムと、照明ユニット
JP2004111213A (ja) * 2002-09-18 2004-04-08 Sony Corp 照明装置及び照明方法
US20060262280A1 (en) * 2003-08-19 2006-11-23 Duffield David J Theater identification system utilizing identifiers projected onto a screen
JP2007503018A (ja) * 2003-08-19 2007-02-15 トムソン ライセンシング スクリーンに投写される識別子を利用する劇場識別システム
JP2008507808A (ja) * 2004-06-30 2008-03-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ・コンテンツから導出した周辺光を生成するための知覚規則を用いた支配色抽出
JP2010532014A (ja) * 2007-06-27 2010-09-30 トムソン ライセンシング ビデオ録画の防止のための周波数領域及びスペクトル領域のソリューション
JP2011508986A (ja) * 2007-11-08 2011-03-17 トムソン ライセンシング 海賊行為対策として保護および確認を行う方法、装置、およびシステム
US20110206349A1 (en) * 2007-11-08 2011-08-25 Thomson Licensing Method, apparatus and system for anti-piracy protection and verification
JP2013514623A (ja) * 2009-12-17 2013-04-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 映画館環境照明システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022506359A (ja) * 2018-11-01 2022-01-17 シグニファイ ホールディング ビー ヴィ ビデオコンテンツから光効果のための色を抽出するための方法の選択
JP7080400B2 (ja) 2018-11-01 2022-06-03 シグニファイ ホールディング ビー ヴィ ビデオコンテンツから光効果のための色を抽出するための方法の選択

Also Published As

Publication number Publication date
US20150304522A1 (en) 2015-10-22
EP2926553A1 (en) 2015-10-07
WO2014083473A1 (en) 2014-06-05
CN104798369A (zh) 2015-07-22
US20170208215A1 (en) 2017-07-20
US9641725B2 (en) 2017-05-02
RU2015125551A (ru) 2017-01-11

Similar Documents

Publication Publication Date Title
JP2015537248A (ja) スクリーンに表示されるビデオコンテンツのコピープロテクションのための環境光の使用
JP7119047B2 (ja) 画像データによって画定された画像を表示するための方法
KR101489262B1 (ko) 메인 영상의 시각적 요소를 확장시키는 다면 상영 시스템
CA2503835C (en) Techniques of imperceptibly altering the spectrum of a displayed image in a manner that discourages copying
TWI230009B (en) Display image generation with differential illumination
US7362336B2 (en) Four color digital cinema system with extended color gamut and copy protection
JP6334552B2 (ja) ステージパフォーマンスから導かれるデータに基づきアンビエントライティング効果を生成する方法
JP5161228B2 (ja) 環境照明システム又は一般照明システムのための色変換方法
RU2450477C2 (ru) Система окружающего освещения на основе проекторов
US20120086862A1 (en) Video display device, video display method, video display screen and liquid crystal display device
WO2007036890A2 (en) Improving living lights with color coherency
US20230027499A1 (en) Optimizing drive schemes for multiple projector systems
Farrell et al. A cinema luminance range by the people, for the people: viewer preferences on luminance limits for a large-screen environment
Seetzen High dynamic range display andprojection systems
JP2008311898A (ja) マルチプロジェクションシステム
WO2014083472A1 (en) Use of ambience light for removing black bars next to video content displayed on a screen
KR20150099500A (ko) 상영관 구조물 및 이를 이용한 다면 상영 시스템
JP2006178340A (ja) 映像表示装置、投影装置、スクリーン
JP2008292906A (ja) プロジェクションシステム、プロジェクタ、照明制御装置及び照明装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20151005

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160330

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160830

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161111

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180329