JP5715301B2 - 表示方法および表示装置 - Google Patents
表示方法および表示装置 Download PDFInfo
- Publication number
- JP5715301B2 JP5715301B2 JP2014514974A JP2014514974A JP5715301B2 JP 5715301 B2 JP5715301 B2 JP 5715301B2 JP 2014514974 A JP2014514974 A JP 2014514974A JP 2014514974 A JP2014514974 A JP 2014514974A JP 5715301 B2 JP5715301 B2 JP 5715301B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- visible light
- light communication
- signal
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 198
- 238000004891 communication Methods 0.000 claims description 558
- 235000019557 luminance Nutrition 0.000 description 142
- 238000010586 diagram Methods 0.000 description 114
- 238000003384 imaging method Methods 0.000 description 82
- 238000012545 processing Methods 0.000 description 80
- 230000008859 change Effects 0.000 description 47
- 238000012937 correction Methods 0.000 description 29
- 239000003086 colorant Substances 0.000 description 27
- 230000002441 reversible effect Effects 0.000 description 25
- 239000004973 liquid crystal related substance Substances 0.000 description 24
- 238000006243 chemical reaction Methods 0.000 description 23
- 230000002829 reductive effect Effects 0.000 description 23
- 230000000694 effects Effects 0.000 description 22
- 230000005540 biological transmission Effects 0.000 description 19
- 238000009826 distribution Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 230000008901 benefit Effects 0.000 description 9
- 239000000470 constituent Substances 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 206010047571 Visual impairment Diseases 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 241000282412 Homo Species 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000008054 signal transmission Effects 0.000 description 5
- 230000004397 blinking Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 230000032823 cell division Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- DXMQZKIEVHKNTN-UHFFFAOYSA-N 2-[carbamimidoyl(ethyl)amino]acetic acid Chemical compound CCN(C(N)=N)CC(O)=O DXMQZKIEVHKNTN-UHFFFAOYSA-N 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/363—Graphics controllers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/0085—Time domain based watermarking, e.g. watermarks spread over several images
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
- G09G5/026—Control of mixing and/or overlay of colours in general
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/254—Management at additional data server, e.g. shopping server, rights management server
- H04N21/2543—Billing, e.g. for subscription services
- H04N21/2547—Third Party Billing, e.g. billing of advertiser
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8358—Generation of protective data, e.g. certificates involving watermark
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2310/00—Command of the display device
- G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
- G09G2310/024—Scrolling of light from the illumination source over the display in combination with the scanning of the display screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
- G09G2320/0646—Modulation of illumination source brightness and image signal correlated to each other
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
- G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
- G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/16—Use of wireless transmission of display information
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/18—Use of optical transmission of display information
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/20—Details of the management of multiple sources of image data
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/3406—Control of illumination source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
- H04N21/6175—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/654—Transmission by server directed to the client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
- H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Controls And Circuits For Display Device (AREA)
- Optical Communication System (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Liquid Crystal Display Device Control (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Description
本開示は、映像信号に含まれる画像を表示する映像表示方法などに関する。
可視光を用いた通信技術が提案されている。例えば特許文献1および2のように、ディスプレイ、プロジェクターなどを含めた映像表示装置において、通常の映像表示の中に可視光による通信情報を重畳して表示を行う提案がされている。
また、印刷物で試用されている電子透かし技術や、QRコード(登録商標)、バーコードなどを画像中に表示して、それらの符号化された信号を介して情報を携帯電話やスマートフォン、デジタルカメラなどの撮像機器を通じて、インターネットの世界への展開をする技術がある。
但し、これらは、映像信号の表示を各画素のドライブとバックライトの制御で行っているうちのバックライトの制御の一部に可視光通信信号を符号化して重畳しているものであり、2つの系統の制御により映像表示を行っている映像表示デバイスにのみ適応可能であった。
また、画像全体に対して電子透かし状に情報を目立たない形で重畳し、受信側で重畳した情報を復号するなど、映像表示装置を使用して映像とは別の情報を、映像と同期して或いは同期せずに、関連する情報などを送受信する方法が考案されてきた。また、多少の映像の劣化はあるが、通常存在する受信機を用いてすばやく情報の分離を行おうとするなどの取り組みも成されてきた。
しかしながら、従来の映像表示方法では、可視光通信用の信号を適切に送信することができないという問題がある。
本開示の表示方法は、映像信号に含まれる画像を表示する表示方法であって、前記映像信号に含まれる画像を表示する第1の表示ステップと、可視光通信信号を符号化することによって生成された、縞状模様の第1の可視光通信画像と、前記第1の可視光通信画像を、前記縞状模様の縞の方向に対して垂直な方向に伸張した第2の可視光通信画像とを、1枚の画像内において表示する第2の表示ステップとを有し、前記第2の表示ステップでは、1枚の画像を複数の領域に分割した前記領域のそれぞれにおいて、前記第1の可視光通信画像または前記第2の可視光通信画像を、前記縞状模様の縞の方向に対して垂直な方向に繰り返し表示し、前記複数の領域のうち、互いに隣接する領域において、縞の位相が異なるように表示する。
本開示によれば、可視光通信用の信号を適切に送信することができる。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、出願人は、当業者が本開示を十分に理解するために図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
(発明に至った経緯)
特許文献1では、バックライトの点滅により可視光通信信号を重畳する方法をとる。そのため、バックライトの消灯時間中は可視光通信信号の送信ができない。可視光通信信号を送信ができない期間は、信号の伝達ミスの要因となるため、画質を低下した状態で通信を行うしかなかった。
特許文献1では、バックライトの点滅により可視光通信信号を重畳する方法をとる。そのため、バックライトの消灯時間中は可視光通信信号の送信ができない。可視光通信信号を送信ができない期間は、信号の伝達ミスの要因となるため、画質を低下した状態で通信を行うしかなかった。
また、近年の映像表示装置、特に液晶ディスプレイ、液晶を用いたプロジェクターなどの分野においては、画質改善のためにバックライトスキャンと呼ばれる技術が採用されている。バックライトスキャンとは、表示画面をいくつかの領域に分割し、その領域毎に定期的に順次点灯するようバックライトの発光を制御する技術である。撮像機器を利用する方法また、液晶を用いた映像表示装置はその動画特性の悪さを改善するため、バックライトの点灯を画像信号に応じて制限するなどの対策を採っており、バックライトを用いた可視光通信を適応しようとした際に動画特性の改善とバックライトの変調による可視光通信の両立が困難である。
一方で、これら以外の映像表示装置、例えば、デジタルミラーデバイス(以下DMD)搭載したタイプのプロジェクター、有機ELディスプレイ、プラズマディスプレイはもちろんのこと、CRTを用いた映像表示装置についても、特許文献1または2のような手法で映像信号以外の信号を重畳して送信することは不可能であった。また、印刷物で試用されている電子透かし技術や、QRコード(登録商標)、バーコードなどを画像中に表示して、それらの符号化された信号を介して映像信号から情報を得、更には携帯電話やスマートフォン、デジタルカメラなどの撮像機器を通じて、インターネットの世界への展開をする方法も見られている。しかし、これらの方法では、画格サイズに制約がある、一定のレベルまで焦点を合わせのレベルなどのなければ成らない等の制限があるため、画像認識に時間がかかるという課題があり、また、そのため、専用の映像信号を少なくとも数秒以上のレベルで出力し続けなくてはならない等、一般的な使用に耐えるレベルのものではなかった。
そこで本開示は、映像信号中に非常に短い期間のみ符号化された信号を混入させ、これをある程度のサイクルで繰り返し、更に、順次露光型のイメージセンサーを用いた撮像装置を用いることで、同期を取ることも、極端に画格、映像表示装置までの距離などを気にすることなく、多くとも1秒以内という比較的短時間で、しかも、映像信号に対しては大きな外乱なく、画質を極端に低下させることもなく、可視光通信の情報を画像情報に挿入して送信できる映像表示装置、受信装置、可視光通信システム(映像表示システム)および映像表示方法を提供する。なお、本開示において、画格とは画面サイズのことである。
本発明の一態様に係る映像表示方法は、映像信号に含まれる画像をフレームごとに表示する映像表示方法であって、可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を第1の可視光通信画像として生成する可視光通信画像生成ステップと、所定のフレームにおいて、前記映像信号に含まれる画像を表示する第1の表示ステップと、前記所定のフレームにおいて、表示される前記画像の平均輝度よりも一様に低い輝度の画像を識別用画像として表示し、続けて前記第1の可視光通信画像を表示する第2の表示ステップとを含む。
これにより、例えば全黒画像または一様に灰色の画像が識別用画像として表示された後に第1の可視光通信画像が表示されるため、フレームごとに表示される画像を順次露光型のイメージセンサーを用いて撮像することによって得られる撮像画像には、可視光通信信号の開始位置を示す一様に黒または灰色のラインが表れる。したがって、その撮像画像から可視光通信信号を容易に読み出すことができる。その結果、可視光通信信号を適切に送信することができる。
また、前記映像表示方法は、さらに、前記第1の可視光通信画像が表示された後に、可視光通信用の縞模様の画像を第2の可視光通信画像として表示する第3の表示ステップを含んでもよい。
これにより、縞模様の可視光通信画像が繰り返し表示されるため、それらの可視光通信画像によって示される可視光通信信号を確実に受信することができる。
また、前記第3の表示ステップでは、前記第1の可視光通信画像の縞模様の向きと異なる向きの縞模様の前記第2の可視光通信画像を表示してもよい。
これにより、繰り返し表示される可視光通信画像の縞模様の向きが異なるため、イメージセンサーに含まれる各露光ラインの向きによって可視光通信信号の受信確率が低下することを抑えることができる。
また、前記第3の表示ステップでは、前記第1の可視光通信画像の縞模様を構成する互いに異なる2つの輝度値または色を入れ換えることによって示される反転画像を、前記第2の可視光通信画像として表示してもよい。
これにより、繰り返し表示される可視光通信画像が例えばネガとポジなどの反転画像として表示されるため、可視光通信画像が表示されることによる画像のちらつきを抑えることができる。また、前記第1および第2の可視光通信画像のそれぞれの縞模様は、補色の関係を有する2つの色を用いて構成されていてもよい。
また、前記第3の表示ステップでは、前記1の可視光通信画像と前記第2の可視光通信画像との表示間隔が20m秒以下となるように、前記第2の可視光通信画像を表示してもよい。
これにより、可視光通信画像が人の目に視認され難くすることができ、映像信号の画像に対する影響を抑えることができる。
また、前記第3の表示ステップでは、前記第1の可視光通信画像の縞模様の粗さと異なる縞模様を表すことにより、前記第1の可視光通信画像によって示される情報の量と異なる量の情報を示す画像を、前記第2の可視光通信画像として表示してもよい。
これにより、第1および第2の可視光通信画像から近い位置でこれらの可視光通信画像を撮像する場合には、第1および第2の可視光通信画像のうちの一方から多くの情報を取得することができる。また、第1および第2の可視光通信画像から遠い位置でこれらの可視光通信画像を撮像する場合には、上述の一方の可視光通信画像の縞模様が細かいために、その可視光通信画像を撮像することによって得られる撮像画像が不鮮明であっても、他方の粗い縞模様の可視光通信画像から情報を適切に取得することができる。
また、前記映像表示方法は、さらに、前記第1の可視光通信画像を撮像する撮像ステップと、前記撮像の結果に応じて、縞模様の粗さを変更させる指示を行う指示ステップとを含み、前記第3の表示ステップでは、前記指示が行われたときに、前記第2の可視光通信画像を表示しもよい。
これにより、例えば、プロジェクタによって映し出された第1の可視光通信画像をスマートフォンが撮像する場合に、スマートフォンの撮像によって得られる撮像画像が不鮮明であれば、スマートフォンはプロジェクタに対して第1の可視光通信画像を第2の可視光通信画像に変更させることができる。その結果、スマートフォンは鮮明な撮像画像を得ることができ、可視光通信信号を適切に受信することができる。
また、前記映像表示方法は、さらに、投影レンズによる投影によって前記第1の可視光通信画像をスクリーン上に表示するための焦点距離を特定する距離特定ステップと、前記焦点距離に応じて、表示される前記第1の可視光通信画像の数を決定する数決定ステップとを含み、前記第2の表示ステップでは、前記第1の可視光通信画像を、決定された前記数だけ前記スクリーン上に並べて表示してもよい。
これにより、例えば、焦点距離が長ければ、つまり投影距離が長ければ、スクリーン上に大きく表示される投影画像中の第1の可視光通信画像の数を増やし、可視光通信信号の受信確率を上げることができる。また、例えば、焦点距離が短ければ、つまり投影距離が短ければ、スクリーン上に小さく表示される投影画像中の第1の可視光通信画像の数を減らすことによって、第1の可視光通信画像が縮小されることを抑えることができ、このときにも、可視光通信信号の受信確率を上げることができる。
また、前記映像表示方法は、さらに、前記映像信号に含まれる画像を表示する表示装置が、前記第1の可視光通信画像を表示することが可能であることを示す識別情報を、前記映像信号を出力する端末装置に通知する通知ステップを含んでもよい。
これにより、例えば、プロジェクタである表示装置は、自らが可視光通信画像の表示に対応した装置であることを示す識別情報を、パーソナルコンピュータである端末装置に通知する。その結果、端末装置は、その通知された識別情報に基づいて、表示装置が可視光通信可能か否かを容易に判断することができる。
また、前記映像表示方法は、さらに、イメージセンサの各露光ラインの露光を順次異なる時刻で開始し、かつ、前記各露光ラインの露光時間が、隣接する露光ラインとの間で、部分的に時間的な重なりを持つように、1/480秒以下の露光時間で前記第1の可視光通信画像の撮影を行う撮影ステップを含んでもよい。
これにより、第1の可視光通信画像から可視光通信信号を適切に取得することができる。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
図1は、実施の形態1にかかる可視光通信を可能にした映像表示システムの一例を示す概略図である。
図1は、実施の形態1にかかる可視光通信を可能にした映像表示システムの一例を示す概略図である。
表示装置100は、映像表示装置であって、例えば液晶表示装置であり、表示部110に映像を表示することができる。また、この表示部110に表示されている映像には、表示されている映像に関する情報を示す可視光通信信号が挿入または重畳されている。表示装置100の表示部110に表示されることによって送信された可視光通信信号を、受信装置200は表示部110に表示された映像を撮像することで受信する。受信装置200は、例えば、順次露光型のイメージセンサーが内蔵されているスマートフォンとして構成される。これによりユーザーは、表示部110に表示されている映像に関連する情報などを受け取ることができる。
なお、実施の形態1では、表示装置として液晶表示装置を例にあげているが、表示装置は、有機EL表示装置、プラズマ表示装置などのディスプレイ機器、或いは、プロジェクション表示装置、プロジェクターなどの投影型の表示装置であっても良い。
また、受信装置としてスマートフォンを例に挙げているが、受信装置は、順次露光が可能なタイプのイメージセンサーを搭載した電子機器であればよい。例えばデジタルスチルカメラなどでもよい。
図2は、実施の形態1にかかる表示装置100の概略構成の一例を示すブロック図である。図2に示すように、表示装置100は、表示部110、第1の入力部120、第1の信号処理部130、表示制御部140、第2の入力部150、第2の信号処理部160を備えている。
第1の入力部120は、放送電波、映像録画機、映像再生機、PC、などからアンテナケーブル、映像信号線、例えばコンポジットケーブルや、HDMI(登録商標)ケーブル、PJLinkケーブルなど、或いはLANケーブルなどを通じて、表示部110に表示される映像に関する映像信号を受信し、第1の信号処理部130に送信する。尚、映像録画機或いは映像再生機においては種々の記録媒体に保存した信号を用いても良い。
第1の信号処理部130は入力された映像信号に復号処理などの一般的な画像処理を施した後、各フレームを複数のサブフレームに分解する。第1の信号処理部130は、サブフレームと映像信号の大きさ、表示タイミングや明るさなどを示す情報を表示制御部140と第2の信号処理部160に送信する。
第2の入力部150では、PCなどで作成された可視光通信信号を専用のケーブルなど、或いは、LANケーブルなどを通じて受信する。尚、可視光通信信号は、放送電波の一部に重畳して、アンテナケーブルを通じて入力しても良いし、それを録画した映像録画機、或いは別途PCなどで作成された可視光通信信号を映像信号と重畳したものを映像録画機或いは映像再生機からHDMI(登録商標)ケーブルやPJLinkケーブル等の一部のラインに載せて送受信しても良い。映像録画機或いは映像再生機においては種々の記録媒体に保存した信号を用いても良い。また、外部から受信する以外にも、表示装置のIDなど、表示装置に内蔵された情報を利用し、インターネットなどを通じてサーバー情報を読み込み取得する情報に代替する方法もある。第2の入力部150は、受信した信号を、第2の信号処理部160に送信する。以下、可視光通信信号の一連のデータの1まとまりを1ブロックとして標記することとする。
第2の信号処理部160は、第2の入力部150から入力された可視光通信信号の変調信号を作成し、変調信号を元に可視光通信画像を作成する。可視光通信信号の符号化では、JEITA−CP1222、或いは、1223に準拠した符号化を行っても良いし、IEEE−P802.15.7などの規格を用いても良い。また、符号化だけであれば、それに対応した受信装置を用いて構成してもよい。これら以外の符号化方法、例えばマンチェスターコーディングなどを用いて変調しても良いし、更には、ここでは、あくまで、二値での符号化を行っていたが、階調表現をそのまま使用できることをかんがみると、三値以上で符号化する、すなわち、従来の2倍以上の情報量を伝達することも可能である。
また、第2の信号処理部160は、第1の信号処理部130から入力される映像信号に含まれる映像の明るさ等に関する情報に基づいて、1フレームを構成するサブフレームのうち、或いは複数のフレームのうちのどのサブフレーム(映像信号期間)のどの領域に可視光通信画像を挿入させるかを決定する。例えば、比較的明るく表示されるフレームの中のサブフレームを選択して可視光通信画像を挿入する。また、比較的明るく表示されるサブフレームを選択して可視光通信画像を挿入してもよい。
フレームの中に、混入するサブフレームを設定しても良いし、更には、表示部110が比較的明るく表示されるサブフレームを選択して可視光通信画像を混入しても良い。また、重みをつけたサブフレームを用いて階調表現している場合には、誤差拡散などにより階調表現の幅を広げている場合がある。この場合、重みの低いサブフレームを用いる際には、誤差拡散などでも輝度が変動しなく、点灯状態が継続される期間を選択して、可視光通信画像を表示しても良い。
さらに、通常の映像表示に関しては、可視光通信画像を表示することによる輝度の上昇低下を他のサブフィールドで補正する操作を行い、連続した映像として違和感なく視聴できる表示方法を用いても良い。
なお、既存のサブフレームではなく、1フレーム内に、通常の映像を表示する時間領域と、可視光通信画像を表示する時間領域を設定または作成してもよい。この際も、可視光通信画像が挿入または表示されるフレームとして、表示部110が比較的明るいフレームを選択しても良い。
また、可視光通信画像を挿入する位置または時間帯があらかじめ決められている場合は、第2の信号処理部160によって行われる、可視光通信画像を挿入するサブフレーム又は時間領域の決定に関する処理を行わなくてもよい。この場合は、予め決められているサブフレーム又は時間領域に可視光通信画像を挿入して表示または出力すればよい。
また、可視光通信画像を表示する時間は、できる限り短時間にするほうが望ましいが、受信装置側の性能によるところも大きいので、本件は後に詳述する。
第2の信号処理部160は、生成した可視光通信画像と可視光通信画像を挿入するサブフレーム又は時間領域を示す表示タイミング情報とを表示制御部140に送信する。
表示制御部140は、第1の信号処理部130及び第2の信号処理部160よりそれぞれ入力される表示タイミング情報に応じて、第1の信号処理部130より入力される映像信号に、第2の信号処理部160より入力される可視光通信画像を挿入する。なお、表示制御部140は、後述するとおり、映像の応答速度などを考慮すると、固体半導体素子を用いたスイッチングを行える素子を用いて画像表示することが望ましい。表示部110は、表示制御部140より入力される映像信号を表示する。
図3は、実施の形態1にかかる受信装置200の一構成例を示すブロック図である。
図3に示すように、受信装置200は、撮像部210、映像化部220、信号判定部230、および信号復調部240を備えている。
撮像部210は、表示部110に表示されている画像を撮像する。撮像部210は、例えば、順次露光型のイメージセンサーで構成される。撮像を開始すると、イメージセンサーは、順次横列の露光を行い、撮像したデータをバッファ(図示せず)に格納する。イメージセンサーによっては、列毎に順次露光をするものや、各露光素子毎、一定の素子の群として順次露光するものなど存在するが、取り扱いは同じで、あくまで画像の横方向に配列されたデータを取得することが目的である。
映像化部220は、撮像部210で撮像されバッファに格納されているデータに対して、各画素毎の輝度を、二次元表示したビットマップとして表現し、信号判定部230に映像として出力する。
信号判定部230は、映像化部220より入力された映像に可視光通信画像が含まれているかどうかを判定する。まず、1ブロックの大きさのデータごとに、データのヘッダ部分を探し、データが含まれているか否かを判断する。信号判定部230は入力された映像に可視光通信画像が挿入されていると判定した場合は、入力された映像を信号復調部240に出力すると共に、撮像部210に撮像動作をやめるよう指示する。また、信号判定部230が、入力された信号に可視光通信画像が挿入されていないと判定した場合には、撮像部210は、バッファに格納したデータを、撮像して得られた画像データに上書きを行いながら順次露光を更に繰り返す。ここで、信号判定部230は、何もしない。一定期間撮像を行っても、可視光通信画像を挿入されている映像を判定できない、または、データが入力されたと判断されなければ、信号判定部230は、撮像部210の撮像動作を停止させる。信号判定部230は、エラーとして信号を返しても良い。
信号復調部240は、信号判定部230より出力された映像から可視光通信画像を取り出して、元の可視光通信信号に復調する。信号復調部240は、二値化したデータを復号し、可視光通信信号としてメモリに格納する。
次に、可視光通信信号を画像化した可視光通信画像について説明する。
図4は、可視光通信画像の一例を示した図である。図4の(a)は、1ブロックの可視光通信信号を符号化した符号化画像Pを示し、水平方向に明暗の表示となって表現される。図4の(a)の符号化画像Pは、図4の(b)に示すように、そのまま鉛直方向に、表示部110の両端付近まで延伸されることによって、符号化画像P1が生成される。その後、図4の(c)に示すように、図4の(b)の符号化画像P1を横方向に5回繰り返し表示し、最終的な可視光通信画像が生成される。ここで、横方向への繰り返し回数は、1ブロックの符号化画像の大きさと、映像の大きさに応じて決定する。
なお、1ブロックの符号化画像を延伸していることによって、後述するように、多くの露光ラインで符号化画像を捉えることができるため、受信確率を向上させることが期待できる。また、1ブロックの符号化画像を繰り返し表示しているのは、表示装置と受信装置間の距離、受信装置の撮像部の性能によって画格が異なることに対応するためである。これは、受信装置が表示部110全体を撮影する性能がなくても、表示部110に表示されている可視光通信画像のいずれかの部分を撮影すれば、図4の(a)で示す符号化画像P1が取得できることを示す。可視光通信画像をこのように生成することで、受信装置の撮影状況の制約を緩和することが可能となる。符号化画像の繰り返し回数は多いほど近接した撮影が有効になる。また、受信装置が、画面全体を撮像できることを前提とするならば、符号化画像を繰り返す必要は必ずしもない。
以下、実施の形態1にかかる可視光通信システム(映像表示システム)の動作について具体的に説明する。まず、表示装置100の動作を説明する。図5は、実施の形態1にかかる表示装置の動作を説明する図である。図5において、横方向を時間軸とする。
図5の(a)は第1の信号処理部130から出力される画像、同図の(b)は第2の信号処理部160から出力される画像、同図の(c)は、表示制御部140から出力される画像を示す。
まず、図5の(a)に示すように、第1の信号処理部130からは、1/F秒間に4枚の画像が出力される。これは、第1の入力部120に入力された映像が、1/F秒間に4つの画像を表示することを示している。第1の信号処理部130は、表示制御部140に、1/F秒間に4つの画像を表示する表示タイミング情報を送信する。また、第1の信号処理部130は、画像A11、A21、A31、A41、…を1/F秒毎に表示制御部140に出力する。さらに、第1の信号処理部130は、表示制御部140に送信した表示タイミング情報と同じ表示タイミング情報を第2の信号処理部160に送信する。
次に、図5の(b)に示すように、第2の信号処理部160では、予め保持している全黒画像B1と、第2の入力部150から入力された可視光通信信号より生成した可視光通信画像C1を表示制御部140に出力する。この場合、第2の信号処理部160は、画像A1x、A2x、A3x、A4xを、画像の明るさなどから、可視光通信画像を混入する画像と決定する(xは、フレームのx番目であることを表す)。また、第2の信号処理部160は、1/F秒間に4枚の画像を表示し、3枚目に全黒画像Bx、4枚目に可視光通信画像Cxを混入させることを決定する。第2の信号処理部160は、決定した表示に関する情報を、表示タイミング情報として表示制御部140に出力する。例えば、xは1である。
次に、図5に示すように、表示制御部140は、第1の信号処理部130から入力された画像Aと、第2の信号処理部160から入力された全黒画像Bx、可視光通信画像Cxの表示タイミングを、入力された表示タイミング情報に応じて決定する。この場合、表示制御部140は、表示部110が1/F秒間に4枚の画像を表示するよう制御する。表示制御部140は、4枚の画像において、1枚目、2枚目には、第1の信号処理部130から送信された画像A11、A21、3枚目には第2の信号処理部160から送信された全黒画像B1、4枚目に第2の信号処理部160から送信された可視光通信画像C1を表示部110に表示するように制御する。
さらに、表示制御部140は、次の1/F秒間に4枚の画像を表示するよう制御する。この場合、表示制御部140は、4枚の画像において、1枚目、2枚目には画像A1(x+1)、A2(x+1)、3枚目には全黒画像B(x+1)、4枚目には可視光通信画像C(x+1)を表示部110に表示するよう制御する。図5の例では、4枚目の可視光通信画像C1を90度回転し、可視光通信画像C1と同じサイズに成型した可視光通信画像C2を混入させている。すなわち、可視光通信画像を複数回混入させるときは、同じ可視光通信画像を複数回混入させても良いし、元の可視光通信画像を反転させたり、回転させて混入させても良い。これは、受信装置200の撮像方向、角度などに対応するのに有効である。全黒画像B1とB2は同じであってもよく、可視光通信画像C1とC2は同じものであっても、前述したように異なるものでも良い。
また、各画像A1x、A2x、A3x、A4x、全黒画像Bx、可視光通信画像Cxはそれぞれ1/F秒間隔で表示される。
尚、映像によっては、可視光通信画像は連続したフレームで表示せず、いくつかのフレーム毎に表示、或いはランダムに表示しても良い。
なお、本実施の形態のサブフレームは、階調表現のために作成されたサブフレームに限らず、液晶表示装置などの所謂4倍駆動など、画質向上のために作成されたサブフレームであってもよい。
次に、受信装置200の動作を説明する。図6Aは、実施の形態1にかかる受信装置の動作を説明する図である。図6Aにおいて、横方向を時間軸とする。
図6Aの(a)は表示装置100の表示部110に表示される画像、同図の(b)は、撮像部210における各露光ラインの露光時間、同図の(c)は受信装置が撮像した画像を示す。
図6Aの(a)に示すように、表示部110には、1/F秒に4枚の画像が表示される。図6Aの(a)の例では、4枚の画像において、3枚目に全黒画像B1、4枚目に可視光通信画像C1が表示される。
撮像部210は、表示部110に表示されている映像を撮像する。撮像部210が、順次露光型のイメージセンサーで構成されている場合、撮像を開始すると、イメージセンサーは、順次横列として順次露光を行い、撮像したデータをバッファ(図示せず)に格納する。各順次露光を行う単位、特にここではライン状に順次行うことを想定しているため、露光ラインと呼ぶ。図6Aの(b)の場合は、露光ラインL1、L2,L3、…の順に露光が行われる。
なお、図6Aの(b)では、一例としてイメージセンサーは10本の露光ラインに分割されているが、これ以外の分割数でも良いし、また、ライン状でなくともよい。各々の露光ラインは、非常に短い時間オーバーラップして、順次ラインを露光していく構成になっている。
図6Aの(c)は、全露光ラインの撮像が終了した時点のバッファに格納されている画像を示す。この場合、フレーム内の画像の始まりと、撮像の1単位の始まりが偶然にも一致しているが、これがずれて撮像の単位が始まったとしてもよい。この場合、受信装置側での撮像した画像が、図6Aの(c)では上から3番目の横方向に信号が幅の短い横縞として撮像されているのに対して、画像中の場所が上下するだけで、必ず横縞が観察されるため、特にタイミングを制御する必要もなく、トリガ信号をどこかから拾う必要もない。図6Aの(c)の場合、露光ラインL6に可視光通信画像が撮像されている。
映像化部220は、撮像部210で撮像されバッファに格納されているデータに対して、各画素毎の輝度を、二次元表示したビットマップとして表現し、信号判定部230に映像として出力する。
信号判定部230は、映像化部220より入力された映像に可視光通信画像が含まれているかどうかを判定する。図6Aの場合、信号判定部230は図6Aの(c)の映像が入力されると、露光ラインL1〜L10において、露光ラインL6に可視光通信画像が挿入されていると判定し、入力された映像を信号復調部240に出力すると共に、撮像部210に撮像動作をやめるよう指示する。
信号復調部240は、信号判定部230より出力された映像から可視光通信画像を示す露光ラインL6の画像を取り出して、元の可視光通信信号に復号する。
なお、信号判定部230の判定は、入力される映像単位で行ったが、露光ライン毎に行ってもよい。その場合は、露光ラインL6に可視光通信画像が含まれると判定した時点で、露光ラインL7以降の判定を行わず、撮像部210の動作を止めても良い。
また、図6Aに示すように1秒間にF個のフレームで映像が構成され、可視光通信画像が表示される期間は、1フレームのうちの一部の時間、本実施の形態では1フレームの1/4の場合を説明した。可視光通信画像が表示される期間は1/4フレーム以外でも良いが、信号をできる限り視認しにくいという面で、少なくとも1/4フレーム以下が望ましい。さらに、受信装置側の対応可能な範囲でできるだけ小さな値の方が望ましい。
以上のような構成により、短い期間に可視光信号符号化画像を挿入し、露光時間が充分短かければ、つまり、図6Aに基づくと、nF分の1秒(図6の場合はn=4)よりも充分早いシャッタースピード露光時間であれば、どこかの該当する露光ラインが可視光信号符号化画像を表示している時間に該当する。露光ラインの露光時間中に、他の画像が挿入しないことが望ましいため、更には、図6Aの例では、4F分の1秒の更に半分より小さい露光時間にすると、確実に他の画像が挿入されない画像を撮像することが可能となる。なお、図6Bに示すように、全黒画像Bxの代わりに、全黒画像よりも一様に輝度が明るい全グレー画像Bxを挿入してもよい。
このように、順次露光型の撮像部で撮像する受信装置の組合せにより、簡便に、且つ、タイミングに制約されないため単純な構成にて、可視光信号を送受信することが可能となる。
なお、可視光通信画像を挿入する時間と、順次露光型の撮像部の走査速度及び露光時間に関しては(式1)の関係を満たすことが望ましい。これは、可視光通信画像の前後の映像信号と一緒に可視光通信画像に対して、露光ラインが露光されることにより、S/Nが極端に悪化するためである。
(式1) 1露光ラインの露光時間<1/(2×nF)
(式1)において、nは、映像の1フレームを均等に分割したサブフレームの数であり、Fは1秒間に表示されるフレーム数である。n、Fは共に正の整数である。
可視光通信画像または符号化画像が、人の目に残像として認識されにくい時間幅を考えると、可視光通信画像または符号化画像を表示する1露光ラインの露光時間は、1msec以内、さらに、0.2msec以内にすることが望ましい。現在の映像信号の一般的なフレーム数F=60で考えると、(式1)を満たすためには、n>8、望ましくは、n>40であることが望ましい。
以下、前記可視光通信画像または符号化画像を表示する時間として望ましい範囲を設定した理由を説明する。これは、人の目の時間分解能は、一般に時間的には、50msec程度であるとされ、それ以下は残像として前後の映像と交じり合った画像として認識されることによる。一方で、人の目が輝度の差として捉えられる限界は、個人差はあるものの、凡そ、隣接する領域の輝度差が2%つくと、ほとんどの人が、輝度差があることを認識すると言わされている。従って、挿入した可視光通信画像または符号化画像が前後の画像と交じり合って輝度差として認識されないためには、50msecの2%、すなわち、1msec以下の時間であることが望ましい。
フレームをそのまま使用することになると、サブリミナル効果などの副作用も懸念されることから、n=2が最低限必要なフレーム分割数となる。これによると、1/480より小さいシャッタースピードまたは露光時間を選択することが具体的に望ましい数値として挙げられる。詳細については、後述する。
また、映像機器から非常に短い期間、可視光通信画像または符号化画像を出す具体的手法としては、PDPや、ELのように、動作速度が速いものは、駆動信号によって制御することで対応できるが、LCDなどでは、駆動だけ高速化しても液晶の反応速度が遅い場合には対応できない。このような際には、特にバックライトが、LEDなど点滅が高速にできるものであれば、LEDを消灯して短い時間だけ表示することが可能になる。プロジェクターについては、LCOSなど、液晶を使用しているものも同様に、光源側に制御を加えて、短時間の表示を実現できる。更に、デジタルミラーデバイス(DMD)など、高速駆動できるミラーデバイスにて、投影側へ光を射出する方法を取るプロジェクターの場合には、DMDの制御によって短時間表示することも可能であり、また、光源側での制御で、時間を切ることもでき、さらに、これらを合わせて時間を短くすることも可能である。
なお、実施の形態1においては、可視光通信信号を横方向に配列した場合について説明したが、これに限定するものではない。可視光通信信号を横方向に配列した場合、符号化画像は縦縞になる。そのため、受信装置200の撮像部210が横方向を単位とした縦方向への順次露光する方向にて画像を撮像しない場合、可視光通信信号の符号化画像を取得することができない。
また、一定以上の角度で受信装置を傾けて撮像すると、データのひとまとまり1ブロックが撮像範囲に全て入らない、或いは縞模様と平行になるため、データは取り得ないなどの課題も発生する。
図7に、可視光通信画像と受信装置との角度と、受信エラーの発生確率および、必要な画像の大きさの関係の一例を示す。
図7に示すように、可視光通信画像の縞模様と、受信装置の角度と、撮像受信エラーの発生確率の関係は、ほぼコサイン則の形状を示すグラフに成る。これは、受信装置機における1つの露光ラインで得られる画格は、角度が変化すると、コサイン則に従ってその撮像できるデータの範囲が小さくなり、1つの露光ラインで撮像できるデータが1ブロック分とほぼ同等の領域まで小さくなると、急激にその誤認識の確率が高くなる。図7では、全画面にデータが4ブロック分格納された可視光通信画像または符号化画像を用い、受信装置機の撮像がほぼ、全画面で取れる位置から撮像した際の結果であり、135度(45度傾けて撮影する場合)程度までの角度であれば問題なくデータを入手できることがわかる。急激に変化する角度は、全画面中にデータが何ブロック格納されるか、或いは撮像する際にどの程度の距離で、全画面に対してどの程度の大きさに見える位置で撮像するかによって異なる。更に、垂直になると、理論的にもデータが取れなくなるため、受信装置を視聴者がどちら向き(縦向きか横向きか)に置くかによって、全く可視光通信信号の受信ができない状況が発生することが考えられる。これらの不具合を解決するために、可視光通信画像を縦方向や斜めに配置したり、縦部分と横部分で反転させるパターンに配置しても良い。
例えば、図8Aに示すように、縦方向の縞模様の可視光通信画像C1と、横方向の縞模様の可視光通信画像C2と、斜め方向の縞模様の可視光通信画像C3と、可視光通信画像C3と逆の斜め方向の縞模様の可視光通信画像C4とを表示してもよい。さらに、図8Bに示すように、縦方向の縞模様の可視光通信画像C1aと、可視光通信画像C1aの輝度(白と黒)を反転させた画像である可視光通信画像C1bと、横方向の縞模様の可視光通信画像C2aと、可視光通信画像C2aの輝度(白と黒)を反転させた画像である可視光通信画像C2bと、斜め方向の縞模様の可視光通信画像C3aと、可視光通信画像C3aの輝度(白と黒)を反転させた画像である可視光通信画像C3bと、可視光通信画像C3aと逆の斜め方向の縞模様の可視光通信画像C4aと、可視光通信画像C4aの輝度(白と黒)を反転させた画像である可視光通信画像C4bと、を表示してもよい。
図9の(a)は、図4における符号化画像Pを1つだけ全画面にした表示例である。このような配置をすることで、撮影された可視光通信画像の画素の大きさによる制限が緩和され、表示部110に対して長い距離を隔てた場所からの受信が可能となる。図9の(b)は、図4と全く同様に、符号化画像Pが横縞からなり、縦方向に4階繰り返し表示している画像である。この際には、受信機の順次露光ラインがほぼ鉛直方向になる方向で受信できる。図9の(c)は、画面全体を斜めほぼ45度に配列した符号化画像の例である。図9の(d)は(c)と逆方向に約45度に配列した符号化画像の例である。以降は、図4及び図9の(a)乃至(d)の何れかを基本形としてそれらを組合せた例として示した図である。図9の(e)は、市松模様にこのような配置をする際に、画面の少なくとも市松模様の一つの単位以上の画格にて撮像することで、受信機における撮像装置の向き及び角度は、どこを向いていても信号を受信することが可能となる。図9の(f)は、画面の約半分を斜め45度、残りをそれに直交する方向に配列した符号化画像である。図9の(g)は、データの1ブロックが画面上側では画面全体(縦縞なので横方向)にデータが4ブロック、画面下半分では、画面全体でデータが2ブロック繰り返し表示された画像にしている。これは、受信機にて撮像する場所と、表示面との距離が近ければ、受信機側で撮像する画像が大きく、その解像度は高くなるため、データのブロック数が多くなる方が有利である。しかし、比較的はなれた場所から撮像する際には、解像度が低くなるため、データのブロック数が少なくなるほうが好まし。したがって、どちらにも対応できるために、これらをあわせた画像を作成して表示しても良い。ここでは、4ブロックと、2ブロックの例を示したが、これ以外の数の組合せでもよい。図9の(h)は、1画像を上下方向に分割し、それぞれの領域で、可視光通信画像の縞の位相を変化させた画像にしている。これによると、場所による明暗の局在化を避けることができるため、視線移動に伴うフリッカ防止の効果が期待できる。ここでは、縦縞で、縦方向の分割を5つにし、一番上と一番下の位相が揃うように順次位相変化させているが、分割数もこれに限らず、また、位相変化もランダムでも良い。
また、図4或いは、図9に明示された画像又はこれらを一定の角度だけ回転させた画像は、それぞれ長所と短所があるため、用途に応じて、これらの画像を任意に回転させて組み合わせた画像を使用してもよい。
更には、時間的に繰り返し表示を行う場合に、これらの画像を用途に応じてフレーム毎に順に或いはランダムに変化させて表示しても良い。
尚、順次スキャンを行い、バックライトスキャンを行う液晶など、同時に全画面が表示されない期間が存在する表示機器においては、スキャンの方向と垂直方向の縞模様を用いることで、通信確率の向上が期待できる。一般的な液晶表示装置においては、縦方向にスキャンが行われるため、横縞すなわち図4の(b)を適応することが望ましい。
全黒画像の輝度レベルは、可視光通信画像または符号化画像における黒の部分、すなわち、輝度の低い部分の輝度と一致する必要はない。但し、可視光通信信号を受信する感度を考慮すると、全面に渡る輝度が低いレベルの画像の輝度は、できるだけ輝度が低いことが望ましい。図10の(a)と(b)と(c)のように、1フレームの中の可視光通信画像を表示するサブフレーム或いは時間領域を2分割して、上記の2枚1組の白黒反転画像を用いても良い。更に、RとCなど互いに補色関係にある色の組合せを用いても良い。補色関係の2色を用いると、白黒の場合と同様に、反転画像の組合せを用いても良い。
本実施の形態では、可視光通信信号を符号化後に画像データとして出力していたが、データのブロックの境目を明示するために、通常の符号化信号ではありえない枠状の画像信号を前後に挿入し、前記枠状の画像信号が2つ以上認識されれば、1ブロックの信号を得たと判断するとともに、1ブロックの信号の画像上での大きさを確定するために使用しても良い。
図11は、周辺照明などの光源輝度の高周波ノイズと、露光時間との関係を示している。高周波ノイズ周期に比べて露光時間が大きいほど、撮像画像は高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。露光時間が高周波ノイズ周期の整数倍のときは高周波ノイズの影響がなくなり、可視光通信信号の受信が最も容易になる。高周波ノイズの主な原因はスイッチング電源回路に由来し、多くの電灯用のスイッチング電源ではその周期は20マイクロ秒以下であるため、露光時間を20μsec以上とすることで、光源輝度の推定を容易に行うことができる。
なお、本実施形態では、表示装置100として映像を表示するディスプレイを例に挙げているが、図1に示す通り、プロジェクターのように映像を投影する機器であってもよい。また、可視光通信信号を受信する電子機器としてスマートフォン200を例に挙げているが、可視光通信信号を受信できる、順次露光が可能なタイプのイメージセンサーを搭載した電子機器であれば、デジタルスチルカメラなど、スマートフォンには限られるものではない。
次に、映像表示における階調表現について説明する。本内容については、当業者にとって当然の内容なので、簡単に触れておく。ディスプレイの範疇では、PDPは、1フレームを、重みをつけたサブフィールド(サブフレーム)に分割し、各サブフィールドの点灯非点灯の組合せで階調表現をするものもある。また、LCDでも、PDPと同様に、重みをつけたサブフィールド分割するものもあれば、単純に1フレーム内でシャッターを開放している時間を制御して各色の輝度を調整し、階調表現をするものもある。有機ELのディスプレイの駆動も前記のどちらかの方法を取っている場合が多い。一方、プロジェクター関連では、液晶を用いたプロジェクターや、LCOSを用いたプロジェクターでは、階調表現の方法は、液晶ディスプレイと同様である。DMDを用いたプロジェクターでは、光源からの光を投影レンズ側とダンパー側に高速に切替えられるミラーを画素数の分だけ二次元的に配列した素子を用いて、各フレーム毎に各色の光源から投影レンズ側へ光束を投影する時間の長さで階調表現を行っている。DMDプロジェクターでは、1フレームを更に細かく時間区分し、映像信号をDMDの制御信号に変換して、投影レンズより映像を投射している。このように、最近の映像信号を表示する映像表示装置は、RGB、或いはこの他の色も含めた原色の1フレーム内での発光時間を制御することで映像表示を行っており、1フレーム以下のレベルでの画像挿入は原理的には困難ではない。
以下、上記実施の形態について、改めて説明する。
図2は、表示装置100の概略構成を示すブロック図である。図2に示すように、表示装置100は、第1の入力部120と、第1の信号処理部130と、表示制御部140と、表示部110と、第2の入力部150と、第2の信号処理部160と、を有する。
第1の入力部120には、表示部110に表示される映像に関する映像信号が入力される。この映像信号は、第1の信号処理部130に伝送され、画質の処理などの一般的な画像処理が施される。その後、映像信号は、表示制御部140に送信される。
表示制御部140は、映像信号に基づいて表示部110に映像を表示するよう制御する。表示部110は、例えばプロジェクターの投影レンズ或いはそこからの光信号を投影したスクリーンである。表示制御部140は、映像信号に基づいてDMDの反射方向制御等を行う。
第2の入力部150には、可視光通信に用いられる信号が入力される。入力された可視光通信信号は、第2の信号処理部160に伝達され、可視光通信信号の符号化処理や、それを元にした画像の作成などが行われる。また、第2の信号処理部160には、第1の信号処理部130からの映像信号も送信される。この映像信号には、映像の明るさ等に関する情報が含まれている。第2の信号処理部160は、この情報に基づいて、1フレームの複数の時間領域のうち、どの領域を可視光通信領域として用いるかを決定する。例えば、表示部110内が比較的明るく表示される時間領域を可視光通信領域として設定してもよい。その後、第2の信号処理部160において符号化された可視光通信信号を画像化し、前記可視光通信領域において、通常の映像信号の代わりに符号化され、画像化された可視光通信信号が映像信号として表示制御部140を経て表示部110に表示され、視聴者は視認できる。
なお、可視光通信領域の時間帯があらかじめ決められている場合は、上記のような第2の信号処理部160での可視光通信領域の決定に関する処理は行わなくてもよい。
また、可視光通信信号を符号化した画像を表示する時間幅は、できる限り短期間にするほうが望ましいが、受信機側の性能によるところも大きいので、本件は後に詳述する。
また、前記、可視光通信信号を符号化した信号を表示する際の前後の映像信号の取り扱いであるが、該当する期間のみ可視光通信信号を符号化した画像を表示し、それ以外の期間については通常の映像信号による画像を表示しても良い。この際に、可視光通信画像または符号化画像を挿入する分だけ映像信号が変化してしまうが、1フレーム内の映像信号のほかの部分の信号を補正することで対応しても良いし、そのまま通常の映像処理部にて処理した信号をそのまま表示制御部に送って表示を行ってもよい。更には、該当する1フレームの可視光通信画像または符号化画像をのぞく映像信号は全て無視して、その前後の映像と合わせて黒表示或いは一定の階調の灰色表示を行って、その信号のみを受信側に対して強調する方法を取っても良い。
次に、可視光通信画像または符号化画像について説明する。図4は、可視光通信画像または符号化画像の一例を示した図である。この図では水平方向に可視光信号が符号化されたデータが明暗の表示となって表現されており、そのまま鉛直方向に両端付近まで延伸している画像となっている。これは、横方向には符号化画像のデータを上下(左右)で数回繰り返し同じパターンを表示している。これは、受信側のイメージセンサーでの撮像画格が画面全体を撮影しなければならない等の制約を回避するためで、繰り返し回数は多いほど近接した撮影まで有効になる。また、画面全体を取ることを前提とするならば、繰り返しはせずに、一回にて充分になる。画像の作成例の詳細は後述し、図4の例を用いて、可視光通信信号を受信する際の形態について例を挙げて説明する。
図5は、可視光通信画像または符号化画像を通常の映像に混入して表示した際の受信側との関連を例示したものである。
横方向に時間が流れているとして考えると、該当する可視光通信画像または符号化画像が混入している映像を表示している際に、受信機側で受信走査に入ると、順次露光型のイメージセンサーが作動を始める。ここでは特に、順次横列として順次露光、データの格納を行う。イメージセンサーによっては、列毎に順次露光をするものや各露光素子毎、一定の素子の群として順次露光するものなど存在するが、取り扱いは同じで、あくまで画像の横方向に配列されたデータを取得することが目的である。この際に、格納されたデータについて、可視光通信信号に相当すると判断される信号でなければ、さらに順次露光を継続し、また、前記信号に相当すると判断すれば、格納されたデータを取り出し復号化を行う部分に信号が送られる。
本例では、横方向に信号が配列されているため、縦縞になり、受信機側のイメージセンサーは横方向を単位とした縦方向への順次露光する方向にて画像を撮像しなければデータを得ることができない。また、一定以上の角度で受信機を傾けて撮像すると、データのひとまとまりが撮像範囲に全て入らない、或いは縞模様と平行になるため、データは取り得ないなどの課題も発生する。
図7に、可視光画像の縞模様と、受信機の角度と、必要な画像の大きさの関係の一例を示す。このように、ほぼコサイン則の形状を示すグラフに成るため、30度程度までの角度であれば大きな問題にはならない。その一方で、垂直になると、理論的にもデータを取れる見込みがないため、受信機を視聴者がどちら向き(縦向きか横向きか)に置くかによって、全く可視光通信信号の受信ができない状況が発生することが考えられる。これらの不具合を解決するための一例として、図9に示す種々の信号パターンを用いても良い。
縦でも横でも斜めでも、縦部分と横部分で反転させるパターンなどでも良い。
受信機のイメージセンサーの性能及び設定と、可視光通信画像または符号化画像を表示する期間の関係などを図6Aに示す。各順次露光を行う単位、特にここではライン状に順次行うことを想定しているため、露光ラインと呼ぶ。図6Aでは、一例として10本の露光ラインに分割されているが、これ以外の分割数でも良いし、また、ライン状でなくともよい。各々の露光ラインは、非常に短い時間オーバーラップして、順次ラインを露光していく構成になっている。図のように1秒間にF個のフレームで映像が構成されているとする。可視光通信画像または符号化画像は、そのうちの一部の時間に表示される。本実施の形態では、その時間を1フレームの1/nとしたが、これ以外でも良い。信号をできる限り視認しにくいという面で、少なくとも1/4以下で、受信機側の対応可能な範囲でできるだけ小さな値の方が望ましい。図中に、順次露光のイメージセンサーを用いて、映像表示中に受信機側で撮像した画像の例を示す。図6Aでは、フレーム内の画像の始まりと、撮像の1単位の始まりが偶然にも一致しているが、これがずれて撮像の単位が始まったとしてもよい。受信機側での撮像した画像が、図6Aでは上から3番目の横方向に信号が幅の短い横縞として撮像されているのに対して、画像中の場所が上下するだけで、必ず横縞が観察されるため、特にタイミングを制御する必要もなく、トリガ信号をどこかから拾う必要もない。以上のような構成により、非常に短い期間に可視光通信画像または符号化画像を挿入し、露光時間を充分短くする。ここでは図9に基づくと、nF分の1秒よりも充分早いシャッタースピードであれば、どこかの該当する露光ラインが可視光信号画像または符号化画像を表示している時間に該当する。露光ラインの露光時間中に、他の画像が混入しないことが望ましいため、更には、図6AでのnF分の1秒の更に半分より小さい露光時間にすると、必ず他の画像が混入されない画像を撮像することが可能となる。このように、順次露光型イメージセンサーで撮像する受信機の組合せにより、簡便に、タイミングに制約されないため単純な構成にて可視光信号を送受信することが可能となる。
尚、可視光通信画像または符号化画像を挿入する時間と、順次露光型のイメージセンサーの走査速度及びシャッター速度に関しては下記の関係を満たすことが望ましい。これは、可視光通信画像または符号化画像の前後の映像信号と一緒に可視光通信画像に対して、露光ラインが露光されることにより、S/Nが極端に悪化するためであり、望ましくは上記(式1)の通りの条件をみたす構成にすると良い。
ここで人の目に残像としても残りにくい時間幅を考えると、露光時間は1msec以内、望ましくは、0.2msec以内と成る。現在の一般的なフレーム数 F=60 で考えると、式1を満たすためには、n>8、望ましくは、n>40であることが望ましい。
これは、人の目の分解能が時間的には、50msec程度で、それ以下は残像として前後の映像と交じり合った画像として認識される。一方で、人の目が輝度の差として捉えられる限界は、2%と言われ、極短い期間に可視光通信符号化画像を挿入して、それが、前後の画像と交じり合って輝度差として認識するためには、50msecの2%、1msec以下であれば輝度差として認識できないため、1msec以下の時間であることが望ましい。さらに、一般的な映像表示装置は、RGB表示されており、これらの色度差として、同じ輝度であれば、Δu‘v’が0.3程度で差が目立つ様になるため、これをRGB単色のエネルギー比で表せると、約20%の差に相当する。このため、更に望ましくは、0.2msec以下の期間に表示することが望ましい。
尚、一般的な順次露光型イメージセンサーでは、汎用性を考えると、最低限1フレームを二分割しなければ完全に画像として残像が残り、1フレームをそのまま使用することになると、サブリミナル効果などの副作用も懸念されることから、n=2が最低限必要なシャッタースピードの速度であり、これには、1/480のシャッタースピードが具体的な数値として挙げられる。
また、図6Aには、可視光通信画像または符号化画像の前に全黒画像をおいているが、これは、前記のとおり、映像信号画像と混じって信号を受信することを避けるためで、必ずしも必要ではない。しかし、上記受光機側の性能の制約がこのような信号を入れることによって緩和されるため、一定の期間全黒画像を挿入しても良い。また、図6Aでは、前側にだけ全黒画像を挿入しているが、後側だけでも一定の効果は期待できる。更には、前後両方に挿入することによって、更に望ましい範囲の制約は改善され、前後の全黒の部分も合わせた時間を上記の可視光通信画像または符号化画像を挿入する時間に置き換えて考えるとよい。尚、全黒画像と記述した箇所については、画像レベル0%に限らず、画面全体にわたり同一レベルであれば、0%に限らない。
可視光信号画像または符号化画像については、一つの画像を一定期間繰り返し表示する方法を説明したが、図4或いは図9に示した画像例と連続して、白黒を逆転させた画像(反転画像、白黒反転画像、逆転画像、逆相画像、あるいは逆位相画像ともいう)を出すことで、人の目には平均化した像しか残らないため、縞模様と言う認識は更に軽減される。つまり、合成して平均したグレイレベルの全面一様な画像と認識され、コントラストが多少悪化するにとどまる。白黒の表現は、100%レベルと、0%レベルに限定するものではなく、比較的輝度の高い一つのレベルと、輝度の低い1つのレベルでも良い。尚、レベルの差は高い方が受信機側の制約などが緩和される一方で、平均的な信号による輝度は上昇するため、コントラストの悪化や信号画像が見えやすくなるなどの弊害もあるため、総合的に勘案してよいレベルを選ぶことが望ましい。
白黒の表現については、RGB全てを表示させる白であっても良いが、特に、輝度を落とすための方法として、白以外の色を用いて、縞の輝度の高い部分の輝度を落としても良い。また、縞を目立たなくするため、黒のほうも、輝度が低いと言う意味であり、こちらもRGB全てを用いる或いは、非表示常態にしておくという意味での黒でなくとも良い。更には、輝度が高い部分と低い部分で縞模様を作成するとしたが、これも、色で分離できる組合せであれば、RとGの縞などで縞模様を表現しても良い。但し、この際には、撮像時にRGB分離ができるイメージセンサーとソフトが搭載された受信機を用いる必要がある。
また、縞模様に関しては、繰り返し表示させる際に、画面上を少しずつ移動させるスクロールを行うことで目立たなくしてよいし、信号符号画像を2つ以上の領域に分割してスクロールしても良い。この際には、スクロールの方向、スピードなどそれぞれ異なる動き方をして良いし、各々が同期したスクロールを行っても良い。
図12に示すとおり、近年、種々の映像で取り入れられている、メガネ式の3D映像においては、映像信号が出力されるタイミングにおいては、左右のうちの一方の眼のみに出力される。可視光信号符号化画像は、両方の眼に出力されない。可視光通信画像を表示している期間は、メガネのシャッターを閉じることにより、視聴者が違和感なく視聴できる。
このような機能を実現するため、本実施形態の表示装置100は、可視光通信信号の変調信号を作成する第2の信号処理部160と、変調信号を元に可視光通信画像または符号化画像を作成し、これを一定の期間表示するための時間制御部と、可視光通信画像を出力するための映像出力部を具備する。つまり、表示装置100は、信号画像を表示するまたは転送する時間帯を示す信号を受けることで映像出力部から信号画像を一定期間出力する機構を具備する。尚、映像の応答速度などを考慮すると、固体半導体素子を用いたスイッチングを行える素子を用いて画像表示することが望ましい。
また、本実施の形態では、表示部110の最上部に相当する部分にて可視光通信信号を優先して出力する構成としたが、可視光通信信号を優先する領域は表示部110の少なくとも1つの領域であればよい。また、その領域に関しても、信号伝達の精度を求める場合には領域を広く、また、画質を優先している場合には、バックライトスキャンの最小単位のうちの、できるだけ少ない領域で行うことが望ましい。
また、可視光通信信号を符号化する際には、JEITA−CP1222,或いは、1223に準拠した符号化を行っても良いし、IEEE−P802.15.7などの規格を用いても良い。また、符号化だけであれば、それに対応した受信装置を用いて構成してもよい。これら以外の符号化方法、例えばマンチェスターコーディングなどを用いて変調しても良い。更には、ここでは、あくまで、二値での符号化を行っていたが、階調表現をそのまま使用できることをかんがみると、三値以上で符号化する、すなわち、従来の2倍の情報量を伝達することも可能である。
また、本実施の形態によると、受信機側のイメージセンサーにて一連の信号を一つの画像の中で完結する必要があるが、情報量が多い際には、符号化信号のヘッダーの部分を用いて、当該信号画面(可視光通信画像または符号化画像)があるのか、情報が多いために複数に分割され、その分割された中の何番目にあるか等の情報を書き込んでも良い。具体的な例としては、JEITA−CP1222の規格のプリアンブルとタイプの部分を用いると、前記の情報をいくつかの画像に分割することも可能となる。もちろん分割のやり方、分割信号の出し方及びその分割情報の画像への収納法については、この例に限らない。また、確実に可視光通信信号を伝達する際に、繰り返し信号画像を表示する方法があるが、この際には、分割した可視光通信信号に基づく一つの画像を繰り返して表示し、次に、分割した続きの画像を繰り返し表示させると言う方法もある。また、一連の分割した信号に基づく画像を順次表示し、これを一組として繰り返し表示させる方法もある。これらの選択については、情報量の大きさや通常映像信号の種類などによってどちらを選択しても良い。
以上のように、本開示における実装の例示として、実施の形態1を説明した。しかしながら、本開示は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、変形例についてまとめて説明する。
実施の形態1では、可視光通信画像における符号化画像の配置例として、符号化画像を鉛直方向に延伸させた後、横方向に数回繰り返した配置した例を説明した。しかし、配置例は、これに限定されない。
図9に可視光通信画像の他の生成例を示す。
図9の(a)は、図9の(a)の符号化画像Pを全画面に引き伸ばして配置した例である。このような配置をすることで、撮影された画像の画素の大きさによる制限が緩和され、表示部110に対して長い距離を隔てた場所からの受信が可能となる。
図9の(b)は、図9の(a)の符号化画像Pを90度回転させ、横方向に延伸した符号化画像P2を縦方向に4回繰り返し表示している画像である。この場合は、受信装置の順次露光ラインがほぼ鉛直方向になる方向で受信できる。
図9の(c)は、図4の(a)の符号化画像Pを斜め左回りでほぼ45度にし、画面全体に引き伸ばし配列した可視光通信画像の例である。同図の(d)は、同図の(c)の可視光通信画像を斜め右回りに約45度に配列した可視光通信化画像の例である。
図9の(a)〜(d)の配置を基本形とし、これらを組合せることで様々な配置が可能となる。例えば、図9の(e)は、画面を8分割し、縦方向、横方向に配列させた可視光通信画像を市松模様に混在させている例である。このような配置をする際に、画面の少なくとも市松模様の一つの単位以上の画格にて撮像することで、受信装置における撮像部の向き及び角度は、どこを向いていても撮像することが可能となる。図9の(f)は、画面を斜めに分割し、同図の(c)と同図の(d)の配置を組み合わせ配列の一例である。
図9の(g)は、画面上側では元の符号化画像を縦方向に延伸して生成した符号化画像Q1を画面全体に横方向に4回繰り返し配置し、画面下側では、元の符号化画像を横方向に延伸して生成した符号化画像Q2を画面全体で横方向に2回繰り返し配置した例である。このように配置することで、受信装置にて撮像する場所と、表示部との距離が近ければ、受信装置側で撮像する画像が大きく、その解像度は高くなり、比較的離れた場所から撮像する際には、解像度が低くなる。すなわち、表示部110との距離が近いところで撮像する場合は、繰り返し表示数を多い方が好ましく、距離が離れているところでは、繰り返し表示回数が少ない方が好ましい。従って、図9の(g)のように表示することで、どちらの場合にも対応できる。なお、図9の(g)では、2回と4回の繰り返し配置の組み合わせを示したが、これ以外の数の組合せでもよい。
図9の(h)は、生成し、水平方向に繰り返した可視光通信画像を上下方向に5分割し、分割したそれぞれの領域で、可視光通信画像の縞の位相を変化させた画像にしている。これによると、場所による明暗の局在化を避けることができるため、視線移動に伴うフリッカ防止の効果が期待できる。ここでは、縦縞の可視光通信画像を、縦方向に5分割し、一番上と一番下の位相が揃うように順次位相変化させているが、分割数や位相変化はこれに限らず、ランダムでも良い。
また、図4或いは、図9で説明した画像は、それぞれ長所および短所があるため、用途に応じて、これらの画像を任意に組み合わせた画像を使用してもよい。また、その際に、画像を任意の角度に回転して使用しても構わない。
さらに、可視光通信画像を時間的に繰り返し表示する場合に、用途に応じてフレーム毎に、表示する順番またはランダムに画像の表示を変化させても良い。
なお、順次スキャンを行い、バックライトスキャンを行う液晶表示装置など、同時に全画面が表示されない期間が存在する表示装置においては、スキャン方向と垂直方向の縞模様を用いることで、通信確率の向上が期待できる。一般的な液晶表示装置においては、縦方向にスキャンが行われるため、図4の(b)のような横縞の画像を適応することが望ましい。また、実施の形態1では、1/F秒間に4枚の画像を表示し、4枚目に可視光通信信号を符号化した画像を表示したが、これに限定するものではない。例えば、該当する期間のみ可視光通信画像を表示し、それ以外の期間については通常の映像信号による画像を表示しても良い。この際に、可視光通信信画像を挿入する分だけ映像信号が変化してしまうが、1フレーム内の映像信号のほかの部分の信号を補正することで対応しても良い。
また、そのまま通常の映像処理部にて処理した信号をそのまま表示制御部に送って表示を行ってもよい。更には、該当する1フレームの可視光通信画像以外の映像信号は全て無視して、その前後の映像と合わせて黒表示或いは一定の階調の灰色表示を行って、その信号のみを受信側に対して強調する方法を取っても良い。
また、実施の形態1では、可視光信号画像の前に全黒画像をおいているが、これは、映像信号画像と混じって信号を受信することを避けるためであり、必ずしも必要ではない。しかし、受信装置側の性能の制約がこのような信号を入れることによって緩和されるため、一定の期間全黒画像を挿入しても良い。
また、実施の形態1では、可視光通信画像の前側にだけ全黒画像を挿入しているが、後側に挿入してもよい。更には、可視光通信画像の前後両方に挿入してもよい。この場合、前後の全黒画像の部分も合わせた時間を上記の可視光信号符号化画像を挿入する時間に置き換えて考えるとよい。
また、全黒画像は、全面の輝度レベルが0%とした画像に限らない。全黒画像は、全面にわたり輝度が低いレベルであれば、その輝度レベルは0%でなくともよい。また、その輝度レベルは、可視光通信画像における黒の部分、すなわち、輝度の低い部分の輝度と一致する必要はない。但し、可視光通信信号を受信する感度を考慮すると、全面に渡る輝度が低いレベルの画像の輝度は、できるだけ輝度が低いことが望ましい。
また、可視光通信画像については、一つの画像を一定期間繰り返し表示する方法を説明したが、図10に示すように、同図の(a)に示す可視光通信画像と、同図9の(a)の可視光通信画像において白黒を反転させた同図の(b)の可視光通信画像とを連続して、表示してもよい。こうすることで、図10の(c)のように、人の目には平均化した像しか残らないため、縞模様と言う認識は更に軽減され、コントラストが多少悪化するにとどまる。白黒の表現は、100%レベルと、0%レベルに限定するものではなく、比較的輝度の高いレベルと、輝度の低いレベルでも良い。また、輝度レベルの差は高い方が受信装置側の制約などが緩和される一方で、平均的な信号による輝度は上昇するため、コントラストの悪化や信号画像が見えやすくなるなどの弊害もあるため、総合的に勘案してよいレベルを選ぶことが望ましい。また、1フレームの中の可視光通信画像を表示するサブフレーム或いは時間領域を2分割して、上記の2枚1組の白黒反転画像を用いても良い。
また、白黒の表現については、RGB全てを表示させる白であっても良いが、特に、輝度を落とすための方法として、白以外の色を用いて、縞の輝度の高い部分の輝度を落としても良い。また、縞を目立たなくするため、黒のほうも、輝度が低いと言う意味であり、こちらもRGB全てを用いる或いは、非表示常態にしておくという意味での黒でなくとも良い。更には、輝度が高い部分と低い部分で縞模様を作成するとしたが、これも、色で分離できる組合せであれば、RとGの縞などで縞模様を表現しても良い。更に、RとCなど互いに補色関係にある色の組合せを用いても良い。補色関係の2色を用いると、白黒の場合と同様に、反転画像の組合せを用いても良い。この際には、撮像時にRGB分離ができるイメージセンサーとソフトが搭載された受信装置を用いる必要がある。
また、縞模様に関しては、繰り返し表示させる際に、画面上を少しずつ移動させるスクロールを行うことで目立たなくしてよいし、信号符号画像を2つ以上の領域に分割してスクロールしても良い。この際には、スクロールの方向、スピードなどそれぞれ異なる動き方をして良いし、各々が同期したスクロールを行っても良い。
また、実施の形態1では、可視光通信信号を符号化後に画像データとして出力していたが、データのブロックの境目を明示するために、通常の符号化信号ではありえない枠状の画像信号を前後に挿入し、前記枠状の画像信号が2つ以上認識されれば、1ブロックの信号を得たと判断するとともに、1ブロックの信号の画像上での大きさを確定するために使用しても良い。
また、実施の形態1によると、受信装置側のイメージセンサーにて一連の信号を一つの画像の中で完結する必要があるが、情報量が多い際には、符号化信号のヘッダーの部分を用いて、当該信号画面があるのか、情報が多いために複数に分割され、その分割された中の何番目にあるか等の情報を書き込んでも良い。具体的な例としては、JEITA−CP1222の規格のプリアンブルとタイプの部分を用いると、前記の情報をいくつかの画像に分割することも可能となる。もちろん分割のやり方、分割信号の出し方及びその分割情報の画像への収納法については、この例に限らない。また、確実に可視光信号情報を伝達する際に、繰り返し信号画像を表示する方法があるが、この際には、分割した可視光通信画像に基づく一つの画像を繰り返して表示し、次に、分割した続きの画像を繰り返し表示させると言う方法もあり、また、一連の分割した信号に基づく画像を順次表示し、これを一組として繰り返し表示させる方法もある。これらの選択については、情報量の大きさや通常映像信号の種類などによってどちらを選択しても良い。
また、周辺照明などの光源輝度の高周波ノイズを考慮して、露光時間を制御してもよい。
図11に、高周波ノイズ周期が20マイクロ秒である場合の周辺照明などの光源輝度の高周波ノイズと、露光時間との関係を示す。高周波ノイズ周期に比べて露光時間が大きいほど、撮像画像は高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。露光時間が高周波ノイズ周期の整数倍のときは高周波ノイズの影響がなくなり、可視光通信信号の受信が最も容易になる。高周波ノイズの主な原因はスイッチング電源回路に由来し、多くの電灯用のスイッチング電源ではその周期は20マイクロ秒以下であるため、露光時間を20μsec以上とすることで、光源輝度の推定を容易に行うことができる。
また、通常の映像の画面の一部に可視光通信画像または符号化画像をはめ込む形態で実施しても良い。この場合、表示部の画面の限られた部分だけで可視光通信信号を受信することができるため、受信装置と、画面との関係に制約が発生する。その一方で、映像信号の中の画面のその限られた部分に、受信装置機を向けるように誘導する画像を表示することで、解決することもできる。更に、実施の形態1では、可視光通信画像または符号化画像を目立たなく挿入する方法について説明したが、ここでは、領域が制限されているために、信号の縞模様を目立たなくする工夫を軽減しても良い。もちろん、できるだけ、目立たない方法を取っても良いし、取らなくともよい。また、時間は非常に短い時間、例えば、1msec以下、望ましくは0.2msec以下にせず、連続的或いは比較的長い時間のみ表示して、同様の方法で受信する方法をとってもよい。この際には、受信エラーの確率が大きく減少するために繰り返し送信するなどの制約が緩和される。
なお、本実施の形態では、表示装置100として映像を表示するディスプレイを例に挙げているが、プロジェクターのように映像を投影する機器であってもよい。
また、図12に示すとおり、近年、種々の映像で取り入れられているメガネ式の3D映像において適応しても良い。この場合、映像信号と少なくとも同じタイミングにおいて、可視光通信画像または符号化画像は、左右のうちの少なくとも一方のみに出力される、或いは両方に出力されない。これにより、信号画像を表示している期間は表示している側のメガネのシャッターを閉じることにより、視聴者が違和感なく視聴できる。
また、本実施の形態では、可視光通信画像の表示フレームが、連続的或いは比較的長い時間であるなど、人の目に認識される場合には、受信機に具備される撮像部はCCDなどのイメージセンサーであれば、順次露光型のイメージセンサーでなくともよい。
第2の入力部150への信号入力の例を以下に開示する。
可視光通信信号を外部から入力し、表示装置の内部にてデコードをして符号化画像化まで行い表示する場合、外部より、符号化画像を入力して表示を行う場合、表示装置の内部に可視光通信信号或いは符号化画像がメモリに記録されており、符号化画像を出力する命令に従って表示する場合がある。
第一の場合と第二の場合には外部よりの通信手段が必要となる。前述したとおり、通信手段も有線の場合と無線の場合があり、有線の場合にはHDMI(登録商標),DVI,RS232C,USB,LAN,RGBモニターケーブルなどの各種の映像や信号通信用のケーブルを適応することが可能となる。また、同軸ケーブルやツイストペアケーブルなど単独のケーブルを用いて信号を入力してもよい。さらには、テレビ送信などの電波に信号を重畳し、アンテナなどでこれを受信し、同軸ケーブルにて入力する方法もある。無線での通信では、一般的なWifiや、Bluetooth(登録商標)、Zegbeeなどの電波を用いる方法、IrDAなどの赤外線を用いる方法、また、NFCなどの近距離通信を用いる方法での入力も可能である。
具体的な入力ラインの例として、下記に一例を示す。
HDMI(登録商標)では、望ましくは、13,14番ピンを用いて入力するか、或いは、通常の映像情報等の情報と時分割によって1,3,4,6,7,9,16,19番ピンを用いて通信してもよい。
DVIでは、通常の映像情報等の情報と時分割によって1,2,4,5,7,9,10,12,13,16,17,18,20,21,23,24番ピンを用いて通信してもよい。
LANでは、1,2,3,6番ピンを用いて通信してもよい。
RS232Cでは、2または3番ピンを用いて通信してもよい。
USBでは、2または3番ピンを用いて通信してもよい。
RGBモニターケーブルでは、通常の映像情報等の情報と時分割によって12または15番ピンを用いて通信してもよい。
テレビの電波に重畳した情報をアンテナケーブルなどを通して入力する場合には、映像や音声を送信するために用いられている帯域および時分割スペース以外のスペースを用いてもよい。また、文字放送などで使用する領域、データ放送で用いる領域を用いてもよいし、多重チャンネルの別のチャンネルに符号化画像を映像信号としてそのまま載せた上で、表示装置内でこれらを組み合わせる方法を用いてもよい。この場合には、前記第二の場合に相当する。
これらの情報は、各フレームの映像情報などと同期して送信してもよいし、いくつかのフレームごとに送受信してもよい。その際には、下記の識別信号にて予めその旨を示す識別信号を送信することが望ましい。
次に、具体的な通信信号の内容と、それを処理し、表示する手順について説明する。
第一の場合には、通信内容として、以下のものを含んでもよい。
即ち、複数のピクチャを含む通信データの前にまず、本開示にて開示した可視光通信方法で情報を送信するデータを送信することを示す識別信号を送信する。この際、送信した表示機器が本開示による可視光通信方法に対応している場合には、その旨を、表示装置を通して表示面或いは投影面に表示することにより、使用者に表示装置が本開示による可視光通信が使用開始であることを伝達する機能を持たせてもよい。また、表示機器が可視光通信に対応しており、識別信号を受信した場合に、通信データを表示機器に対して送信している端末の表示画面に、表示機器が可視光通信に対応している旨の表示を行ってもよい。可視光通信用のデータの表示は非常に短時間で行われるため、視認が難しい。従って、通信データを表示機器に対して送信している端末の表示画面、または、投影面に、表示機器が可視光通信可能である旨の表示を行うことにより、表示機器が可視光通信に対応していることを容易に把握することが可能となる。識別信号は、可視光通信データを含むことを示す識別子であってもよい。識別子がある場合には、可視光通信データを含むと判断でき、識別子がない場合には、可視光通信データを含まないと判断できる。識別子を用いることにより、可視光通信データを含む場合にのみ、識別子を送ることで判別できるため、送信するデータ量を少なくすることが可能となる。また、識別信号は、可視光通信データを含むか否かを示す識別情報であってもよい。例えば、ピクチャ単位で識別情報を付加することにより、ピクチャ単位で通常の映像データなのか、可視光用の通信データなのかを識別することが可能となる。なお、識別子、または、識別情報である識別信号は、通信データのヘッダに付加してもよいし、各ピクチャのヘッダに付加してもよし、通信データのヘッダと、各ピクチャのヘッダの両方に付加してもよい。通信データのヘッダと、各ピクチャのヘッダの両方に付加した場合には、通信データのヘッダを用いて、表示機器が可視光通信に対応しているか否かを、通信データを送信している端末の表示画面、または、投影面に、表示機器が可視光通信に対応している旨を直に表示する可能となる。
更に、各ピクチャのヘッダを用いて、ピクチャ単位で可視光通信用のデータか否かを示す識別子、表示方法を変更するなどの対応をピクチャ単位で行うことが可能となる。可視光通信を行うことができない表示機器は、識別信号を読み込み判断することができないため、さらには、通信データを符号化する方式を判別する識別信号を続けて送信してもよい。送信側は、可視光通信信号をPPM方式やマンチェスター方式などの定められた符号化方法で符号化を行い、符号化方法を示す識別信号を付加する。表示機器は、受信した識別信号により指定された方法で復号化する。また、可視光通信用の縦縞の画面を縦縞として表示するのか、90度回転して横縞として表示するのかを示す識別情報を送信してもよい。
表示装置は、識別情報に基づいて、可視光通信用の画面を縦縞として表示するのか、横縞として表示するのか容易に切り替えることが可能となる。更に、これを画像化するために必要となる以下の信号を、可視光通信信号送信後に送信してもよい。即ち、何組の通信信号(可視光通信信号)を画像化するか、符号化データの最小単位である縞の最小ピッチ、縞状信号に垂直方向の縞の長さ(信号の表示領域)、画面内で繰り返し表示する回数、画面の中での表示領域、表示領域以外に表示する内容、ON信号とOFF信号が相当する階調、画像が縦縞か横縞か、斜めになっている場合にはその角度、低階調時に送信をやめる閾値など、画像を作成する元になる情報を、一組或いは、一画像で複数の信号を表示する場合には、その組数だけの信号を送信し、これを基に画像を作成してもよい。
また、本開示で説明したように、周辺の明るさなどの環境情報や、映像の明るさの分布や変化などの情報をもとに、表示装置が受信した前記画像作製に必要な情報以外を使用して符号化画像を作成してもよい。これらの画像作製に必要な情報に続き、表示装置で作製した符号化画像を表示するための以下のような情報を送信してもよい。即ち、表示する期間およびフレーム内のどの期間で表示するか、前後に可視光通信信号の受信の確率を上げるための黒に代表されるOFF信号表示期間を表示するか、表示する場合にはその期間、などの表示のための情報を送信してもよい。表示装置は、これらの受信した表示するための情報を用いて、実際に表示するタイミングなどを定めて映像と符号化画像を表示してもよいし、前述したとおり、周辺の明るさなどの環境情報や、映像の明るさの分布や変化などの情報をもとに、表示装置が受信した前記表示するための情報以外を使用して映像と符号化画像を表示してもよい。さらには、逆転画像などを複数枚あわせて、画面全面が一様な階調に見えるように調整する方法で、何枚の画像を組み合わせて作成するか、その組み合わせを何フレームに亘って分割表示するかなどの情報を送信し、受信した表示装置はその情報に基づいて、符号化画像を表示する手順を変更してもよい。勿論、この情報に基づかず、映像情報や、環境情報に基づいて判断してもよい。なお、これらの識別信号や、画像化するために必要となる信号は、複数のピクチャを含む通信データのヘッダに付加してもよいし、各ピクチャ毎に付加してもよい。通信データのヘッダに付加することにより、通信データ単位で統一した情報を扱うことが可能となる。一方、ピクチャ毎に付加することにより、ピクチャ単位で信号情報を変更することが可能となる。
第二の場合ついて説明する。第二の場合も、第一の場合と同じく、識別信号を送信した後に、すでに縦横の方向や縞ピッチ、表示領域、繰り返し回数など、画像を作成するための情報を持って、既に表示装置外部で符号化画像として作成された画像データを送信する。
このとき、識別信号の内容に、表示する期間およびフレーム内のどの期間で表示するか、前後に可視光通信信号の受信の確率を上げるための黒に代表されるOFF信号表示期間を表示するか、などの表示のために必要となる情報を含んでいても良い。
受信した画像データは、表示装置内で符号化画像として一旦メモリされる。
この後、表示装置は、前記受信した表示のために必要となる情報を用いて、実際に表示するタイミングなどを定めて映像と符号化画像を表示してもよいし、周辺の明るさなどの環境情報や、映像の明るさの分布や変化などの情報をもとに、表示装置が受信した前記表示するための情報以外を使用して映像と符号化画像を表示してもよい。
また、第二の場合には、逆転画像などを複数枚あわせて、画面全面が一様な階調に見えるように調整する方法を用いる場合には、識別信号に逆転画像の画像データを含んでもよい。識別信号の後の画像データ送信時には、複数枚の符号化画像を画像データとして送信してもよい。
さらに、その組み合わせを何フレームに亘って分割表示するかなどの情報を送信し、受信した表示装置はその情報に基づいて、符号化画像表示する手順を変更してもよい。勿論、この情報に基づかず、映像情報や、環境情報に基づいて判断してもよい。
第三の場合では、外部とのやり取りは特にないため、表示する場合に、環境や映像信号に基づき判断する方法をとってもよいし、あらかじめ、識別信号以下の信号にて送信する内容として記述した内容を表示装置内部に記録し、これを用いてもよい。
〔液晶など、ディスプレイに特有の態様〕
(液晶特有のオプション)
液晶表示機において各画素に対応して透過率等を制御する液晶パネルにおいて、最も透明な状態から最も不透明な状態になるまでの時間は、非常に長くかかる。途中の変化している状態も含めてバックライトを当てると、尾引きなどの動画特性の悪さの誘因となっているため、バックライトを細かく点灯不点灯を繰り返すことで、尾引き対策を行い、動画特性を上げている現状がある。前述した方法で、通常の映像画像から急激に黒或いは縞状の符号化画像を表示し、すぐに、元の映像画像の続きに戻ることは、液晶パネルの時間応答性の観点から非常に困難である。液晶表示機器を用いる際には、1フレーム中の映像画像を出力する期間が終わり、符号化画像を出力する前に、液晶パネルは画像の切替えに入ると同時に、バックライトを消灯し、符号化画像が出た段階でバックライトを点灯、前述した極僅かな時間を点灯させた後に、バックライトを消灯、液晶パネルは、元の映像画像に戻し始め、1フレームが終わったときに通常のバックライト制御に変更することが望ましい。尚、符号化画像を出力した際に、バックライトを点灯した時点で、液晶パネルの作成する画像を変化させても、極短い時間で液晶パネルの変化は大きくないため、少しでも早くもとの画像に戻す方法を取っても良い。更に、前述した、コントラスト対策のために、逆転画像を挿入して縞模様が人の目で判別できにくくする方法は、実現が困難と成る。従って、符号化画像はできるだけ短い期間に限定し、できる限り平均輝度も低い符号化画像になるように、調整することが必要となる。
(液晶特有のオプション)
液晶表示機において各画素に対応して透過率等を制御する液晶パネルにおいて、最も透明な状態から最も不透明な状態になるまでの時間は、非常に長くかかる。途中の変化している状態も含めてバックライトを当てると、尾引きなどの動画特性の悪さの誘因となっているため、バックライトを細かく点灯不点灯を繰り返すことで、尾引き対策を行い、動画特性を上げている現状がある。前述した方法で、通常の映像画像から急激に黒或いは縞状の符号化画像を表示し、すぐに、元の映像画像の続きに戻ることは、液晶パネルの時間応答性の観点から非常に困難である。液晶表示機器を用いる際には、1フレーム中の映像画像を出力する期間が終わり、符号化画像を出力する前に、液晶パネルは画像の切替えに入ると同時に、バックライトを消灯し、符号化画像が出た段階でバックライトを点灯、前述した極僅かな時間を点灯させた後に、バックライトを消灯、液晶パネルは、元の映像画像に戻し始め、1フレームが終わったときに通常のバックライト制御に変更することが望ましい。尚、符号化画像を出力した際に、バックライトを点灯した時点で、液晶パネルの作成する画像を変化させても、極短い時間で液晶パネルの変化は大きくないため、少しでも早くもとの画像に戻す方法を取っても良い。更に、前述した、コントラスト対策のために、逆転画像を挿入して縞模様が人の目で判別できにくくする方法は、実現が困難と成る。従って、符号化画像はできるだけ短い期間に限定し、できる限り平均輝度も低い符号化画像になるように、調整することが必要となる。
(環境・APLに応じた信号レベル)
近年、液晶ディスプレイ表示装置などにおいて、表示装置の設置環境における明るさを表示装置に内蔵された明るさのセンサーで表示面の照度などを計測し、表示面の照度に合わせて出力映像の明るさを調整する機能を有するものが多数存在している。ここでは、これらと同様にその機能を用いて、表示面の照度に合わせて信号のレベルを変化させる場合について説明する。前述したとおり、映像信号に混入する符号化信号画像は、その明るさをできるだけ暗くすることが映像表示に対して目立たなくするという点では望ましい。一方で、画面を撮像し、信号を受信する受信機側からの要請としては、画像のS/Nは、符号化信号の黒に代表される一方の信号と、白に代表されるもう一方の信号の撮像時の明るさの比で表される信号のコントラストに依存し、外光の影響を大きく受ける。外光の影響が大きく、コントラストが低くなる際には、映像信号のコントラスト比も元来表示装置が暗室などで発揮できるコントラストの性能(暗所コントラスト)を発揮できずに、コントラストが悪くなる。したがって、符号化画像の明るい部分(白で代表される領域)の輝度を上げても、コントラストが極端に落ちることはなく、受信側の能力を鑑みて輝度を外光の強さに応じて明るくする手法をとることが有効である。逆に環境が暗い場合には、暗所コントラストにより近い値を有する場合には、コントラスト性能を落とす。符号化画像の明るさを暗くしても、受信機側でも撮像した画像のコントラストは一定以上保持できる。このように、表示面(表示部)に入る外光の強さに応じて、符号化信号画像の明るさを調整する方法は非常に有効である。
近年、液晶ディスプレイ表示装置などにおいて、表示装置の設置環境における明るさを表示装置に内蔵された明るさのセンサーで表示面の照度などを計測し、表示面の照度に合わせて出力映像の明るさを調整する機能を有するものが多数存在している。ここでは、これらと同様にその機能を用いて、表示面の照度に合わせて信号のレベルを変化させる場合について説明する。前述したとおり、映像信号に混入する符号化信号画像は、その明るさをできるだけ暗くすることが映像表示に対して目立たなくするという点では望ましい。一方で、画面を撮像し、信号を受信する受信機側からの要請としては、画像のS/Nは、符号化信号の黒に代表される一方の信号と、白に代表されるもう一方の信号の撮像時の明るさの比で表される信号のコントラストに依存し、外光の影響を大きく受ける。外光の影響が大きく、コントラストが低くなる際には、映像信号のコントラスト比も元来表示装置が暗室などで発揮できるコントラストの性能(暗所コントラスト)を発揮できずに、コントラストが悪くなる。したがって、符号化画像の明るい部分(白で代表される領域)の輝度を上げても、コントラストが極端に落ちることはなく、受信側の能力を鑑みて輝度を外光の強さに応じて明るくする手法をとることが有効である。逆に環境が暗い場合には、暗所コントラストにより近い値を有する場合には、コントラスト性能を落とす。符号化画像の明るさを暗くしても、受信機側でも撮像した画像のコントラストは一定以上保持できる。このように、表示面(表示部)に入る外光の強さに応じて、符号化信号画像の明るさを調整する方法は非常に有効である。
また、もともとの画像の平均的な輝度レベル(Average Picture Level;以下APLと称する)が、一定以上に小さいときには、画像としてのコントラスト比が悪くなるため、僅かな符号化画像を混入してもコントラストに大きな影響を与える場合が考えられるため、一定以下のAPLの画像が出力している期間においては、符号化信号の明るさを増加させる、或いは、信号を混入しないことが望ましい。
APLについては、映像信号のAPLが時間とともに変化する場合については、一定の閾値を設けて、その前後にて信号出力を実施したり取りやめたりすることで、特に急激な変化が人の目において、画面のフラッシング現象のように見えることもある。したがって、一定以下のAPLにおいては、受信機側で信号が受け取らない場合があることを認識した上であえてAPLに応じてゆっくりとした時間変化で符号化信号映像の輝度を変化させてもよい。また、受信機側での信号のご認識を避けるため、平均輝度が上記の通りゆっくりとした時間変化になるように符号化信号を混入する部分に符号化信号画像とAPLを合わせたグレーの画像、或いは、これに合わせた色を混色した画像を代わりに挿入してもよい。
これらの具体的方法としては、前述している通り、信号の階調を調整する方法、信号を出す期間を調整する方法、バックライトなど輝度に反映される光源部分の輝度を調整すること、或いは光源部分の発光時間を調整することによって実現できる。また、状況に応じて、これらの組み合わせによって実現することも可能である。
環境照度、APLについては、組み合わせによって調整することがさらに望ましい。
(キャリブレーション用信号を混入)
符号化画像の挿入をはじめるとき、或いは、符号化画像が変更されるとき、または、その間、或いはその後の一定期間ごとに、符号化信号のON状態、OFF状態のそれぞれの色や輝度、信号の最小単位の幅など、また、信号の長さなどを事前に受信機側で認識して符号化信号を捉えやすくするため、以下のような信号をキャリブレーション用信号として挿入する。例えば、信号長を示すためには、周囲を枠で縁取りする。信号の単位長、或いはON、OFF各信号の輝度、色度を示すためには、全面ON信号とOFF信号を交互に表示するなどの方法が取れる。このようなキャリブレーション用信号を挿入することで、受信性能の向上が期待できる。尚、キャリブレーション信号についても、前述した画質を落とさないための種々の工夫を加えても良い。
符号化画像の挿入をはじめるとき、或いは、符号化画像が変更されるとき、または、その間、或いはその後の一定期間ごとに、符号化信号のON状態、OFF状態のそれぞれの色や輝度、信号の最小単位の幅など、また、信号の長さなどを事前に受信機側で認識して符号化信号を捉えやすくするため、以下のような信号をキャリブレーション用信号として挿入する。例えば、信号長を示すためには、周囲を枠で縁取りする。信号の単位長、或いはON、OFF各信号の輝度、色度を示すためには、全面ON信号とOFF信号を交互に表示するなどの方法が取れる。このようなキャリブレーション用信号を挿入することで、受信性能の向上が期待できる。尚、キャリブレーション信号についても、前述した画質を落とさないための種々の工夫を加えても良い。
(信号変わるときに、キャンセル信号)
一定の期間、ある符号化信号を流し続けて、映像に関連して、或いは、全く任意に、符号化信号の種類を変更した場合に、異なる二つ以上の符号化信号をイメージセンサーで一つの画像内に取ってしまう、或いは、近い時間に異なる二つ以上の符号化信号をイメージセンサーで取り込んで、これらを互いに補完しあう或いは確認を行うなどをすると、誤認識或いはエラー発生につながる。このため、符号化信号が変更される際には、例えば、ヘッダーなどのプリアンブルを何度か繰り返し出力するなどして、信号が前後で変更されていることを明確にしても良い。
一定の期間、ある符号化信号を流し続けて、映像に関連して、或いは、全く任意に、符号化信号の種類を変更した場合に、異なる二つ以上の符号化信号をイメージセンサーで一つの画像内に取ってしまう、或いは、近い時間に異なる二つ以上の符号化信号をイメージセンサーで取り込んで、これらを互いに補完しあう或いは確認を行うなどをすると、誤認識或いはエラー発生につながる。このため、符号化信号が変更される際には、例えば、ヘッダーなどのプリアンブルを何度か繰り返し出力するなどして、信号が前後で変更されていることを明確にしても良い。
(二枚でネガ・ポジするときの表示間隔)
ある符号化画像と、その逆転画像を比較的近い時間間隔で出力する場合、人の目の時間分解能の制約により、縞模様が消えて平均的な輝度の一様な画面が存在するのと同等になることは既に説明したが、前記二つの画像の表示間隔について説明する。
ある符号化画像と、その逆転画像を比較的近い時間間隔で出力する場合、人の目の時間分解能の制約により、縞模様が消えて平均的な輝度の一様な画面が存在するのと同等になることは既に説明したが、前記二つの画像の表示間隔について説明する。
人の目の時間分解能に関しては、50msec前後を閾値に急激に低下することが一般に知られている。このため、符号化画像と、その逆転画像の間隔により、視認性がどの程度変化するかを調べたグラフを図13に示す。図13では、時間間隔と、縞模様が見える人の割合の関係を実験的に調べた結果であり、間隔については、全面黒表示を行う。また、縞のピッチは、横縞で3mmピッチで、画面とは1mはなれたところから視認試験を行っている。この結果より、従来言われているように、50msec付近より急激に立ち上がるため、符号化画像と逆転画像との間隔を50msec以下にすることが望ましい。また、ほぼ視認できない限界として20msec付近が挙げられるため、20msec以下にすることが更に望ましい。この結果より、通常の1秒間に60フレームの映像においては、4フレーム以上にまたがって逆転信号を離すことは望ましくない。更には、1フレーム以内に留めることが望ましい。
(コントラスト感度関数による縞模様による時間幅の制約)
視覚特性の分野におけるコントラスト感度関数によると、縞模様の止まっている際のコントラスト感度は、2cycle/degree付近で最大を取り、例えば、10cyle/degree程度まで増加すると、数分の1にコントラスト感度が落ちる。縞模様の空間周波数が低くなり、コントラスト感度が低下すると、時間分可能も低下する。ピーク付近では、時間分解能も20msec程度まで速くなると言われている。ピーク付近の空間分解能は、縞のピッチが9mmで、1m離れた所から見る場合に相当し、3mmピッチで1m、離れた所から見る場合には、10cyle/degree程度になり、このときに凡そ、50msecの程度の時間分解能をもつ。空間周波数は、空間周波数[cycle/degree] =1 /[arctangent(縞のピッチ[m])/(表示面と視聴者の距離[m])}]の式のよって示される。したがって、縞のピッチと、画格などから考えられる一般的な視聴者との距離から計算し、これによって、時間幅の最大値を決めることが可能となる。
視覚特性の分野におけるコントラスト感度関数によると、縞模様の止まっている際のコントラスト感度は、2cycle/degree付近で最大を取り、例えば、10cyle/degree程度まで増加すると、数分の1にコントラスト感度が落ちる。縞模様の空間周波数が低くなり、コントラスト感度が低下すると、時間分可能も低下する。ピーク付近では、時間分解能も20msec程度まで速くなると言われている。ピーク付近の空間分解能は、縞のピッチが9mmで、1m離れた所から見る場合に相当し、3mmピッチで1m、離れた所から見る場合には、10cyle/degree程度になり、このときに凡そ、50msecの程度の時間分解能をもつ。空間周波数は、空間周波数[cycle/degree] =1 /[arctangent(縞のピッチ[m])/(表示面と視聴者の距離[m])}]の式のよって示される。したがって、縞のピッチと、画格などから考えられる一般的な視聴者との距離から計算し、これによって、時間幅の最大値を決めることが可能となる。
(二枚でネガ・ポジするものを3〜4枚でネガ・ポジする)
前述したように符号化信号は非常に短い時間、表示される。APLが低いなど画像により影響を受ける場合には、符号化信号画像の反転画像、即ち、ON状態とOFF状態を示す二つの明るさ或いは、色、またはその組み合わせを反転する方法を説明した。ここで、さらに輝度の高い画像が表示されることを避けるため、反転する一組の画像をさらに二つ以上に分割してこれらを組み合わせてピーク輝度を下げて、より画質の劣化を避ける方法を取ることも可能である。図14〜16は、この一例を模式的に示した図である。尚、図14〜16は、白と黒で二値化した信号の例を書いているが、この他の色の組合せでもよく、白も100%点灯、黒も0%点灯のことのみを示すのではなく、色温度を変化させたり、ピーク輝度を落とした白でも良いし、黒も、多少の光が混入している黒でも良い。
前述したように符号化信号は非常に短い時間、表示される。APLが低いなど画像により影響を受ける場合には、符号化信号画像の反転画像、即ち、ON状態とOFF状態を示す二つの明るさ或いは、色、またはその組み合わせを反転する方法を説明した。ここで、さらに輝度の高い画像が表示されることを避けるため、反転する一組の画像をさらに二つ以上に分割してこれらを組み合わせてピーク輝度を下げて、より画質の劣化を避ける方法を取ることも可能である。図14〜16は、この一例を模式的に示した図である。尚、図14〜16は、白と黒で二値化した信号の例を書いているが、この他の色の組合せでもよく、白も100%点灯、黒も0%点灯のことのみを示すのではなく、色温度を変化させたり、ピーク輝度を落とした白でも良いし、黒も、多少の光が混入している黒でも良い。
図14は、通常の逆転画像を一組、1フレーム内に入れた例であり、前述したとおりである。図15の画像B11は、図14Aの画像A11の符号化信号の縞模様と、垂直方向に1:1の白黒の縞模様を重ねたものでる。その符号化信号の縞模様を画像A21と重ね合わせたものを画像B21として次のフレームに置く。更に、その符号化信号の縞模様の白黒を逆転させた縞模様を、画像A11、画像A21に重ね合わせたものを画像B12、画像B22としてそれぞれのフレーム内に配置する。このようにすることで、各フレームにおける信号で合成された輝度は、元の信号画像とその逆転画像を合成したときの輝度の半分となり、映像のコントラスト向上に効果が期待できる。同様に、垂直方向に黒と白を3:1の縞模様にして被せた例を図16に示す。このときは、垂直方向を4分割しているため、4フレーム分で(a)と同じ画像に合成され、合成輝度は、元の4分の1と大きく低減する。このように、符号化画像を信号に垂直方向の黒で間引き、何枚かの画像で元の画像を合成できるようにすることで、全体の輝度が低減できる。但し、人の目の時間分解能は一般的に、50msec程度といわれているため、多くのフレームにわたって分割することは、残像により合成され、縞模様を認識できなくする効果は低減するため、1秒間60フレームであれば、4分割以上は好ましくない。また、(a)と(b)を比較した際に、(a)において2フレーム目を全黒にした際には、(b)と同じ輝度になり、(a)と(c)を比較した際にも、(a)において、2から4フレーム目を全黒にすると(c)と同じ輝度になる。しかしながら、(a)と全黒の組合せを行うことで、映像の中での輝度の定期的な時間変化が発生するため、ちらつきに見える不具合が発生することがある。このような原因のため、(b)或いは、(c)などの組合せを行うことは、画質向上の効果が期待できる。
(バイアスを設けた低輝度側の取り扱い)
前述したように、映像画像の間に、符号化画像を挿入し、その画像が一定の輝度を持っているため、各フレームにおける各原色の入力時の階調よりも高い階調の画像が表示されていることになる。特に低階調の場合には、影響が大きいため、一定以下の階調の映像画像の場合には、信号を送信しない方法は既に記載したが、これ以外に補正するための方法を開示する。
前述したように、映像画像の間に、符号化画像を挿入し、その画像が一定の輝度を持っているため、各フレームにおける各原色の入力時の階調よりも高い階調の画像が表示されていることになる。特に低階調の場合には、影響が大きいため、一定以下の階調の映像画像の場合には、信号を送信しない方法は既に記載したが、これ以外に補正するための方法を開示する。
図17は、入力信号と、出力信号の関係を示している。尚、入力信号は既にガンマ補正などのディスプレイなどの表示装置に特有の補正を既に済ませた後の信号である。cは、符号化画像を2枚以上の符号化画像とその逆転画像を合わせた明るさを階調表現に変換した値だとする。
図17の実線(細線)のように本来は、入力と出力は、1対1で対応することが望ましいが、2枚以上の符号化画像を合成した(足し合わせた)明るさに相当する階調の分だけ、一点破線のようにバイアス部分が付加されてしまう。これを補正するために、例えば、原色をRGBの3原色とし、入力を(Rp,Gq,Br)とし、(p,q,rは入力時の各色の階調を示す)出力を(Rs,Gt,Bu)とすると、(s,t,uは、出力時の各色の階調を示す)前述した符号化画像の挿入例では、s=p+c,t=q+c,u=r+cの関係が成り立っている。出力側の値を元の映像信号に基づいた値を保持しようとすると、入力信号は、図中の二点破線(Rp−c,Gq−c,Br−c)とすることで、実現できる。但し、p,q,r<cの場合には、映像信号が0なので、映像信号はその色は表示しないことにしても良い。これを表示したのが、図中の破線であり、このような関係を実現することで、低階調では映像を犠牲にして符号化信号を出力することによってコントラストが悪化するが、その他の領域においては、映像の画質を保持することが可能となる。
また、もう一つの方法として、符号化信号の合成した階調であるcよりも階調が小さい(暗い)部分においては信号を出力せず、階調cよりも階調が大きい(明るい)部分のみに符号化信号が重畳される。
具体的に上記の説明した内容を実現するための方法の概要を図18に示す。
ここでは、信号期間を設けて、符号化信号を表示する期間を予め設けておく方法(上図)と、映像信号の中に、符号化信号を入れてしまう方法(中図)を示している。
上図はこれまで説明してきた内容を、模式的に、RGBを時分割した方法で記載しているが、RGBは、時分割であっても良いし、空間的にRGBに対応する領域を設けて全ての時間を用いて階調表現しても良い。(時分割は、プロジェクターなどや、MEMSのように光源を次々と変更して表示する装置に対応しており、ELや、PDPなどの1画素中にRGBのセルを設けて発光させるタイプが空間分割に対応している。)
また、上図の方法においては、全期間を用いたPWM表示(発光時間の長さで輝度(階調)を制御する方法だが、はっきりとしたサブフレームに分割して、サブフレーム内を全てON(点灯)或いはOFF(不点灯)するのではなく、各画素一斉にONして各画素毎にOFFする時刻を設定して消灯する方法でも良いし、逆に、各画素毎に点灯開始(ON)する時刻を設定して最後に各画素をOFFしていく。)でも良いし、電流制御などによる強度変化を用いて表示するのも良い。信号はフレームの最後に配しているが、これは、途中であってもどこであっても良い。また、液晶表示装置のように画面の階調変更に時間が必要なものであれば、できるだけ変更に掛る時間を取れるように、信号を映像と離して配し、バックライトをそのうちの規定の時間だけ当てるなどの方法で符号化画像相当の階調cを表現しても良い。
同様に、破線(太線)を再現するためには、図18の下のようなサブフレームを使用する場合、例えば、c=1の場合には、符号化信号の1組の反転画像であるネガとポジ(以下、ネガ・ポジと称する)それぞれの画像の白部分を階調1で表示するため、ネガ・ポジとも、1階調のサブフレーム即ち、2の重みのサブフレームを二分割した部分にネガ・ポジをそれぞれ適応する。この際に、符号化画像は、図18の下図ではなく、図14に示したネガ・ポジのような全面符号化信号からなる画像であり、この際に、低階調は犠牲にされる。尚、この際には、重み1のサブフレームを含め全てのサブフレームは元の画像信号で作成された画像がそのまま表示される。
低階調まで、全く元の画像を再現しようとする場合は、一例として図18の下図に相当する。この場合には、低階調の部分(画像中の暗い部分)については信号を重畳せず、(即ち、元の分解した画像のクロ部分(該当サブフレームで0が立っている場所)はクロのまま)明るい部分(該当サブフレームで1が立っている部分)のみに符号化信号を重畳する。
ここでは、符号化画像の階調cを1とすると、重み2のサブフレームを分割することによって得られる二つのサブフレームに図18の下図のような画像(ネガ・ポジ)を表示する。該当画像で白の場所と、符号化画像の白の場所のみが白となりこれ以外の部分は全てクロとなる。他のサブフィールドは全て元の画像のままである。このようにすることで、符号化画像を含んだままで元の映像画像そのものを再現することができる。この際の欠点は、明るい場所しかも、該当するサブフィールドで明るい場所しか信号が重畳されていないため、受信確率が低下する、或いは、信号全てが入らなくなることが挙げられる。また、ここでの明るい暗いは、あくまで、該当するサブフィールドでの明るい暗いで、人の目で見た明るい部分だけに信号を重畳するのではないことに注意する必要が有り、人が直感的に感ずる感じ方とは全く無関係になることが多い。
ここでは、ネガ・ポジという形で、二つの符号化画像と、その逆転画像の組合せで、全面を一様な階調にしようとした例を示しているが、複数枚の組合せであれば、これ以外の組合せでもかまわない。また、ここでは、一例として、2の累乗の重み付けのあるサブフレームのうちの小さいサブフレームを二分割してネガ・ポジの組合せを表現しようとしている。これは、符号化信号画像の輝度をできるだけ落として目立たなくすることを目的としているため、cは小さい値、場合によっては1以下の値になるため、小さいサブフレームを用いることが多いことが予測されるためである。
まず、映像信号を先に述べた閾値cにおいて、映像のうちの表示しようとする一枚の画像のすべての画素における、各原色の階調からcを引いた画像データを作成し、これを各サブフレームで表示する画像に分解する。ここでは、黒地に白い“A”の文字が1サブフレームとして表示されると計算された。また、平均階調cの縞模様である符号化画像をサブフレーム分解したところ、横方向の縞状の画像が1サブフレームに表示されるとい結果になった。
1サブフレームでは元の映像信号の1サブフレームの画像である黒地に“A”の文字の画像と、符号化画像である横縞状画像を重畳した。この際に、どちらもON信号、すなわち白表示の部分のみが白表示され残りは黒表示される。これが図中“NEGA”(左下図)である。一方、逆転画像についても、黒地に“A”の文字の画像と重畳した。この画像が、図中“POSI”(中下図)である。以下、2サブフィールド以降の各サブフィールドについても同様の手順で、送信を行う。
階調cは、符号画像が暗いことが望ましいため、cの値は小さくなることが多いことは前述したとおりだが、cの値が小さい場合には、大きなサブフレームまで分解した画像が存在する可能性は低い。このため、同様の処理は、少なくとも全体の2%を超えるようなサブフレームまで分解して確認する処理をする必要性は低い。従って、サブフィールドを2分割して予め対応しておくサブフィールドは本例の場合、すなわち、2の累乗の8ビット、255階調であるとするならば、1サブフィールド、2サブフィールドまで対応しておくのとが望ましい。また、処理時間のことを考慮すると、2サブフィールドの画像構成までで本処理を行うことをやめることが望ましい。
以上のような手順で、閾値を設けて、低いAPL画像は犠牲にするが、通常のAPLの映像表示にはほとんど影響しないで符号化信号を送信することが可能となる。
以下、図19〜図26を用いて、図18に示す例をより詳細に説明する。
図19は、フレームの最後に信号領域がある場合の可視光通信画像の表示例を示す図である。
例えば、フレームの最後に信号領域がある場合には、図19に示すように、フレーム内において、R、G、B、Wの画像が順に表示された後に、または、R、G、Bの画像が順に表示された後に、可視光通信画像が表示される。あるいは、フレーム内において、R、G、Bの画像が同時に表示された後に、可視光通信画像が表示される。ここで表示される可視光通信画像は、例えば上述のネガ・ポジからなる画像である。
図20は、信号を映像のサブフレームに重畳させる例を示す図である。
可視光通信画像の階調cを表示するために、入力された映像信号の各階調からcを引いた成分が計算される。その結果、入力と出力とは、図17の二点破線に示す関係となる。さらに、可視光通信画像の階調cを表示するために、階調c×2によって特定される重みのサブフレームが分割される。その分割によって得られる分割サブフレームの映像画像(映像信号の画像)のそれぞれと、可視光通信画像のネガまたはポジとが重畳される。このとき、輝度の明るい部分を1とし、輝度の暗い部分を0として扱う場合に、輝度の論理和によって、可視光通信画像のネガまたはポジと映像画像とが重畳される。これにより、映像信号よりも可視光通信画像の信号の方が優先されることになり、入力と出力とは、図17の破線に示す関係となる。図20は、1フレームがRGBWの時分割で表される例を示すが、図21に示すように、1フレームがRGBのセル分割で表される場合であっても、時分割の例と同様の処理が可能である。
例えば、cの階調が1の場合(c=1)、映像信号の各成分の階調から1が引かれ、サブフレーム分割が行われる。このとき、1だけ引かれることによって、階調が負の値になる場合には、その階調は0とされる。c=1の階調を出すためには、ネガ・ポジのそれぞれに1の階調を出す必要があるため、2の重みのサブフレームが2つに分割される。この分割によって得られる分割サブフレームのそれぞれの映像画像に、ネガまたはポジが重畳(論理和)される。2の重みのサブフレーム以外のサブフレームでは、通常通りの処理によって、図17の二点破線に示す関係にしたがった映像画像が表示される。
また、cの階調が2の場合(c=2)、映像信号の各成分の階調から2が引かれ、サブフレーム分割が行われる。このときにも、2だけ引かれることによって、階調が負の値になる場合には、その階調は0とされる。c=2の階調を出すためには、ネガ・ポジのそれぞれに2の階調を出す必要があるため、4の重みのサブフレームが2つに分割される。この分割によって得られる分割サブフレームのそれぞれの映像画像に、ネガまたはポジが重畳される。2の重みのサブフレーム以外のサブフレームでは、通常通りの処理によって、図17の二点破線に示す関係にしたがった映像画像が表示される。
また、cの階調が3の場合(c=3)、映像信号の各成分の階調から3が引かれ、サブフレーム分割が行われる。このときにも、3だけ引かれることによって、階調が負の値になる場合には、その階調は0とされる。c=3の階調を出すためには、ネガ・ポジのそれぞれに3の階調を出す必要があるため、1と4の重みのサブフレームのそれぞれが2つに分割される。この分割によって得られる分割サブフレームのそれぞれの映像画像に、ネガまたはポジが重畳される。2の重みのサブフレーム以外のサブフレームでは、通常通りの処理によって、図17の二点破線に示す関係にしたがって映像画像が表示される。
図22は、サブフレームの分割と、ネガまたはポジが重畳される位置を示す図である。なお、1はポジを示し、−1はネガを示す。図22の(a)に示すように、c=1の場合には、重み2のサブフレームが分割され、その分割サブフレームのそれぞれの映像画像に、ネガまたはポジが重畳される。また、図22のグレーの領域によって示されるサブフレームでは、通常通りの処理によって、図17の二点破線に示す関係にしたがった映像画像が表示される。c=2およびc=3の場合についても、上述と同様である。また、c=3の場合には、図22の(a)に示すように、2の重みのサブフレームでネガとポジが表示され、続いて、4の重みのサブフレームでネガとポジが表示される。このように、ネガ、ポジ、ネガ、ポジの順で可視光通信画像が連続して表示される場合には、受信装置側の制約が厳しくなる。そこで、図22の(b)に示すように、2の重みと3の重みのそれぞれの分割サブフレームの順序を変えてもよい。その結果、ネガ、ネガ、ポジ、およびポジの順で可視光通信画像が連続して表示されるため、受信装置側の制約を緩和することができる。
図23は、信号を映像のサブフレームに重畳させる他の例を示す図である。
入力された映像信号の各階調を表示するために、つまり、入力と出力とが図17の実線に示す関係に従うように、サブフレーム分割が行われる。可視光通信画像の階調cを表示するために、階調cに該当するサブフレームが追加される。階調cに該当するサブフレームの映像画像(映像信号の画像)のそれぞれと、可視光通信画像のネガまたはポジとが重畳される。このとき、輝度の明るい部分を1とし、輝度の暗い部分を0として扱う場合に、輝度の論理積によって、可視光通信画像のネガまたはポジと映像画像とが重畳される。これにより、可視光通信画像の信号よりも映像信号の方が優先されることになり、入力と出力とは、図17の実線に示す関係となる。図23は、1フレームがRGBWの時分割で表される例を示すが、図24に示すように、1フレームがRGBのセル分割で表される場合であっても、時分割の例と同様の処理が可能である。
例えば、cの階調が1の場合(c=1)、映像信号の各成分に対してサブフレーム分割が行われる。c=1の階調を出すためには、ネガ・ポジのそれぞれに1の階調を出す必要があるため、1の重みのサブフレームが追加され、1の重みのサブフレームの映像信号のそれぞれに、ネガまたはポジが重畳(論理積)される。2つの1の重みのサブフレーム以外のサブフレームでは、通常通りの処理によって、図17の実線に示す関係にしたがった映像画像が表示される。
また、cの階調が2の場合(c=2)、映像信号の各成分に対してサブフレーム分割が行われる。c=2の階調を出すためには、ネガ・ポジのそれぞれに2の階調を出す必要があるため、2の重みのサブフレームが追加され、2の重みのサブフレームの映像信号のそれぞれに、ネガまたはポジが重畳(論理積)される。2つの2の重みのサブフレーム以外のサブフレームでは、通常通りの処理によって、図17の実線に示す関係にしたがった映像画像が表示される。
また、cの階調が3の場合(c=2)、映像信号の各成分に対してサブフレーム分割が行われる。c=3の階調を出すためには、ネガ・ポジのそれぞれに3の階調を出す必要があるため、1の重みのサブフレームと2の重みのサブフレームが追加され、2つの1の重みのサブフレームの映像信号と、2つの2の重みのサブフレームの映像信号とのそれぞれに、ネガまたはポジが重畳(論理積)される。2つの1の重みのサブフレームと2つの2の重みのサブフレーム以外のサブフレームでは、通常通りの処理によって、図17の実線に示す関係にしたがった映像画像が表示される。
図25は、サブフレームの追加と、ネガまたはポジが重畳される位置を示す図である。なお、1はポジを示し、−1はネガを示す。図25の(a)に示すように、c=1の場合には、重み1のサブフレーム(重み1’のサブフレーム)が追加され、重み1のサブフレームのそれぞれの映像画像に、ネガまたはポジが重畳される。また、図25のグレーの領域によって示されるサブフレームでは、通常通りの処理によって、図17の実線に示す関係にしたがった映像画像が表示される。c=2およびc=3の場合についても、上述と同様である。また、c=3の場合には、図25の(c)に示すように、重み1のサブフレームと重み1’のサブフレームでネガとポジが表示され、続いて、重み2のサブフレームと重み2’のサブフレームでネガとポジが表示される。このように、ネガ、ポジ、ネガ、ポジの順で可視光通信画像が連続して表示される場合には、受信装置側の制約が厳しくなる。そこで、図25の(d)に示すように、重み1’のサブフレームと重み2のサブフレームの順序を変えてもよい。その結果、ネガ、ネガ、ポジ、およびポジの順で可視光通信画像が連続して表示されるため、受信装置側の制約を緩和することができる。なお、RGBが時分割で表示される場合には、c=3のときに、3の階調を作成してもよい。また、RGBがセル分割の場合には、元の画像がRGBで必ずしも一致しないため、複数のサブフレームを跨って可視光通信画像を連続させることが望ましい。なお、図26は、符号化画像の生成の一例を示す図である。
また、本実施の形態における各用語の定義は、以下のとおりである。
符号化画像は、可視光通信信号をコーディングすることによって得られる数値の配列を縞模様で表した画像である。つまり、可視光通信信号を一定の方法でコーディングして、0,1の数値の配列に変換する。その配列の数値のそれぞれを一定の幅の明、暗の二種類の明るさの直線に直し、それらの直線を、その直線と直交する方向に数値の配列の順に配することによって現れる縞状模様が符号化画像である。
階調は、映像信号を構成する一つの画像をRGBなどの光の原色(3原色に限定する必要はない)の組合せで表現した際に、それぞれの原色の輝度レベルを示す指標である。例えば、各色8bitで表現されている画像であれば、各色とも0〜255の階調の組合せで表現され、階調は、それぞれの原色の輝度と、ガンマ補正やデジタル補正などを除いて線形関係にある数値を示す。
フレームは、映像信号を構成する一枚の画像を表示する期間である。通常の映像信号では、1秒間に60枚の画像が表示されるため、フレームは1/60秒である。
サブフレームは、サブフィールドとも称され、映像信号を構成する一つの画像を表示するために1フレーム内をいくつかに区切って表示するための単位である。単位時間当たりの発光エネルギーが調整できる液晶ディスプレイや、抵抗可変のELなどについては、サブフレームに分割せずに、単位時間当たりの発光エネルギーを調整して輝度変化をつけることができるが、これだけで不十分な場合には、いくつかのサブフレームに分割して表現できる輝度の数(場合の数、つまり階調数)を増やすことも可能である。また、各サブフレーム内で発光している時間制御と合わせて階調表現をすることもある。単位時間当たりの発光エネルギーが調整できず、しかも、原色がセル配列に寄って分離されているタイプのディスプレイ即ち、プラズマディスプレイや、抵抗固定タイプのELでは、発光する時間のみで、階調表現を行う。しかし、基本的には、重みを持たせたサブフレームを作成し、そのサブフレームの期間全てをON、或いはOFFし、ONしているサブフレームの重みの合計を階調として表現する。最低の場合では、例えば8ビットであれば、0〜255の数値が2のn乗(n=0〜7)の組合せで冗長性なしに表現できる。但し、実際のディスプレイでは、例えば、127と128の階調を時間的に繰り返し行き来するような映像では、その構成から人の目の動きと連動して、擬似的に別の映像が見えてしまう場合があるため、わざと冗長性を持たせて、このような極端なサブフレームの組合せの変化を避ける工夫がしてあることが多い。
単位時間当たりの発光エネルギーが調整できず、各原色などが時系列よって分離されているタイプの表示装置、即ち、DMDを用いたプロジェクタや、MEMSを用いたディスプレイでは、発光する時間のみで階調表現を行うが、DMDや、MEMSの動作が非常に速く、二次元的な駆動データの書き込みしてメモリする機能は必要とされていないため、サブフレームに分割した上で、各サブフレーム内でPWM制御(ONしている期間を制御すること)で発光輝度の制御をする方法を取る。しかしながら、時系列にRGBなどの原色等を分離するため、1フレームをそれぞれの原色が一つにすると、発光の重心が異なる場合などにやはり人の目で見た際に違和感を覚える(擬似動画輪郭など)が発生するため、比較的細かくサブフレームに分割した上で各サブフレームをPWM駆動している。冗長性を持たせて、擬似動画輪郭対策などを行うことも実施されている。
符号化画像の階調は、以下のように定義される。つまり、符号化信号は、2つ以上の反転映像を組合せ、その組合せが全面同じ色(同じ原色成分、同じ明るさ)で表現されることが前提とされる。このような前提において、合成された全面同じ色の各原色における輝度と、その映像信号を出力する際に同じ輝度を出力する階調が、符号化信号の階調として定義される。例えば、完全な反転画像で、2枚一組の場合には、明と暗の部分があり、明の部分の輝度に相当する輝度を表示する階調が符号化画像の階調である。
なお、上述の例では、cの階調は整数で表されたが、小数であってもよい。例えばc=0.67の場合には、連続する3つのフレームのそれぞれで、c=1、c=1、c=0とすることによって、3つのフレームの全体でc=0.67とすることができる。つまり、誤差拡散によって、cの階調を小数として扱うことができる。
(DLPを含めたプロジェクターに固有の態様)
(焦点距離による補正)
プロジェクターと投影面との距離を変更することにより、画格を変更する、或いは、設置場所の環境などにより、前記距離を変更して使用しなければならない場合の対応について説明する。
(焦点距離による補正)
プロジェクターと投影面との距離を変更することにより、画格を変更する、或いは、設置場所の環境などにより、前記距離を変更して使用しなければならない場合の対応について説明する。
前記距離を変更して、投影するためには、プロジェクターの焦点を調整して、投影面に画像を投影しなければならない。この際の焦点の調整は、図27に示したように、自動焦点、手動焦点ともに存在する。自動の場合には、プロジェクター内に焦点を合わせるためのレンズ形の組合せの情報が残っている。また、手動の場合においても、投影面を観察しながら使用者がリモコンなどを利用して焦点の位置を前後させながら焦点が合った位置でその操作を停止することにより焦点を合わせる。このように、プロジェクターの本体側には、プロジェクターと投影面の距離を計算できる情報が残存しており、この情報からプロジェクターと投影面の距離を計算する。
この際に、プロジェクターの持つ性質として、焦点距離とともに、画格が距離に反比例する。投影面の輝度は、投影面の材質にも影響を受けるが、少なくとも同一の投影面では距離の2乗に反比例して暗くなる。一方で、これを受信機側で撮像する際には、受信機と投影面との距離は、遠くとも離れていても、画像では横軸が時間軸になるため、同じ駆動をしている際には、同様の画像が得られる。但し、その撮像した画像の明るさは、撮像している投影面の輝度によって変化し、プロジェクターと投影面が近い際には投影面が明るいため、撮像した画像の符号化信号のコントラスト比も比較的高い値を示し、受信環境としては良い。しかし、離れた場合には、逆に、投影面が暗くなるため、撮像した符号化信号のコントラストも悪化する。また、一般的には、プロジェクターと投影面が離れているときには、画格が大きくなるため、投影映像の視聴者は、それに合わせて、比較的離れた位置から視聴する場合が多いため、符号化画像を撮像する際の画格は大きく変化がない場合が多いと考えられる。従って、受信機側の受信性能の向上のために、符号化画像のコントラストを上げる必要がある。
具体的な手法について、図28を用いて説明する。コントラストを上げるためには、投影するプロジェクターの光束を大きくする、すなわち、光源の輝度を明るくする、或いは、階調を高くする、又はこれらの組合せにより、投影面での照度が大きく低下しない対策をとることが最も簡便である。他にも、符号化画像を投影する時間を長くすることで、受光機側が得られる露光画像中の符号化信号は信号量としては大きくなるため、S/N比を上げる効果が期待できる。図27に示したように、これらの操作を行う指標として、焦点距離によるプロジェクターと投影面との距離との関連付けを事前に行っておくことで、焦点を合わせる動作に伴い、受信性能を維持することが可能となる。また、コントラストは外光の影響を強く受けるため、前述した、環境照度による対応と組み合わせて関連付けを行い、適切な投影条件をプロジェクター本体で自動的に制御することも可能となる。
先ほどは、投影した映像の画格に合わせて視聴者はその距離をとることが多いと考えたが、投影映像全体を見るのではなく、サイネージのように特定の箇所に注目して視聴する場合がある。この場合を考えると、様々な距離に存在する視聴者が符号化画像を撮像することを考慮する必要がある。図29のように投影面が離れている場合には、離れた距離で視聴する視聴者は画像全面を見ることを考え、また、中心方向を視聴することが多いと考えると、中心付近に1ブロックのデータすべてが含まれていることが望ましい。このため、前述した1画面に複数のデータブロックをいくつも繰り返して表示する場合には、繰り返し数は1つ又は奇数であることが望ましい。また、中心に符号化画像の中心を合わせて配した場合に、周辺に1ブロック以下の領域が残存した場合には、残りの部分を、輝度を合わせたグレイの単色にしても良いし、データのピッチを変更して通信データ1ブロック分の締める領域を縮小しておいても良い。この際に、それぞれのデータは同じものでも良いし、異なるものでも良い。また、中心部に比較的大きな1ブロック分の符号化画像を配し、その他は同一の縮小したデータ或いは、異なるデータ、又は、輝度・色度をあわせた単色を表示しても良い。プロジェクターが焦点距離から状況を推測し、対応を決定しても良い。
受信側については、例えば、受信側がスマートフォンを使用する場合には、図30のフローチャートに示したように、スマートフォンのアプリ立上によって撮像部が作動し、焦点を合わせる動作をする。これにより、スマートフォンである受信機は、撮像部と投影面との距離を認識し、Wifiなどの無線信号によってプロジェクター側に受信機が信号を受信しやすい大きさや照度を設定して受信する方法を取っても良い。
(投影面による補正:プロジェクションマッピング)
近年、平面で画像を投影するために適した素材でできたスクリーンなど以外のでこぼこがあったり、もともと色がついていたりする立体物、例えば建造物などをスクリーンの代わりに用いて画像を立体的に表示するプロジェクションマッピングという手法が用いられることがある。これは、あらかじめ投影面の形状や色、反射率などを事前の情報として得た上で、投影する各箇所の映像信号に該当する上記各種情報による補正を行い、人が見た際に自然画像として認識できるよう、また、立体感を持たせた画像として投影できるようにする技術である。さらには、人物や、装置など、動体に投影する際に、投影する対象を撮像してその動きに合わせて投影画像を補正して表示する方法なども考案、実施されている。このような場合にも、以下のような対応をすることによって、受信確率の高い可視光通信信号の送信をすることが可能となる。
近年、平面で画像を投影するために適した素材でできたスクリーンなど以外のでこぼこがあったり、もともと色がついていたりする立体物、例えば建造物などをスクリーンの代わりに用いて画像を立体的に表示するプロジェクションマッピングという手法が用いられることがある。これは、あらかじめ投影面の形状や色、反射率などを事前の情報として得た上で、投影する各箇所の映像信号に該当する上記各種情報による補正を行い、人が見た際に自然画像として認識できるよう、また、立体感を持たせた画像として投影できるようにする技術である。さらには、人物や、装置など、動体に投影する際に、投影する対象を撮像してその動きに合わせて投影画像を補正して表示する方法なども考案、実施されている。このような場合にも、以下のような対応をすることによって、受信確率の高い可視光通信信号の送信をすることが可能となる。
事前に保存された対象の動き、或いは撮像した対象の動きに合わせて、画像の補正を掛ける際には、その補正内容から、符号化画像を投影画像と同様に補正して表示することで、受信機側からは線形の信号を線形をとして捕らえることが可能となる。また、元の投影画像信号と、補正信号との比較により、比較的変化の少ない部分に関しては、投影面が平面に近いなど、ゆがみが少ないところであることが認識できるため、この部分を中心に符号化画像を配置することも可能である。この際に、ゆがみが大きい、即ち、補正により信号の変化が大きい部分に関しては、符号化信号を出さないことにより、受信時のエラーや、誤認識を回避する効果が期待できる。尚、ゆがみが少ない部分へ出す符号化信号は該当箇所だけで符号化信号の1ブロックが少なくともすべて入るように符号化画像を作成してもよい。また、ゆがみが少ない場所に符号化画像を1ブロック分のみ有する符号化画像を作成することで、受信機側の1つの信号単位当たりの画素数を増加できるため、エラー軽減に効果が期待できる。
更に、さまざまな方向から投影映像を視聴できる場合においては、受信する方向により補正した符号化画像が、ゆがみの少ないものになっていない場合が考えられる。このような場合には、さまざまな位置から映像を視聴し、可視光通信信号を受信することができるよう、符号化画像の補正をさまざまな場所で受信しやすい、即ち、さまざまな場所でゆがみの少ない元の符号化画像に近い形で撮像できるよう補正画像をいくつか作成し、それを時間ごとに順に或いはランダムに繰り返し、或いは一定時間出力してもよい。この際に、映像内容とリンクして最も受信しやすい位置を変化させることも可能である。更には、受信位置により、受信のために撮像する投影画像の位置を変え、ある時刻での符号化画像を複数枚、投影場所を変えて混入してもよい。この際に、必ずしも、同時に出力する必要はなく、1フレーム中の時間を区切って別の場所に、同一の或いは別の符号化信号を、僅かな時間差で表示してもよい。
(2台で合わせて信号を出力)
プロジェクターの場合には、ひとつの投影画像を作成する場合に複数台のプロジェクターなどを用いることもある。これは、大型のものや、輝度の非常に高ものなど、RGB3原色の管球を独立してレンズ系を持って駆動し、投影面でひとつの画像として合わせる場合も含む。具体的方法としては、少なくとも1台は、投影画像と、符号化画像を挿入する期間だけ或いはその前後の短い期間、何も表示しない。残りの少なくとも1台は、投影画像を投影するほかのプロジェクターと位相を合わせて符号化信号だけを投影する。この際に、これらのプロジェクターは画像表示の同期を取り、投影映像と、符号化画像がかぶらないように時間配分を行う。符号化画像を投影するプロジェクターは、複数台で同じ画格で表示してもよいし、異なる画格で、或いは異なる領域に表示してもよい。また、場所によって異なる符号化画像を表示してもよい。プロジェクションマッピングへの適応を説明した際の異なる位置からの撮像に対する対応として、複数のプロジェクターを利用してもよい。この際にプロジェクターの置く場所や、その画格、投射方向などについては、先にあげた投影映像との時間配分を行うことと、異なる符号化画像が時間的に或いは空間的に重なることがない限り、このほかの制限は特にない。
プロジェクターの場合には、ひとつの投影画像を作成する場合に複数台のプロジェクターなどを用いることもある。これは、大型のものや、輝度の非常に高ものなど、RGB3原色の管球を独立してレンズ系を持って駆動し、投影面でひとつの画像として合わせる場合も含む。具体的方法としては、少なくとも1台は、投影画像と、符号化画像を挿入する期間だけ或いはその前後の短い期間、何も表示しない。残りの少なくとも1台は、投影画像を投影するほかのプロジェクターと位相を合わせて符号化信号だけを投影する。この際に、これらのプロジェクターは画像表示の同期を取り、投影映像と、符号化画像がかぶらないように時間配分を行う。符号化画像を投影するプロジェクターは、複数台で同じ画格で表示してもよいし、異なる画格で、或いは異なる領域に表示してもよい。また、場所によって異なる符号化画像を表示してもよい。プロジェクションマッピングへの適応を説明した際の異なる位置からの撮像に対する対応として、複数のプロジェクターを利用してもよい。この際にプロジェクターの置く場所や、その画格、投射方向などについては、先にあげた投影映像との時間配分を行うことと、異なる符号化画像が時間的に或いは空間的に重なることがない限り、このほかの制限は特にない。
(DLPプロジェクターに固有の課題ではないが、DLP固有の解決策)
映像信号が縞模様を含む映像であるなど、符号化信号画像と似通ったパターンである場合に、受信時の誤認識を回避する手段について説明する。
映像信号が縞模様を含む映像であるなど、符号化信号画像と似通ったパターンである場合に、受信時の誤認識を回避する手段について説明する。
図31Aおよび図32Bは、DMDを用いたプロジェクター、MEMSを用いたディスプレイなど、RGB光源或いは一つの光源を分離して時分割でRGBWの階調表現をする場合の解決方法を示している。
(a)は、映像信号と符号化画像が似通った構成になり、誤認識が起きるおそれがある一例を示している。すなわち、映像でも、符号化画像でも、白黒の縞状模様が、表示されており、切り分けができない一例である。
(b)は、映像信号の出力の画像のタイミングをずらして対策した一例である。映像信号部分の白表示を場所によって発光或いは投影のタイミングをずらし、イメージセンサーにて撮像した際にはその瞬間には映像は縞模様を構成していない。このため、誤認識することはないが、映像として人の目で見る場合には、結果的に元の映像と同じように見える。このように、面内の場所によって発光或いは投影するタイミングをずらすことで、符号化信号と同じ縞模様或いは縞模様を含んだ映像として撮像できるタイミングが存在しないにように、発光或いは投影することが可能になる。
(c)は、映像信号の白色を、白発光を用いずにRGBなどの原色の発光に用いて映像を出力して対応する一例を示している。映像信号の白黒の白表示を白色が発光するタイミングで開口を明ける、或いは投影することで映像を作ろうとせず、RGBの各色の発光するタイミングでそれぞれ開口を明ける、或いは投影し、RGBの色が混じり合って白色に見える構成をとっている。この場合にも、イメージセンサーで撮像した場合には、映像信号からは白色の縞模様を含む画像を捉えられる瞬間は存在しないが、人の目では違いがわからないように構成することが可能である。以上のように、白色を他の原色に時分割して表示することで、対策が可能となる。
(d)は、(c)の構成において、更にRGBのタイミングをずらせた一例を示している。映像を構成するRGBなどの原色の発光のタイミングを画面内の場所などによってずらすことにより、符号化画像が白黒以外の色の縞状パターンを持ってなす場合にも対応可能になる。これは、どのタイミングをとっても、R、G,或いはBの縞模様がイメージセンサーによって撮像されず、符号化画像との誤認識を避けることが可能となる。
(e)および(f)は、映像信号の一部を変更して対応する一例を示している。映像信号の一部を変更することで、映像信号を符号化画像には表れないパターンとすることで、誤認識を防ぐことができる。(e)は映像信号を間引き、(f)は映像信号を追加することで、これを実現している。
以上のような対策は、映像中の縞状の模様が、符号化信号の縞状模様と平行かそれに近い状態の場合だけでなく、あらゆる角度の映像中の縞状模様を対象にして行っても良い。これは、受信側の撮像時に、イメージセンサーの方向をどちら向きにもって撮像するか、或いは傾けて撮像するか等、様々な場面を想定した際に、符号化画像はイメージセンサーの露光ライン上での縞模様と垂直方向の帯として認識できる範囲すなわち、受信可能な傾ける角度範囲においても、それがちょうど垂直でない限り映像信号をピッチの異なる符号化信号を誤認識する可能性があるためである。
また、本実施の形態では、表示装置を用いて可視光通信を行う方法を説明したが、看板などの照明装置においても、同様の方法で実現することができる。
また、逆に、同じ階調の信号においても、RGBの組合せとタイミングの順番を変化させることが、少なくとも時間を色分割している数のビット数だけ、場合の数が増加するため、通信情報量が増加することになる。例えば、同じ白を出す場合にも、Wだけを出す場合、RGBの3色を順番に出す場合には、順番が3×2×1の6通りの組合せが有り、これを送信側で制御して送信し、受信側でも、この組合せを時系列として分離して受信することにより、6倍の情報量が増加できることになる。このように、原色の組合せの順序により情報量を増加させても良い。尚、このような方法は、固体光源のRGBWを時系列で分割してそれぞれの光源光を投射レンズ系に入射させる時間幅を変化させて映像表示させるタイプのプロジェクター或いはMEMSを用いたディスプレイに限らず、カラーホイールを用いたプロジェクターなどにおいても、光源の点滅との組合せによって実現することも可能となる。即ち、規定の順番以外の色が表示される期間に光源を消灯し、規定の順番の色が表示される期間になれば光源を点灯するという手段を繰り返すことで、単位時間当たりの伝達速度は落ちる場合が多くなるが、前述した色の順序を識別することによって通信する情報量を増大させることは可能である。
図32に縦方向に複数のLEDを配した照明装置と、その駆動信号の一例を示す。
図32の(a)は、縦方向に複数のLEDを配した照明装置である。各LED素子が可視光通信信号を符号化した横縞の最小単位に相当するものとし、符号化したON/OFF信号に相当するものとする。照明装置であるため、明るさが信号によって変化しないためように、図32の(b)で示す通常の信号に加え、同図の(c)および(d)に示す点灯非点灯を逆転した符号化信号を、可視光通信信号の出力期間において送信してもよい。
図32の(e)に同図の(a)におけるLED1とLED3の制御の状態を示す。図32の(e)において、横軸は時間を示す。図32の(e)に示すように、可視光通信信号の出力期間内の時刻t1に同図の(c)の信号、時刻t2に同図の(d)の信号を出力する。すなわち、時刻t1においては、LED3が非点灯、時刻t2においては、LED1が非点灯となるように制御する。この動作を一定周期で繰り返すことにより、照明装置においても同様に可視光通信信号の送信が可能となる。尚、照明におけるチラツキなどを考慮すると、t1、t2で、非点灯状態になる期間は、0.2msec以下であることが望ましい。
(符号化方式)
図33は、可視光通信画像の符号化方式の一つを説明する図である。
図33は、可視光通信画像の符号化方式の一つを説明する図である。
この符号化方式では、白と黒の割合が同程度となるため、正相画像と逆相画像の平均輝度が同程度となり、人間がちらつきを感じにくいという利点がある。
(斜方向から撮像した場合でも受光可能な符号化方式)
図34は、可視光通信画像の符号化方式の一つを説明する図である。
図34は、可視光通信画像の符号化方式の一つを説明する図である。
画像1001aは白と黒のラインを均一な幅で表示した画像である。この画像1001aを斜めから撮像すると、その撮像によって得られる画像1001bでは、左方のラインは細く、右方のラインは太く表れる。また、画像1001aを曲面に投影した場合は、その撮像によって得られる画像1001iでは、異なる太さのラインが表れる。
そこで、以下の符号化方式によって可視光通信画像を作成する。可視光通信画像1001cは、左から、白のライン、白のラインの3倍の太さの黒のライン、その黒のラインの3分の1の太さの白のラインで構成されている。このように、左隣のラインの3倍の太さのライン、左隣のラインの3分の1の太さのラインが続いた画像としてプリアンブルを符号化する。可視光通信画像1001d、1001eのように、左隣のラインと同じ太さのラインを「0」として符号化する。可視光通信画像1001f、1001gのように、左隣のラインの2倍の太さ、あるいは、左隣のラインの半分の太さのラインを「1」として符号化する。即ち、符号化対象ラインの太さを左隣のラインの太さと異ならせる場合に、その符号化対象ラインを「1」として符号化する。この符号化方式を用いた例として、プリアンブルに続いて「010110001011」を含む信号は、可視光通信画像1001hのような画像によって表現される。なお、ここでは、左隣のラインと同じ太さのラインを「0」、左隣のラインと異なる太さのラインを「1」として符号化したが、左隣のラインと同じ太さのラインを「1」、左隣のラインと異なる太さのラインを「0」として符号化しても構わない。また、左隣のラインとの対比に限らず、右隣のラインとの対比を行ってもよい。つまり、符号化対象ラインの太さと右隣のラインとの太さとの対比において、太さが同じか異なるかによって、「1」、「0」を符号化しても構わない。このように、送信機側では、符号化対象ラインと異なる色であり、かつ、隣接するラインの太さと符号化対象ラインの太さを同じにすることで、「0」を符号化し、異なる太さとすることで、「1」を符号化する。
受信機側では、可視光通信画像を撮像し、撮像した可視光通信画像において、白または黒のラインの太さを検出する。復号対象のラインとは異なる色であり、かつ、復号対象のラインに隣接する(左隣、または、右隣)ラインの太さと、復号対象のラインの太さとを比較し、太さが同じ場合には、復号対象ラインを「0」として復号し、太さが異なる場合には、復号対象ラインを「1」として復号する。太さが同じ場合に「1」、太さが異なる場合に「0」として復号してもよい。復号を行った、1、0のデータ列に基づいて、最終的にデータの復号を行う。
この符号化方式は局所的なラインの太さの関係を用いている。画像1001bや画像1001iに見られるように、近傍のラインの太さの比は大きくは変化しないため、斜め方向から撮像された場合や、曲面に投影された場合でも、この符号方式で作成された可視光通信画像は正しく復号できる。
この符号化方式では、白と黒の割合が同程度になるため、正相画像と逆相画像の平均輝度が同程度となり、人間がちらつきを感じにくいという利点がある。また、この符号化方式は、白黒の別はないため、正相信号と逆相信号のどちらの可視光通信画像であっても、同じアルゴリズムで復号可能であるという利点がある。
また、符号の追加が容易であるという利点がある。例えば、可視光通信画像1001jは、左隣の4倍の太さのラインと左隣の4分の1のラインの組み合わせである。このように、「左隣の5倍と5分の1」「左隣の3倍と3分の2」のように、多くのユニークなパターンが存在しており、特別な意味を持つ信号として定義可能である。例えば、可視光通信画像は複数枚で一つのデータを表すことができるが、送信するデータが変更されたためこれまでに受信したデータの一部が無効になったことを表示するキャンセル信号として可視光通信画像1001jを用いることが考えられる。なお、色については、白、黒に限らず、異なる色であれば、どのような色であってもよい。例えば、補完色を用いても構わない。
(距離によって情報量が異なる符号化方式)
図35および図36は、可視光通信画像の符号化方式の一つを説明する図である。
図35および図36は、可視光通信画像の符号化方式の一つを説明する図である。
図35の(a−1)のように、四つに区切った画像のうち一つの部分を黒、残りの部分を白とすることで2ビットの信号を表現すると、この画像の平均輝度は、白を100%、黒を0%とした場合、75%となる。図35の(a−2)のように、白と黒の部分を逆にすると、平均輝度は25%となる。
画像1003aは、図34の符号化方式で作成した可視光通信画像の白の部分を図35の(a−1)の画像で、黒の部分を図35の(a−2)の画像で表現した可視光通信画像である。この可視光通信画像は、図34の符号化方式で符号化した信号Aと、図35の(a−1)および(a−2)で符号化した信号Bを表している。近くの受信機1003bが可視光通信画像1003aを撮像すると、精細な画像1003dが得られ、信号Aと信号Bの両方が受信できる。遠くの受信機1003cが可視光通信画像1003aを撮像すると、小さな画像1003eが得られる。画像1003eでは、詳細な部分は確認できず、図35の(a−1)の部分が白く、図35の(a−2)の部分が黒くなった画像となるため、信号Aのみが受信できる。これにより、可視光通信画像と受信機の距離が近いほど多くの情報を伝達することができる。信号Bを符号化する方式としては、図35の(b−1)と(b−2)の組み合わせや、図35の(c−1)と(c−2)の組み合わせを用いてもよい。なお、この方式を再帰的に用いて3つ以上の信号を符号化してもよい。
信号Aと信号Bを用いることにより、信号Aで基本的で重要な情報を表し、信号Bで付加的な情報を表すことが可能となる。また、受信機が信号A・BをID情報としてサーバに送信し、サーバがID情報に対応する情報を受信機に送信する場合は、信号Bの有無によってサーバが送信する情報を変化させることが可能となる。
図37は、送信機によって可視光通信画像が切り替えられる例を示す図である。
送信機8501aは、可視光通信画像8501bを表示する。このとき、送信機8501aは、可視光通信画像8501bの近くでその可視光通信画像8501bを撮像する受信機8501dのために、多く情報を含む可視光通信画像8501fを可視光通信画像8501bとして表示する。さらに、送信機8501aは、可視光通信画像8501bから少し離れた位置でその可視光通信画像8501bを撮像する受信機8501dのために、可視光通信画像8501fよりも少ない情報を含む可視光通信画像8501gを可視光通信画像8501bとして表示する。さらに、送信機8501aは、可視光通信画像8501bから遠く離れてその可視光通信画像8501bを撮像する受信機8501dのために、可視光通信画像8501gよりも少ない情報を含む可視光通信画像8501hを可視光通信画像8501bとして表示する。このような可視光通信画像8501f、8501g、8501hは、連続的に、または断続的に表示される。したがって、可視光通信画像からの距離に関わらず、受信機8501dは可視光通信画像を撮像し、その可視光通信画像から情報を得ることができる。
図38は、受信機からの指示に応じて可視光通信画像が切り替えられる例を示す図である。
送信機8501aは、機器8501cから映像データと信号データを受信し、可視光通信画像8501bを表示する。受信機8501dは、その可視光通信画像8501bを撮像する。ここで、可視光通信画像8501bが多くの情報を含み、細かい縞模様で表されている場合には、受信機8501dは、撮像によって、不鮮明な画像8501iを取得することがある。この場合、受信機8501dは、その画像8501iから情報を取得することができないため、機器8501cに対して、可視光通信画像8501bを、粗い縞模様の可視光通信画像に切り替えることを指示する。この指示を受けた機器8501cは、送信機8501aに対して他の信号データを送信し、他の信号データを受けた送信機8501aは、粗い縞模様の可視光通信画像を表示する。受信機8501dは、その可視光通信画像を撮像することによって、鮮明な画像8501jを取得し、その画像8501jから情報を適切に取得することができる。
(データを分割した符号化方式)
図39は、可視光通信画像の符号化方式の一つを説明する図である。
図39は、可視光通信画像の符号化方式の一つを説明する図である。
送信する信号1005aを、複数のデータ片1005b、1005c、1005dに分割する。各データ片にそのデータ片の位置を示すアドレスを付加し、さらに、プリアンブルや誤り検出・訂正符号やフレームタイプ記述等を付加し、フレームデータ1005e、1005f、1005gを構成する。フレームデータを符号化して可視光通信画像1005h、1005i、1005jを作成して表示する。表示領域が十分大きい場合は、複数の可視光通信画像を連結した可視光通信画像1005kを表示してもよい。
(逆相画像を挿入する効果)
図40と図41は、可視光通信画像の符号化方式の一つを説明する図である。
図40と図41は、可視光通信画像の符号化方式の一つを説明する図である。
図40の(1006a)のように、送信機は、映像と可視光通信画像(正相画像)の間に黒画像を挿入する。これを受信機で撮像した画像は、図40の(1006b)に示す画像のようになる。受信機は、同時に露光される画素のラインが黒一色である部分の探索は容易であるため、可視光通信画像が撮像されている位置を、その露光時刻から所定の時間経過後に露光される画素の位置として容易に特定できる。なお、黒画像と可視光通信画像の間に映像が表示されてもよい。
図40の(1006a)のように、送信機は、可視光通信画像(正相画像)を表示した後に、白黒を反転させた逆走の可視光通信画像を表示させる。受信機は、正相画像と逆相画像の画素値の差を求めることで、正相画像のみを利用した場合の2倍のSN比が得られる。逆に、同じSN比を確保する場合は、白黒の輝度差を半分に抑えることができ、人間が見た際のちらつきを抑えることができる。また、図41の(1007a)および(1007b)のように、映像と可視光通信画像の輝度の差の期待値の移動平均は、正相画像と逆相画像でキャンセルされる。人間の視覚の時間分解能は1/60秒程度であるため、可視光通信画像を表示する時間をこれ以下にすることで、人間にとって可視光通信画像が表示されていないように感じさせることができる。
図40の(1006c)に示すように、送信機は、さらに、正相画像と逆相画像の間にも黒画像を挿入してもよい。この場合、受信機による撮像によって、図40の(1006d)に示す画像が得られる。図40の(1006b)に示す画像では、正相画像のパターンと逆相画像のパターンが隣接しているため境界部分で画素値が平均化されてしまうことがあったが、図40の(1006d)に示す画像ではそのような問題が発生しない。
(超解像)
図42は、可視光通信画像の符号化方法の一つを説明する図である。
図42は、可視光通信画像の符号化方法の一つを説明する図である。
図42の(a)のように、映像データと可視光通信で送信する信号データが分離されている場合は、映像データに超解像処理を行い、得られた超解像画像に可視光通信画像を重畳する。即ち、可視光通信画像には超解像処理を行わない。図42の(b)のように、映像データにすでに可視光通信画像が重畳されている場合には、(1)可視光通信画像のエッジ(白・黒など色の違いによりデータを示している部分)を急峻なまま保つ、(2)可視光通信画像の正相画像と逆相画像の平均画像が一様輝度となるように超解像処理を行う。このように、映像データに可視光通信画像が重畳されているか否かにより、可視光通信画像に対する処理を変更することにより、可視光通信をより適切に行う(エラー率を低下させる)ことが可能となる。
(可視光通信に対応していることの表示)
図43は、送信機の動作の一つを説明する図である。
図43は、送信機の動作の一つを説明する図である。
送信機8500aは、可視光通信に対応していることを、投影する画像に重畳して表示する。この表示は、例えば、送信機8500aを起動してから所定の時間の間のみ表示される。
送信機8500aは、自身が可視光通信に対応していることを、接続された機器8500cへ送信する。機器8500cは、送信機8500aが可視光通信に対応していることを表示する。例えば、機器8500cのディスプレイに、送信機8500aが可視光通信に対応していることを表示する。機器8500cは、接続された送信機8500aが可視光通信に対応している場合に、可視光通信用のデータを送信機8500aへ送信する。送信機8500aが可視光通信に対応している旨の表示は、機器8500cが送信機8500aに接続された際に表示されてもよいし、機器8500cから送信機8500aに対して可視光通信用のデータが送信された場合に表示されてもよい。機器8500cから可視光通信用のデータが送信された際に表示する場合は、送信機8500aは、データから可視光通信を示す識別情報を取得し、識別情報がデータに可視光通信用のデータが含まれていることを示している場合に、送信機8500aが可視光通信に対応していることを表示してもよい。
このように、投影画面8500bや接続機器8500cのディスプレイに送信機(照明、プロジェクタ、映像表示機器)が可視光通信に対応している旨、または、対応しているか否かを示す表示を行うことにより、ユーザは送信機が可視光通信に対応しているか容易に把握することができる。従って、機器から、送信機に対して可視光通信用のデータを送信しているにも関わらず、可視光通信を行うことができなくなるという不具合を防ぐことが可能となる。
(可視光通信信号を用いた情報取得)
図44は、可視光通信の応用例の一つを説明する図である。
図44は、可視光通信の応用例の一つを説明する図である。
送信機8501aは、機器8501cから映像データと信号データを受信し、可視光通信画像8501bを表示する。受信機8501dは、可視光通信画像8501bを撮像し、可視光通信画像に含まれた信号を受信する。受信機8501dは、受信信号に含まれた情報(アドレスやパスワード等)から機器8501cと通信を行い、送信機8501aが表示している映像そのものやその付帯情報(映像ID、URL、パスワード、SSID、翻訳データ、音声データ、ハッシュタグ、商品情報、購買情報、クーポン、空席情報等)を受信する。機器8501cは送信機8501aへの送信状況をサーバ8501eへ送信し、受信機8501dはサーバ8501eから前記情報を得るとしても良い。
(データフォーマット)
図45は、可視光通信データのフォーマットの一つを説明する図である。
図45は、可視光通信データのフォーマットの一つを説明する図である。
図45の(a)に示すデータは、記憶域中に映像データの位置を示す映像アドレステーブルと、可視光通信により送信する信号データの位置を示す位置アドレステーブルとを持つ。可視光通信に対応していない映像表示装置では、映像アドレステーブルのみが参照されるため、入力に信号アドレステーブルと信号データが含まれていても映像表示には影響しない。これにより、可視光通信に対応していない映像表示装置に対する後方互換性が保たれる。
図45の(b)に示すデータのフォーマットでは、後に続くデータが映像データであることを示す識別子を映像データの前に配し、後に続くデータが信号データであることを示す識別子を信号データの前に配している。識別子とすることにより、映像データ、または、信号データのある場合にのみ、データに挿入されるため、全体の符号量を小さくすることができる。また、映像データであるか、信号データであるかを示す識別情報を配してもよい。更に、番組情報において、可視光通信用のデータを含むか否かを示す識別情報を含んでいてもよい。番組情報に可視光通信用のデータを含むか否かを示す識別情報が含まれることにより、ユーザは、番組検索の際に、可視光通信可能か否か判断することが可能となる。なお、番組情報に含まれるのは、可視光通信用のデータを含むことを示す識別子であってもよい。更に、データ毎に識別子・識別情報を付加することにより、データ毎の輝度の切り替えや、超解像の切り替えなど処理の切り替えを行うことができ、可視光通信時におけるエラー率を低減させることが可能となる。
図45の(a)に示すデータのフォーマットは、光ディスク等の蓄積型メディアからデータを読み出す状況に適し、図45の(b)に示すデータのフォーマットは、テレビ放送などストリーミング型のデータに適している。なお、信号データには、可視光通信によって送信する信号の値、送信開始時刻、送信終了時刻、ディスプレイや投影面上の送信に利用する場所、可視光通信画像の輝度、可視光通信画像のバーコードの向き等の情報を含む。
(立体形状を推定して受信する)
図46と図47は、可視光通信の応用例の一つを説明する図である。
図46と図47は、可視光通信の応用例の一つを説明する図である。
図46に示すように、例えばプロジェクタとして構成される送信機8503aは、映像と可視光通信画像に加え、測距用画像を投影する。測距用画像に示されるドットパターンは、任意のドットの近傍の所定数のドットの位置関係が、他の任意の組み合わせのドットの位置関係と異なるドットパターンである。受信機は、測距用画像を撮像することで、局所的なドットパターンを特定し、投影面8503bの立体形状を推定することができる。受信機は、投影面の立体形状によって歪んだ可視光通信画像を平面画像へ復元して信号を受信する。なお、測距用画像や可視光通信画像は、人間には知覚できない赤外線で投影されてもよい。
図47に示すように、例えばプロジェクタとして構成される送信機8504aは、赤外線で測距用画像を投影する赤外線投影装置8504bを備える。受信機は、測距用画像から投影面8504cの立体形状を推定し、可視光通信画像の歪みを復元して信号を受信する。なお、送信機8504aは、映像を可視光で投影し、可視光通信画像を赤外線で投影してもよい。なお、赤外線投影装置8504bは、可視光通信画像を赤外線で投影してもよい。
(立体投影)
図48と図49は、可視光通信画像の表示方法の一つを説明する図である。
図48と図49は、可視光通信画像の表示方法の一つを説明する図である。
立体投影を行う場合や円筒状の表示面に可視光通信画像を表示する場合は、図48に示すように、可視光通信画像8505a〜8505fを表示させることで、広い角度からの受信が可能になる。可視光通信画像8505a、8505bを表示させることで、水平方向に広い角度から受信が可能になる。可視光通信画像8505aと8505bを組み合わせることで、受信機を傾けても受信可能となる。可視光通信画像8505aと可視光通信画像8505bを交互に表示させてもよいし、それらの画像を合成した画像である可視光通信画像8505fを表示してもよい。さらに、可視光通信画像8505cと可視光通信画像8505dを加えることで、垂直方向に広い角度から受信が可能となる。可視光通信画像8505eのように、中間色で投影する部分や投影しない部分を設けることで、可視光通信画像の区切りを表現してもよい。可視光通信画像8505a〜8505fを回転させることで、さらに広い角度から受信可能とすることができる。なお、図48では、円筒状の表示面に可視光通信画像を表示させたが、円柱の表示面に可視光通信画像を表示させてもよい。
立体投影を行う場合や、球状の表示面に可視光通信画像を表示する場合は、図49に示すように、可視光通信画像8506a〜8506dを表示させることで、広い角度からの受信が可能となる。可視光通信画像8506aでは、水平方向における受信可能領域は広いが、垂直方向における受信可能領域が狭いため、逆の性質を持つ可視光通信画像8506bと組み合わせて可視光通信画像8506aを表示させる。可視光通信画像8506aと可視光通信画像8506bを交互に表示させても良いし、それらの画像を合成した画像である可視光通信画像8506cを表示してもよい。可視光通信画像8506aの上部のようにバーコードが集中する部分は表示が細かく、信号を誤って受信する可能性が高い。そこで、可視光通信画像8506dのようにこの部分を中間色で表示する、あるいは、何も投影しないことで、受信誤りを防ぐことができる。
(実施の形態2)
以下、実施の形態2について説明する。
以下、実施の形態2について説明する。
(発光部の輝度の観測)
1枚の画像を撮像するとき、全ての撮像素子を同一のタイミングで露光させるのではなく、撮像素子ごとに異なる時刻に露光を開始・終了する撮像方法を提案する。図50は、1列に並んだ撮像素子は同時に露光させ、列が近い順に露光開始時刻をずらして撮像する場合の例である。ここでは、同時に露光する撮像素子の露光ラインと呼び、その撮像素子に対応する画像上の画素のラインを輝線と呼ぶ。
1枚の画像を撮像するとき、全ての撮像素子を同一のタイミングで露光させるのではなく、撮像素子ごとに異なる時刻に露光を開始・終了する撮像方法を提案する。図50は、1列に並んだ撮像素子は同時に露光させ、列が近い順に露光開始時刻をずらして撮像する場合の例である。ここでは、同時に露光する撮像素子の露光ラインと呼び、その撮像素子に対応する画像上の画素のラインを輝線と呼ぶ。
この撮像方法を用いて、点滅している光源を撮像素子の全面に写して撮像した場合、図51のように、撮像画像上に露光ラインに沿った輝線(画素値の明暗の線)が生じる。この輝線のパターンを認識することで、撮像フレームレートを上回る速度の光源輝度変化を推定することができる。これにより、信号を光源輝度の変化として送信することで、撮像フレームレート以上の速度での通信を行うことができる。光源が2種類の輝度値をとることで信号を表現する場合、低い方の輝度値をロー(LO),高い方の輝度値をハイ(HI)と呼ぶ。ローは光源が光っていない状態でも良いし、ハイよりも弱く光っていても良い。
この方法によって、撮像フレームレートを超える速度で情報の伝送を行う。
一枚の撮像画像中に、露光時間が重ならない露光ラインが20ラインあり、撮像のフレームレートが30fpsのときは、1ミリ秒周期の輝度変化を認識できる。露光時間が重ならない露光ラインが1000ラインある場合は、3万分の1秒(約33マイクロ秒)周期の輝度変化を認識できる。なお、露光時間は例えば10ミリ秒よりも短く設定される。
図51は、一つの露光ラインの露光が完了してから次の露光ラインの露光が開始される場合を示している。
この場合、1秒あたりのフレーム数(フレームレート)がf、1画像を構成する露光ライン数がlのとき、各露光ラインが一定以上の光を受光しているかどうかで情報を伝送すると、最大でflビット毎秒の速度で情報を伝送することができる。
なお、ラインごとではなく、画素ごとに時間差で露光を行う場合は、さらに高速で通信が可能である。
このとき、露光ラインあたりの画素数がm画素であり、各画素が一定以上の光を受光しているかどうかで情報を伝送する場合には、伝送速度は最大でflmビット毎秒となる。
図52のように、発光部の発光による各露光ラインの露光状態を複数のレベルで認識可能であれば、発光部の発光時間を各露光ラインの露光時間より短い単位の時間で制御することで、より多くの情報を伝送することができる。
露光状態をElv段階で認識可能である場合には、最大でflElvビット毎秒の速度で情報を伝送することができる。
また、各露光ラインの露光のタイミングと少しずつずらしたタイミングで発光部を発光させることで、発信の基本周期を認識することができる。
図53Aは、一つの露光ラインの露光が完了する前に次の露光ラインの露光が開始される場合を示している。即ち、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となっている。このような構成により、(1)一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、所定の時間内におけるサンプル数を多くすることができる。所定時間内におけるサンプル数が多くなることにより、被写体である光送信機が発生する光信号をより適切に検出することが可能となる。即ち、光信号を検出する際のエラー率を低減することが可能となる。更に、(2)一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、各露光ラインの露光時間を長くすることができるため、被写体が暗い場合であっても、より明るい画像を取得することが可能となる。即ち、S/N比を向上させることが可能となる。なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。一部の露光ラインについて部分的に時間的な重なりを持たないように構成するにより、撮像画面上における露光時間の重なりによる中間色の発生を抑制でき、より適切に輝線を検出することが可能となる。
この場合は、各露光ラインの明るさから露光時間を算出し、発光部の発光の状態を認識する。
なお、各露光ラインの明るさを、輝度が閾値以上であるかどうかの2値で判別する場合には、発光していない状態を認識するために、発光部は発光していない状態を各ラインの露光時間以上の時間継続しなければならない。
図53Bは、各露光ラインの露光開始時刻が等しい場合に、露光時間の違いによる影響を示している。7500aは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、7500bはそれより露光時間を長くとった場合である。7500bのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、露光時間を長くとることが可能となる。即ち、撮像素子に入射する光が増大し、明るい画像を得ることができる。また、同一の明るさの画像を撮像するための撮像感度を低く抑えられることで、ノイズの少ない画像が得られるため、通信エラーが抑制される。
図53Cは、露光時間が等しい場合に、各露光ラインの露光開始時刻の違いによる影響を示している。7501aは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、7501bは前の露光ラインの露光終了より早く次の露光ラインの露光を開始する場合である。7501bのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、時間あたりに露光できるラインを増やすことが可能となる。これにより、より解像度が高くなり、多くの情報量が得られる。サンプル間隔(=露光開始時刻の差)が密になることで、より正確に光源輝度の変化を推定することができ、エラー率が低減でき、更に、より短い時間における光源輝度の変化を認識することができる。露光時間に重なりを持たせることで、隣接する露光ラインの露光量の差を利用して、露光時間よりも短い光源の点滅を認識することができる。
図53B、図53Cで説明したように、隣接する露光ラインの露光時間が、部分的に時間的な重なりをもつように、各露光ラインを順次露光する構成において、露光時間を通常撮影モードよりも短く設定することにより発生する輝線パターンを信号伝送に用いることにより通信速度を飛躍的に向上させることが可能になる。ここで、可視光通信時における露光時間を1/480秒以下に設定することにより適切な輝線パターンを発生させることが可能となる。ここで、露光時間は、フレーム周波数=fとすると、露光時間<1/8×fと設定する必要がある。撮影の際に発生するブランキングは、最大で1フレームの半分の大きさになる。即ち、ブランキング時間は、撮影時間の半分以下であるため、実際の撮影時間は、最も短い時間で1/2fとなる。更に、1/2fの時間内において、4値の情報を受ける必要があるため、少なくとも露光時間は、1/(2f×4)よりも短くする必要が生じる。通常フレームレートは、60フレーム/秒以下であることから、1/480秒以下の露光時間に設定することにより、適切な輝線パターンを画像データに発生させ、高速の信号伝送を行うことが可能となる。
図53Dは、各露光ラインの露光時間が重なっていない場合、露光時間が短い場合の利点を示している。露光時間が長い場合は、光源は7502aのように2値の輝度変化をしていたとしても、撮像画像では7502eのように中間色の部分ができ、光源の輝度変化を認識することが難しくなる傾向がある。しかし、7502dのように、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間(所定の待ち時間)tD2を設ける構成とすることにより、光源の輝度変化を認識しやすくすることが可能となる。即ち、7502fのような、より適切な輝線パターンを検出することが可能となる。7502dのように、所定の露光しない空き時間を設ける構成は、露光時間tEを各露光ラインの露光開始時刻の時間差tDよりも小さくすることにより実現することが可能となる。通常撮影モードが、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成である場合において、露光時間を通常撮影モード時よりも、所定の露光しない空き時間が生じるまで短く設定することにより、実現することができる。また、通常撮影モードが、前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であっても、所定の露光しない時間が生じるまで露光時間を短く設定することにより、実現することができる。また、7502gのように、各露光ラインの露光開始時刻の間隔tDを大きくすることによっても、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間(所定の待ち時間)tD2を設ける構成をとることができる。この構成では、露光時間を長くすることができるため、明るい画像を撮像することができ、ノイズが少なくなることからエラー耐性が高い。一方で、この構成では、一定時間内に露光できる露光ラインが少なくなるため、7502hのように、サンプル数が少なくなるという欠点があるため、状況によって使い分けることが望ましい。例えば、撮像対象が明るい場合には前者の構成を用い、暗い場合には後者の構成を用いることで、光源輝度変化の推定誤差を低減することができる。
なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。また、全ての露光ラインにおいて、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間(所定の待ち時間)を設ける構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持つ構成とすることも可能である。このような構成とすることにより、それぞれの構成における利点を生かすことが可能となる。
図53Eは、光源輝度の最小変化時間tSと、露光時間tEと、各露光ラインの露光開始時刻の時間差tDと、撮像画像との関係を示している。tE+tD<tSとした場合は、必ず一つ以上の露光ラインが露光の開始から終了まで光源が変化しない状態で撮像するため、7503dのように輝度がはっきりとした画像が得られ、光源の輝度変化を認識しやすい。2tE>tSとした場合は、光源の輝度変化とは異なるパターンの輝線が得られる場合があり、撮像画像から光源の輝度変化を認識することが難しくなる。
図53Fは、光源輝度の遷移時間tTと、各露光ラインの露光開始時刻の時間差tDとの関係を示している。tTに比べてtDが大きいほど、中間色になる露光ラインが少なくなり、光源輝度の推定が容易になる。tD>tTのとき中間色の露光ラインは連続で2ライン以下になり、望ましい。tTは、光源がLEDの場合は1マイクロ秒以下、光源が有機ELの場合は5マイクロ秒程度となるため、tDを5マイクロ秒以上とすることで、光源輝度の推定を容易にすることができる。
図53Gは、光源輝度の高周波ノイズtHTと、露光時間tEとの関係を示している。tHTに比べてtEが大きいほど、撮像画像は高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。tEがtHTの整数倍のときは高周波ノイズの影響がなくなり、光源輝度の推定が最も容易になる。光源輝度の推定には、tE>tHTであることが望ましい。高周波ノイズの主な原因はスイッチング電源回路に由来し、多くの電灯用のスイッチング電源ではtHTは20マイクロ秒以下であるため、tEを20マイクロ秒以上とすることで、光源輝度の推定を容易に行うことができる。
図53Hは、tHTが20マイクロ秒の場合の、露光時間tEと高周波ノイズの大きさとの関係を表すグラフである。tHTは光源によってばらつきがあることを考慮すると、グラフより、tEは、ノイズ量が極大をとるときの値と等しくなる値である、15マイクロ秒以上、または、35マイクロ秒以上、または、54マイクロ秒以上、または、74マイクロ秒以上として定めると効率が良いことが確認できる。高周波ノイズ低減の観点からはtEは大きいほうが望ましいが、前述のとおり、tEが小さいほど中間色部分が発生しづらくなるという点で光源輝度の推定が容易になるという性質もある。そのため、光源輝度の変化の周期が15〜35マイクロ秒のときはtEは15マイクロ秒以上、光源輝度の変化の周期が35〜54マイクロ秒のときはtEは35マイクロ秒以上、光源輝度の変化の周期が54〜74マイクロ秒のときはtEは54マイクロ秒以上、光源輝度の変化の周期が74マイクロ秒以上のときはtEは74マイクロ秒以上として設定すると良い。
図53Iは、露光時間tEと認識成功率との関係を示す。露光時間tEは光源の輝度が一定である時間に対して相対的な意味を持つため、光源輝度が変化する周期tSを露光時間tEで割った値(相対露光時間)を横軸としている。グラフより、認識成功率をほぼ100%としたい場合は、相対露光時間を1.2以下にすれば良いことがわかる。例えば、送信信号を1kHzとする場合は露光時間を約0.83ミリ秒以下とすれば良い。同様に、認識成功率を95%以上としたい場合は相対露光時間を1.25以下に、認識成功率を80%以上としたい場合は相対露光時間を1.4以下にすれば良いということがわかる。また、相対露光時間が1.5付近で認識成功率が急激に下がり、1.6でほぼ0%となるため、相対露光時間が1.5を超えないように設定すべきであることがわかる。また、認識率が7507cで0になった後、7507dや、7507e、7507fで、再度上昇していることがわかる。そのため、露光時間を長くして明るい画像を撮像したい場合などは、相対露光時間が1.9から2.2、2.4から2.6、2.8から3.0となる露光時間を利用すれば良い。例えば、図54の中間モードとして、これらの露光時間を使うと良い。
図55のように、撮像装置によっては、露光を行わない時間(ブランキング)が存在することがある。
ブランキングが存在する場合には、その時間の発光部の輝度は観察できない。
発光部が同じ信号を2回以上繰り返して送信する、または、誤り訂正符号を付加することで、ブランキングによる伝送損失を防ぐことができる。
発光部は、同じ信号が常にブランキングの間に送信されることを防ぐために、画像を撮像する周期と互いに素となる周期、または、画像を撮像する周期より短い周期で信号を送信する。
(実施の形態3)
(送り方の順番を示す識別子を送信)
HDMI(登録商標)など外部から通信信号を表示装置が受け取る場合において、最初に、符号化画像にて通信を行うことを示す識別子を配置する事を記載したが、更に、符号化画像の向きや大きさ、その表示する順序まで含めた識別子情報を作成し、識別子情報に基づいて符号化画像を出力することにより、より短い通信量にて最適な符号化画像の表示状況を実現することが可能となる。
(送り方の順番を示す識別子を送信)
HDMI(登録商標)など外部から通信信号を表示装置が受け取る場合において、最初に、符号化画像にて通信を行うことを示す識別子を配置する事を記載したが、更に、符号化画像の向きや大きさ、その表示する順序まで含めた識別子情報を作成し、識別子情報に基づいて符号化画像を出力することにより、より短い通信量にて最適な符号化画像の表示状況を実現することが可能となる。
また、識別子に関しては、通信信号を送付することを示す識別子とともに、データの大きさが128bit以下であることを示す識別子を同時に含んでおくことが望ましい。
更に、複数の信号ブロックに分割しない場合においては、データ長が64bit以下であることを示す識別子が含まれていることが望ましい。
(音声の符号化による符号化画像の補完)
符号化画像により、映像信号と関連のある、或いはその他の信号を送信し、受信機側では、別途受信した信号より情報を取得できるが、符号化画像に対して一時的に死角になるなど画像からの信号を取れないときの補完方法として、符号化した音声信号をスピーカーなどから流し、受信機に備えられているマイクなどで録音することで、復号化し、信号の補完を行っても良い。この際に、音声信号と映像信号は同期して信号の種類を変えるなどの方法を取ることが望ましいが、必ずしも双方が同じ信号を送信する必要があるわけではなく、送信された信号を受信後に受信機が受け取る情報の経路によって最終的に同じ情報を得ることができれば、補完方法としての役割は充分に果たすことができる。また、音声は、音声に関連付けられる情報を得るための信号を送信しても良い。スピーカーから発せられる音声信号は、17kHz帯の高音域を利用することで、通常のイベントなどのノイズが比較的多い会場においてはほとんど人がノイズ或いは不快音として感じることなく送信することができるとともに、デジタル音声信号の一定領域をそのまま当てはめて信号を入出力することも可能となる。
符号化画像により、映像信号と関連のある、或いはその他の信号を送信し、受信機側では、別途受信した信号より情報を取得できるが、符号化画像に対して一時的に死角になるなど画像からの信号を取れないときの補完方法として、符号化した音声信号をスピーカーなどから流し、受信機に備えられているマイクなどで録音することで、復号化し、信号の補完を行っても良い。この際に、音声信号と映像信号は同期して信号の種類を変えるなどの方法を取ることが望ましいが、必ずしも双方が同じ信号を送信する必要があるわけではなく、送信された信号を受信後に受信機が受け取る情報の経路によって最終的に同じ情報を得ることができれば、補完方法としての役割は充分に果たすことができる。また、音声は、音声に関連付けられる情報を得るための信号を送信しても良い。スピーカーから発せられる音声信号は、17kHz帯の高音域を利用することで、通常のイベントなどのノイズが比較的多い会場においてはほとんど人がノイズ或いは不快音として感じることなく送信することができるとともに、デジタル音声信号の一定領域をそのまま当てはめて信号を入出力することも可能となる。
(複数のプロジェクターを使用する場合の対応策)
複数のプロジェクターを利用して映像を投影する場合には、下記のような対応策を講じることが望ましい。
複数のプロジェクターを利用して映像を投影する場合には、下記のような対応策を講じることが望ましい。
(複数のプロジェクターを使用して連続した映像を投影する際の接続部分の処理)
図56は、符号化画像を2台のプロジェクターを用いて合成して投影する場合の映像と信号のずれ量を示すイメージ図である。図のように、複数のプロジェクターを使用して連続した映像を表示する際には、映像は少なくとも連続しているように視認できるべく、接続域での連続性が保たれるようにその画像の投影位置をお互いに補正をかけるが、符号化信号においても映像と同等か、それ以上の連続性が求められる。
図56は、符号化画像を2台のプロジェクターを用いて合成して投影する場合の映像と信号のずれ量を示すイメージ図である。図のように、複数のプロジェクターを使用して連続した映像を表示する際には、映像は少なくとも連続しているように視認できるべく、接続域での連続性が保たれるようにその画像の投影位置をお互いに補正をかけるが、符号化信号においても映像と同等か、それ以上の連続性が求められる。
一例として、複数のプロジェクターが投影する領域を一部重複して有する配置にして、出力する映像を重複域の双方の出力を合計した映像信号が、重複していない領域の映像信号と輝度や色度の面でも一定の連続性を保ち、かつ、画像のずれ量も一般に不連続性がはっきりとわからない程度に連続性を持たせるために、映像のずれの補正を行い、1画素から数が祖程度の画像のずれで納めるように補正を行っている。また、投影可能領域は重複していても、お互いに境界面を設定して投影範囲を重複せずに連続するように出力信号を補正する方法なども考えられる。しかしながら、本開示における符号化画像の連続性は、1画素程度、望ましくは1画素以内になることが受信側の信号処理上の制約からより強く求められる。プロジェクターの位置補正に関しては、事前に或いは、映像投射時に投射した画像を撮像して、順次補正を更新していく方法もあれば、事前に対象となる投影対象物に対しての補正を行い、補正のためのデータテーブルを作成して投影しても良い。補正を行うためのキャリブレーション用の画像として、市松模様の画像を出力しても良い。投影面が曲線であっても、傾いた平面であっても、市松模様の位置ゆがみと各々の場所の輝度を検出することで、補正するためのパラメータを得ることが可能となる。尚、市松模様のピッチは、符号化画像の最小単位と等しくすることで、受信に対してより適切な一補正が可能となる。また、市松模様も、明暗の反転画像を一組にして挿入することで、映像信号に対しての外乱として視認できにくくなる効果がある。
後者の場合には、符号化画像についても同様の処理を行っても良いが、映像投影を継続すると、プロジェクター本体の熱などによって徐々に複数のプロジェクターからの投影画像の境界面でのずれが発生することがある。この対策として以下のような対策が考えられる。即ち、映像信号は1秒間に60枚など一定の時間ごとに新たな画像に更新され、それを補正していく必要があるため、細かくあわせこんで行くことが時間的に困難であるが、動画に対しての人の目の認識度については、僅かなずれまで大きく目立つことのない映像が多いが、符号化画像は、必ずしもフレーム毎に新たな信号に更新する必要がないため、たとえば、複数のプロジェクターで表示される領域に渡る直線状のキャリブレーション用のパターン、たとえば、境界面に対して垂直な方向の縞模様からなる横縞などを出力し、出力した投影画像を撮像して境界部分の連続性を検出し、更にフィードバックをかけて符号化画像のずれをより低減する対策を取ることができる。尚この方法は、数フレーム連続して繰り返しフィードバックを行うことで非常に精度良く表示することが可能となる。尚、キャリブレーション用パターンについては、前述した市松模様にて行ってもかまわない。
また、重複部分の輝度についても同様の対策が可能となる。重なる領域が存在する場合には、複数のプロジェクターからの投影映像を合わせた輝度色度が連続性をもつように各々の出力を調整している。符号化信号の場合には、輝度の不連続性が、そのまま境界領域で黒く沈んだ、或いは白く浮いた画像が現れることとなる。また、先に述べたように双方の位置ずれが発生した場合には、二重線のように撮像され、誤認識の元ともなるため、ずれの補正も必要であるが、輝度の補正も必要である。
図57は、符号化画像を2台のプロジェクターを用いて合成して投影する場合のつなぎ目の処理を説明するイメージ図である。
これらの課題を簡便に解決する手段として図57を用いて説明する。図57は、符号化画像を2台のプロジェクターを用いて合成して投影する場合のつなぎ目の処理を説明するイメージ図である。図57のように、境界領域の一定の部分を符号化画像の平均的輝度色度と同等のグレースケールの単色の領域をはさんでも良い。もちろん、前述した符号化画像とその逆転画像の組合せを行う場合などでは、組合せの合計で示される画像の平均的輝度色度で計算をすることが望ましい。このように対応することにより、境界部分付近の一定の領域では信号を送信することができなくなるが、信号の誤認識を大きく減少させ、また、映像の見た目で境界面が符号化信号のために特に目立つ弊害も避けることができる。もちろん、上記内容との組合せで、重複領域には片方からの符号化信号だけを投影し、他方からは出力しないことも解決策として有効であるが、更に、プロジェクターの熱などによる経時変化で重複領域が変化する場合など、投影中に教会が変化する可能性のある場合には、変化するであろうごく近傍のみ補正したグレースケールを表示して、できる限り信号を受信できる領域を確保しつつ、映像への影響を与えない方法を取ることも有効である。
尚、複数のプロジェクターの映像信号の同期については、1フレーム以内の同期であれば良いが、符号化信号の出力タイミングは、出力幅にも依存するが、10usec以内の誤差で同期することが望ましい。これは、境界領域を撮像した際の語タイミングのずれによるデータの誤認識を避けるためであるが、前述したとおり、発光時間は外光との干渉を避けるために20usec以上であることが望ましいことに対して、20usecの少なくとも半分以上の誤差が一つの画像の中で発せすると、10usec以下の外光による干渉の影響が大きくなる領域になることを避けるためである。これを実現するためには、複数のプロジェクターの同期で、映像表示期間に関しては通常通りであり、符号化信号を出力するためにまず黒信号を出力する時刻の同期も映像信号と同等でよいが、光源を光らせるタイミングは映像信号とは別の信号系統でトリガを書け、少なくとも映像信号の誤差と符号化信号を表示する期間の和に相当する期間、プロジェクターの映像出力は、該当する符号化信号を出力する状況にした上で、光源を落とし、複数のプロジェクターで同期して光源を点灯することによって符号化信号の時間同期をより精度の高い同期をすることが可能となる。符号化信号がHDMI(登録商標)など映像信号と同期されて入力されている場合には、映像信号と符号化画像の同期に対する精度は大差ないため、映像信号の同期精度を向上させるか、或いは、符号化信号についても、同期誤差を含めた比較的長い期間表示できる画像として送信して置き、これとは別に光源の制御を別途行うことで、符号化信号送信の同期精度を上げることも可能となる。
(プロジェクションマッピングに対する適応する場合の対応策)
投影の対象が建造物や構造物、造形物、自然の地形、自然の構成物など、スクリーン以外のものに投影する場合に、特に対策を行うことが望ましい内容について下記に記載する。
投影の対象が建造物や構造物、造形物、自然の地形、自然の構成物など、スクリーン以外のものに投影する場合に、特に対策を行うことが望ましい内容について下記に記載する。
(投影対象物の反射率、色などが異なる場合の対応策)
事前に投影する面の反射率、色など、視認する際に影響を受ける要素に対して、事前に測定をして補正するための各原色の係数のテーブルを作成して映像信号に対して掛ける補正と同様の補正を掛けて符号化画像を出力する、或いは、プロジェクターと同期して映像を撮像して補正の係数を時刻とともに計算する装置をプロジェクター近傍に配置し、投影画像を観測して順次補正を掛けていく方法などを取る必要がある。これは、映像信号の補正の方法をと大きな差はなく、符号化画像においても同様の輝度色どの補正をする必要がある。これは、受信機側で撮像したデータを明領域と暗領域に区別して処理する際に、名領域の輝度が場所によって不連続に変化している場合には、明状態なのか暗状態なのかの判断が困難になるなどの不具合が生じるためである。以上のような対応を取ることにより、不具合については大きく改善される。
事前に投影する面の反射率、色など、視認する際に影響を受ける要素に対して、事前に測定をして補正するための各原色の係数のテーブルを作成して映像信号に対して掛ける補正と同様の補正を掛けて符号化画像を出力する、或いは、プロジェクターと同期して映像を撮像して補正の係数を時刻とともに計算する装置をプロジェクター近傍に配置し、投影画像を観測して順次補正を掛けていく方法などを取る必要がある。これは、映像信号の補正の方法をと大きな差はなく、符号化画像においても同様の輝度色どの補正をする必要がある。これは、受信機側で撮像したデータを明領域と暗領域に区別して処理する際に、名領域の輝度が場所によって不連続に変化している場合には、明状態なのか暗状態なのかの判断が困難になるなどの不具合が生じるためである。以上のような対応を取ることにより、不具合については大きく改善される。
特に、投影面に穴などが開いているなど、反射率が0或いは非常に低い場合の対処法について図58を用いて説明する。図58は、投影する対象に穴などがある場合の符号化画像の対処法を示すイメージ図である。図58のように、投影面に穴が開いているなど反射率が0或いは非常に低い場合については、反射率0或いは非常に低い領域を通る縞状信号はこれを投影せず、反射率0の領域を通らない語句近傍の符号化画像の信号を、中断することを示す識別子と、もう一方側には、信号を再開し、中断前の信号に継続するための識別子を表示することで信号の誤認識を回避することが可能となる。
尚、受信機側については、スクリーン以外に投影する場合には、撮像の露光時間を延ばし、できるだけ時間軸方向のデータ量を増加させて、投影面による外乱を避けることが望ましい。
(投影対象よりも背面側にまで投影光が及ぶ場合の対策)
投影対象物よりも投影可能領域が大きく、投影面よりも背面側にまで投影光が及ぶ場合に、比較的投影面と背面側の投影光が届く領域までの距離が大きく変わらない場合には、背景面にも画像を投影して立体感を出すなどの効果を狙っている場合においても、符号化画像については、背面側の投影面にまでは投影せず投影する領域を限定することが望ましい。これは、特にレーザーを用いたプロジェクターなど、大型の各原色の光源を有するプロジェクターにおいては、背面側に投影された信号が、本来の投影面に投影された信号と干渉を起こして誤認識を助長することを避けることが目的である。
投影対象物よりも投影可能領域が大きく、投影面よりも背面側にまで投影光が及ぶ場合に、比較的投影面と背面側の投影光が届く領域までの距離が大きく変わらない場合には、背景面にも画像を投影して立体感を出すなどの効果を狙っている場合においても、符号化画像については、背面側の投影面にまでは投影せず投影する領域を限定することが望ましい。これは、特にレーザーを用いたプロジェクターなど、大型の各原色の光源を有するプロジェクターにおいては、背面側に投影された信号が、本来の投影面に投影された信号と干渉を起こして誤認識を助長することを避けることが目的である。
(投影対象に縦あるいは横の平面がある場合の対応策)
建造物、構造物などの投影する場合には、その投影面に平面が含まれることもあり、平面も縦長の平面、横長の平面などの組合せによって構成されている。
建造物、構造物などの投影する場合には、その投影面に平面が含まれることもあり、平面も縦長の平面、横長の平面などの組合せによって構成されている。
この際に、縦の柱など縦方向に延伸する平面に対しては横縞上の符号化画像を、横柱など、横方向に延伸する平面に対しては、縦縞の符号化画像を選択的に出力することで受信確率を向上させることが可能である。具体的な方法を図59を用いて説明する。
図59は、投影する対象に縦横方向の柱などが存在する場合の符号化画像の一例を示すイメージ図である。
予め投影対象の形状や表面の反射率色などの情報を入手した上で、映像信号に補正を掛けて出力する方法の場合には、元の信号と、映像の表示位置の補正信号の線形性が保たれている領域においては、その領域が平面であることを示すため、このような平面である領域の形状を判断する。できる限り長い距離にわたり連続して平面であることが望ましいため、該当する領域の形状がどの方向に最も長い距離にわたって平面であるかを画像処理にて検出し、すなわち、長い距離にわたって信号を取れる範囲を判断する。判断された情報に応じて、縦方向、横方向またはそれらの組合せ、或いはこれらの中間の角度などの符号化信号を選択的に表示する或いは可能性の高い符号化信号の方向を順次交代して表示するかを決定し、これを表示することで受信確率の向上を期待できる。
また、符号化画像とは別途、符号化画像がどちらを向いているかを判断するための識別子を非常に短い列で挿入して、受信機の復号の優先順位を決定するために表示しても良いし、受信機を有する受信者に対して、受信する方向を促しても良い。尚、符号化画像と異なる判別用画像を用いて行う代わりに、光の点滅を用いて判別信号を送信しても良いし、Wifiなどの手段を用いて、受信機のアプリケーションダウンロードとともに、最適な配置などを支持する方法を用いても良い。
尚、識別信号については、符号化画像とその明暗反転画像を表示する際にはその間で表示することで、次のフレームでの受信確率を挙げるとともに、非常に短期間の表示のよってできる限り目立たなくする方法を用いても良い。
(撮像する画格に応じた情報の分類)
表示された符号化画像を受信機において撮像し、符号化画像を復号することによって送信された信号を受信し、受信した信号を元に予め割り当てられた送信先、或いは受信した信号に基づいて定められた送信先に対して、撮像した画像をサーバーなどに送信することにより、投影送信することによる被照射物から得られたIDと1ブロックサイズ(画像情報の大小)がサーバー側で判定でき、この判定した結果に基づいて、異なる情報への誘導を行っても良い。また、サーバーより受信機を持った人がどこ位置にいるかをプロジェクター側へ送信し、その情報を元に、受信する人が受信しやすい符号化画像或いはその組合せを映像に挿入して投影しても良い。更には、受信機で受信し、サーバーなどへ送信された複数の画像のデータなどにより、サーバーより受信機へ返送される情報の種類を変化させても良い。例えば、様々な方向、角度場所などから撮像した記録を送信することで、所謂スタンプラリーのような興味を受信者に対して提供する方法を取ることも良い。
表示された符号化画像を受信機において撮像し、符号化画像を復号することによって送信された信号を受信し、受信した信号を元に予め割り当てられた送信先、或いは受信した信号に基づいて定められた送信先に対して、撮像した画像をサーバーなどに送信することにより、投影送信することによる被照射物から得られたIDと1ブロックサイズ(画像情報の大小)がサーバー側で判定でき、この判定した結果に基づいて、異なる情報への誘導を行っても良い。また、サーバーより受信機を持った人がどこ位置にいるかをプロジェクター側へ送信し、その情報を元に、受信する人が受信しやすい符号化画像或いはその組合せを映像に挿入して投影しても良い。更には、受信機で受信し、サーバーなどへ送信された複数の画像のデータなどにより、サーバーより受信機へ返送される情報の種類を変化させても良い。例えば、様々な方向、角度場所などから撮像した記録を送信することで、所謂スタンプラリーのような興味を受信者に対して提供する方法を取ることも良い。
更には、受信した画像の取得時刻によって、サーバーから返送される情報の種類を変更し、少ない情報量の受信で様々な組合せの情報を、映像に合わせて変化させて返送することも可能である。
(実施の形態4)
図60に本実施の形態のユースケースの概略を説明する。
図60に本実施の形態のユースケースの概略を説明する。
大型スクリーンn100は可視光通信機能を持ち、情報を発信している。モバイルデバイスn101は可視光通信の受信機能を持ち、さらにID変換サーバーn104やインターネットへ接続する機能も合わせて備えている。大型スクリーンn100は、上映中の映画のシーンごとに異なるIDを発信し、モバイルデバイスn101はそのIDを取得すると、ID変換サーバーn104やインターネットを通じて例えばそのシーンの多言語の字幕情報や、シーンで使われている機材の情報、メイキング映像等スクリーンn100で表示されている映像コンテンツに関連した情報を取得する。
図61に大型スクリーンn100がバーコードのパターンを表示させ、その情報を可視光通信で受信する場合の概略図を示す。モバイルデバイスn101の利用者は、モバイルデバイスを垂直方向か、水平方向かどちらに構えるか分からない。このため、水平方向のバーコードと、垂直方向のバーコードを交互に表示させることが望ましい。
図62に、本実施の形態の基本的なフロー図を示す。
ステップSn300でモバイルデバイスn101のカメラのシャッタースピードを早くして、ステップSn301でスクリーンn100を撮影し、コンテンツIDを受信して、ステップSn302でコンテンツIDをID変換サーバーn104に問い合わせて、ステップSn303でID変換サーバーn104からコンテンツURLを取得して、ステップSn304でサーバーn105へアクセスし、コンテンツを取得して、ステップSn305でコンテンツを表示する。
図62のようなフローでユーザーがコンテンツを受診する場合、大型の映画館やコンサート会場では、多くのユーザーが同時にID変換サーバーn104に問い合わせを行うことが想定される。このため、例えばモバイルデバイスn101が無線通信機能を用いてID変換サーバーn104にアクセスすると、無線負荷が集中してアクセスすることができなくなることが想定される。
この課題を解決する手段として、図63では、あらかじめ、コンテンツとコンテンツIDの対応テーブルを受信しておき、ID変換サーバーn104に問い合わせることなく、モバイルデバイスn101にコンテンツ情報を表示させる方式について説明を行う。
ステップSn300でモバイルデバイスn101のカメラのシャッタースピードを早くして、ステップSn401で全コンテンツと、コンテンツIDの対応テーブルを受信して、ステップSn301でスクリーンn100を撮影し、コンテンツIDを受信して、ステップSn402でコンテンツ変換テーブルを参照し、コンテンツを決定して、ステップSn305コンテンツを表示する。
また、通信のアクセスが集中しないように、図64のように、ID変換サーバーn104へアクセスするタイミングをデバイスIDとコンテンツIDをキーとして分散させることで、負荷を減らすことも可能であるモバイルデバイスn101のカメラのシャッタースピードを早くして、ステップSn301でスクリーンn100を撮影し、コンテンツIDを受信して、ステップSn501でデバイスIDとコンテンツIDより待機時間を決定して、ステップSn502で待機時間終了かどうかを確認して、Yesの場合はステップSn302へ進み、Noの場合はステップSn502を再度確認する。
ステップSn302コンテンツIDをID変換サーバーn104に問い合わせて、ステップSn303 ID変換サーバーn104からコンテンツURLを取得して、ステップSn304でサーバーn105へアクセスし、コンテンツを取得して、ステップSn305でコンテンツを表示する。
また、図65のように、有料課金を行ったモバイルデバイスn101のユーザーは直ちにID変換サーバーn104へのアクセスを許可し、課金を行っていないユーザーは所定時間待機後ID変換サーバーn104へのアクセスを許可するという仕組みにしても良い。有料課金ユーザーの利便性を向上させることで、有料課金ユーザーを増やすことが可能となる。
ステップSn300でモバイルデバイスn101のカメラのシャッタースピードを早くして、ステップSn301でスクリーンn100を撮影し、コンテンツIDを受信して、ステップSn601でモバイルデバイスn101は有料課金デバイスかどうかを確認して、Yesの場合はステップSn302へ進み、Noの場合はステップSn602へ進む。
ステップSn302でコンテンツIDをID変換サーバーn104に問い合わせて、ステップSn303でID変換サーバーn104からコンテンツURLを取得して、ステップSn304でサーバーn105へアクセスし、コンテンツを取得して、ステップSn305でコンテンツを表示する。
ステップSn602で待機時間終了かどうかを確認して、Yesの場合はステップSn302へ進み、Noの場合はステップSn602を再度確認する。
また、スクリーンn100はコンテンツIDだけではなく、コンテンツそのものを配信することも可能である。この時、スクリーンn100は図66のように、コンテンツIDとコンテンツA〜Nを時間帯で区切って送信することが望ましい。
また、図67のようにスクリーンn100がコンテンツを配信している場合において、負荷が集中するなどして、ID変換サーバーn104にアクセス出来ない場合には、スクリーンn100から情報を取得するという構成にすることも可能である。
ステップSn300でモバイルデバイスn101のカメラのシャッタースピードを早くして、ステップSn301でスクリーンn100を撮影し、コンテンツIDを受信して、ステップSn302でコンテンツIDをID変換サーバーn104に問い合わせて、ステップSn701でID変換サーバーn104にアクセスできるかどうかを確認して、Yesの場合はステップSn702へ進み、Noの場合はステップSn703へ進む。
ステップSn702で通信速度は所定値以上かどうかを確認して、Yesの場合はステップSn303へ進み、Noの場合はステップSn703へ進む。
ステップSn303でID変換サーバーn104からコンテンツURLを取得して、ステップSn304でサーバーn105へアクセスし、コンテンツを取得して、ステップSn305でコンテンツを表示する。
ステップSn703でスクリーンn100を撮影してくだいとモバイルデバイスn101に表示して、ステップSn704でスクリーンn100よりコンテンツを受信する。
なお、本実施の形態において、ID変換サーバーとコンテンツサーバーは同一のものであってもよく、コンテンツサーバーn105へのアクセスが集中しないように、前述の負荷低減の技術を用いても良い。
(実施の形態5)
図68は、既に説明した実施の形態に記載の表示方法や、受信方法を用いたサービス提供システムを示している。
図68は、既に説明した実施の形態に記載の表示方法や、受信方法を用いたサービス提供システムを示している。
まず、サーバex8002を管理する企業A ex8000に対して、他の企業Bや個人ex8001が、携帯端末への情報の配信を依頼する。例えば、サイネージと可視光通信した携帯端末に対して、詳細な広告情報や、クーポン情報、または、地図情報などの配信を依頼する。サーバを管理する企業A ex8000は、任意のID情報に対応させて携帯端末へ配信する情報を管理する。携帯端末ex8003は、可視光通信により被写体ex8004からID情報を取得し、取得したID情報をサーバex8002へ送信する。サーバex8002は、ID情報に対応する情報を携帯端末へ送信するとともに、ID情報に対応する情報を送信した回数をカウントする。サーバを管理する企業A ex8000は、カウントした回数に応じた料金を、依頼した企業Bや個人ex8001に対して課金する。例えば、カウント数が大きい程、課金する額を大きくする。
図69は、サービス提供のフローを示している。
Step ex8000において、サーバを管理する企業Aが、他企業Bより情報配信の依頼を受ける。次に、Step ex8001において、企業Aが管理するサーバにおいて、配信依頼を受けた情報を、特定のID情報と関連付ける。Step ex8002では、携帯端末が、可視光通信により、被写体から特定のID情報を受信し、企業Aが管理するサーバへ送信する。可視光通信方法の詳細については、他の実施の形態において既に説明しているため省略する。サーバは、携帯端末から送信された特定のID情報に対応する情報を携帯端末に対して送信する。Step ex8003では、サーバにおいて、情報配信した回数をカウントする。最後に、Step ex8004において、情報配信したカウント数に応じた料金を企業Bに対して課金する。このように、カウント数に応じて、課金を行うことにより、情報配信の宣伝効果に応じた適切な料金を企業Bに課金することが可能となる。
図70は、他の例におけるサービス提供のフローを示している。図69と重複するステップについては説明を省略する。
Step ex8008において、情報配信の開始から所定時間が経過したか否か判断する。所定時間内と判断されれば、Step ex8011において、企業Bに対しての課金は行わない。一方、所定期間が経過していると判断された場合には、Step ex8009において、情報を配信した回数をカウントする。そして、Step ex8010において、情報配信したカウントに応じた料金を企業Bに対して課金する。このように、所定期間内は無料で情報配信を行うことから、企業Bは宣伝効果などを確認した上で、課金サービスを受けることができる。
図71は、他の例におけるサービス提供のフローを示している。図70と重複するステップについては説明を省略する。
Step ex8014において、情報を配信した回数をカウントする。Step ex8015において、情報配信開始から所定期間が経過していないと判断された場合には、Step ex8016において課金は行わない。一方、所定期間が経過していると判断された場合には、Step ex8017において、情報を配信した回数が所定値以上か否か判断を行う。情報を配信した回数が所定値に満たない場合には、カウント数をリセットし、再度、情報を配信した回数をカウントする。この場合、情報を配信した回数が所定値未満だった、所定期間については企業Bに対して課金は行わない。Step ex8017において、カウント数が所定値以上であれば、Step ex8018においてカウント数を一度リセットし、再度カウントを再開する。Step ex8019において、カウント数に応じた料金を企業Bに対して課金する。このように、無料で配信を行った期間内におけるカウント数が少なかった場合に、再度、無料配信の期間を設けることで、企業Bは適切なタイミングで課金サービスを受けることができる。また、企業Aもカウント数が少なかった場合に、情報内容を分析し、例えば、季節と対応しない情報になっているような場合に、情報内容を変更するように企業Bに対し提案することが可能となる。なお、再度、無料の情報配信期間を設ける場合には、初回の所定の期間よりも短い期間としてもよい。初回の所定の期間よりも短くすることにより、企業Aに対する負担を小さくすることができる。また、一定期間を空けて、無料の配信期間を再度設ける構成としてもよい。例えば、季節の影響を受ける情報であれば、季節が変わるまで一定期間を空けて、再度、無料の配信期間を設けることができる。
なお、情報の配信回数によらず、データ量に応じて、課金料金を変更するとしてもよい。一定のデータ量の配信は無料として、所定のデータ量以上は、課金する構成としてもよい。また、データ量が大きくなるにつれて、課金料金も大きくしてもよい。また、情報を特定のID情報に対応付けて管理する際に、管理料を課金してもよい。管理料として課金することにより、情報配信を依頼した時点で、料金を決定することが可能となる。
以上のように、図面および詳細な説明によって、出願人がベストモードと考える実施の形態と他の実施の形態とを提供した。これらは、特定の実施の形態を参照することにより、当業者に対して、特許請求の範囲に記載の主題を例証するために提供されるものである。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、それ以外の構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されているからといって、直ちにそれらの必須ではない構成要素が必須であるとの認定を受けるべきではない。また、特許請求の範囲またはその均等の範囲において、上述の実施の形態に対して、種々の変更、置き換え、付加、省略などを行うことができる。
また、本開示には、以下の映像表示装置も含まれる。つまり、この映像表示装置は、入力される映像信号をフレーム単位で複数の画像に分解して出力する第1の信号処理部と、入力される可視光通信信号を符号化して符号化画像を生成し、前記符号化画像を所定の配置に配置して可視光通信画像を生成すると共に、前記可視光通信画像を表示する表示タイミングを決定する第2の信号処理部と、前記第1の信号処理部より出力される複数の画像に前記第2の信号処理部が決定した表示タイミングで前記可視光通信画像を挿入して表示するよう制御する表示制御部と、前記表示制御部の制御に従って前記第1の信号処理部より出力される複数の画像と前記可視光通信画像を表示する表示部とを備える。
また、映像表示装置は、可視光通信信号を出力可能な映像表示装置であって、映像を表示する表示面と、映像信号に基づいて前記表示パネルの表示面に可視光通信信号を符号化し、一定の規則で画像化した縞状画像を含む画像を作成する可視光通信信号制御部と、映像を表示するよう制御する表示制御部と、前記可視光通信信号を符号化して作成した画像を極短い時間映像に混入させて表示する一連の映像信号を編成し直す可視光通信信号符号化画像統合制御部と、これら映像信号を表示する表示面とを備える。
また、前記第2の信号処理部は、前記可視光通信画像を表示する極短い時間とは、1msec以内で、望ましくは0.2msec以内としてもよい。
また、前記可視光通信信号を符号化して作成した縞様画像を含む画像において、縞様画像は少なくとも1つのまとまりを持った可視光信号であって、表示面の縁辺に対して平行でない、或いは、複数の縞様画像を含み、互いに直交或いは鋭角を持って交わる状況を備えた映像を出力してもよい。
また、前記表示部の表示面に可視光通信信号を符号化し、所定の規則で画像化した縞状画像を表示する期間と連続して前記所定の縞状画像の各画素の補足を持ってなす縞状画像を表示面に表示することを特徴としてもよい。
以上、一つまたは複数の態様に係る映像表示方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
図72Aは、本発明の一態様に係る映像表示方法のフローチャートである。
本発明の一態様に係る映像表示方法は、映像信号に含まれる画像をフレームごとに表示する映像表示方法であって、ステップSL11〜SL13を含む。
つまり、この映像表示方法は、可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を第1の可視光通信画像として生成する可視光通信画像生成ステップSL11と、所定のフレームにおいて、前記映像信号に含まれる画像を表示する第1の表示ステップSL12と、前記所定のフレームにおいて、表示される前記画像の平均輝度よりも一様に低い輝度の画像を識別用画像として表示し、続けて前記第1の可視光通信画像を表示する第2の表示ステップSL13とを含む。
図72Bは、本発明の一態様に係る映像表示装置のブロック図である。
本発明の一態様に係る映像表示装置L10は、映像信号に含まれる画像をフレームごとに表示する映像表示装置であって、構成要素L11〜L13を備える。
つまり、この映像表示装置L10は、可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を第1の可視光通信画像として生成する可視光通信画像生成部L11と、所定のフレームにおいて、前記映像信号に含まれる画像を表示する第1の表示部L12と、前記所定のフレームにおいて、表示される前記画像の平均輝度よりも一様に低い輝度の画像を識別用画像として表示し、続けて前記第1の可視光通信画像を表示する第2の表示部L13とを備える。
このような図72Aおよび図72Bによって示される映像表示方法および映像表示装置L10では、例えば、全黒画像または一様に灰色の画像が識別用画像として表示された後に第1の可視光通信画像が表示されるため、フレームごとに表示される画像を順次露光型のイメージセンサーを用いて撮像することによって得られる撮像画像には、可視光通信信号の開始位置を示す一様に黒または灰色のラインが表れる。したがって、その撮像画像から可視光通信信号を容易に読み出すことができる。その結果、可視光通信信号を適切に送信することができる。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図72Aのフローチャートによって示される映像表示方法をコンピュータに実行させる。
本開示にかかる映像表示方法、映像表示装置、受光機および通信方法は、画像以外の情報を安全にしかも能動的に取得できるため、家庭でのテレビ或いはPC、タブレットなどの機器は勿論のこと、外出先でのサイネージや、情報端末、情報表示機器においてもその能動性ゆえに安全に必要な情報を必要なだけ得られるという意味で、あらゆる場面での画像付帯情報の転送、情報発信などのさまざまな用途に適用可能である。
100 表示装置
110 表示部
120 第1の入力部
130 第1の信号処理部
140 表示制御部
150 第2の入力部
160 第2の信号処理部
200 受信装置
210 撮像部
220 映像化部
230 信号判定部
240 信号復調部
L10 映像表示装置
L11 可視光通信画像生成部
L12 第1の表示部
L13 第2の表示部
n100 スクリーン
n101 モバイルデバイス
n104 ID変換サーバー
n105 コンテンツサーバー
110 表示部
120 第1の入力部
130 第1の信号処理部
140 表示制御部
150 第2の入力部
160 第2の信号処理部
200 受信装置
210 撮像部
220 映像化部
230 信号判定部
240 信号復調部
L10 映像表示装置
L11 可視光通信画像生成部
L12 第1の表示部
L13 第2の表示部
n100 スクリーン
n101 モバイルデバイス
n104 ID変換サーバー
n105 コンテンツサーバー
Claims (5)
- 映像信号に含まれる画像を表示する表示方法であって、
前記映像信号に含まれる画像を表示する第1の表示ステップと、
可視光通信信号を符号化することによって生成された、縞状模様の第1の可視光通信画像と、前記第1の可視光通信画像を、前記縞状模様の縞の方向に対して垂直な方向に伸張した第2の可視光通信画像とを、1枚の画像内において表示する第2の表示ステップと、
を有し、
前記第2の表示ステップでは、1枚の画像を複数の領域に分割した前記領域のそれぞれにおいて、前記第1の可視光通信画像または前記第2の可視光通信画像を、前記縞状模様の縞の方向に対して垂直な方向に繰り返し表示し、前記複数の領域のうち、互いに隣接する領域において、縞の位相が異なるように表示する、
表示方法。 - 前記第2の表示ステップにおいて、1枚の画像内に表示される、前記第1の可視光通信画像の表示回数は、前記第2の可視光通信画像の表示回数よりも多い、
請求項1に記載の表示方法。 - 前記第2の表示ステップにおいて、
前記第1の可視光通信画像は、1枚の画像内の上側および下側のうちの一方において表示され、
前記第2の可視光通信画像は、1枚の画像内の上側および下側のうちの他方において表示される、
請求項1または2に記載の表示方法。 - 映像信号に含まれる画像を表示する表示装置であって、
前記映像信号に含まれる画像を表示する第1の表示部と、
可視光通信信号を符号化することによって生成された、縞状模様の第1の可視光通信画像と、前記第1の可視光通信画像を、前記縞状模様の縞の方向に対して垂直な方向に伸張した第2の可視光通信画像とを、1枚の画像内において表示する第2の表示部と、
を備え、
前記第2の表示部は、1枚の画像を複数の領域に分割した前記領域のそれぞれにおいて、前記第1の可視光通信画像または前記第2の可視光通信画像を、前記縞状模様の縞の方向に対して垂直な方向に繰り返し表示し、前記複数の領域のうち、互いに隣接する領域において、縞の位相が異なるように表示する、
表示装置。 - 映像信号に含まれる画像を表示する表示装置を制御するプログラムであって、
前記表示装置のコンピュータに対して、
前記映像信号に含まれる画像を表示させる第1の表示ステップと、
可視光通信信号を符号化することによって生成された、縞状模様の第1の可視光通信画像と、前記第1の可視光通信画像を、前記縞状模様の縞の方向に対して垂直な方向に伸張した第2の可視光通信画像とを、1枚の画像内において表示させる第2の表示ステップと、
を有し、
前記第2の表示ステップは、1枚の画像を複数の領域に分割した前記領域のそれぞれにおいて、前記第1の可視光通信画像または前記第2の可視光通信画像を、前記縞状模様の縞の方向に対して垂直な方向に繰り返し表示させ、前記複数の領域のうち、互いに隣接する領域において、縞の位相が異なるように表示させる、
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014514974A JP5715301B2 (ja) | 2012-12-27 | 2013-11-22 | 表示方法および表示装置 |
Applications Claiming Priority (12)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261746315P | 2012-12-27 | 2012-12-27 | |
JP2012286339 | 2012-12-27 | ||
US61/746,315 | 2012-12-27 | ||
JP2012286339 | 2012-12-27 | ||
JP2013203349 | 2013-09-30 | ||
JP2013203349 | 2013-09-30 | ||
US201361896874P | 2013-10-29 | 2013-10-29 | |
JP2013224801 | 2013-10-29 | ||
US61/896,874 | 2013-10-29 | ||
JP2013224801 | 2013-10-29 | ||
PCT/JP2013/006869 WO2014103157A1 (ja) | 2012-12-27 | 2013-11-22 | 映像表示方法 |
JP2014514974A JP5715301B2 (ja) | 2012-12-27 | 2013-11-22 | 表示方法および表示装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015050035A Division JP2015156663A (ja) | 2012-12-27 | 2015-03-12 | 表示方法、表示装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5715301B2 true JP5715301B2 (ja) | 2015-05-07 |
JPWO2014103157A1 JPWO2014103157A1 (ja) | 2017-01-12 |
Family
ID=51016817
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014514974A Active JP5715301B2 (ja) | 2012-12-27 | 2013-11-22 | 表示方法および表示装置 |
JP2014510332A Active JP5608834B1 (ja) | 2012-12-27 | 2013-11-22 | 映像表示方法 |
JP2014177437A Pending JP2015111814A (ja) | 2012-12-27 | 2014-09-01 | 映像表示方法 |
JP2015050035A Pending JP2015156663A (ja) | 2012-12-27 | 2015-03-12 | 表示方法、表示装置およびプログラム |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014510332A Active JP5608834B1 (ja) | 2012-12-27 | 2013-11-22 | 映像表示方法 |
JP2014177437A Pending JP2015111814A (ja) | 2012-12-27 | 2014-09-01 | 映像表示方法 |
JP2015050035A Pending JP2015156663A (ja) | 2012-12-27 | 2015-03-12 | 表示方法、表示装置およびプログラム |
Country Status (6)
Country | Link |
---|---|
US (3) | US9008352B2 (ja) |
EP (2) | EP2940895B1 (ja) |
JP (4) | JP5715301B2 (ja) |
CN (2) | CN104885383B (ja) |
SG (2) | SG11201504980TA (ja) |
WO (2) | WO2014103157A1 (ja) |
Families Citing this family (69)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102884789B (zh) * | 2010-05-11 | 2017-04-12 | 瑞典爱立信有限公司 | 视频信号压缩编码 |
EA201391523A1 (ru) * | 2011-04-14 | 2014-03-31 | Зе Дженерэл Хоспитэл Корпорейшн | Композиции и способы для переноса энергии митохондрий аутологичных герминативных клеток |
JP5395293B1 (ja) | 2012-05-24 | 2014-01-22 | パナソニック株式会社 | 情報通信方法および情報通信装置 |
US8988574B2 (en) | 2012-12-27 | 2015-03-24 | Panasonic Intellectual Property Corporation Of America | Information communication method for obtaining information using bright line image |
US9341014B2 (en) | 2012-12-27 | 2016-05-17 | Panasonic Intellectual Property Corporation Of America | Information communication method using change in luminance |
US10523876B2 (en) | 2012-12-27 | 2019-12-31 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US9252878B2 (en) | 2012-12-27 | 2016-02-02 | Panasonic Intellectual Property Corporation Of America | Information communication method |
CN104885383B (zh) | 2012-12-27 | 2017-08-29 | 松下电器(美国)知识产权公司 | 影像显示方法 |
US9608725B2 (en) | 2012-12-27 | 2017-03-28 | Panasonic Intellectual Property Corporation Of America | Information processing program, reception program, and information processing apparatus |
US10951310B2 (en) | 2012-12-27 | 2021-03-16 | Panasonic Intellectual Property Corporation Of America | Communication method, communication device, and transmitter |
US8922666B2 (en) | 2012-12-27 | 2014-12-30 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US10530486B2 (en) | 2012-12-27 | 2020-01-07 | Panasonic Intellectual Property Corporation Of America | Transmitting method, transmitting apparatus, and program |
US9262954B2 (en) | 2012-12-27 | 2016-02-16 | Panasonic Intellectual Property Corporation Of America | Visible light communication signal display method and apparatus |
US10303945B2 (en) | 2012-12-27 | 2019-05-28 | Panasonic Intellectual Property Corporation Of America | Display method and display apparatus |
US9087349B2 (en) | 2012-12-27 | 2015-07-21 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US9560284B2 (en) | 2012-12-27 | 2017-01-31 | Panasonic Intellectual Property Corporation Of America | Information communication method for obtaining information specified by striped pattern of bright lines |
EP2940896B1 (en) | 2012-12-27 | 2020-04-08 | Panasonic Intellectual Property Corporation of America | Information communication method |
US9088360B2 (en) | 2012-12-27 | 2015-07-21 | Panasonic Intellectual Property Corporation Of America | Information communication method |
SG11201504985WA (en) | 2012-12-27 | 2015-07-30 | Panasonic Ip Corp America | Display method |
US9608727B2 (en) | 2012-12-27 | 2017-03-28 | Panasonic Intellectual Property Corporation Of America | Switched pixel visible light transmitting method, apparatus and program |
JP6096383B2 (ja) * | 2013-07-23 | 2017-03-15 | フィリップス ライティング ホールディング ビー ヴィ | 符号化光成分の変調 |
KR20150055441A (ko) * | 2013-11-13 | 2015-05-21 | 삼성디스플레이 주식회사 | 입체 영상 표시 장치 및 입체 영상 표시 방법 |
US9294666B2 (en) | 2013-12-27 | 2016-03-22 | Panasonic Intellectual Property Corporation Of America | Communication method |
JP6233047B2 (ja) * | 2014-01-22 | 2017-11-22 | セイコーエプソン株式会社 | 映像処理回路、映像処理方法、電気光学装置及び電子機器 |
JP2015179392A (ja) * | 2014-03-19 | 2015-10-08 | カシオ計算機株式会社 | コードシンボル表示装置、情報処理装置及びプログラム |
JP6002275B2 (ja) * | 2014-04-30 | 2016-10-05 | シナノケンシ株式会社 | 計測装置 |
JP6670996B2 (ja) * | 2014-09-26 | 2020-03-25 | パナソニックIpマネジメント株式会社 | 表示装置及び表示方法 |
CN104410454B (zh) * | 2014-10-20 | 2017-07-11 | 北京智谷睿拓技术服务有限公司 | 可见光信号发射控制方法、发射控制装置及发射设备 |
EP3213505A4 (en) * | 2014-10-28 | 2018-04-04 | Barco Inc. | Synchronized media servers and projectors |
US9838675B2 (en) | 2015-02-03 | 2017-12-05 | Barco, Inc. | Remote 6P laser projection of 3D cinema content |
JP6425173B2 (ja) | 2015-03-06 | 2018-11-21 | パナソニックIpマネジメント株式会社 | 照明装置及び照明システム |
US10412173B2 (en) | 2015-04-22 | 2019-09-10 | Panasonic Avionics Corporation | Passenger seat pairing system |
JP2017021656A (ja) * | 2015-07-13 | 2017-01-26 | キヤノン株式会社 | 表示装置及びその制御方法 |
WO2017014693A1 (en) * | 2015-07-21 | 2017-01-26 | Heptagon Micro Optics Pte. Ltd. | Generating a disparity map based on stereo images of a scene |
US10354598B2 (en) | 2015-09-10 | 2019-07-16 | Sony Corporation | Light source control for displaying video |
CN105139810A (zh) * | 2015-09-28 | 2015-12-09 | 京东方科技集团股份有限公司 | 显示驱动方法及装置、显示装置 |
US10244216B2 (en) * | 2015-10-27 | 2019-03-26 | Maxell, Ltd. | Projector, video display device, and video display method |
EP3389038A4 (en) * | 2015-12-09 | 2019-03-06 | Panasonic Intellectual Property Corporation of America | IMAGE DISPLAY PROCESS AND IMAGE DISPLAY DEVICE |
CN105551417A (zh) * | 2016-01-22 | 2016-05-04 | 华南理工大学 | 一种具有可见光通信功能的液晶显示器 |
ES2727462T3 (es) | 2016-01-22 | 2019-10-16 | Fraunhofer Ges Forschung | Aparatos y procedimientos para la codificación o decodificación de una señal multicanal de audio mediante el uso de repetición de muestreo de dominio espectral |
EP3429194B1 (en) * | 2016-03-11 | 2021-03-31 | Sony Corporation | Image processing device and method |
KR102255017B1 (ko) * | 2016-06-20 | 2021-05-24 | 코그넥스코오포레이션 | 시간 코딩된 패턴 타겟을 사용하여 적어도 하나의 센서 카메라를 포함하는 이미지 캡처 센서를 캘리브레이션하는 방법 |
JP2018006827A (ja) * | 2016-06-27 | 2018-01-11 | オリンパス株式会社 | 撮像装置、撮像プログラム、撮像方法 |
CN106339653A (zh) * | 2016-08-24 | 2017-01-18 | 乐视控股(北京)有限公司 | 一种二维码扫描处理方法及装置 |
JP2020507258A (ja) * | 2017-01-16 | 2020-03-05 | シグニファイ ホールディング ビー ヴィSignify Holding B.V. | 符号化光の検出 |
CN107255524B (zh) * | 2017-04-26 | 2020-03-24 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于移动设备摄像头检测led光源的频率的方法 |
US11221477B2 (en) * | 2017-04-28 | 2022-01-11 | Sony Corporation | Communication apparatus, communication system, and data communication method |
JP6887116B2 (ja) * | 2017-06-19 | 2021-06-16 | パナソニックIpマネジメント株式会社 | 光源変調回路及び方法、並びにプロジェクタ装置 |
JP2019028507A (ja) * | 2017-07-25 | 2019-02-21 | ユニバーリンク株式会社 | イベント管理システム |
JP6816684B2 (ja) * | 2017-09-20 | 2021-01-20 | 株式会社デンソー | 携帯端末、遠隔操作方法 |
EP3503433A1 (en) * | 2017-12-20 | 2019-06-26 | Vestel Elektronik Sanayi ve Ticaret A.S. | Method, apparatus and computer program for encoding visible light communication information |
EP3503566A1 (en) * | 2017-12-21 | 2019-06-26 | Vestel Elektronik Sanayi ve Ticaret A.S. | Apparatus and method for encoding light communication information |
EP3540722A1 (en) * | 2018-03-14 | 2019-09-18 | Vestel Elektronik Sanayi ve Ticaret A.S. | Method and apparatus for encoding visible light communication information |
CN108172194B (zh) * | 2018-03-22 | 2019-11-22 | 京东方科技集团股份有限公司 | 显示面板及其驱动方法、驱动装置、驱动*** |
CN108829497A (zh) * | 2018-05-31 | 2018-11-16 | 阿里巴巴集团控股有限公司 | 事务因果序的校正方法及装置、电子设备 |
JP6859996B2 (ja) * | 2018-12-21 | 2021-04-14 | カシオ計算機株式会社 | 発光ユニット、発光制御方法及びプログラム |
JP7134883B2 (ja) * | 2019-01-11 | 2022-09-12 | シャープ株式会社 | 映像出力装置、表示システム及び映像出力方法 |
US10468064B1 (en) | 2019-03-19 | 2019-11-05 | Lomotif Inc. | Systems and methods for efficient media editing |
CN112118433B (zh) * | 2019-06-20 | 2022-01-04 | 青岛海信激光显示股份有限公司 | 图像显示方法及激光投影设备 |
US11418956B2 (en) | 2019-11-15 | 2022-08-16 | Panasonic Avionics Corporation | Passenger vehicle wireless access point security system |
JP7484181B2 (ja) * | 2020-01-24 | 2024-05-16 | セイコーエプソン株式会社 | プロジェクターの制御方法、プロジェクター、及び表示システム |
JP2021152492A (ja) * | 2020-03-24 | 2021-09-30 | 東芝Itコントロールシステム株式会社 | 位置提供システム |
US11223808B1 (en) * | 2020-06-30 | 2022-01-11 | Christie Digital Systems Usa, Inc. | Device, system and method for generating a mapping of projector pixels to camera pixels and/or object positions using alternating patterns |
KR102397097B1 (ko) * | 2020-11-09 | 2022-05-12 | 한국광기술원 | 디스플레이 기반의 화면 통신 시스템 및 방법, 디스플레이 기반의 화면 송신 및 수신 방법 |
TWI759955B (zh) | 2020-11-10 | 2022-04-01 | 財團法人工業技術研究院 | 通訊系統及其方法 |
CN112671999B (zh) * | 2020-12-16 | 2021-12-21 | 吉林大学 | 一种支持接收器晃动和用户移动的光学相机通信解调方法 |
CN113314085B (zh) * | 2021-06-15 | 2022-09-27 | 武汉华星光电技术有限公司 | 显示面板的显示方法及显示装置 |
CN115494640A (zh) * | 2021-06-17 | 2022-12-20 | 中强光电股份有限公司 | 产生虚拟实境影像的光场近眼显示器及其方法 |
CN114677956B (zh) * | 2022-03-28 | 2023-09-29 | 暨南大学 | 一种长距离实时显示摄像通信***及方法 |
Family Cites Families (202)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6062481A (en) | 1986-04-18 | 2000-05-16 | Cias, Inc. | Optimal error-detecting, error-correcting and other coding and processing, particularly for bar codes, and applications therefor such as counterfeit detection |
JPH087567B2 (ja) | 1986-08-12 | 1996-01-29 | 株式会社日立製作所 | 画像表示装置 |
US4807031A (en) * | 1987-10-20 | 1989-02-21 | Interactive Systems, Incorporated | Interactive video method and apparatus |
US6347163B2 (en) * | 1994-10-26 | 2002-02-12 | Symbol Technologies, Inc. | System for reading two-dimensional images using ambient and/or projected light |
WO1994026063A1 (en) | 1993-05-03 | 1994-11-10 | Pinjaroo Pty Limited | Subliminal message display system |
US6345104B1 (en) | 1994-03-17 | 2002-02-05 | Digimarc Corporation | Digital watermarks and methods for security documents |
JPH07200428A (ja) | 1993-12-28 | 1995-08-04 | Canon Inc | 通信装置 |
CN2187863Y (zh) | 1994-02-03 | 1995-01-18 | 清华大学 | 用以观测快速运动物流的跟踪摄象-录象装置 |
US5484998A (en) | 1994-03-16 | 1996-01-16 | Decora Industries, Inc. | Bar-coded card with coding and reading system |
AU6022396A (en) | 1995-05-08 | 1996-11-29 | Digimarc Corporation | Steganography systems |
JP3949679B2 (ja) * | 1995-05-08 | 2007-07-25 | ディジマーク コーポレイション | ステガノグラフィシステム |
US5765176A (en) * | 1996-09-06 | 1998-06-09 | Xerox Corporation | Performing document image management tasks using an iconic image having embedded encoded information |
US5974348A (en) | 1996-12-13 | 1999-10-26 | Rocks; James K. | System and method for performing mobile robotic work operations |
WO2001093473A2 (en) | 2000-05-31 | 2001-12-06 | Optinetix (Israel) Ltd. | Systems and methods for distributing information through broadcast media |
JP2002144984A (ja) | 2000-11-17 | 2002-05-22 | Matsushita Electric Ind Co Ltd | 車載用電子機器 |
JP2002290335A (ja) | 2001-03-28 | 2002-10-04 | Sony Corp | 光空間伝送装置 |
US6831643B2 (en) | 2001-04-16 | 2004-12-14 | Lucent Technologies Inc. | Method and system for reconstructing 3D interactive walkthroughs of real-world environments |
US20020171639A1 (en) | 2001-04-16 | 2002-11-21 | Gal Ben-David | Methods and apparatus for transmitting data over graphic displays |
US20030026422A1 (en) | 2001-06-19 | 2003-02-06 | Usa Video Interactive Corporation | Method and apparatus for digitally fingerprinting videos |
JP3861113B2 (ja) | 2001-08-30 | 2006-12-20 | 株式会社日立プラズマパテントライセンシング | 画像表示方法 |
JP2003179556A (ja) | 2001-09-21 | 2003-06-27 | Casio Comput Co Ltd | 情報伝送方式、情報伝送システム、撮像装置、および、情報伝送方法 |
WO2003036829A1 (fr) | 2001-10-23 | 2003-05-01 | Sony Corporation | Systeme de communication de donnees, emetteur et recepteur de donnees |
US8054357B2 (en) | 2001-11-06 | 2011-11-08 | Candela Microsystems, Inc. | Image sensor with time overlapping image output |
JP3829743B2 (ja) | 2002-03-22 | 2006-10-04 | 株式会社デンソーウェーブ | 光学的情報記録媒体及び光学的情報読取装置 |
JP4207490B2 (ja) | 2002-08-06 | 2009-01-14 | ソニー株式会社 | 光通信装置、光通信データ出力方法、および光通信データ解析方法、並びにコンピュータ・プログラム |
JP4200435B2 (ja) | 2002-09-10 | 2008-12-24 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
JP3827082B2 (ja) | 2002-10-24 | 2006-09-27 | 株式会社中川研究所 | 放送システム及び電球、照明装置 |
EP1858179A1 (en) | 2002-10-24 | 2007-11-21 | Nakagawa Laboratories, Inc. | Illumination light communication device |
US20040101309A1 (en) | 2002-11-27 | 2004-05-27 | Beyette Fred R. | Optical communication imager |
JP4233371B2 (ja) | 2003-04-10 | 2009-03-04 | 株式会社京三製作所 | 踏切障害物検知装置 |
JP4389871B2 (ja) | 2003-06-27 | 2009-12-24 | 株式会社ニコン | 基準パターン抽出方法とその装置、パターンマッチング方法とその装置、位置検出方法とその装置及び露光方法とその装置 |
KR100741024B1 (ko) | 2003-11-19 | 2007-07-19 | 가부시키가이샤 나나오 | 액정 표시 장치의 경년 변화 보상 방법, 액정 표시 장치의 경년 변화 보상 장치, 컴퓨터 프로그램 및 액정 표시 장치 |
JP4082689B2 (ja) | 2004-01-23 | 2008-04-30 | 株式会社 日立ディスプレイズ | 液晶表示装置 |
KR101110009B1 (ko) | 2004-02-27 | 2012-02-06 | 교세라 가부시키가이샤 | 촬상 장치 및 화상 생성 방법 |
JP2007530978A (ja) | 2004-03-29 | 2007-11-01 | エヴォリューション ロボティクス インコーポレイテッド | 反射光源を使用する位置推定方法および装置 |
US20050265731A1 (en) | 2004-05-28 | 2005-12-01 | Samsung Electronics Co.; Ltd | Wireless terminal for carrying out visible light short-range communication using camera device |
KR100617679B1 (ko) | 2004-05-28 | 2006-08-28 | 삼성전자주식회사 | 카메라 장치를 이용하여 가시광선 근거리 통신을 수행하는무선 단말기 |
KR100818392B1 (ko) | 2004-05-31 | 2008-04-02 | 가시오게산키 가부시키가이샤 | 정보수신장치, 정보전송장치, 정보수신방법 및 기록매체 |
US7706917B1 (en) | 2004-07-07 | 2010-04-27 | Irobot Corporation | Celestial navigation system for an autonomous robot |
US7715723B2 (en) | 2004-08-05 | 2010-05-11 | Japan Science And Technology Agency | Information-processing system using free-space optical communication and free-space optical communication system |
US8254791B2 (en) | 2004-09-22 | 2012-08-28 | Kyocera Corporation | Optical transmitting apparatus and optical communication system |
JP2006092486A (ja) | 2004-09-27 | 2006-04-06 | Nippon Signal Co Ltd:The | Led信号灯器 |
JP4736397B2 (ja) | 2004-10-22 | 2011-07-27 | 日本電気株式会社 | 撮像素子、撮像モジュール及び携帯端末 |
US7728893B2 (en) | 2004-11-02 | 2010-06-01 | Japan Science And Technology Agency | Imaging device and method for reading signals from such device |
EP2595129B1 (en) | 2004-11-12 | 2020-05-20 | Xtralis Technologies Ltd | Method and system for detecting particles |
JP2008526072A (ja) | 2004-12-22 | 2008-07-17 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | スケーラブル符号化 |
WO2006079199A1 (en) | 2005-01-25 | 2006-08-03 | Tir Systems Ltd. | Method and apparatus for illumination and communication |
KR20060087744A (ko) | 2005-01-31 | 2006-08-03 | 삼성전자주식회사 | 이동통신 단말기에서 잔상효과를 이용한 데이터 표시장치및 방법 |
JP3939327B2 (ja) | 2005-02-03 | 2007-07-04 | 三菱電機株式会社 | データ送信及び受信方法、データ送信及び受信装置 |
JP4789481B2 (ja) | 2005-02-16 | 2011-10-12 | シャープ株式会社 | 画像表示装置及びデータ伝達システム |
US20090052902A1 (en) | 2005-04-12 | 2009-02-26 | Pioneer Corporation | Communication System, Communication Apparatus and Method, and Computer Program |
JP2006319545A (ja) | 2005-05-11 | 2006-11-24 | Fuji Photo Film Co Ltd | ディスプレイ装置および可視光送受信システム |
JP4692991B2 (ja) | 2005-05-20 | 2011-06-01 | 株式会社中川研究所 | データ送信装置及びデータ受信装置 |
JP4660818B2 (ja) | 2005-06-03 | 2011-03-30 | 清水建設株式会社 | 照明システム |
US20080290988A1 (en) | 2005-06-18 | 2008-11-27 | Crawford C S Lee | Systems and methods for controlling access within a system of networked and non-networked processor-based systems |
JP4676494B2 (ja) | 2005-06-30 | 2011-04-27 | パイオニア株式会社 | 照明光通信装置、照明光通信方法及びコンピュータプログラム |
JP2007019936A (ja) | 2005-07-08 | 2007-01-25 | Fujifilm Holdings Corp | 可視光通信システム、撮像装置、可視光通信準備方法及び可視光通信準備プログラム |
JP2007036833A (ja) | 2005-07-28 | 2007-02-08 | Sharp Corp | 電子透かし埋め込み方法及び埋め込み装置、電子透かし検出方法及び検出装置 |
JP4765027B2 (ja) | 2005-07-29 | 2011-09-07 | 国立大学法人 奈良先端科学技術大学院大学 | 情報処理装置及び情報処理システム |
US7570246B2 (en) | 2005-08-01 | 2009-08-04 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Method and apparatus for communication using pulse-width-modulated visible light |
JP2007049584A (ja) | 2005-08-12 | 2007-02-22 | Casio Comput Co Ltd | 宣伝支援システム及びプログラム |
JP4483744B2 (ja) | 2005-08-26 | 2010-06-16 | ソニー株式会社 | 撮像装置及び撮像制御方法 |
JP4643403B2 (ja) | 2005-09-13 | 2011-03-02 | 株式会社東芝 | 可視光通信システム及びその方法 |
JP2007082098A (ja) | 2005-09-16 | 2007-03-29 | Nakagawa Kenkyusho:Kk | 送信データ割り当て方法および光通信システム |
JP4939024B2 (ja) | 2005-09-27 | 2012-05-23 | 京セラ株式会社 | 光通信装置、及び光通信方法 |
JP4325604B2 (ja) | 2005-09-30 | 2009-09-02 | 日本電気株式会社 | 可視光制御装置、可視光通信装置、可視光制御方法及びプログラム |
JP4739914B2 (ja) | 2005-10-28 | 2011-08-03 | 京セラ株式会社 | 通信装置、通信システム及び通信方法 |
JP4371108B2 (ja) | 2005-12-27 | 2009-11-25 | ソニー株式会社 | 撮像装置および方法、記録媒体、並びにプログラム |
JP4600297B2 (ja) | 2006-01-11 | 2010-12-15 | ソニー株式会社 | オブジェクトの関連情報の記録システム,オブジェクトの関連情報の記録方法,テレビジョン受像機及び表示制御方法 |
JP4868217B2 (ja) | 2006-01-25 | 2012-02-01 | ソニー株式会社 | 撮像装置および方法、記録媒体、並びにプログラム |
US20060242908A1 (en) | 2006-02-15 | 2006-11-02 | Mckinney David R | Electromagnetic door actuator system and method |
JP2007221570A (ja) * | 2006-02-17 | 2007-08-30 | Casio Comput Co Ltd | 撮像装置及びそのプログラム |
JP2007228512A (ja) | 2006-02-27 | 2007-09-06 | Kyocera Corp | 可視光通信システムおよび情報処理装置 |
JP4980633B2 (ja) | 2006-03-16 | 2012-07-18 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 画像表示装置、受信装置、画像表示制御方法およびデータ受信方法 |
JP2007256496A (ja) | 2006-03-22 | 2007-10-04 | Fujifilm Corp | 液晶表示装置 |
JP2007274566A (ja) | 2006-03-31 | 2007-10-18 | Nakagawa Kenkyusho:Kk | 照明光通信装置 |
JP4767747B2 (ja) | 2006-04-27 | 2011-09-07 | 京セラ株式会社 | 可視光通信のための発光装置およびその制御方法 |
DE102006024421B3 (de) | 2006-05-24 | 2007-10-25 | Siemens Ag | Verfahren und Anordnung zur Übertragung von Daten mit wenigstens zwei Strahlungsquellen |
JP5256552B2 (ja) | 2006-07-10 | 2013-08-07 | Nltテクノロジー株式会社 | 液晶表示装置、該液晶表示装置に用いられる駆動制御回路及び駆動方法 |
JP5162850B2 (ja) | 2006-07-10 | 2013-03-13 | セイコーエプソン株式会社 | プロジェクタ及び画像表示システム |
JP4873623B2 (ja) | 2006-07-28 | 2012-02-08 | Kddi株式会社 | カラー画像へのバーコード埋め込み方法および装置、およびコンピュータプログラム |
GB0615135D0 (en) * | 2006-07-29 | 2006-09-06 | Futuretec Ltd | Running bore-lining tubulars |
US8311414B2 (en) | 2006-08-21 | 2012-11-13 | Panasonic Corporation | Optical space transfer apparatus using image sensor |
US7965274B2 (en) | 2006-08-23 | 2011-06-21 | Ricoh Company, Ltd. | Display apparatus using electrophoretic element |
JP4996175B2 (ja) | 2006-08-29 | 2012-08-08 | 株式会社東芝 | 入室管理システムおよび入室管理方法 |
US20100020970A1 (en) * | 2006-11-13 | 2010-01-28 | Xu Liu | System And Method For Camera Imaging Data Channel |
JP2008124922A (ja) | 2006-11-14 | 2008-05-29 | Matsushita Electric Works Ltd | 照明装置、および照明システム |
JP5288579B2 (ja) | 2006-12-13 | 2013-09-11 | ルネサスエレクトロニクス株式会社 | 表示装置及び、コントローラドライバ |
JP2008187615A (ja) | 2007-01-31 | 2008-08-14 | Canon Inc | 撮像素子、撮像装置、制御方法、及びプログラム |
US20080205848A1 (en) * | 2007-02-28 | 2008-08-28 | Victor Company Of Japan, Ltd. | Imaging apparatus and reproducing apparatus |
JP2008252466A (ja) | 2007-03-30 | 2008-10-16 | Nakagawa Kenkyusho:Kk | 光通信システム、送信装置および受信装置 |
JP5031427B2 (ja) | 2007-03-30 | 2012-09-19 | 三星電子株式会社 | 可視光送信装置、可視光受信装置、可視光通信システム、及び可視光通信方法 |
JP2008269486A (ja) | 2007-04-24 | 2008-11-06 | Olympus Corp | 撮像機器及びその認証方法 |
JP4935492B2 (ja) | 2007-05-11 | 2012-05-23 | 株式会社豊田中央研究所 | 光通信装置 |
JP2008292397A (ja) | 2007-05-28 | 2008-12-04 | Shimizu Corp | 可視光通信を用いた位置情報提供システム |
CA2691627A1 (en) | 2007-07-11 | 2009-01-15 | Yasuo Inoue | Display device, picture signal processing method, and program |
JP2009033338A (ja) | 2007-07-25 | 2009-02-12 | Olympus Imaging Corp | 撮像装置 |
JP2009036571A (ja) | 2007-07-31 | 2009-02-19 | Toshiba Corp | 可視光通信システムを利用した位置測定システム、位置測定装置及び位置測定方法 |
JP4867874B2 (ja) | 2007-09-12 | 2012-02-01 | 富士通株式会社 | 画像処理プログラム、画像処理装置、および画像処理方法 |
JP5048440B2 (ja) | 2007-09-27 | 2012-10-17 | 株式会社豊田中央研究所 | 光通信システム |
JP4998232B2 (ja) | 2007-11-27 | 2012-08-15 | セイコーエプソン株式会社 | 撮像装置及び映像記録装置 |
JP5285301B2 (ja) | 2008-02-26 | 2013-09-11 | パナソニック株式会社 | 光伝送システム |
JP2009212768A (ja) | 2008-03-04 | 2009-09-17 | Victor Co Of Japan Ltd | 可視光通信光送信装置、情報提供装置、及び情報提供システム |
JP5541153B2 (ja) | 2008-03-10 | 2014-07-09 | 日本電気株式会社 | 通信システム、送信装置及び受信装置 |
US8648911B2 (en) | 2008-03-10 | 2014-02-11 | Nec Corporation | Communication system, control device, and reception device |
JP2009232083A (ja) | 2008-03-21 | 2009-10-08 | Mitsubishi Electric Engineering Co Ltd | 可視光通信システム |
JP5171393B2 (ja) | 2008-05-27 | 2013-03-27 | パナソニック株式会社 | 可視光通信システム |
US20110025730A1 (en) | 2008-05-30 | 2011-02-03 | Sharp Kabushiki Kaisha | Illumination device, display device, and light guide plate |
WO2009151611A1 (en) * | 2008-06-12 | 2009-12-17 | Ryan Steelberg | Barcode advertising |
JP2010103746A (ja) | 2008-10-23 | 2010-05-06 | Hoya Corp | 撮像装置 |
JP2010117871A (ja) | 2008-11-13 | 2010-05-27 | Sony Ericsson Mobile Communications Ab | パターン画像の読み取り方法、パターン画像の読み取り装置、情報処理方法およびパターン画像の読み取りプログラム |
JP5246267B2 (ja) * | 2008-11-17 | 2013-07-24 | 日本電気株式会社 | 通信システム及び受信装置 |
JP5185087B2 (ja) | 2008-11-25 | 2013-04-17 | 三星電子株式会社 | 可視光通信システム、及び信号伝送方法 |
KR20100059502A (ko) | 2008-11-26 | 2010-06-04 | 삼성전자주식회사 | 가시광 통신 시스템에서 브로드캐스팅 서비스 방법 및 시스템 |
GB2465793A (en) | 2008-11-28 | 2010-06-02 | Sony Corp | Estimating camera angle using extrapolated corner locations from a calibration pattern |
JP5307527B2 (ja) | 2008-12-16 | 2013-10-02 | ルネサスエレクトロニクス株式会社 | 表示装置、表示パネルドライバ、及びバックライト駆動方法 |
JP5447391B2 (ja) | 2008-12-18 | 2014-03-19 | 日本電気株式会社 | ディスプレイシステム、制御装置、表示方法およびプログラム |
JP2010152285A (ja) | 2008-12-26 | 2010-07-08 | Fujifilm Corp | 撮像装置 |
JP5282899B2 (ja) | 2009-03-19 | 2013-09-04 | カシオ計算機株式会社 | 情報復元装置及び情報復元方法 |
JP2010232912A (ja) | 2009-03-26 | 2010-10-14 | Panasonic Electric Works Co Ltd | 照明光伝送システム |
JP5193124B2 (ja) | 2009-04-23 | 2013-05-08 | 株式会社日立情報制御ソリューションズ | 電子透かし埋め込み方法及び装置 |
JP2010268264A (ja) | 2009-05-15 | 2010-11-25 | Panasonic Corp | 撮像素子及び撮像装置 |
JP2010278573A (ja) | 2009-05-26 | 2010-12-09 | Panasonic Electric Works Co Ltd | 点灯制御装置、盗撮防止システム、映写機 |
KR20100133806A (ko) | 2009-06-12 | 2010-12-22 | 삼성전자주식회사 | 이미지 디스플레이 방법 및 장치 |
JP5537841B2 (ja) | 2009-06-15 | 2014-07-02 | ビーコア株式会社 | 発光体及び受光体及び関連する方法 |
JP5515472B2 (ja) | 2009-07-13 | 2014-06-11 | カシオ計算機株式会社 | 撮像装置、撮像方法及びプログラム |
CN101959016B (zh) | 2009-07-14 | 2012-08-22 | 华晶科技股份有限公司 | 图像撷取装置的省电方法 |
JP5394843B2 (ja) | 2009-07-24 | 2014-01-22 | 三星電子株式会社 | 送信装置、受信装置、可視光通信システム、及び可視光通信方法 |
JP5525201B2 (ja) * | 2009-07-28 | 2014-06-18 | パナソニック株式会社 | 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体 |
JP2011055288A (ja) | 2009-09-02 | 2011-03-17 | Toshiba Corp | 可視光通信装置及びデータ受信方法 |
US8731406B2 (en) | 2009-09-16 | 2014-05-20 | Samsung Electronics Co., Ltd. | Apparatus and method for generating high resolution frames for dimming and visibility support in visible light communication |
KR101621095B1 (ko) | 2009-09-16 | 2016-05-16 | 삼성전자주식회사 | 디스플레이를 통한 부가 정보 제공 방법 및 장치 |
TWI559763B (zh) | 2009-10-01 | 2016-11-21 | 索尼半導體解決方案公司 | 影像取得裝置及照相機系統 |
US8831279B2 (en) | 2011-03-04 | 2014-09-09 | Digimarc Corporation | Smartphone-based methods and systems |
US8175617B2 (en) | 2009-10-28 | 2012-05-08 | Digimarc Corporation | Sensor-based mobile search, related methods and systems |
KR101654934B1 (ko) | 2009-10-31 | 2016-09-23 | 삼성전자주식회사 | 가시광 통신 방법 및 장치 |
JP5246146B2 (ja) | 2009-12-01 | 2013-07-24 | コニカミノルタビジネステクノロジーズ株式会社 | 画像形成装置及び画像読取装置 |
WO2011086517A1 (en) | 2010-01-15 | 2011-07-21 | Koninklijke Philips Electronics N.V. | Data detection for visible light communications using conventional camera sensor |
US8217997B2 (en) * | 2010-03-16 | 2012-07-10 | Interphase Corporation | Interactive display system |
CN103038781B (zh) * | 2010-05-05 | 2017-05-10 | 数字标记公司 | 隐藏图像信号发送 |
JP5750837B2 (ja) | 2010-05-28 | 2015-07-22 | カシオ計算機株式会社 | 情報伝送システム、情報伝送方法、受光装置、受光方法、及び、プログラム |
JP2011254317A (ja) | 2010-06-02 | 2011-12-15 | Sony Corp | 送信装置、送信方法、受信装置、受信方法、通信システムおよび通信方法 |
US8941686B2 (en) | 2010-06-08 | 2015-01-27 | Panasonic Intellectual Property Corporation Of America | Information display apparatus, display control integrated circuit, and display control method for superimposing, for display, information onto images captured in a time sequence |
JP5635312B2 (ja) | 2010-06-28 | 2014-12-03 | 株式会社アウトスタンディングテクノロジー | 可視光通信送信機 |
JP5561860B2 (ja) | 2010-08-19 | 2014-07-30 | 西日本電信電話株式会社 | 広告配信装置及び方法、ならびに、プログラム |
JP5472471B2 (ja) | 2010-08-27 | 2014-04-16 | 富士通株式会社 | 電子透かし埋め込み装置、電子透かし埋め込み方法及び電子透かし埋め込み用コンピュータプログラムならびに電子透かし検出装置 |
US8891977B2 (en) | 2010-09-29 | 2014-11-18 | Supreme Architecture Ltd. | Receiver chip and method for on-chip multi-node visible light communication |
US8523075B2 (en) | 2010-09-30 | 2013-09-03 | Apple Inc. | Barcode recognition using data-driven classifier |
US8634725B2 (en) | 2010-10-07 | 2014-01-21 | Electronics And Telecommunications Research Institute | Method and apparatus for transmitting data using visible light communication |
JP2012095214A (ja) | 2010-10-28 | 2012-05-17 | Canon Inc | 撮像装置 |
US9112606B2 (en) | 2010-12-15 | 2015-08-18 | Electronics And Telecommunications Research Institute | Method and apparatus for transmitting and receiving data using visible light communication |
TWM404929U (en) | 2011-01-03 | 2011-06-01 | Univ Kun Shan | LED luminaries with lighting and communication functions |
JP2012155318A (ja) * | 2011-01-05 | 2012-08-16 | Nikon Corp | 電子機器及び描画方法 |
US8553146B2 (en) * | 2011-01-26 | 2013-10-08 | Echostar Technologies L.L.C. | Visually imperceptible matrix codes utilizing interlacing |
JP2012169189A (ja) | 2011-02-15 | 2012-09-06 | Koito Mfg Co Ltd | 発光モジュールおよび車両用灯具 |
US9571888B2 (en) * | 2011-02-15 | 2017-02-14 | Echostar Technologies L.L.C. | Selection graphics overlay of matrix code |
CN102654400A (zh) | 2011-03-01 | 2012-09-05 | 丁梅 | 应用于数字水准仪条码尺的伪随机条码 |
US9251577B2 (en) * | 2011-03-04 | 2016-02-02 | The University Of Tokushima | Information providing method and information providing device |
CN103503338A (zh) | 2011-03-16 | 2014-01-08 | 西门子公司 | 用于可见光通信的***中的通知的方法和设备 |
EP2503852A1 (en) | 2011-03-22 | 2012-09-26 | Koninklijke Philips Electronics N.V. | Light detection system and method |
JP2012205168A (ja) | 2011-03-28 | 2012-10-22 | Toppan Printing Co Ltd | 映像処理装置、映像処理方法及び映像処理プログラム |
US9667823B2 (en) | 2011-05-12 | 2017-05-30 | Moon J. Kim | Time-varying barcode in an active display |
US8256673B1 (en) * | 2011-05-12 | 2012-09-04 | Kim Moon J | Time-varying barcode in an active display |
JP2012244549A (ja) | 2011-05-23 | 2012-12-10 | Nec Commun Syst Ltd | イメージセンサ通信装置と方法 |
JP2013029816A (ja) | 2011-06-20 | 2013-02-07 | Canon Inc | 表示装置 |
EP2538584B1 (en) | 2011-06-23 | 2018-12-05 | Casio Computer Co., Ltd. | Information Transmission System, and Information Transmission Method |
US8334901B1 (en) | 2011-07-26 | 2012-12-18 | ByteLight, Inc. | Method and system for modulating a light source in a light based positioning system using a DC bias |
US9287976B2 (en) | 2011-07-26 | 2016-03-15 | Abl Ip Holding Llc | Independent beacon based light position system |
JP2013042221A (ja) | 2011-08-11 | 2013-02-28 | Panasonic Corp | 通信端末、通信方法、マーカ装置及び通信システム |
KR101961887B1 (ko) | 2011-11-30 | 2019-03-25 | 삼성전자주식회사 | 무선 광통신 시스템 및 이를 이용한 무선 광통신 방법 |
KR20130093699A (ko) | 2011-12-23 | 2013-08-23 | 삼성전자주식회사 | 광정보 전송장치 및 광정보 수신장치 |
US20130169663A1 (en) | 2011-12-30 | 2013-07-04 | Samsung Electronics Co., Ltd. | Apparatus and method for displaying images and apparatus and method for processing images |
JP2013197849A (ja) | 2012-03-19 | 2013-09-30 | Toshiba Corp | 可視光通信送信装置、可視光通信受信装置および可視光通信システム |
US9450671B2 (en) | 2012-03-20 | 2016-09-20 | Industrial Technology Research Institute | Transmitting and receiving apparatus and method for light communication, and the light communication system thereof |
JP2013201541A (ja) | 2012-03-23 | 2013-10-03 | Toshiba Corp | 受信装置、送信装置、及び通信システム |
US8794529B2 (en) | 2012-04-02 | 2014-08-05 | Mobeam, Inc. | Method and apparatus for communicating information via a display screen using light-simulated bar codes |
JP2013223043A (ja) | 2012-04-13 | 2013-10-28 | Toshiba Corp | 受光装置および伝送システム |
JP5936902B2 (ja) | 2012-04-13 | 2016-06-22 | 株式会社東芝 | 伝送システム、送信装置および受信装置 |
JP2013223209A (ja) | 2012-04-19 | 2013-10-28 | Panasonic Corp | 撮像処理装置 |
CN102684869B (zh) * | 2012-05-07 | 2016-04-27 | 深圳光启智能光子技术有限公司 | 基于可见光通信的解密方法和*** |
EP2871800A4 (en) | 2012-05-07 | 2016-04-13 | Kuang Chi Innovative Tech Ltd | METHOD AND SYSTEM FOR ENCRYPTION, DECRYPTION AND ENCRYPTION / DECRYPTION BASED ON VISIBLE LIGHT COMMUNICATION |
JP5902995B2 (ja) | 2012-05-10 | 2016-04-13 | 株式会社フジクラ | Ledチューブを用いた移動システム、移動方法及びledチューブ |
WO2013171954A1 (ja) | 2012-05-17 | 2013-11-21 | パナソニック株式会社 | 撮像装置、半導体集積回路および撮像方法 |
JP5395293B1 (ja) | 2012-05-24 | 2014-01-22 | パナソニック株式会社 | 情報通信方法および情報通信装置 |
KR101391128B1 (ko) | 2012-07-06 | 2014-05-02 | 주식회사 아이디로 | 가시광 통신용 oled 표시 장치 |
US20140055420A1 (en) | 2012-08-23 | 2014-02-27 | Samsung Electronics Co., Ltd. | Display identification system and display device |
US9614615B2 (en) | 2012-10-09 | 2017-04-04 | Panasonic Intellectual Property Management Co., Ltd. | Luminaire and visible light communication system using same |
US9667865B2 (en) | 2012-11-03 | 2017-05-30 | Apple Inc. | Optical demodulation using an image sensor |
US8988574B2 (en) | 2012-12-27 | 2015-03-24 | Panasonic Intellectual Property Corporation Of America | Information communication method for obtaining information using bright line image |
US9087349B2 (en) | 2012-12-27 | 2015-07-21 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US8922666B2 (en) | 2012-12-27 | 2014-12-30 | Panasonic Intellectual Property Corporation Of America | Information communication method |
CN104885383B (zh) | 2012-12-27 | 2017-08-29 | 松下电器(美国)知识产权公司 | 影像显示方法 |
US9560284B2 (en) | 2012-12-27 | 2017-01-31 | Panasonic Intellectual Property Corporation Of America | Information communication method for obtaining information specified by striped pattern of bright lines |
US9088360B2 (en) | 2012-12-27 | 2015-07-21 | Panasonic Intellectual Property Corporation Of America | Information communication method |
EP2940896B1 (en) | 2012-12-27 | 2020-04-08 | Panasonic Intellectual Property Corporation of America | Information communication method |
SG11201504985WA (en) | 2012-12-27 | 2015-07-30 | Panasonic Ip Corp America | Display method |
US9252878B2 (en) | 2012-12-27 | 2016-02-02 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US9262954B2 (en) | 2012-12-27 | 2016-02-16 | Panasonic Intellectual Property Corporation Of America | Visible light communication signal display method and apparatus |
US9341014B2 (en) | 2012-12-27 | 2016-05-17 | Panasonic Intellectual Property Corporation Of America | Information communication method using change in luminance |
CN105027473B (zh) | 2013-03-12 | 2017-12-08 | 飞利浦灯具控股公司 | 通信***、照明***以及发送信息的方法 |
US9705594B2 (en) | 2013-03-15 | 2017-07-11 | Cree, Inc. | Optical communication for solid-state light sources |
US9407367B2 (en) | 2013-04-25 | 2016-08-02 | Beijing Guo Cheng Wan Tong Information Co. Ltd | Methods and devices for transmitting/obtaining information by visible light signals |
-
2013
- 2013-11-22 CN CN201380067420.5A patent/CN104885383B/zh active Active
- 2013-11-22 SG SG11201504980TA patent/SG11201504980TA/en unknown
- 2013-11-22 EP EP13868043.4A patent/EP2940895B1/en active Active
- 2013-11-22 WO PCT/JP2013/006869 patent/WO2014103157A1/ja active Application Filing
- 2013-11-22 JP JP2014514974A patent/JP5715301B2/ja active Active
- 2013-11-22 US US14/087,645 patent/US9008352B2/en active Active
- 2013-11-22 EP EP13868645.6A patent/EP2940898B1/en active Active
- 2013-11-22 US US14/087,707 patent/US9247180B2/en active Active
- 2013-11-22 JP JP2014510332A patent/JP5608834B1/ja active Active
- 2013-11-22 CN CN201380067422.4A patent/CN104871453B/zh active Active
- 2013-11-22 SG SG11201400251XA patent/SG11201400251XA/en unknown
- 2013-11-22 WO PCT/JP2013/006870 patent/WO2014103158A1/ja active Application Filing
-
2014
- 2014-09-01 JP JP2014177437A patent/JP2015111814A/ja active Pending
-
2015
- 2015-03-12 JP JP2015050035A patent/JP2015156663A/ja active Pending
- 2015-12-03 US US14/957,800 patent/US9613596B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20140184914A1 (en) | 2014-07-03 |
CN104885383A (zh) | 2015-09-02 |
US9247180B2 (en) | 2016-01-26 |
JP2015111814A (ja) | 2015-06-18 |
CN104885383B (zh) | 2017-08-29 |
EP2940895B1 (en) | 2020-01-01 |
US9613596B2 (en) | 2017-04-04 |
JPWO2014103157A1 (ja) | 2017-01-12 |
US9008352B2 (en) | 2015-04-14 |
WO2014103158A1 (ja) | 2014-07-03 |
EP2940898A1 (en) | 2015-11-04 |
JP5608834B1 (ja) | 2014-10-15 |
JPWO2014103158A1 (ja) | 2017-01-12 |
EP2940895A1 (en) | 2015-11-04 |
EP2940898A4 (en) | 2016-06-15 |
WO2014103157A1 (ja) | 2014-07-03 |
JP2015156663A (ja) | 2015-08-27 |
SG11201400251XA (en) | 2014-08-28 |
US20160086583A1 (en) | 2016-03-24 |
SG11201504980TA (en) | 2015-07-30 |
EP2940895A4 (en) | 2015-12-30 |
CN104871453B (zh) | 2017-08-25 |
EP2940898B1 (en) | 2018-08-22 |
CN104871453A (zh) | 2015-08-26 |
US20140185860A1 (en) | 2014-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5715301B2 (ja) | 表示方法および表示装置 | |
JP6236356B2 (ja) | 可視光通信信号表示方法及び表示装置 | |
CN102970569B (zh) | 视域调整装置、视频处理装置以及视域调整方法 | |
JP6362608B2 (ja) | 表示方法および表示装置 | |
US20110050861A1 (en) | Stereoscopic image display device and stereoscopic image display method | |
JP5257248B2 (ja) | 画像処理装置および方法、ならびに画像表示装置 | |
US8514274B2 (en) | Apparatus for compensating 3D image in projector and method thereof | |
US20120081513A1 (en) | Multiple Parallax Image Receiver Apparatus | |
KR20160004123A (ko) | 이미지 처리 장치, 및 이의 동작 방법 | |
JP5787654B2 (ja) | 画像表示装置及びその制御方法 | |
JP2011228765A (ja) | プロジェクター | |
JP2019075688A (ja) | 画像投影装置及びその制御方法並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150312 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5715301 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |