JP2013255042A - Illumination control device, display device, image reproduction device, illumination control method, program, and recording medium - Google Patents
Illumination control device, display device, image reproduction device, illumination control method, program, and recording medium Download PDFInfo
- Publication number
- JP2013255042A JP2013255042A JP2012128429A JP2012128429A JP2013255042A JP 2013255042 A JP2013255042 A JP 2013255042A JP 2012128429 A JP2012128429 A JP 2012128429A JP 2012128429 A JP2012128429 A JP 2012128429A JP 2013255042 A JP2013255042 A JP 2013255042A
- Authority
- JP
- Japan
- Prior art keywords
- background area
- video data
- illumination
- value
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、表示装置の視聴者が位置している場所に光を照らす照明装置を制御する照明制御装置に関する。 The present invention relates to an illumination control device that controls an illumination device that illuminates a place where a viewer of a display device is located.
従来から、以下の特許文献１〜３に示されるように、表示装置に表示される映像に応じて、表示装置の視聴者の位置する場所（以下「視聴場所」と称す）に照明光を照らす照明装置を制御する技術が多数知られている。これら技術を利用して、例えば、暗い映像が表示されている間は照明光を暗くし、明るい映像が表示されている間は照明光を明るくして、前記視聴場所に臨場感（映像のシーンに対する没入感）を与えるようなことがなされている。 Conventionally, as shown in the following Patent Documents 1 to 3, illumination light is illuminated on a place where a viewer of the display device is located (hereinafter referred to as “viewing place”) according to an image displayed on the display device. Many techniques for controlling a lighting device are known. Using these technologies, for example, the illumination light is dimmed while a dark image is displayed, and the illumination light is brightened while a bright image is displayed. (Immersive feeling).
従来の技術によれば、映像の明るさに応じて照明装置の照明光の明るさを調整するような場合、表示されている映像全体の平均輝度（映像データから算出される輝度成分の平均値）に応じて照明装置の照明光の明るさを調整している。したがって、全体的に暗いシーンを表示している時や全体的に明るいシーンを表示している場合、映像の背景部分の明るさに連動するように視聴場所の明るさを調整でき、視聴場所において、映像の背景に応じた臨場感を与えることが可能であった。 According to the prior art, when the brightness of the illumination light of the lighting device is adjusted according to the brightness of the video, the average brightness of the entire displayed video (the average value of the brightness components calculated from the video data) ), The brightness of the illumination light of the illumination device is adjusted. Therefore, when displaying a dark scene as a whole or when displaying a bright scene as a whole, the brightness of the viewing location can be adjusted to be linked to the brightness of the background portion of the video. It was possible to give a sense of reality according to the background of the video.
しかし、例えば、暗い背景と明るい人物（スポット光が照射されている人物）とからなるシーンを表示するような場合、本来は背景に合わせて照明光を暗くしなければならないが、映像全体の平均輝度は中間の値になってしまうことから照明光は背景に応じた暗さにならない。したがって、従来技術によれば、前記視聴場所において映像の背景部分に応じた臨場感が得られないという問題が生じていた。 However, for example, when displaying a scene consisting of a dark background and a bright person (a person illuminated by a spotlight), the illumination light must be darkened according to the background, but the average of the entire video Since the luminance becomes an intermediate value, the illumination light does not become dark according to the background. Therefore, according to the prior art, there has been a problem that a realistic sensation according to the background portion of the video cannot be obtained at the viewing location.
本発明は、以上の問題に鑑みてなされたものであり、表示装置に表示される映像の視聴場所において、当該映像の背景部分に応じた臨場感を与えることの可能な照明制御装置を提供することを目的とするものである。 The present invention has been made in view of the above problems, and provides an illumination control device capable of giving a sense of realism according to the background portion of the video at a viewing location of the video displayed on the display device. It is for the purpose.
前記の目的を達成するために、本発明は、表示装置に表示されている映像を視聴する視聴者が位置する視聴場所に照明光を照射する照明装置を制御する照明制御装置において、前記映像を示す映像データに埋め込まれている動きベクトルに基づいて、前記映像のうちの背景領域を特定する背景領域特定手段と、前記背景領域の映像データに基づいて、前記照明光の明るさおよび色の少なくとも一方を調整する調整手段とを備えたことを特徴とする。 In order to achieve the above object, the present invention provides an illumination control apparatus for controlling an illumination apparatus that irradiates illumination light to a viewing place where a viewer who views an image displayed on a display apparatus is positioned. Background area specifying means for specifying a background area of the video based on a motion vector embedded in the video data shown, and at least brightness and color of the illumination light based on the video data of the background area And adjusting means for adjusting one of them.
本発明の構成によれば、背景領域以外の領域を参照せずに、背景領域を参照して前記照明装置の照明光を制御していることになるため、前記視聴場所において映像の背景部分に応じた臨場感を与えることが可能であるという効果を奏する。 According to the configuration of the present invention, the illumination light of the lighting device is controlled with reference to the background area without referring to the area other than the background area. There is an effect that it is possible to give a corresponding presence.
また、前記動きベクトルは、水平成分の値である水平成分値と、垂直成分の値である垂直成分値とを有するものであってもよい。この場合、前記動きベクトルの水平成分値の絶対値および垂直成分値の絶対値がゼロ若しくはゼロに近い領域は、シーンの変化が殆ど無い領域であるため、背景領域と推定される。これに対し、前記水平成分値の絶対値および前記垂直成分値の絶対値のうちの少なくとも一方が大きい領域は、シーンの変化がある領域であるため、非背景領域と推定される。そこで、本発明の照明制御装置において、前記動きベクトルは、水平成分の値である水平成分値と、垂直成分の値である垂直成分値とからなり、水平成分値の絶対値および垂直成分値の絶対値の各々に対して閾値が設定されており、前記背景領域特定手段は、前記水平成分値の絶対値および前記垂直成分値の絶対値の少なくとも一方が閾値以上になっている領域を前記背景領域から除外し、前記水平成分値の絶対値および前記垂直成分値の絶対値のいずれもが閾値未満になっている領域を前記背景領域として特定するようになっていてもよい。これにより、前記映像のうちの背景領域を高精度に特定できるという効果を奏する。 The motion vector may have a horizontal component value that is a horizontal component value and a vertical component value that is a vertical component value. In this case, the area where the absolute value of the horizontal component value and the absolute value of the vertical component value of the motion vector are zero or close to zero is an area where there is almost no scene change, and is thus estimated as a background area. On the other hand, an area where at least one of the absolute value of the horizontal component value and the absolute value of the vertical component value is large is an area having a scene change, and is thus estimated as a non-background area. Therefore, in the illumination control apparatus of the present invention, the motion vector is composed of a horizontal component value that is a horizontal component value and a vertical component value that is a vertical component value, and the absolute value of the horizontal component value and the vertical component value are A threshold value is set for each of the absolute values, and the background area specifying means sets an area in which at least one of the absolute value of the horizontal component value and the absolute value of the vertical component value is equal to or greater than the threshold value to the background. An area where both the absolute value of the horizontal component value and the absolute value of the vertical component value are less than a threshold value may be specified as the background area. This produces an effect that the background area of the video can be specified with high accuracy.
また、映画やドラマ等のコンテンツにおいて、水平方向（横方向）にパンさせるシーンは多々あるが、垂直方向にパンするシーンは、水平方向にパンするシーンに比較して少ない。したがって、水平方向の映像の移動に対しては垂直方向（縦方向）の映像に移動よりも判定基準を緩和することによって、水平方向へパンさせている背景を前記背景領域として検出する精度を高くできる。それゆえ、本発明の照明制御装置において、前記水平成分値に対して設定されている閾値は、前記垂直成分値に対して設定されている閾値よりも大きいことが好ましい。 Also, in content such as movies and dramas, there are many scenes that pan in the horizontal direction (lateral direction), but there are fewer scenes that pan in the vertical direction compared to scenes that pan in the horizontal direction. Therefore, the accuracy of detecting the background panned in the horizontal direction as the background region is increased by relaxing the determination criterion for moving the image in the horizontal direction rather than moving to the image in the vertical direction (vertical direction). it can. Therefore, in the illumination control device of the present invention, it is preferable that the threshold value set for the horizontal component value is larger than the threshold value set for the vertical component value.
また、本発明の照明制御装置において、前記調整手段は、前記背景領域に対応する映像データに基づいて前記背景領域の各画素の輝度の代表値を求め、前記代表値に応じて前記照明光の明るさを調整する構成であってもよい。 In the illumination control device according to the aspect of the invention, the adjusting unit may obtain a representative value of luminance of each pixel in the background region based on video data corresponding to the background region, and may adjust the illumination light according to the representative value. The structure which adjusts brightness may be sufficient.
前記構成によれば、前記照明光の明るさを、前記背景領域の明るさに応じて調整するようになっている。それゆえ、例えば、暗い背景と明るい移動物体（スポット光が照射されている物体）とからなるシーンを表示するような場合であっても、背景に合わせて照明光を暗くするようなことが可能になる。 According to the said structure, the brightness of the said illumination light is adjusted according to the brightness of the said background area | region. Therefore, for example, even when displaying a scene consisting of a dark background and a bright moving object (an object irradiated with spot light), it is possible to make the illumination light dark according to the background. become.
また、本発明の照明制御装置において、前記調整手段は、前記背景領域に対応する映像データに基づいて前記背景領域の各画素の色度の代表値を求め、前記色度の代表値に応じて前記照明光の色を調整する構成であってもよい。 In the illumination control apparatus according to the aspect of the invention, the adjusting unit may obtain a representative value of chromaticity of each pixel in the background area based on video data corresponding to the background area, and may determine the representative value of the chromaticity. The structure which adjusts the color of the said illumination light may be sufficient.
前記構成によれば、前記照明光の色を、前記背景領域の色に応じて調整するようになっている。それゆえ、例えば、夕暮れの背景が表示されている間は、照明光の色を橙色系の色（例えば電灯色）に切り替え、白色の壁に囲まれたオフィス（人工的な明るさのシーン）が背景として表示されている間は、照明光の色を白色系の色に切り替えるといったことが可能になる。 According to the said structure, the color of the said illumination light is adjusted according to the color of the said background area | region. Therefore, for example, while the sunset background is displayed, the illumination light color is switched to an orange color (for example, electric light), and the office is surrounded by a white wall (artificial brightness scene) Is displayed as a background, the color of the illumination light can be switched to a white color.
さらに、本発明の照明制御装置において、前記背景領域特定手段は、前記表示装置の画面のうちの所定部分に映される映像のみを対象として前記背景領域の特定を行う構成であってもよい。これにより、背景領域を特定する処理を簡素化することができ、装置のリソースの低減を抑制できる（装置の動作を軽くする）という効果を奏する。 Furthermore, in the illumination control apparatus of the present invention, the background area specifying means may be configured to specify the background area only for a video image displayed on a predetermined portion of the screen of the display device. As a result, it is possible to simplify the process of specifying the background region, and it is possible to suppress the reduction of the resource of the device (lighten the operation of the device).
また、本発明は、前述した照明制御装置を備えた表示装置であってもよいし、この表示装置と前記照明装置とを備えた表示システムであってもよい。また、本発明は、前述した照明制御装置を備えており、記録メディアから前記映像データを読み出して前記表示装置に前記映像データを供給する映像再生装置であってもよい。さらに、本発明は、当該映像再生装置と、前記表示装置と、前記照明制御装置によって制御される照明装置とを備えた表示システムであってもよい。 Further, the present invention may be a display device including the above-described illumination control device, or a display system including the display device and the illumination device. The present invention may also be a video playback device that includes the illumination control device described above, reads the video data from a recording medium, and supplies the video data to the display device. Furthermore, the present invention may be a display system including the video playback device, the display device, and a lighting device controlled by the lighting control device.
また、本発明は、表示装置に表示されている映像を視聴する視聴者の位置する視聴場所に照明光を照射する照明装置を制御する照明制御方法において、前記表示装置にて表示される映像の映像データに埋め込まれている動きベクトルに基づいて、前記映像のうちの背景領域を特定するステップと、前記背景領域に対応する映像データに基づいて、前記照明光の明るさおよび色の少なくとも一方を調整するステップとを含むことを特徴としている。これにより、背景部分以外の映像データを用いずに、背景部分の映像データに応じて前記照明装置の照明光を制御していることになるため、前記視聴場所において映像の背景部分に応じた臨場感を与えることが可能であるという効果を奏する。 According to another aspect of the present invention, there is provided an illumination control method for controlling an illumination device that irradiates illumination light to a viewing location where a viewer who views an image displayed on a display device is positioned. Identifying a background area of the video based on a motion vector embedded in the video data; and determining at least one of brightness and color of the illumination light based on video data corresponding to the background area And a step of adjusting. As a result, the illumination light of the lighting device is controlled according to the video data of the background part without using video data other than the background part. There is an effect that it is possible to give a feeling.
また、本発明の照明制御装置は、コンピュータによって実現されてもよく、この場合には、コンピュータを前記照明装置の各手段として機能させるプログラム、および、このプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 In addition, the lighting control device of the present invention may be realized by a computer. In this case, a program that causes the computer to function as each unit of the lighting device, and a computer-readable recording medium that records the program are also provided. Falls within the scope of the present invention.
本発明は、表示装置に表示されている映像の視聴者の視聴場所において前記映像の背景部分に応じた臨場感を与えることが可能であるという効果を奏する。 The present invention has an effect that it is possible to give a sense of realism according to the background portion of the video at the viewing location of the video displayed on the display device.
以下、本発明の一実施形態に係る表示システムを説明する。図１は、本実施形態の表示システム１００の概略構成を示すブロック図であり、図２は、表示システム１００に含まれる照明装置８０および表示装置１０の外観を示す模式図である。 Hereinafter, a display system according to an embodiment of the present invention will be described. FIG. 1 is a block diagram illustrating a schematic configuration of a display system 100 according to the present embodiment, and FIG. 2 is a schematic diagram illustrating external appearances of a lighting device 80 and a display device 10 included in the display system 100.
図１および図２に示すように、表示システム１００は、表示装置（モニタ）１０と照明装置８０とを備えている。なお、本実施形態では、照明装置８０は一つになっているが、複数個備えられていてもよい。 As shown in FIGS. 1 and 2, the display system 100 includes a display device (monitor) 10 and an illumination device 80. In the present embodiment, the number of lighting devices 80 is one, but a plurality of lighting devices 80 may be provided.
表示装置１０は、液晶表示部（液晶表示パネル）を有するテレビジョン受信機である。表示装置１０は、アンテナからテレビ放送の放送波を入力し、この放送波から復調される映像データに基づいてテレビ放送の映像を表示させるようになっている。また、表示装置１０は、記録メディアから直接読み取った映像データの映像や、ブルーレイディスクレコーダ等やハードディスクドライブ等から入力した映像データの映像も表示可能になっている。 The display device 10 is a television receiver having a liquid crystal display unit (liquid crystal display panel). The display device 10 receives a television broadcast wave from an antenna and displays a television broadcast video based on video data demodulated from the broadcast wave. The display device 10 can also display video data directly read from a recording medium and video data input from a Blu-ray disc recorder or a hard disk drive.
照明装置８０は、ＬＥＤ（Light Emitting Diode）を光源としたＬＥＤシーリングライトである。照明装置８０は、表示装置１０の視聴位置（表示装置１０の映像を視聴可能な位置）に対して照明光を照射することの可能な場所に取り付けられるようになっている。 The illumination device 80 is an LED ceiling light using an LED (Light Emitting Diode) as a light source. The illuminating device 80 is attached to a location where illumination light can be applied to a viewing position of the display device 10 (a position where a video on the display device 10 can be viewed).
例えば、図２に示されるように、本実施形態の照明装置８０は、表示装置１０が設置される部屋の天井に取り付けられており、前記の部屋において表示装置１０の映像を視聴する視聴者のいる位置（前記視聴位置）に対して照明光を照射するようになっている。 For example, as illustrated in FIG. 2, the illumination device 80 according to the present embodiment is attached to the ceiling of a room in which the display device 10 is installed, and a viewer who views the video on the display device 10 in the room. Illumination light is irradiated to a certain position (the viewing position).
つぎに、表示装置１０の構成の詳細を説明する。表示装置１０は、図１に示されるように、チューナ１１、外部インターフェイス１２、デコード部１３、映像処理部１４、液晶表示部１５、照明制御装置１６を備える。 Next, details of the configuration of the display device 10 will be described. As shown in FIG. 1, the display device 10 includes a tuner 11, an external interface 12, a decoding unit 13, a video processing unit 14, a liquid crystal display unit 15, and an illumination control device 16.
チューナ１１は、地上波デジタル放送、ＢＳ放送、または、ＣＳ放送の放送波から符号化映像データを復調し、符号化映像データをデコード部１３へ出力する。符号化映像データとは、ＭＰＥＧ２（Moving Picture Experts Group）に準拠した圧縮規格によって符号化されている圧縮コードである。なお、本実施形態に適用可能な符号化映像データとしては、動きベクトルが埋め込まれているデータであればよく、ＭＰＥＧ２の圧縮コードに限定されるものではない。例えば、符号化映像データは、Ｈ.２６３、Ｈ.２６４の圧縮コードであっても構わない。 The tuner 11 demodulates the encoded video data from the broadcast wave of terrestrial digital broadcast, BS broadcast, or CS broadcast, and outputs the encoded video data to the decoding unit 13. The encoded video data is a compressed code encoded by a compression standard compliant with MPEG2 (Moving Picture Experts Group). Note that the encoded video data applicable to the present embodiment is not limited to the MPEG2 compression code as long as it is data in which a motion vector is embedded. For example, the encoded video data may be H.263 or H.264 compression codes.
外部インターフェイス１２は、表示装置１０の外部端子に接続されている外部機器とのインターフェイスとして機能するブロックである。前記外部機器としては、ブルーレイディスクレコーダ、ＤＶＤ（Digital Versatile Disc）レコーダ、ハードディスクドライブ、ＳＤカードが挙げられる。前記の外部端子としては、ＨＤＭＩ（High Definition Multimedia Interface）端子、ＤＶＩ（Digital Visual Interface）端子、ＵＳＢ（Universal Serial Bus）端子が挙げられる。 The external interface 12 is a block that functions as an interface with an external device connected to an external terminal of the display device 10. Examples of the external device include a Blu-ray disc recorder, a DVD (Digital Versatile Disc) recorder, a hard disk drive, and an SD card. Examples of the external terminal include a high definition multimedia interface (HDMI) terminal, a digital visual interface (DVI) terminal, and a universal serial bus (USB) terminal.
すなわち、外部インターフェイス１２は、以上にて例示した外部機器から符号化映像データを入力し、入力した符号化映像データをデコード部１３へ出力するようになっている。 That is, the external interface 12 receives encoded video data from the external device exemplified above, and outputs the input encoded video data to the decoding unit 13.
なお、本実施形態の表示装置１０は、ブルーレイディスクレコーダやハードディスクドライブが内蔵されている構成であってもよく、この場合、内蔵されているレコーダやドライブから読み取られた符号化映像データはデコード部１３へ送られるようになっている。 The display device 10 according to the present embodiment may have a configuration in which a Blu-ray disc recorder or a hard disk drive is built. In this case, the encoded video data read from the built-in recorder or drive is a decoding unit. 13 to be sent.
デコード部１３は、チューナ１１や外部インターフェイス１２等から送られてきた符号化映像データをデコード（復号）し、デコードすることで生成される復号化映像データを、後段の映像処理部１４へ出力するブロックである。 The decoding unit 13 decodes (decodes) the encoded video data sent from the tuner 11, the external interface 12, etc., and outputs the decoded video data generated by the decoding to the subsequent video processing unit 14. It is a block.
ここで、符号化映像データについて説明する。図３（ａ）は、ＭＰＥＧ２方式にて圧縮されている符号化映像データ（圧縮コード）を示す説明図であり、図３（ｂ）は、メモリに展開された符号化映像データを示す説明図である。 Here, the encoded video data will be described. FIG. 3A is an explanatory diagram showing encoded video data (compressed code) compressed by the MPEG2 system, and FIG. 3B is an explanatory diagram showing encoded video data expanded in a memory. It is.
符号化映像データは、図３（ａ）に示すように、複数のＧＯＰ（Group of Picture）から構成されるものである。各ＧＯＰは、複数のフレーム（Ｉフレーム、Ｂフレーム、Ｐフレーム）からなる集合になっている。 The encoded video data is composed of a plurality of GOPs (Group of Picture) as shown in FIG. Each GOP is a set of a plurality of frames (I frame, B frame, P frame).
図４は、Ｉフレーム、Ｂフレーム、Ｐフレームの順に映像が再生される状況を示したものであり、上段の「再生映像」は各フレームをデコードして得られる再生画像を示したものであり、下段の「保存データ」は、符号化映像データにおいて保存（記録）されている各フレームのデータを模式的に示したものである。 FIG. 4 shows a situation in which video is reproduced in the order of I frame, B frame, and P frame, and the “reproduced video” in the upper stage shows a reproduced image obtained by decoding each frame. The “stored data” in the lower row schematically shows the data of each frame stored (recorded) in the encoded video data.
Ｉフレームは、他のフレームを参照することなくデコードされるフレームである。 An I frame is a frame that is decoded without referring to other frames.
Ｐフレームは、当該Ｐフレームよりも過去のフレーム（前のフレーム）と合成することによってデコードされるフレームである。つまり、Ｐフレームは、合成される過去のフレームとの差分がデータとして保存されているフレームである。 The P frame is a frame that is decoded by being combined with a frame (previous frame) that is earlier than the P frame. That is, the P frame is a frame in which a difference from the past frame to be synthesized is stored as data.
Ｂフレームは、当該Ｂフレームよりも過去のフレームと当該Ｂフレームよりも未来のフレーム（後のフレーム）とを合成することによってデコードされるフレームである。つまり、Ｂフレームは、合成される過去のフレームと未来のフレームとの差分がデータとして保存されているフレームである。 The B frame is a frame that is decoded by combining a frame that is earlier than the B frame and a frame that is later than the B frame (later frame). That is, the B frame is a frame in which the difference between the past frame to be synthesized and the future frame is stored as data.
また、図３（ａ）に示すように、圧縮コードには、動きベクトルを解読するためのコードが埋め込まれており、デコード部１３は、前記コードから動きベクトルを解読するようになっている。この動きベクトルについて以下説明する。 Further, as shown in FIG. 3A, a code for decoding a motion vector is embedded in the compressed code, and the decoding unit 13 decodes the motion vector from the code. This motion vector will be described below.
動画には、画像全体が大きく切り替わるシーンや、画像の大部分が背景であると共に画像の一部のみが変化するようなシーンがある。そこで、映像データを符号化する場合、画像全体が大きく切り替わるシーンにはＩフレームを使用するが、画像の大部分が背景であると共に画像の一部のみが変化するようなシーンにはＢフレームまたはＰフレームを使用して、データを圧縮するようになっている。 In the moving image, there are scenes in which the entire image is switched greatly, and scenes in which most of the image is the background and only a part of the image changes. Therefore, when encoding video data, an I frame is used for a scene in which the entire image changes greatly, but a B frame or scene is used for a scene in which most of the image is the background and only a part of the image changes. Data is compressed using P frames.
そして、ＢフレームおよびＰフレームについては、フレームを複数のブロックに分割し、ブロック毎に、画像の動きの大きさおよび方向を示す動きベクトルを求めておき、この動きベクトルを解読するためのコードをＧＯＰに埋め込んでおく。そして、デコード部１３は、ＢフレームおよびＰフレームについては、合成される他のフレームおよび動きベクトルを用いて動きのある部分を再現し、映像全体を示す復号化映像データを出力するようになっている。 For the B frame and the P frame, the frame is divided into a plurality of blocks, a motion vector indicating the magnitude and direction of the motion of the image is obtained for each block, and a code for decoding the motion vector is obtained. Embed in GOP. Then, for the B frame and the P frame, the decoding unit 13 reproduces a moving part using the other frame to be synthesized and the motion vector, and outputs decoded video data indicating the entire video. Yes.
すなわち、デコード部１３は、図３（ｂ）に模式的に示すように、圧縮コード（符号化映像データ）の符号化列を順に解読していき、解読して得られる画像情報と動きベクトル（動きベクトル情報）とを順にメモリに展開していく。 That is, as schematically shown in FIG. 3B, the decoding unit 13 sequentially decodes the encoded sequence of the compressed code (encoded video data), and obtains the image information and motion vector ( Motion vector information) is sequentially expanded in the memory.
画像情報とは、図４の保存データに相当するものである。画像情報がデコードされると、Ｉフレーム、Ｂフレーム、Ｐフレームの各画素の画素値（ＲＧＢの濃度値）が生成されるようになっている。 The image information corresponds to the saved data in FIG. When the image information is decoded, pixel values (RGB density values) of each pixel of the I frame, the B frame, and the P frame are generated.
動きベクトルは、ＢフレームおよびＰフレームの各フレームにおいてブロック単位で与えられており、ブロックの動きを示す大きさおよび方向を特定するパラメータである。動きベクトルは、水平成分の値である水平成分値ｈと、垂直成分の値である垂直成分値ｖとからなる。なお、デコード部１３は、動きベクトルを解読してメモリに展開するようになっている。 The motion vector is given in block units in each of the B frame and the P frame, and is a parameter that specifies the size and direction indicating the motion of the block. The motion vector includes a horizontal component value h which is a horizontal component value and a vertical component value v which is a vertical component value. The decoding unit 13 decodes the motion vector and expands it in the memory.
そして、デコード部１３は、図３（ｂ）に示すメモリに展開されている画像情報と動きベクトルとをデコードすることにより、フレーム毎に、各フレームに対応する復号化映像データを生成し、生成した復号化映像データを映像処理部１４に出力するようになっている。なお、デコード部１３にてデコードされて得られる各フレームに対応する復号化映像データのうち、Ｉフレームに対応する復号化映像データは、Ｉフレームをデコードして得られるデータである。Ｐフレームに対応する復号化映像データは、Ｐフレームに過去のフレームを合成して得られるデータである。Ｂフレームに対応する復号化映像データは、Ｂフレームに過去のフレームと未来のフレームとを合成して得られるデータである。 Then, the decoding unit 13 generates decoded video data corresponding to each frame for each frame by decoding the image information and the motion vector expanded in the memory shown in FIG. The decoded video data is output to the video processing unit 14. Of the decoded video data corresponding to each frame obtained by decoding by the decoding unit 13, the decoded video data corresponding to the I frame is data obtained by decoding the I frame. The decoded video data corresponding to the P frame is data obtained by combining a past frame with the P frame. The decoded video data corresponding to the B frame is data obtained by combining the past frame and the future frame with the B frame.
なお、メモリに展開されている画像情報は図４の画像情報に相当し、デコード部１３から出力される映像データの映像は図４の再生映像に相当する。 The image information developed in the memory corresponds to the image information in FIG. 4, and the video data output from the decoding unit 13 corresponds to the reproduced video in FIG.
また、デコード部１３は、メモリに展開されている画像情報と動きベクトルとをデコードして復号化映像データを生成する度に、当該復号化映像データを照明制御装置１６へ送信するだけではなく、当該復号化映像データに対応するフレームがＩフレーム,Ｂフレーム,Ｐフレームのいずれであるかを示すフレーム特定情報を照明制御装置１６に伝送し、且つ、当該復号化映像データに対応するフレームがＢフレームまたはＰフレームである場合には当該復号化映像データの各ブロックの動きベクトルを照明制御装置１６に伝送するようになっている。 The decoding unit 13 not only transmits the decoded video data to the lighting control device 16 every time the decoded video data is generated by decoding the image information and the motion vector expanded in the memory, Frame specifying information indicating whether the frame corresponding to the decoded video data is an I frame, a B frame, or a P frame is transmitted to the illumination control device 16, and the frame corresponding to the decoded video data is B In the case of a frame or P frame, the motion vector of each block of the decoded video data is transmitted to the illumination control device 16.
映像処理部１４は、デコード部１３から出力された復号化映像データを入力し、前記復号化映像データの映像を液晶表示部１５に表示させるうえで必要となる画像処理を前記復号化映像データに施し、当該画像処理の施された復号化映像データを液晶表示部１５に出力するブロックである。なお、ここで行われる画像処理としては、ガンマ補正等の画質調整、ＯＳＤ（On Screen Display）を重畳する合成処理等が挙げられる。 The video processing unit 14 receives the decoded video data output from the decoding unit 13 and performs image processing necessary for displaying the video of the decoded video data on the liquid crystal display unit 15 on the decoded video data. It is a block that outputs the decoded video data subjected to the image processing to the liquid crystal display unit 15. Examples of image processing performed here include image quality adjustment such as gamma correction, and composition processing for superimposing OSD (On Screen Display).
液晶表示部１５は、映像処理部１４から出力された復号化映像データを入力し、前記復号化映像データの映像を表示させる液晶表示パネルである。 The liquid crystal display unit 15 is a liquid crystal display panel that receives the decoded video data output from the video processing unit 14 and displays the video of the decoded video data.
照明制御装置１６は、制御用集積回路を有しており、照明装置８０を遠隔制御するものである。すなわち、照明制御装置１６と照明装置８０とは、無線（IrSS,wifi等）または有線によって通信可能に接続されており、照明制御装置１６が照明装置８０に制御信号を送信すると、照明装置８０は当該制御信号に応じて照明光の色および明るさを変化させるようになっている。以下、照明制御装置１６を詳細に説明する。 The illumination control device 16 has a control integrated circuit, and remotely controls the illumination device 80. That is, the illumination control device 16 and the illumination device 80 are communicably connected by radio (IrSS, wifi, etc.) or wired, and when the illumination control device 16 transmits a control signal to the illumination device 80, the illumination device 80 is The color and brightness of the illumination light are changed according to the control signal. Hereinafter, the illumination control device 16 will be described in detail.
照明制御装置１６は、図１に示すように、背景領域特定部１６ａおよび調整部１６ｂを備える。 As shown in FIG. 1, the illumination control device 16 includes a background region specifying unit 16a and an adjusting unit 16b.
背景領域特定部（背景領域特定手段）１６ａは、動きベクトルを参照することにより、デコード部１３から出力される復号化映像データの映像において背景領域を特定（抽出）する処理を行うブロックである。以下では、背景領域特定部１６ａの処理内容を詳細に説明する。 The background area specifying unit (background area specifying means) 16a is a block that performs processing for specifying (extracting) a background area in the video of the decoded video data output from the decoding unit 13 by referring to a motion vector. Below, the processing content of the background area | region specific | specification part 16a is demonstrated in detail.
まず、背景領域特定部１６ａは、デコード部１３から復号化映像データが出力される度に、デコード部１３から送られてくるフレーム特定情報に基づいて、当該復号化映像データがＩフレーム,Ｂフレーム,Ｐフレームのいずれに対応するデータかを特定する。 First, each time the decoded video data is output from the decoding unit 13, the background area specifying unit 16 a converts the decoded video data into an I frame and a B frame based on the frame specifying information sent from the decoding unit 13. , P frame is specified as corresponding data.
背景領域特定部１６ａは、デコード部１３から出力される復号化映像データがＩフレームに対応するデータであると特定した場合、当該復号化映像データには背景領域が無いものと判断し、当該復号化映像データからは背景領域を特定しない。これは、通常、画面全体のシーン切り替えに用いられることが多く、背景領域に該当しないケースが多いからである。また、Ｉフレームには動きベクトルが無いことから、Ｉフレームについては動きベクトルを参照した背景領域の特定を行えないためという理由もある。 When the background area specifying unit 16a specifies that the decoded video data output from the decoding unit 13 is data corresponding to the I frame, the background area specifying unit 16a determines that the decoded video data has no background area, and The background area is not specified from the converted video data. This is because it is usually used for scene switching of the entire screen and often does not fall under the background area. In addition, since there is no motion vector in the I frame, there is also a reason that the background region cannot be specified with reference to the motion vector for the I frame.
これに対し、背景領域特定部１６ａは、デコード部１３から出力される復号化映像データがＰフレームまたはＢフレームに対応するデータであると判断した場合、当該復号化映像データの映像に含まれるブロック毎に背景領域か否かを判定する。具体的には、背景領域特定部１６ａは、デコード部１３から出力される復号化映像データがＰフレームまたはＢフレームに対応するデータである場合、当該復号化映像データの各ブロックに対応する動きベクトルをデコード部１３から取得する。 On the other hand, when the background area specifying unit 16a determines that the decoded video data output from the decoding unit 13 is data corresponding to the P frame or the B frame, the block included in the video of the decoded video data It is determined every time whether or not it is a background area. Specifically, when the decoded video data output from the decoding unit 13 is data corresponding to a P frame or a B frame, the background area specifying unit 16a performs a motion vector corresponding to each block of the decoded video data. Is obtained from the decoding unit 13.
そして、背景領域特定部１６ａは、復号化映像データの映像に含まれるブロック毎に、動きベクトルの水平成分値ｈおよび垂直成分値ｖの各々を閾値と比較し、比較結果に基づいて前記ブロックが背景領域であるか否かを判定する。より詳細に説明すると、水平成分値ｈに対する閾値Ａと垂直成分値ｖに対する閾値Ｂとが予め設定されている。そして、背景領域特定部１６ａは、少なくとも水平成分値ｈの絶対値が閾値Ａ以上であるブロックと、少なくとも垂直成分値ｖの絶対値が閾値Ｂ以上であるブロックとを非背景領域と判断する。これに対し、水平成分値ｈの絶対値が閾値Ａ未満であり且つ垂直成分値ｖの絶対値が閾値Ｂ未満であるブロックを背景領域と判断している。 Then, the background area specifying unit 16a compares each of the horizontal component value h and the vertical component value v of the motion vector with a threshold for each block included in the video of the decoded video data, and the block is determined based on the comparison result. It is determined whether or not it is a background area. More specifically, a threshold A for the horizontal component value h and a threshold B for the vertical component value v are set in advance. Then, the background region specifying unit 16a determines that blocks having at least the absolute value of the horizontal component value h equal to or greater than the threshold A and blocks having at least the absolute value of the vertical component value v equal to or greater than the threshold B as non-background regions. On the other hand, a block in which the absolute value of the horizontal component value h is less than the threshold value A and the absolute value of the vertical component value v is less than the threshold value B is determined as the background region.
つまり、ＰフレームまたはＢフレームに対応する映像のうち、動きベクトルが小さいブロックについては背景領域と判定し（背景領域として特定する）、動きベクトルが大きいブロックについては非背景領域と判定しているのである（背景領域として特定しない）。このように判定している理由を図５に基づいて以下説明する。図５は、過去のＩフレームを参照してデコードされるＰフレームを示した説明図である。 That is, in the video corresponding to the P frame or the B frame, a block with a small motion vector is determined as a background region (identified as a background region), and a block with a large motion vector is determined as a non-background region. Yes (not specified as background area) The reason for this determination will be described below with reference to FIG. FIG. 5 is an explanatory diagram showing P frames decoded with reference to past I frames.
図５に示すように、Ｐフレームから生成される映像には、通常、動きのない背景領域と、動きのある非背景領域（図の「あ」「い」「う」）とが示されている。非背景領域は、Ｐフレームにて示されている位置と、Ｐフレームに合成される過去のフレーム（Ｉフレーム）にて示されている位置とが異なっており、移動していることがわかる。すなわち、Ｐフレームにおける非背景領域は値の大きな動きベクトルを有していることになる。これに対し、Ｐフレームにおける背景領域の大部分は、Ｐフレームに合成される過去のフレームと比べて変化が極めて少ないため、値の小さい動きベクトルを有していることになる。また、以上にて説明した事項はＰフレームのみならずＢフレームにも当てはまる。 As shown in FIG. 5, the image generated from the P frame usually shows a background area with no movement and a non-background area with movement (“A”, “I”, “U” in the figure). Yes. It can be seen that the non-background region moves because the position indicated by the P frame is different from the position indicated by the past frame (I frame) combined with the P frame. That is, the non-background region in the P frame has a motion vector having a large value. On the other hand, most of the background area in the P frame has a motion vector having a small value because the change is extremely small compared to the past frame synthesized in the P frame. Further, the matters described above apply not only to the P frame but also to the B frame.
それゆえ、ＰフレームまたはＢフレームに対応する映像のうち、動きベクトルが小さいブロックについては背景領域と判定し、動きベクトルが大きいブロックについては非背景領域と判定できるのである。 Therefore, in the video corresponding to the P frame or the B frame, a block with a small motion vector can be determined as a background region, and a block with a large motion vector can be determined as a non-background region.
なお、ＰフレームまたはＢフレームにおいて、動きベクトルのないイントラマクロブロックが含まれていることもある。この点、背景領域特定部１６ａは、イントラマクロブロックについては、動きベクトルを参照した背景領域の特定を行えないため、背景領域として特定しない（背景領域から除外するようになっている）。 Note that an intra macroblock having no motion vector may be included in the P frame or the B frame. In this regard, the background area specifying unit 16a does not specify a background area with reference to a motion vector for an intra macroblock, and does not specify it as a background area (excluded from the background area).
また、背景領域特定部１６ａは、表示装置１０の液晶表示部（画面）１５の全領域を対象とせず、前記画面のうちの所定部分に映される映像のみを対象として前記背景領域の特定を行うようになっていてもよい。例えば、背景領域特定部１６ａは、画面内で数〜数十箇所程度に監視するポイントを予め決めておき、その監視ポイントのブロックのみから背景領域を特定するようになっていてもよい。これによって、処理を簡素化することができ、装置のリソースの低減を抑制できる（装置の動作を軽くする）というメリットがある。 Further, the background area specifying unit 16a does not target the entire area of the liquid crystal display unit (screen) 15 of the display device 10, but specifies the background area only for the video image displayed on the predetermined part of the screen. You may come to do. For example, the background area specifying unit 16a may determine points to be monitored in several to several tens of places in the screen in advance, and specify the background area only from the block of the monitoring points. As a result, the processing can be simplified, and there is an advantage that the reduction of the resource of the apparatus can be suppressed (the operation of the apparatus is lightened).
以上にて示したように、背景領域特定部１６ａは、動きベクトルを持たない領域（Ｉフレーム、および、ＰフレームまたはＢフレームのイントラマクロブロック）については一律に背景領域から除外して非背景領域と判断する。これに対し、背景領域特定部１６ａは、ＰフレームまたはＢフレームのうち動きベクトルをもつブロックについては、動きベクトルの水平成分値ｈおよび垂直成分値ｖを閾値処理することによって背景領域か否かを判断している。 As described above, the background region specifying unit 16a uniformly excludes the region having no motion vector (I-frame and P-frame or B-frame intra macroblock) from the background region. Judge. On the other hand, the background area specifying unit 16a determines whether a block having a motion vector in the P frame or the B frame is a background area by performing threshold processing on the horizontal component value h and the vertical component value v of the motion vector. Deciding.
そして、背景領域特定部１６ａは、デコード部１３から出力される復号化映像データの映像の各ブロックのうち、背景領域として判断したブロックについては、デコード部１３から復号化映像データ（画素値）を取得する。さらに、背景領域特定部１６ａは、背景領域の復号化映像データを後段の調整部１６ｂに伝送するようになっている。 The background area specifying unit 16a then receives the decoded video data (pixel value) from the decoding unit 13 for each block determined as the background area among the blocks of the decoded video data output from the decoding unit 13. get. Further, the background area specifying unit 16a transmits the decoded video data of the background area to the adjustment unit 16b at the subsequent stage.
調整部（調整手段）１６ｂは、背景領域特定部１６ａから送られてきた、或るフレームに対応する映像の背景領域の復号化映像データに基づいて、照明装置８０の照明光の色および明るさを調整する処理を行うブロックである。以下、調整部１６ｂの処理について詳細に説明する前に、照明装置８０について説明する。 The adjustment unit (adjustment unit) 16b is based on the decoded video data of the background area of the video corresponding to a certain frame sent from the background area specifying unit 16a, and the color and brightness of the illumination light of the illumination device 80. It is a block that performs processing for adjusting the. Hereinafter, the illumination device 80 will be described before describing the processing of the adjustment unit 16b in detail.
照明装置８０は、ＬＥＤシーリングライトであり、調色機能および調光機能を有している。 The illuminating device 80 is an LED ceiling light and has a toning function and a dimming function.
すなわち、照明装置８０は、照明光の色として複数通りの色を切り替え可能になっている（調色機能）。例えば、照明装置８０は、青色の照明光、電灯色（赤色）の照明光、白昼色の照明光等を照射可能である。なお、切り替え可能な色の数は、複数であればよく、特に数に限定されるものではない。つまり、切り替え可能な色の数は、２通りでもよいし、１０通りでもよいし、１０通り以上でもよい。 That is, the illumination device 80 can switch a plurality of colors as the color of the illumination light (toning function). For example, the illumination device 80 can irradiate blue illumination light, electric light color (red) illumination light, daylight illumination light, and the like. Note that the number of colors that can be switched is not particularly limited as long as it is plural. That is, the number of colors that can be switched may be two, ten, or ten or more.
また、照明装置８０は、各色毎に照明光の明るさを複数段階に切り替え可能になっている（調光機能）。例えば、照明装置８０は、各色毎に、照明光の明るさを、明、中、暗の３段階に切り替え可能になっている。但し、切り替え可能な明るさの段階数は、特に３段階に限られるものではなく、複数であればよい。つまり、切り替え可能な明るさの段階数は、２通りでもよいし、１０通りでもよいし、１０通り以上でもよい。 Moreover, the illuminating device 80 can switch the brightness of illumination light for each color in a plurality of stages (light control function). For example, the illumination device 80 can switch the brightness of the illumination light to three levels of light, medium, and dark for each color. However, the number of brightness levels that can be switched is not limited to three, and may be any number. That is, the number of brightness levels that can be switched may be two, ten, or ten or more.
つぎに、調整部１６ｂについて詳細に説明する。調整部１６ｂは、あるフレームに対応する映像の背景領域が背景領域特定部１６ａによって特定されると、この背景領域の復号化映像データに基づいて照明装置８０を遠隔制御することにより、照明装置８０の照明光の色および明るさを調整するものである。 Next, the adjustment unit 16b will be described in detail. When the background region of the video corresponding to a certain frame is specified by the background region specifying unit 16a, the adjusting unit 16b remotely controls the lighting device 80 based on the decoded video data of the background region, thereby the lighting device 80. This adjusts the color and brightness of the illumination light.
具体的には、調整部１６ｂは、あるフレームに対応する映像の背景領域が背景領域特定部１６ａによって特定されると、当該背景領域に対応する復号化映像データを背景領域特定部１６ａから受け取る。そして、調整部１６ｂは、受け取った復号化映像データに基づき、前記背景領域の各画素の色度の平均値と、前記背景領域の各画素の輝度の平均値とを求める。 Specifically, when a background area of a video corresponding to a certain frame is specified by the background area specifying unit 16a, the adjustment unit 16b receives decoded video data corresponding to the background area from the background area specifying unit 16a. Then, the adjustment unit 16b obtains an average value of chromaticity of each pixel in the background area and an average value of luminance of each pixel in the background area based on the received decoded video data.
なお、本実施形態の色度とは、図６（ａ）に示すＣＩＥ表色系のｘｙ色度図にて表される座標値（ｘ，ｙ）を指す。したがって、色度の平均値とは、ｘの平均値およびｙの平均値の組み合わせを指す。また、本実施形態の輝度とは、復号化映像データのＲ値、Ｂ値、Ｇ値から求められる輝度成分（Ｙ）を指す。 Note that the chromaticity in the present embodiment refers to coordinate values (x, y) represented in the xy chromaticity diagram of the CIE color system shown in FIG. Therefore, the average value of chromaticity refers to a combination of the average value of x and the average value of y. Also, the luminance in the present embodiment refers to a luminance component (Y) obtained from the R value, B value, and G value of the decoded video data.
調整部１６ｂは、あるフレームの映像の背景領域の色度の平均値を求めると、この平均値に基づいて、照明光の色を決定するようになっている。具体的には、調整部１６ｂは、求めた色度の平均値をｘｙ色度図（図６（ａ）参照）にプロットする。つぎに、調整部１６ｂは、ｘｙ色度図上にプロットされた平均値を通過する等色温度線を特定し、この等色温度線と黒体放射ラインとの交点を定め、この交点の色温度を求める。なお、図６（ｂ）に示す破線ラインが色度図上における等色温度線である。そして、調整部１６ｂは、求めた色温度に最も近い照明色を示す照明色情報を出力する。 When the adjustment unit 16b obtains an average value of the chromaticity of the background region of the video of a certain frame, the color of the illumination light is determined based on the average value. Specifically, the adjustment unit 16b plots the obtained average chromaticity value on an xy chromaticity diagram (see FIG. 6A). Next, the adjusting unit 16b specifies a color matching temperature line that passes through the average value plotted on the xy chromaticity diagram, determines an intersection point between the color matching temperature line and the black body radiation line, and determines the color of the intersection point. Find the temperature. The broken line shown in FIG. 6B is a color matching temperature line on the chromaticity diagram. And the adjustment part 16b outputs the illumination color information which shows the illumination color nearest to the calculated | required color temperature.
また、調整部１６ｂは、あるフレームの映像の背景領域の輝度の平均値を求めると、この輝度の平均値に基づいて、照明色の明るさを示す明度情報を出力する。この明度情報を出力する処理を以下にて詳細に説明する。まず、照明制御装置１６には輝度と明度情報とを対応付けたテーブルが表示装置１０の製造時に予め保存されているものとする。このテーブルにおいては、高輝度ほど対応付けられている明度情報の明るさの度合が高くなり（明るくなる）、低輝度ほど対応付けられている明度情報の明るさの程度が低くなっている（暗くなる）。そして、調整部１６ｂは、求めた輝度の平均値に対応する明度情報を前記テーブルから出力するようになっている。 Further, when the adjustment unit 16b obtains the average value of the luminance of the background area of the video of a certain frame, the adjustment unit 16b outputs lightness information indicating the brightness of the illumination color based on the average value of the luminance. The process for outputting the brightness information will be described in detail below. First, it is assumed that a table associating luminance and brightness information is stored in advance in the lighting control device 16 when the display device 10 is manufactured. In this table, the brightness level of the brightness information associated with the higher brightness is higher (lighter), and the brightness level of the brightness information associated with the lower brightness is lower (darker). Become). Then, the adjustment unit 16b outputs brightness information corresponding to the obtained average value of luminance from the table.
調整部１６ｂは、以上のようにして照明色情報および明度情報を出力した後、出力した照明色情報の照明色に切り替わり且つ出力した明度情報の明るさに切り替わることを指示する制御信号を照明装置８０に伝送するようになっている。照明装置８０は、調整部１６ｂから制御信号を受け取ると、照明光の色および明るさを、制御信号によって指示されている色および明るさに切り替える。これにより、照明装置８０の照明光は、表示装置１０にて表示されている背景に応じた色および明るさになる。例えば、明るい背景が表示されている時は照明光が明るくなり、暗い背景が表示されている時は照明光が暗くなる。また、例えば、明るい昼間の背景が表示されている時は照明光の色を昼白色にし、夕暮れの背景が表示されている間は照明光の色を電灯色（橙色）にするといったことも可能になる。また、室内の背景が表示されている場合、当該室内の照明光の色に類似する色の照明光を照明装置８０から照射させるといったことも可能になる。 The adjustment unit 16b outputs the illumination color information and the brightness information as described above, and then switches to the illumination color of the output illumination color information and outputs a control signal instructing to switch to the brightness of the output brightness information. 80 is transmitted. When the illumination device 80 receives the control signal from the adjustment unit 16b, the illumination device 80 switches the color and brightness of the illumination light to the color and brightness indicated by the control signal. Thereby, the illumination light of the illumination device 80 has a color and brightness according to the background displayed on the display device 10. For example, the illumination light is bright when a bright background is displayed, and the illumination light is dark when a dark background is displayed. Also, for example, when a bright daytime background is displayed, the illumination light color can be neutral white, and while the dusk background is displayed, the illumination light color can be electric (orange). become. Further, when the indoor background is displayed, the illumination device 80 can emit illumination light having a color similar to the color of the illumination light in the room.
以上にて示したように、本実施形態の照明制御装置１６は、表示装置１０に表示されている映像を視聴する視聴者が位置する視聴場所に照明光を照射する照明装置８０を制御するものである。そして、この照明制御装置１６は、前記映像を示す映像データに埋め込まれている動きベクトルに基づいて、前記映像のうちの背景領域を特定する背景領域特定部１６ａと、前記背景領域の映像データに基づいて、前記照明光の明るさおよび色を調整する調整部１６ｂとを備えている構成である。 As described above, the illumination control device 16 according to the present embodiment controls the illumination device 80 that irradiates illumination light to a viewing place where a viewer who views the video displayed on the display device 10 is located. It is. The lighting control device 16 includes a background area specifying unit 16a that specifies a background area of the video based on a motion vector embedded in the video data indicating the video, and the video data of the background area. Based on this, the adjustment unit 16b for adjusting the brightness and color of the illumination light is provided.
このような構成によれば、背景部分以外の映像データを用いずに、背景部分の映像データに応じて照明装置８０の照明光を制御していることになるため、前記視聴場所において、映像の背景部分に応じた臨場感や、映像の背景部分との一体感を与えることが可能になるという効果を奏する。 According to such a configuration, the illumination light of the illumination device 80 is controlled according to the video data of the background portion without using video data other than the background portion. There is an effect that it is possible to give a sense of presence according to the background portion and a sense of unity with the background portion of the video.
また、前記動きベクトルの水平成分値ｈの絶対値および垂直成分値ｖの絶対値がゼロ若しくはゼロに近い領域は、シーンの変化が殆ど無い領域であるため、背景領域と推定される。これに対し、水平成分値ｈの絶対値および前記垂直成分値の絶対値のうちの少なくとも一方が大きい領域は、シーンの変化がある領域であるため、非背景領域と推定される。そこで、本実施形態では、背景領域特定部１６ａは、前記動きベクトルの水平成分値ｈの絶対値および垂直成分値ｖの絶対値の少なくとも一方が閾値以上になっている領域を背景領域から除外し、水平成分値ｈの絶対値および垂直成分値ｖの絶対値のいずれもが閾値未満になっている領域を背景領域として特定するようになっている。これにより、前記映像のうちの背景領域を高精度に特定するようになっている。 In addition, a region where the absolute value of the horizontal component value h and the absolute value of the vertical component value v of the motion vector are zero or close to zero is a region where there is almost no change in the scene, and is thus estimated as a background region. On the other hand, an area where at least one of the absolute value of the horizontal component value h and the absolute value of the vertical component value is large is an area where there is a scene change, and thus is estimated as a non-background area. Therefore, in the present embodiment, the background area specifying unit 16a excludes an area where at least one of the absolute value of the horizontal component value h and the absolute value of the vertical component value v of the motion vector is equal to or greater than a threshold value from the background area. The area where both the absolute value of the horizontal component value h and the absolute value of the vertical component value v are less than the threshold value is specified as the background area. Thereby, the background area | region of the said image | video is pinpointed with high precision.
なお、水平成分値ｈに対して設定されている閾値Ａと垂直成分値ｖに対して設定されている閾値Ｂとは、同一値でもよいし、互いに異なる値でもよい。但し、映画やドラマ等のコンテンツにおいて、水平方向（横方向）にパンさせるシーンは多々あるが、垂直方向にパンするシーンは、水平方向をパンするシーンに比較して少ないため、水平方向の映像の移動に対しては垂直方向（縦方向）の映像に移動よりも判定基準を緩和することによって、水平方向へパンさせている背景を前記背景領域として検出する精度を高くできる。それゆえ、水平成分値ｈに対して設定されている閾値Ａは、垂直成分値ｖに対して設定されている閾値Ｂよりも大きいことが好ましい。 Note that the threshold value A set for the horizontal component value h and the threshold value B set for the vertical component value v may be the same value or different values. However, in content such as movies and dramas, there are many scenes that pan in the horizontal direction (horizontal direction), but because there are fewer scenes that pan in the vertical direction compared to scenes that pan in the horizontal direction, the video in the horizontal direction For the movement of, it is possible to increase the accuracy of detecting the background panned in the horizontal direction as the background area by relaxing the determination criterion rather than moving to the video in the vertical direction (vertical direction). Therefore, the threshold A set for the horizontal component value h is preferably larger than the threshold B set for the vertical component value v.
また、本実施形態によれば、水平成分値ｈに対する閾値Ａ、および、垂直成分値ｖに対する閾値Ｂは、予め設定されている固定値であるが、ユーザーの入力指示によって調整可能になっていてもよい。あるいは、閾値Ａおよび閾値Ｂはフレーム毎に値は変化するようになっていてもよい。例えば、背景領域特定部１６ａの処理対象となっているフレームとＩフレームとの間のフレーム数に応じて閾値Ａおよび閾値Ｂを変化させるようになっていてもよい。 Further, according to the present embodiment, the threshold value A for the horizontal component value h and the threshold value B for the vertical component value v are preset fixed values, but can be adjusted by a user input instruction. Also good. Alternatively, the threshold A and the threshold B may be changed for each frame. For example, the threshold value A and the threshold value B may be changed according to the number of frames between the frame to be processed by the background region specifying unit 16a and the I frame.
また、以上の実施形態によれば、調整部１６ｂは、前記背景領域に対応する映像データに基づいて前記背景領域の各画素の輝度の平均値を求め、前記平均値に応じて前記照明光の明るさを調整する構成になっている。 Further, according to the above embodiment, the adjustment unit 16b obtains an average value of the luminance of each pixel in the background region based on the video data corresponding to the background region, and the illumination light of the illumination light according to the average value. It is configured to adjust the brightness.
このような構成によれば、照明装置８０の照明光の明るさを、表示装置１０に表示される映像の背景領域の明るさに応じて調整できる。それゆえ、例えば、暗い背景と明るい移動物体（スポット光が照射されている物体）とからなるシーンを表示するような場合であっても、背景に合わせて照明光を暗くするようなことが可能になる。 According to such a configuration, the brightness of the illumination light of the illumination device 80 can be adjusted according to the brightness of the background region of the video displayed on the display device 10. Therefore, for example, even when displaying a scene consisting of a dark background and a bright moving object (an object irradiated with spot light), it is possible to make the illumination light dark according to the background. become.
また、以上の実施形態によれば、調整部１６ｂは、前記背景領域に対応する映像データに基づいて前記背景領域の各画素の色度の平均値を求め、前記色度の平均値に応じて前記照明光の色を調整する構成になっている。 Further, according to the above embodiment, the adjustment unit 16b obtains an average value of chromaticity of each pixel in the background area based on the video data corresponding to the background area, and according to the average value of the chromaticity. The color of the illumination light is adjusted.
このような構成によれば、照明装置８０の照明光の色を、表示装置１０に表示される背景領域の色に応じて調整できる。それゆえ、例えば、夕暮れの背景が表示されている間は、照明光の色を橙色系の色（例えば電灯色）に切り替え、白色の壁に囲まれたオフィス（人工的な明るさのシーン）が背景として表示されている間は、照明光の色を白色系の色に切り替えるといったことが可能になる。 According to such a configuration, the color of the illumination light of the illumination device 80 can be adjusted according to the color of the background area displayed on the display device 10. Therefore, for example, while the sunset background is displayed, the illumination light color is switched to an orange color (for example, electric light), and the office is surrounded by a white wall (artificial brightness scene) Is displayed as a background, the color of the illumination light can be switched to a white color.
また、本実施形態によれば、背景領域特定部１６ａは、動きベクトルの水平成分値ｈと垂直成分値ｖとを閾値処理することで背景領域か否かの判定をおこなう構成であるが、このような構成に限定されるものではなく、水平成分値ｈおよび垂直成分値ｖから動きベクトルの大きさを求め、動きベクトルの大きさを閾値処理することで背景領域か否かの判定をおこなうようになっていてもよい。すなわち、背景領域特定部１６ａは、動きべクトルの大きさ（水平成分値ｈの２乗と垂直成分値ｖの２乗との和の平方根）を算出し、動きベクトルの大きさが閾値以上のブロックを背景領域から除外し、動きベクトルの大きさが閾値未満のブロックを背景領域として特定するようになっていてもよい。 Further, according to the present embodiment, the background area specifying unit 16a is configured to determine whether or not it is a background area by performing threshold processing on the horizontal component value h and the vertical component value v of the motion vector. It is not limited to such a configuration, the size of the motion vector is obtained from the horizontal component value h and the vertical component value v, and it is determined whether or not it is the background region by performing threshold processing on the size of the motion vector. It may be. That is, the background region specifying unit 16a calculates the magnitude of the motion vector (the square root of the sum of the square of the horizontal component value h and the square of the vertical component value v), and the magnitude of the motion vector is greater than or equal to the threshold value. A block may be excluded from the background area, and a block having a motion vector magnitude less than a threshold may be specified as the background area.
また、本実施形態によれば、調整部１６ｂは、背景領域の色度の平均値と、背景領域の輝度の平均値とを求め、これら平均値に基づいて照明光の明るさおよび色を定めているが、平均値に限定されるものではなく、平均値以外の代表値を求めて、代表値に基づいて照明光の明るさおよび色を定める形態であってもよい。 Further, according to the present embodiment, the adjustment unit 16b obtains the average value of the chromaticity of the background region and the average value of the luminance of the background region, and determines the brightness and color of the illumination light based on these average values. However, the present invention is not limited to the average value, and may be a form in which a representative value other than the average value is obtained and the brightness and color of the illumination light are determined based on the representative value.
また、本実施形態では、調整部１６ｂは、照明光の色および明るさを調整可能になっているが、照明光の色および明るさのうちの少なくともいずれか一方を調整可能であればよい。 In the present embodiment, the adjustment unit 16b can adjust the color and brightness of the illumination light, but it is only necessary to adjust at least one of the color and brightness of the illumination light.
また、本実施形態によれば、デコード部１３によってＰフレーム（またはＢフレーム）の画像情報がデコードされて復号化映像データが生成されてから、背景領域特定部１６ａが当該復号化映像データに対応する動きベクトルを取得するようになっているが、背景領域特定部１６ａは前記のデコードの前に前記動きベクトルを取得するようになっていてもよい。すなわち、画像情報と動きベクトルとが順にメモリ（図３（ｂ）参照）に展開された後、当該メモリに展開されている画像情報と動きベクトルとがデコードされる前に、背景領域特定部１６ａが当該メモリに展開されている動きベクトルを読み出すようになっていてもよい。これにより、背景領域の特定タイミングを早めることができ、背景領域の表示タイミングに対する照明光の調整タイミングの追随性を高めることができる。 Further, according to the present embodiment, after the image information of the P frame (or B frame) is decoded by the decoding unit 13 and the decoded video data is generated, the background area specifying unit 16a supports the decoded video data. However, the background area specifying unit 16a may acquire the motion vector before the decoding. That is, after the image information and the motion vector are sequentially expanded in the memory (see FIG. 3B), before the image information and the motion vector expanded in the memory are decoded, the background area specifying unit 16a May read out a motion vector developed in the memory. Thereby, the specific timing of a background area | region can be advanced and the followability of the adjustment timing of illumination light with respect to the display timing of a background area | region can be improved.
また、シーンカットの瞬間においてＩフレームが使用されるケースがあるが、このようなＩフレームは、ＧＯＰのヘッダに位置しているＩフレーム（基準となるフレーム）ではなく、あるＧＯＰ内のフレーム間に位置している。そこで、背景領域特定部１６ａは、あるＧＯＰ内のフレーム間に位置しているＩフレームを検出した場合、このＩフレームからＧＯＰの最後部のフレームまでの全てを非背景領域と判断するようになっていてもよい。このようにすれば、フラッシュ、映像内の照明が点滅しているような動画について、切り替わりの瞬間だけでなく、切り替わりの瞬間後についても、非背景領域と判断できる。 In some cases, an I frame is used at the moment of a scene cut. Such an I frame is not an I frame (reference frame) located in the header of a GOP, but between frames within a certain GOP. Is located. Therefore, when the background region specifying unit 16a detects an I frame located between frames in a certain GOP, the background region specifying unit 16a determines that all the frame from the I frame to the last frame of the GOP is a non-background region. It may be. In this way, it is possible to determine a non-background area not only at the moment of switching but also after the moment of switching for a moving image in which the flash and the illumination in the video are blinking.
なお、本実施形態では、図３（ｂ）に示されるメモリはデコード部１３にて用いられるようになっているが、当該メモリをデコード部１３と照明制御装置１６で共用にして、照明制御装置１６側からメモリを参照可能にしても良い。この場合、デコード部１３は、照明制御に必要な情報（映像データ、動きベクトル）のメモリ上の格納位置を示す第１位置情報のみを照明制御装置１６に伝送し、照明制御装置１６は、当該第１位置情報に基づいて、前記格納位置にアクセスして照明制御に必要な情報を読み出すようになっていてもよい。
あるいは、デコード部１３は、前記第１位置情報もメモリに格納しておき、前記第１位置情報の格納位置を示す第２位置情報を照明制御装置１６に伝送し、照明制御装置１６は、第２位置情報を基に、メモリ上の照明制御に必要な情報にアクセスするようになっていてもよい。あるいは、デコード部１３は、前記第２位置情報をメモリ上の所定位置に格納しておき、照明制御装置１６が、前記所定位置から第２位置情報を読み出し、この第２位置情報を基に、メモリ上の照明制御に必要な情報にアクセスするようになっていてもよい。
In this embodiment, the memory shown in FIG. 3B is used in the decoding unit 13, but the memory is shared by the decoding unit 13 and the lighting control device 16, and the lighting control device is used. The memory may be referred to from the 16th side. In this case, the decoding unit 13 transmits only the first position information indicating the storage position of information (video data, motion vector) necessary for lighting control on the memory to the lighting control device 16, and the lighting control device 16 Based on the first position information, the storage position may be accessed to read out information necessary for lighting control.
Alternatively, the decoding unit 13 also stores the first position information in the memory, transmits the second position information indicating the storage position of the first position information to the illumination control device 16, and the illumination control device 16 2 Based on the position information, information necessary for lighting control on the memory may be accessed. Alternatively, the decoding unit 13 stores the second position information in a predetermined position on the memory, and the illumination control device 16 reads the second position information from the predetermined position, and based on the second position information, Information necessary for lighting control on the memory may be accessed.
また、本実施形態の照明制御装置１６は、表示装置１０に内蔵されている必要はなく、表示装置に接続されているコンピュータが照明制御装置１６であってもよい。なお、この場合、照明制御装置１６は、有線または無線によってデコード部１３から復号化映像データや動きベクトル等の各種データを受信するようになっている。 Further, the lighting control device 16 of the present embodiment does not need to be built in the display device 10, and the computer connected to the display device may be the lighting control device 16. In this case, the illumination control device 16 receives various data such as decoded video data and motion vectors from the decoding unit 13 by wire or wirelessly.
また、本実施形態の表示装置１０は、外部インターフェイス１２を介して外部機器から符号化映像データを入力するようになっているが、既にデコードした復号化映像データを出力するような外部機器もあるため、このような外部機器からは復号化映像データおよび動きベクトルを入力するようになっている。この場合、照明制御装置１６は、当該外部機器から伝送されてきた復号化映像データおよび動きベクトルに基づいて照明制御を行うようになっている。なお、このような外部機器としては、記録メディアから映像データを読み出してデコードし、デコード後の映像データを表示装置１０に供給する映像再生装置（ＢＤプレーヤー、ＤＶＤプレーヤー、パソコン本体）が挙げられる。また、外部機器から表示装置へ伝送される映像データ等が著作権保護等のために暗号化されているような形態もありえるため、外部インターフェイス部１２より後段であって映像処理部１４よりも前段において、暗号化されている映像データ等を復号化する暗号復号処理部が備えられていてもよい。 Further, the display device 10 of the present embodiment is configured to input encoded video data from an external device via the external interface 12, but there are external devices that output already decoded video data. Therefore, decoded video data and motion vectors are input from such an external device. In this case, the illumination control device 16 performs illumination control based on the decoded video data and the motion vector transmitted from the external device. Examples of such an external device include a video playback device (BD player, DVD player, PC main body) that reads and decodes video data from a recording medium and supplies the decoded video data to the display device 10. Further, there may be a form in which video data transmitted from the external device to the display device is encrypted for copyright protection or the like, so that it is a stage after the external interface unit 12 and a stage before the video processing unit 14. , An encryption / decryption processing unit for decrypting encrypted video data or the like may be provided.
さらに、前述したように、表示装置１０は既にデコードされた復号化映像データおよび動きベクトルを入力可能なため、表示装置１０にデコード部１３を備えずに、表示装置１０に接続されているＢＤプレーヤー、ＤＶＤプレーヤーなどの映像再生装置にデコード部１３を備えるような形態であっても照明制御装置１６を動作させることが可能である。この形態においても、復号化映像データおよび動きベクトルが外部機器から表示装置１０に供給され、表示装置１０の照明制御装置１６が前記動きベクトルを用いて照明光の制御を行うようになっている。 Furthermore, as described above, since the display device 10 can input decoded video data and motion vectors that have already been decoded, the display device 10 does not include the decoding unit 13 and is connected to the display device 10. The illumination control device 16 can be operated even when the video playback device such as a DVD player is provided with the decoding unit 13. Also in this embodiment, the decoded video data and the motion vector are supplied from the external device to the display device 10, and the illumination control device 16 of the display device 10 controls the illumination light using the motion vector.
また、ＢＤプレーヤー、ＤＶＤプレーヤー、パソコン本体などの映像再生装置にデコード部１３が設けられる形態の場合、照明制御装置１６も当該映像再生装置に備えられていてもよい。この場合、映像再生装置と照明装置８０と表示装置１０とを備えた表示システムにおいて、映像再生装置に備えられる照明制御装置１６から照明装置８０へ照明光を制御するための制御信号が伝送されるようになっている。 Further, in the case where the decoding unit 13 is provided in a video playback device such as a BD player, a DVD player, or a personal computer body, the illumination control device 16 may also be provided in the video playback device. In this case, in the display system including the video reproduction device, the illumination device 80, and the display device 10, a control signal for controlling the illumination light is transmitted from the illumination control device 16 provided in the video reproduction device to the illumination device 80. It is like that.
また、本実施形態では、表示装置１０は、映像を表示させる手段として液晶表示パネル（液晶表示部１５）を有しているが、映像を表示させる手段は液晶表示パネルに限定されるものではない。例えば、プラズマディスプレイであってもよいし、有機ＥＬ（Electoro Luminescence）ディスプレイであってもよい。また、表示装置１０はプロジェクタであってもよい。 In the present embodiment, the display device 10 includes a liquid crystal display panel (liquid crystal display unit 15) as means for displaying an image, but means for displaying an image is not limited to the liquid crystal display panel. . For example, a plasma display or an organic EL (Electoro Luminescence) display may be used. The display device 10 may be a projector.
また、本実施形態では、照明装置８０は、ＬＥＤシーリングライトであるが、調色機能および調光機能のうちの少なくともいずれか一方を有しているその他の照明装置（白熱電球やハロゲンランプや蛍光管などの蛍光灯、間接照明器具）であってもよい。 In the present embodiment, the lighting device 80 is an LED ceiling light, but other lighting devices (incandescent bulbs, halogen lamps, fluorescent lamps) having at least one of a toning function and a dimming function are used. It may be a fluorescent lamp such as a tube or an indirect lighting fixture).
（補足事項）
本実施形態の照明制御装置１６は、上述したように制御用集積回路によってハードウェア的に実現される他、ＣＰＵ（central processing unit）を用いてソフトウェア的に実現されてもよい。
(Supplementary information)
The illumination control device 16 of the present embodiment may be realized by software using a CPU (central processing unit) in addition to being realized by hardware by the control integrated circuit as described above.
後者の場合、照明制御装置１６は、照明制御装置１６の各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるプログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記の照明制御装置１６に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（micro processing unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。 In the latter case, the illumination control device 16 includes a CPU that executes instructions of a control program for realizing each function of the illumination control device 16, a ROM (read only memory) that stores the program, and a RAM (random access) that expands the program. memory), a storage device (recording medium) such as a memory for storing the program and various data. An object of the present invention is to provide a recording medium on which a program code (execution format program, intermediate code program, source program), which is software that realizes the functions described above, is recorded so as to be readable by a computer. This can also be achieved by reading the program code recorded on the recording medium by the computer (or CPU or MPU (micro processing unit)).
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯディスク（magneto-optical disc）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disc）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（登録商標；erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。 Examples of the recording medium include tapes such as a magnetic tape and a cassette tape, a magnetic disk such as a floppy (registered trademark) disk / hard disk, a CD-ROM (compact disc read-only memory) / MO disk (magneto-optical disc). ) / MD (Mini Disc) / DVD (digital versatile disc) / CD-R (CD Recordable) and other optical disks, IC cards (including memory cards) / optical cards, mask ROM / EPROM (Registered trademark: Erasable programmable read-only memory) / EEPROM (electrically erasable and programmable read-only memory) / Semiconductor memories such as flash ROM, logic such as PLD (Programmable logic device) and FPGA (Field Programmable Gate Array) Circuits or the like can be used.
また、照明制御装置１６を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television/cable television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asymmetric digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（high data rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。 Moreover, the illumination control device 16 may be configured to be connectable to a communication network, and the program code may be supplied via the communication network. The communication network is not particularly limited as long as it can transmit the program code. For example, Internet, intranet, extranet, LAN (local area network), ISDN (integrated services digital network), VAN (value-added network), CATV (community antenna television / cable television) communication network, virtual private network (virtual private network) network), telephone line network, mobile communication network, satellite communication network, and the like. The transmission medium constituting the communication network may be any medium that can transmit the program code, and is not limited to a specific configuration or type. For example, infrared such as IrDA (infrared data association) or remote control even with wired such as IEEE (institute of electrical and electronic engineers) 1394, USB, power line carrier, cable TV line, telephone line, ADSL (asymmetric digital subscriber loop) line , Bluetooth (registered trademark), IEEE 802.11 wireless, HDR (high data rate), NFC (Near Field Communication), DLNA (Digital Living Network Alliance), mobile phone network, satellite line, terrestrial digital network, etc. Is possible.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention.
本発明の照明制御装置は、映像を表示する表示装置と、表示装置に表示されている映像を視聴する視聴者が位置する視聴場所に照明光を照射する照明装置とを含む表示システムに利用するものである。 The illumination control device of the present invention is used in a display system including a display device that displays an image and an illumination device that irradiates illumination light to a viewing location where a viewer who views the image displayed on the display device is located. Is.
１０ 表示装置
１５ 液晶表示部
１６ 照明制御装置
１６ａ 背景領域特定部（背景領域特定手段）
１６ｂ 調整部（調整手段）
８０ 照明装置
１００ 表示システム
DESCRIPTION OF SYMBOLS 10 Display apparatus 15 Liquid crystal display part 16 Illumination control apparatus 16a Background area specific | specification part (background area specific means)
16b Adjustment unit (adjustment means)
80 Illumination device 100 Display system
Claims (13)
前記映像を示す映像データに埋め込まれている動きベクトルに基づいて、前記映像のうちの背景領域を特定する背景領域特定手段と、
前記背景領域の映像データに基づいて、前記照明光の明るさおよび色の少なくとも一方を調整する調整手段とを備えたことを特徴とする照明制御装置。 In an illumination control device that controls an illumination device that irradiates illumination light to a viewing location where a viewer who views an image displayed on a display device is located,
A background area specifying means for specifying a background area of the video based on a motion vector embedded in video data indicating the video;
An illumination control apparatus comprising: an adjustment unit that adjusts at least one of brightness and color of the illumination light based on video data of the background region.
前記背景領域特定手段は、前記水平成分値の絶対値および前記垂直成分値の絶対値の少なくとも一方が閾値以上になっている領域を前記背景領域から除外し、前記水平成分値の絶対値および前記垂直成分値の絶対値のいずれもが閾値未満になっている領域を前記背景領域として特定することを特徴とする請求項１に記載の照明制御装置。 The motion vector includes a horizontal component value that is a horizontal component value and a vertical component value that is a vertical component value, and a threshold is set for each of the absolute value of the horizontal component value and the absolute value of the vertical component value. Has been
The background area specifying means excludes an area where at least one of the absolute value of the horizontal component value and the absolute value of the vertical component value is equal to or greater than a threshold value from the background area, and the absolute value of the horizontal component value and the The lighting control apparatus according to claim 1, wherein an area where all of the absolute values of the vertical component values are less than a threshold is specified as the background area.
前記表示装置にて表示される映像の映像データに埋め込まれている動きベクトルに基づいて、前記映像のうちの背景領域を特定するステップと、
前記背景領域に対応する映像データに基づいて、前記照明光の明るさおよび色の少なくとも一方を調整するステップとを含むことを特徴とする照明制御方法。 In an illumination control method for controlling an illumination device that irradiates illumination light to a viewing place where a viewer who views an image displayed on a display device is positioned,
Identifying a background region of the video based on a motion vector embedded in video data of the video displayed on the display device;
Adjusting at least one of brightness and color of the illumination light based on video data corresponding to the background area.
A computer-readable recording medium on which the program according to claim 12 is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012128429A JP2013255042A (en) | 2012-06-05 | 2012-06-05 | Illumination control device, display device, image reproduction device, illumination control method, program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012128429A JP2013255042A (en) | 2012-06-05 | 2012-06-05 | Illumination control device, display device, image reproduction device, illumination control method, program, and recording medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013255042A true JP2013255042A (en) | 2013-12-19 |
Family
ID=49952239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012128429A Pending JP2013255042A (en) | 2012-06-05 | 2012-06-05 | Illumination control device, display device, image reproduction device, illumination control method, program, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013255042A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110149550A (en) * | 2018-06-19 | 2019-08-20 | 腾讯科技（深圳）有限公司 | A kind of image processing method and device |
| CN113273313A (en) * | 2019-01-14 | 2021-08-17 | 昕诺飞控股有限公司 | Receiving light settings for a light device identified from a captured image |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02205810A (en) * | 1989-02-06 | 1990-08-15 | Canon Inc | Automatic focus adjusting device |
| JP2000173783A (en) * | 1998-04-13 | 2000-06-23 | Matsushita Electric Ind Co Ltd | Illumination control method and lighting system |
| JP2002299070A (en) * | 2001-03-29 | 2002-10-11 | Toshiba Lighting & Technology Corp | Lighting control system |
| WO2009150827A1 (en) * | 2008-06-10 | 2009-12-17 | パナソニック株式会社 | Content editing device |
-
2012
- 2012-06-05 JP JP2012128429A patent/JP2013255042A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02205810A (en) * | 1989-02-06 | 1990-08-15 | Canon Inc | Automatic focus adjusting device |
| JP2000173783A (en) * | 1998-04-13 | 2000-06-23 | Matsushita Electric Ind Co Ltd | Illumination control method and lighting system |
| JP2002299070A (en) * | 2001-03-29 | 2002-10-11 | Toshiba Lighting & Technology Corp | Lighting control system |
| WO2009150827A1 (en) * | 2008-06-10 | 2009-12-17 | パナソニック株式会社 | Content editing device |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110149550A (en) * | 2018-06-19 | 2019-08-20 | 腾讯科技（深圳）有限公司 | A kind of image processing method and device |
| CN113273313A (en) * | 2019-01-14 | 2021-08-17 | 昕诺飞控股有限公司 | Receiving light settings for a light device identified from a captured image |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10402681B2 (en) | Image processing apparatus and image processing method | |
| JP6419807B2 (en) | HDR metadata transfer | |
| US10841599B2 (en) | Method, apparatus and system for encoding video data for selected viewing conditions | |
| JP5442643B2 (en) | Data transmission device, data transmission method, viewing environment control device, viewing environment control method, and viewing environment control system | |
| JP4950990B2 (en) | Video transmission apparatus and method, viewing environment control apparatus and method | |
| US20090123086A1 (en) | View environment control system | |
| US9894314B2 (en) | Encoding, distributing and displaying video data containing customized video content versions | |
| US20110190911A1 (en) | Data transmitting apparatus, data transmitting method, audio-visual environment controlling apparatus, audio-visual environment controlling system, and audio-visual environment controlling method | |
| JP7419230B2 (en) | Graphics-safe HDR image brightness regrading | |
| US9641725B2 (en) | Use of ambience light for copy protection of video content displayed on a screen | |
| US10076017B2 (en) | Method for creating ambience lighting effect based on data derived from stage performance | |
| US10657925B2 (en) | Display device and control method for conversion of luminance information | |
| US20150109346A1 (en) | Display device, display device control method, television receiver, and recording medium | |
| JP2019506817A (en) | Processing multiple HDR image sources | |
| JP2013255042A (en) | Illumination control device, display device, image reproduction device, illumination control method, program, and recording medium | |
| JP2009064594A (en) | Illumination device, and image display device and illumination method equipped with it | |
| WO2014083472A1 (en) | Use of ambience light for removing black bars next to video content displayed on a screen | |
| JP2009081482A (en) | Data transmitter, data transmission method, and unit, system, and method for controlling viewing environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150401 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160414 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160705 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170418 |