JP6351161B2

JP6351161B2 - Information multiplexer, information separator, and program thereof

Info

Publication number: JP6351161B2
Application number: JP2014105491A
Authority: JP
Inventors: 俊枝三須; 善明鹿喰; 境田　慎一; 慎一境田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2014-05-21
Filing date: 2014-05-21
Publication date: 2018-07-04
Anticipated expiration: 2034-05-21
Also published as: JP2015220734A

Description

本発明は、情報多重化装置、情報分離装置、およびそれらのプログラムに関する。 The present invention relates to an information multiplexing device, an information separation device, and a program thereof.

従来、映像に情報を埋め込む方法として、映像そのものの領域に対して情報を埋め込む方法や、映像の枠外の領域に対して情報を埋め込む方法がある。映像そのものの領域に対して情報を埋め込む方法としては、例えば、視覚的に気付き難いようなパターンを空間的、時間的、あるいはその両方に対して重畳する電子透かし技術を使うものがある。 Conventionally, as a method of embedding information in a video, there are a method of embedding information in a region of the video itself and a method of embedding information in a region outside the frame of the video. As a method of embedding information in the region of the video itself, for example, there is a method using a digital watermark technique that superimposes a pattern that is difficult to notice visually on space, time, or both.

また、映像の枠外の領域に対して情報を埋め込む方法としては、アナログ映像信号の垂直帰線消去期間に文字情報などの補助情報を付加する方法がある。また、デジタル映像信号であるＳＤＩ（Serial Digital Interface）においても、アンシラリデータ（Ancillary Data）として補助情報を伝送するための領域が確保されている。 Further, as a method of embedding information in a region outside the video frame, there is a method of adding auxiliary information such as character information to the vertical blanking period of the analog video signal. Also, in an SDI (Serial Digital Interface) that is a digital video signal, an area for transmitting auxiliary information as ancillary data is secured.

特許第５０６３６９０号公報Japanese Patent No. 5063690

しかしながら、電子透かし技術を用いて、映像に情報を埋め込む方法においては、映像そのものにパターンが重畳されるため、画質が劣化したり、ノイズとして見えたりすることがあるという問題がある。一方、垂直帰線消去期間に情報を埋め込んだり、アンシラリデータとして埋め込んだりする場合には、伝送、蓄積などされる際に、伝送装置が、情報が埋め込まれている映像信号区間を削除してしまうことがある。 However, in the method of embedding information in a video using a digital watermark technique, there is a problem that the image quality may deteriorate or it may appear as noise because the pattern is superimposed on the video itself. On the other hand, when embedding information in the vertical blanking period or embedding as ancillary data, the transmission device deletes the video signal section in which the information is embedded when it is transmitted or stored. May end up.

本発明は、このような事情に鑑みてなされたもので、画質の劣化を抑えつつ、伝送、蓄積などの際に削除されないように、映像領域に情報を埋め込むことができる情報多重化装置、情報分離装置、およびそれらのプログラムを提供する。 The present invention has been made in view of such circumstances, and an information multiplexing apparatus and information capable of embedding information in a video area so as not to be deleted during transmission, storage, etc. while suppressing deterioration in image quality. Separation devices and their programs are provided.

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、輝度信号と２つの色差信号で表された色ベクトルが取り得る範囲を第１の範囲としたときに、前記第１の範囲である映像信号であって、前記第１の範囲の一部である第２の範囲が、表示対象の色に対応付けられている映像信号を取得する映像信号取得部と、情報を取得する情報取得部と、前記映像信号取得部が取得した映像信号に含まれている色ベクトルのうち、予め決められた第３の範囲に含まれている変換対象色ベクトルを、前記情報取得部が取得した情報に応じた色ベクトルに変換する色変換部とを具備し、前記色変換部によって変換された色ベクトルは、前記第１の範囲のうち、前記第２の範囲に含まれていない範囲内の色ベクトルと、前記変換対象色ベクトルとのうちのいずれかであることを特徴とする情報多重化装置である。 (1) The present invention has been made to solve the above-described problems, and according to one aspect of the present invention, the range that the color vector represented by the luminance signal and the two color difference signals can take is the first range. Sometimes a video signal that is a video signal that is the first range and a second range that is a part of the first range is associated with a color to be displayed is acquired. A conversion target color vector included in a predetermined third range among the color vectors included in the video signal acquired by the video signal acquisition unit, the information acquisition unit that acquires information, and the video signal acquisition unit A color conversion unit that converts the color vector into a color vector corresponding to the information acquired by the information acquisition unit, and the color vector converted by the color conversion unit is the second range of the first range. A color vector within the range not included in the Is an information multiplexer, wherein is any one of the elephants color vector.

（２）また、本発明の他の態様は、（１）に記載の情報多重化装置であって、前記第３の範囲に含まれる全ての色ベクトルは、前記第２の範囲の端に位置することを特徴とする。 (2) According to another aspect of the present invention, there is provided the information multiplexing device according to (1), wherein all color vectors included in the third range are located at ends of the second range. It is characterized by doing.

（３）また、本発明の他の態様は、（２）に記載の情報多重化装置であって、前記色変換部によって変換された色ベクトルは、前記変換対象色ベクトルとの距離が、前記第３の範囲に含まれる前記変換対象色ベクトル以外のベクトルとの距離よりも、小さいことを特徴とする。 (3) According to another aspect of the present invention, there is provided the information multiplexing device according to (2), in which the color vector converted by the color conversion unit has a distance from the conversion target color vector, The distance is smaller than a distance from a vector other than the conversion target color vector included in the third range.

（４）また、本発明の他の態様は、輝度信号と２つの色差信号で表された色ベクトルが取り得る範囲を第１の範囲としたときに、前記第１の範囲である映像信号を取得する映像信号取得部と、前記映像信号取得部が取得した映像信号に含まれている色ベクトルのうち、予め決められた所定の範囲に含まれている変換済み色ベクトルを、表示対象の色の変換先色ベクトルに変換するとともに、前記変換済み色ベクトルが表す情報を抽出する情報抽出・色逆変換部とを具備し、前記情報抽出・色逆変換部は、前記変換済み色ベクトルが、前記所定の範囲の内のどの位置に在るかによって前記情報を決定することを特徴とする情報分離装置である。 (4) According to another aspect of the present invention, when a range that can be taken by a color vector represented by a luminance signal and two color difference signals is a first range, the video signal that is the first range is obtained. A video signal acquisition unit to be acquired and a color vector included in a predetermined range among color vectors included in the video signal acquired by the video signal acquisition unit is displayed as a color to be displayed. An information extraction / color reverse conversion unit that extracts information represented by the converted color vector, and the information extraction / color reverse conversion unit includes: The information separation apparatus is characterized in that the information is determined according to a position within the predetermined range.

（５）また、本発明の他の態様は、（４）に記載の情報分離装置であって、前記変換済み色ベクトルは、前記第１の範囲の一部であり、かつ、表示対象の色に対応付けられている第２の範囲の端に位置することを特徴とする。 (5) According to another aspect of the present invention, there is provided the information separation device according to (4), wherein the converted color vector is a part of the first range and is a color to be displayed. It is characterized by being located at the end of the second range associated with the.

（６）また、本発明の他の態様は、（５）に記載の情報分離装置であって、前記変換済み色ベクトルは、前記変換対象色ベクトルとの距離が、変換対象色ベクトルになり得る他の色ベクトルとの距離よりも、小さいことを特徴とする。 (6) According to another aspect of the present invention, there is provided the information separation device according to (5), wherein the converted color vector may be a conversion target color vector at a distance from the conversion target color vector. It is characterized by being smaller than the distance from other color vectors.

（７）また、本発明の他の態様は、コンピュータを、（１）から（３）のいずれか一つに記載の情報多重化装置として機能させるためのプログラム。 (7) According to another aspect of the present invention, there is provided a program for causing a computer to function as the information multiplexing device according to any one of (1) to (3).

（８）また、本発明の他の態様は、コンピュータを、（４）から（６）のいずれか一つに記載の情報分離装置として機能させるためのプログラム。 (8) According to another aspect of the present invention, there is provided a program for causing a computer to function as the information separation device according to any one of (4) to (6).

この発明によれば、画質の劣化を抑えつつ、伝送、蓄積などの際に削除されないように、映像領域に情報を埋め込むことができる。 According to the present invention, it is possible to embed information in a video area so as not to be deleted during transmission, storage, or the like while suppressing deterioration in image quality.

この発明の一実施形態による情報多重・分離システムの構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the information multiplexing / demultiplexing system by one Embodiment of this invention. 同実施形態における映像信号Ｙｃを説明する色空間の斜視図である。It is a perspective view of the color space explaining the video signal Yc in the same embodiment. 同実施形態における映像信号Ｙｃを説明する色空間の断面図である。It is sectional drawing of the color space explaining the video signal Yc in the embodiment. 同実施形態における情報多重化装置１０の構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the information multiplexing apparatus 10 in the embodiment. 同実施形態における変換テーブル記憶部１４が記憶する変換テーブルの例を示す図である。It is a figure which shows the example of the conversion table which the conversion table memory | storage part 14 in the same embodiment memorize | stores. 同実施形態における色空間の特定の輝度値における断面図である。It is sectional drawing in the specific luminance value of the color space in the embodiment. 同実施形態における情報分離装置３０の構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the information separation apparatus 30 in the embodiment.

以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による情報多重・分離システムの構成を示す概略ブロック図である。本実施形態における情報多重・分離システムは、映像信号Ｙｃに情報Ｍを多重した映像信号Ｙｍを伝送する。そして、情報多重・分離システムは、伝送された映像信号Ｙｍから、情報Ｍｎと映像信号Ｙｎとを分離する。情報Ｍｎ、映像信号Ｙｎは、それぞれ、情報Ｍ、映像信号Ｙｃを近似したもの、もしくは情報Ｍ、映像信号Ｙｃと同一である。 Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a schematic block diagram showing the configuration of an information multiplexing / demultiplexing system according to an embodiment of the present invention. The information multiplexing / demultiplexing system in this embodiment transmits a video signal Ym obtained by multiplexing information M on a video signal Yc. Then, the information multiplexing / demultiplexing system separates the information Mn and the video signal Yn from the transmitted video signal Ym. The information Mn and the video signal Yn are the same as the information M and the video signal Yc, respectively, or approximate to the information M and the video signal Yc.

情報多重・分離システムは、情報多重化装置１０、映像伝送システム２０、情報分離装置３０を含む。情報多重化装置１０は、映像信号Ｙｃに、情報Ｍを多重し、映像信号Ｙｍを生成する。映像伝送システム２０は、映像信号Ｙｍを伝送する。情報分離装置３０は、映像伝送システム２０が伝送した映像信号Ｙｍを分離して、情報多重化装置１０が多重した情報Ｍと映像信号Ｙｃとに、それぞれ近い、もしくは同一の情報Ｍｎ、映像信号Ｙｎを出力する。 The information multiplexing / demultiplexing system includes an information multiplexing device 10, a video transmission system 20, and an information separating device 30. The information multiplexing apparatus 10 multiplexes information M on the video signal Yc to generate a video signal Ym. The video transmission system 20 transmits the video signal Ym. The information separation device 30 separates the video signal Ym transmitted by the video transmission system 20 and the information Mn and the video signal Yn that are close to or the same as the information M and the video signal Yc multiplexed by the information multiplexing device 10, respectively. Is output.

映像信号Ｙｃは、輝度値Ｙ、青色の色差値Ｃｂ、赤色の色差値Ｃｒで、映像を構成する画素の色を表す信号である。情報Ｍは、字幕など、映像に関連する情報であってもよいし、映像に無関係な情報であってもよい。映像信号Ｙｍ、Ｙｎは、映像信号Ｙｃと同じ信号形式の信号である。 The video signal Yc is a signal representing the color of the pixels constituting the video with the luminance value Y, the blue color difference value Cb, and the red color difference value Cr. The information M may be information related to the video, such as captions, or may be information unrelated to the video. The video signals Ym and Yn are signals having the same signal format as the video signal Yc.

なお、映像伝送システム２０に変えて、映像信号Ｙｍを蓄積する映像蓄積システムを有していてもよい。その場合、映像蓄積システムは、情報多重化装置１０が生成した映像信号Ｙｍを蓄積し、任意のタイミングで、蓄積していた映像信号Ｙｍを情報分離装置３０に入力する。なお、映像伝送システム２０や、映像蓄積システムは、ＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４など、非可逆な情報圧縮方式で、映像信号Ｙｍに対して符号化を行った後に、復号したものを、出力するようにしてもよい。ただし、その場合、情報分離装置３０にて分離される情報と、映像信号とは、非可逆な情報圧縮方式による劣化の影響を受ける。 Instead of the video transmission system 20, a video storage system that stores the video signal Ym may be provided. In that case, the video storage system stores the video signal Ym generated by the information multiplexing device 10 and inputs the stored video signal Ym to the information separation device 30 at an arbitrary timing. The video transmission system 20 and the video storage system are MPEG (Moving Picture Experts Group) -2, H.264, and H.264. After decoding the video signal Ym by an irreversible information compression method such as H.264, the decoded signal may be output. In this case, however, the information separated by the information separation device 30 and the video signal are affected by deterioration due to the irreversible information compression method.

図２は、映像信号Ｙｃを説明する色空間の斜視図である。映像信号Ｙｃは、輝度値Ｙ、青色の色差値Ｃｂ、赤色の色差値Ｃｒの３つを要素とする色ベクトルにより、画素の色を表している。輝度値Ｙ、青色の色差値Ｃｂ、赤色の色差値Ｃｒの各々に、取り得る範囲があるので、この色ベクトルが取り得る範囲１００（以降、色域Ａという）は、直方体となる。一方、ディスプレイ装置などで表示対象となっている色の範囲１１０（以降、色域Ｂという）は、色域Ａの一部分である。この表示対象となっている色の範囲１１０は、テレビジョンカメラなどで撮像することで生成される色ベクトルの範囲でもあるし、赤緑青（ＲＧＢ）の３つの画素値で表されるＲＧＢ信号により表現可能な色の範囲でもある。したがって、色域Ｂは、赤色Ｋｒ、緑色Ｋｇ、および青色Ｋｂの軸を辺に持つ六面体となっている。 FIG. 2 is a perspective view of a color space for explaining the video signal Yc. The video signal Yc represents the color of a pixel by a color vector whose elements are a luminance value Y, a blue color difference value Cb, and a red color difference value Cr. Since each of the luminance value Y, the blue color difference value Cb, and the red color difference value Cr has a possible range, the range 100 (hereinafter referred to as color gamut A) that can be taken by this color vector is a rectangular parallelepiped. On the other hand, a color range 110 (hereinafter referred to as color gamut B) that is a display target in a display device or the like is a part of the color gamut A. The color range 110 to be displayed is also a color vector range generated by imaging with a television camera or the like, and is represented by an RGB signal represented by three pixel values of red, green, and blue (RGB). It is also the range of colors that can be expressed. Therefore, the color gamut B is a hexahedron having red Kr, green Kg, and blue Kb axes on the sides.

このため、映像信号Ｙｃを扱うことができる映像伝送システム２０などは、色域Ａに含まれる色ベクトルであれば、そのまま扱うことができるが、映像信号Ｙｃに、色域Ｂ外の色ベクトルは含まれていない。そこで、情報多重化装置１０は、映像信号Ｙｃに含まれている色ベクトルを、色域Ａ内であり、かつ、色域Ｂ外の色ベクトル、あるいはその色ベクトルそのもののうち、情報Ｍに応じたものに変換する。 Therefore, the video transmission system 20 and the like that can handle the video signal Yc can handle the color vector included in the color gamut A as it is, but the color vector outside the color gamut B is included in the video signal Yc. Not included. Therefore, the information multiplexing apparatus 10 uses the color vector included in the video signal Yc in the color gamut A and outside the color gamut B, or the color vector itself according to the information M. Convert it to something.

図３は、映像信号Ｙｃを説明する色空間の断面図である。例えば、輝度値Ｙがある値の平面による断面を考えると、色域Ａ（範囲１００）の断面は、四角形２００となり、色域Ｂ（範囲１１０）の断面は、多角形２１０（図２の場合は３角形）となる。 FIG. 3 is a cross-sectional view of the color space for explaining the video signal Yc. For example, when a cross section of a plane having a certain luminance value Y is considered, the cross section of the color gamut A (range 100) is a square 200, and the cross section of the color gamut B (range 110) is a polygon 210 (in the case of FIG. 2). Is a triangle).

図４は、情報多重化装置１０の構成を示す概略ブロック図である。情報多重化装置１０は、情報取得部１１、映像信号取得部１２、色変換部１３、変換テーブル記憶部１４、映像信号出力部１５を含む。情報取得部１１は、情報Ｍを取得する。例えば、情報取得部１１は、他装置から情報Ｍを受信する、記録媒体に格納されている情報Ｍを読み出すなどの方法で、情報Ｍを取得する。 FIG. 4 is a schematic block diagram showing the configuration of the information multiplexing apparatus 10. The information multiplexing apparatus 10 includes an information acquisition unit 11, a video signal acquisition unit 12, a color conversion unit 13, a conversion table storage unit 14, and a video signal output unit 15. The information acquisition unit 11 acquires information M. For example, the information acquisition unit 11 acquires the information M by a method such as receiving the information M from another device or reading the information M stored in the recording medium.

映像信号取得部１２は、映像信号Ｙｃを取得する。例えば、映像信号取得部１２は、他装置から映像信号Ｙｃを受信する、記録媒体に格納されている映像信号Ｙｃを読み出す、他の形式の映像信号を変換するなどの方法で、映像信号Ｙｃを取得する。色変換部１３は、映像信号Ｙｃに含まれる色ベクトルを、情報Ｍと、変換テーブル記憶部１４が記憶するテーブルとを参照して、変換する。なお、色変換部１３は、色ベクトルが特定の範囲（後述する色域Ｂ１）に含まれているときにのみ、情報Ｍを含める変換を行い、情報Ｍを含める変換を行う度に、情報Ｍのうち参照する部分を変更する。本実施形態では、情報Ｍの先頭から順に２ビットずつ参照する。 The video signal acquisition unit 12 acquires the video signal Yc. For example, the video signal acquisition unit 12 receives the video signal Yc from another device, reads the video signal Yc stored in the recording medium, and converts the video signal Yc in another format. get. The color conversion unit 13 converts the color vector included in the video signal Yc with reference to the information M and the table stored in the conversion table storage unit 14. Note that the color conversion unit 13 performs conversion including the information M only when the color vector is included in a specific range (color gamut B1 described later), and each time the conversion including the information M is performed, the information M Change the reference part. In the present embodiment, the information M is referred to by 2 bits in order from the top.

変換テーブル記憶部１４は、映像信号Ｙｃの色ベクトルと、情報Ｍとの組み合わせに、映像信号Ｙｍにおける色ベクトルを対応付けたテーブルを記憶する。変換テーブル記憶部１４が記憶するテーブルは、色域Ｂのうち、一部のみ（以降、色域Ｂ１という）を、変換対象とし、その他は、色ベクトルをそのままにするようになっていてもよい。映像信号出力部１５は、色変換部１３が変換した色ベクトルの映像信号Ｙｍを生成し、出力する。 The conversion table storage unit 14 stores a table in which the color vector of the video signal Ym is associated with the combination of the color vector of the video signal Yc and the information M. In the table stored in the conversion table storage unit 14, only a part of the color gamut B (hereinafter referred to as the color gamut B1) is to be converted, and the other color vectors may be left as they are. . The video signal output unit 15 generates and outputs the video signal Ym of the color vector converted by the color conversion unit 13.

なお、色域Ｂ１の要素数は、色域Ａ、かつ、色域Ｂ外の要素数以下であることが好ましい。これは、情報分離装置３０が出力する映像信号Ｙｎを、情報多重化装置１０が取得した映像信号Ｙｃと等しくするための必要条件である。したがって、色域Ａの要素数が色域Ｂの要素数の２倍以上であるときは、色域Ｂ１を色域Ｂと一致させることができる。 Note that the number of elements in the color gamut B1 is preferably equal to or less than the number of elements outside the color gamut A and the color gamut B. This is a necessary condition for making the video signal Yn output from the information separator 30 equal to the video signal Yc acquired by the information multiplexer 10. Therefore, when the number of elements in the color gamut A is twice or more than the number of elements in the color gamut B, the color gamut B1 can be matched with the color gamut B.

図５は、変換テーブル記憶部１４が記憶する変換テーブルの例を示す図である。図５に示すように、変換テーブルは、映像信号Ｙｃの輝度値Ｙ、青色の色差値Ｃｂ、赤色の色差値Ｃｒと、情報Ｍとの組み合わせと、映像信号Ｙｍの輝度値ＭＹ、青色の色差値ＭＣｂ、赤色の色差値ＭＣｒとを対応付けている。説明の簡易のために、図５では、輝度値、青色の色差値、赤色の色差値ともに、０から７の整数値をとる場合を例にする。例えば、映像信号Ｙｃの輝度値Ｙ「６」、青色の色差値Ｃｂ「３」、赤色の色差値Ｃｒ「２」と、情報Ｍ「０」との組み合わせには、映像信号Ｙｍの輝度値ＭＹ「６」、青色の色差値ＭＣｂ「３」、赤色の色差値ＭＣｒ「２」が対応付けられている。また、映像信号Ｙｃの輝度値Ｙ「６」、青色の色差値Ｃｂ「３」、赤色の色差値Ｃｒ「２」と、情報Ｍ「１」との組み合わせには、映像信号Ｙｍの輝度値ＭＹ「６」、青色の色差値ＭＣｂ「２」、赤色の色差値ＭＣｒ「１」が対応付けられている。 FIG. 5 is a diagram illustrating an example of a conversion table stored in the conversion table storage unit 14. As shown in FIG. 5, the conversion table includes a combination of the luminance value Y of the video signal Yc, the blue color difference value Cb, the red color difference value Cr, and the information M, the luminance value MY of the video signal Ym, and the blue color difference. The value MCb is associated with the red color difference value MCr. For simplicity of explanation, FIG. 5 shows an example in which the luminance value, the blue color difference value, and the red color difference value take integer values from 0 to 7. For example, the combination of the luminance value Y “6” of the video signal Yc, the blue color difference value Cb “3”, the red color difference value Cr “2”, and the information M “0” includes the luminance value MY of the video signal Ym. “6”, blue color difference value MCb “3”, and red color difference value MCr “2” are associated with each other. The combination of the luminance value Y “6”, the blue color difference value Cb “3”, the red color difference value Cr “2”, and the information M “1” of the video signal Yc includes the luminance value MY of the video signal Ym. “6”, blue color difference value MCb “2”, and red color difference value MCr “1” are associated with each other.

図６は、色空間の特定の輝度値における断面図である。説明の簡易のために、図６では、青色の色差値Ｃｂ、赤色の色差値Ｃｒともに、０から７の整数値をとる場合を例にする。図６において、各矩形は色ベクトルを表す。網掛けした矩形は、表示可能な色の範囲である範囲ＣＰに含まれている色ベクトルである。これら網掛けした矩形のうち、色変換部１３による変換の対象となっている変換対象色ベクトルは、色ベクトルＳ１０、Ｓ２０、Ｓ３０、Ｓ４０、Ｓ５０、Ｓ６０である。色ベクトルＢ０は、範囲ＣＰに含まれているが、変換の対象となっていない色ベクトルである。 FIG. 6 is a cross-sectional view at a specific luminance value in the color space. For simplicity of explanation, FIG. 6 shows an example in which both the blue color difference value Cb and the red color difference value Cr take integer values from 0 to 7. In FIG. 6, each rectangle represents a color vector. The shaded rectangle is a color vector included in the range CP which is a displayable color range. Among these shaded rectangles, the color vectors to be converted by the color conversion unit 13 are color vectors S10, S20, S30, S40, S50, and S60. The color vector B0 is a color vector that is included in the range CP but is not a conversion target.

また、範囲ＣＰ外の色ベクトルのうち、色ベクトルＳ１１、Ｓ１２、Ｓ１３は、それぞれ、情報Ｍが「１」、「２」、「３」であるときの、色ベクトルＳ１０の変換後の色ベクトルである。同様に、色ベクトルＳ２１、Ｓ２２、Ｓ２３は、それぞれ、情報Ｍが「１」、「２」、「３」であるときの、色ベクトルＳ２０の変換後の色ベクトルである。色ベクトルＳ３１〜Ｓ６３も同様である。 Of the color vectors outside the range CP, the color vectors S11, S12, and S13 are color vectors after conversion of the color vector S10 when the information M is “1”, “2”, and “3”, respectively. It is. Similarly, color vectors S21, S22, and S23 are color vectors after conversion of color vector S20 when information M is “1”, “2”, and “3”, respectively. The same applies to the color vectors S31 to S63.

このように、変換対象の色ベクトルＳ１０、Ｓ２０、Ｓ３０、Ｓ４０、Ｓ５０、Ｓ６０は、範囲ＣＰの端に位置している方が、好ましい。これは、映像信号Ｙｍが、そのまま表示装置に入力されたときに、映像信号Ｙｃが入力されたときに表示する映像と近いものとなることがあるからである。なぜなら、一般的に表示装置は、表示可能な色以外の色ベクトルを、クリッピングして、表示可能な色の範囲のうち、端の色に変換するからである。
なお、本実施形態において、範囲ＣＰの端とは、範囲ＣＰ内のうち、上下左右に隣接する色ベクトルのうち、いずれかが範囲ＣＰに属していない位置である。なお、上下左右のみでなく、右上、左上、右下、左下も含んでいてもよい。 Thus, it is preferable that the color vectors S10, S20, S30, S40, S50, and S60 to be converted are located at the end of the range CP. This is because when the video signal Ym is input to the display device as it is, it may be close to the video displayed when the video signal Yc is input. This is because a display device generally clips a color vector other than a displayable color and converts it into an end color within a displayable color range.
In the present embodiment, the end of the range CP is a position where any one of the color vectors adjacent to the upper, lower, left, and right within the range CP does not belong to the range CP. In addition to upper, lower, left, and right, it may include upper right, upper left, lower right, and lower left.

さらに、変換対象の色ベクトルを変換した変換済み色ベクトルは、範囲ＣＰの重心ＣＣと、変換対象の色ベクトルとを通る直線に近いものであることが好ましい。これは、上述したように、表示装置がクリッピングを行ったときに、変換済み色ベクトルが、元の変換対象の色ベクトルそのもの、もしくは、近いものにクリッピングされる可能性が高くなるからである。また、このようにすることで、映像信号Ｙｍに対して、ＭＰＥＧ（Moving Picture Experts Group）−２などの符号化と復号とを行ったときに、符号化による劣化の影響が大きくなるのを防いでくれることがある。 Furthermore, the converted color vector obtained by converting the conversion target color vector is preferably close to a straight line passing through the center of gravity CC of the range CP and the conversion target color vector. This is because, as described above, when the display device performs clipping, there is a high possibility that the converted color vector is clipped to the original color vector to be converted or a close one. In addition, by doing this, when the video signal Ym is encoded and decoded according to MPEG (Moving Picture Experts Group) -2 or the like, the influence of deterioration due to the encoding is prevented from increasing. Sometimes

図６の例では、変換済み色ベクトルは、変換元の変換対象の色ベクトルとの距離が、他の変換対象の色ベクトルとの距離よりも小さくしている。例えば、変換対象の色ベクトルＳ１０、Ｓ２０、Ｓ３０、Ｓ４０、Ｓ５０、Ｓ６０のうち、変換済み色ベクトルＳ２１に最も近いのは、変換元の変換対象色ベクトルＳ２０である。これにより、変換対象の色ベクトルを変換した変換済み色ベクトルが、範囲ＣＰの重心ＣＣと、変換対象の色ベクトルとを通る直線に近いものとなる。なお、距離として、ユークリッド距離を用いてもよいし、その他の距離を用いてもよい。 In the example of FIG. 6, the distance between the converted color vector and the conversion target color vector is smaller than the distance from the other conversion target color vector. For example, among the color vectors S10, S20, S30, S40, S50, and S60 to be converted, the color vector S20 that is the conversion source is closest to the converted color vector S21. As a result, the converted color vector obtained by converting the conversion target color vector is close to a straight line passing through the center of gravity CC of the range CP and the conversion target color vector. As the distance, the Euclidean distance may be used, or other distances may be used.

図７は、情報分離装置３０の構成を示す概略ブロック図である。情報分離装置３０は、映像信号取得部３１、情報抽出・色逆変換部３２、逆変換テーブル記憶部３３、情報出力部３４、映像信号出力部３５を含む。映像信号取得部３１は、情報多重化装置１０により情報が多重化された映像信号Ｙｍを取得する。情報抽出・色逆変換部３２は、逆変換テーブル記憶部３３が記憶するテーブルを参照して、映像信号Ｙｍに含まれる色ベクトルから、情報を抽出し、その色ベクトルを、表示可能な色の色ベクトルに変換する。 FIG. 7 is a schematic block diagram illustrating a configuration of the information separation device 30. The information separation device 30 includes a video signal acquisition unit 31, an information extraction / color reverse conversion unit 32, an inverse conversion table storage unit 33, an information output unit 34, and a video signal output unit 35. The video signal acquisition unit 31 acquires the video signal Ym in which information is multiplexed by the information multiplexer 10. The information extraction / color reverse conversion unit 32 refers to the table stored in the reverse conversion table storage unit 33, extracts information from the color vector included in the video signal Ym, and converts the color vector to a displayable color. Convert to a color vector.

この変換は、図４の色変換部１３と逆の変換である。したがって、情報抽出・色逆変換部３２が変換の対象とする色ベクトルは、色変換部１３が変換した色ベクトルが取り得る範囲の色ベクトルとなる。色変換部１３が変換した色ベクトルが取り得る範囲は、色域Ａのうち、色域Ｂ以外の部分と、色変換部１３による変換の対象となっている色ベクトルである。 This conversion is the reverse of the color conversion unit 13 in FIG. Therefore, the color vector to be converted by the information extraction / color reverse conversion unit 32 is a color vector in a range that the color vector converted by the color conversion unit 13 can take. The range that can be taken by the color vector converted by the color conversion unit 13 is a part other than the color gamut B in the color gamut A and a color vector that is a conversion target by the color conversion unit 13.

逆変換テーブル記憶部３３は、変換テーブル記憶部１４と同様のテーブルを記憶する。ただし、逆変換テーブル記憶部３３が記憶するテーブルが参照される順序は、変換テーブル記憶部１４が記憶するテーブルとは、逆である。逆変換テーブル記憶部３３が記憶するテーブルは、映像信号Ｙｍの輝度値ＭＹ、色差値ＭＣｂ、ＭＣｒの組合せに対して、情報Ｍｎと、映像信号Ｙｎの輝度値Ｙ、色差値Ｃｂ、Ｃｒが取得される。情報出力部３４は、情報抽出・色逆変換部３２により抽出された情報を、抽出された順に連結して情報Ｍを復元し、情報Ｍｎとして出力する。映像信号出力ｂ３５は、情報抽出・色逆変換部３２により色ベクトルが変換された映像信号を、映像信号Ｙｎとして出力する。 The reverse conversion table storage unit 33 stores the same table as the conversion table storage unit 14. However, the order in which the table stored in the reverse conversion table storage unit 33 is referred to is the reverse of the table stored in the conversion table storage unit 14. The table stored in the inverse conversion table storage unit 33 obtains information Mn, luminance value Y of the video signal Yn, and color difference values Cb, Cr for the combination of the luminance value MY and the color difference values MCb, MCr of the video signal Ym. Is done. The information output unit 34 concatenates the information extracted by the information extraction / color reverse conversion unit 32 in the order of extraction, restores the information M, and outputs the information Mn. The video signal output b35 outputs a video signal whose color vector has been converted by the information extraction / color reverse conversion unit 32 as a video signal Yn.

なお、本実施形態では、色ベクトルを変換する際に、輝度値はそのままとしたが、輝度値も変換するようにしてもよい。
また、本実施形態では、色変換部１３は、色ベクトルを変換する度に、情報Ｍのうち参照する部分を変更しているが、所定の回数変換する度に、参照する部分を変更するなどしてもよい。あるいは、色変換部１３は、偶数回目の変換で参照する部分と、奇数回目の変換で参照する部分とが、一部重複していてもよい。このようにすることで、情報分離装置３０にて情報を分離する際に、分離した情報に誤りが含まれている否かの判定や、誤りの訂正を行うことができる。 In the present embodiment, the luminance value is kept as it is when the color vector is converted, but the luminance value may also be converted.
In the present embodiment, the color conversion unit 13 changes the portion to be referred to in the information M every time the color vector is converted. However, the color conversion unit 13 changes the portion to be referred to every time conversion is performed a predetermined number of times. May be. Alternatively, the color conversion unit 13 may partially overlap the part referred to by the even-numbered conversion and the part referred to by the odd-numbered conversion. In this way, when information is separated by the information separation device 30, it is possible to determine whether or not the separated information includes an error and to correct the error.

このように、情報多重化装置は、映像信号に含まれている色ベクトルのうち、予め決められた第３の範囲（例えば、図６の範囲ＣＰの端）に含まれている変換対象色ベクトルを、情報に応じた色ベクトルに変換する色変換部１３を有する。この映像信号は、色を表す色ベクトルが取り得る範囲が第１の範囲（例えば、図２の範囲１００（色域Ａ））であり、第１の範囲の一部である第２の範囲（例えば、図２の範囲１１０（色域Ｂ））が、表示対象の色に対応付けられている。そして、色変換部１３によって変換された色ベクトルは、第１の範囲のうち、第２の範囲に含まれていない範囲内の色ベクトルと、変換対象色ベクトルとのうちのいずれかである。 In this way, the information multiplexing apparatus converts the color vector to be converted included in the predetermined third range (for example, the end of the range CP in FIG. 6) among the color vectors included in the video signal. Is converted into a color vector corresponding to the information. In this video signal, a range that a color vector representing a color can take is a first range (for example, the range 100 (color gamut A) in FIG. 2), and a second range (part of the first range) ( For example, the range 110 (color gamut B) in FIG. 2 is associated with the display target color. The color vector converted by the color conversion unit 13 is one of a color vector in a range not included in the second range and a conversion target color vector in the first range.

これにより、画質の劣化を抑えつつ、伝送、蓄積などの際に削除されないように、映像領域に情報を埋め込むことができる。 As a result, it is possible to embed information in the video area so as not to be deleted during transmission, storage, or the like while suppressing deterioration in image quality.

また、情報分離装置３０は、映像信号に含まれている色ベクトルのうち、予め決められた所定の範囲（色変換部１３が変換した色ベクトルが取り得る範囲）に含まれている変換済み色ベクトルを、表示対象の色の変換対象色ベクトルに変換するとともに、この変換済み色ベクトルが表す情報を抽出する情報抽出・色逆変換部３２を有する。情報抽出・色逆変換部３２は、変換済み色ベクトルが、上述の所定の範囲の内のどの位置に在るかによって、上述の情報を決定する。 The information separating apparatus 30 also converts the converted color included in a predetermined range (a range that the color vector converted by the color conversion unit 13 can take) out of the color vectors included in the video signal. An information extraction / color reverse conversion unit 32 that converts a vector into a conversion target color vector of a display target color and extracts information represented by the converted color vector is provided. The information extraction / color reverse conversion unit 32 determines the above-described information depending on the position of the converted color vector within the above-described predetermined range.

これにより、画質の劣化を抑えつつ、伝送、蓄積などの際に削除されないように、映像領域に埋め込まれた情報を分離することができる。 As a result, it is possible to separate the information embedded in the video area so as not to be deleted at the time of transmission, storage, or the like while suppressing deterioration in image quality.

さらに、情報多重化装置１０、情報分離装置３０において、第３の範囲に含まれる全ての色ベクトルは、第２の範囲の端に位置する。
これにより、情報が埋め込まれた映像信号を、表示装置で表示したときの色の変化を抑えることができる。これは、表示装置においては、第３の範囲に含まれる色ベクトルは、クリッピングにより第２の範囲の色ベクトルに変換されて表示されることが多いためである。 Further, in the information multiplexing apparatus 10 and the information separation apparatus 30, all color vectors included in the third range are located at the end of the second range.
Thereby, it is possible to suppress a change in color when the video signal in which information is embedded is displayed on the display device. This is because, in a display device, a color vector included in the third range is often converted to a color vector in the second range by clipping and displayed.

また、図１における情報多重化装置１０、情報分離装置３０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより情報多重化装置１０、情報分離装置３０を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。 Further, a program for realizing the functions of the information multiplexing device 10 and the information separation device 30 in FIG. 1 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system. The information multiplexing apparatus 10 and the information separation apparatus 30 may be realized by execution. Here, the “computer system” includes an OS and hardware such as peripheral devices.

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。 The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.

また、上述した図１における情報多重化装置１０、情報分離装置３０の各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず、専用回路、または汎用プロセッサで実現しても良い。ハイブリッド、モノリシックのいずれでも良い。一部は、ハードウェアにより、一部はソフトウェアにより機能を実現させても良い。
また、半導体技術の進歩により、ＬＳＩに代替する集積回路化等の技術が出現した場合、当該技術による集積回路を用いることも可能である。 Further, each functional block of the information multiplexing apparatus 10 and the information separation apparatus 30 in FIG. 1 described above may be individually chipped, or a part or all of them may be integrated into a chip. Further, the method of circuit integration is not limited to LSI, and implementation using a dedicated circuit or a general-purpose processor is also possible. Either hybrid or monolithic may be used. Some of the functions may be realized by hardware and some by software.
In addition, when a technology such as an integrated circuit that replaces an LSI appears due to progress in semiconductor technology, an integrated circuit based on the technology can be used.

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design changes and the like within a scope not departing from the gist of the present invention.

１０…情報多重化装置
１１…情報取得部
１２…映像信号取得部
１３…色変換部
１４…変換テーブル記憶部
１５…映像信号出力部
２０…映像伝送システム
３０…情報分離装置
３１…映像信号取得部
３２…情報抽出・色逆変換部
３３…逆変換テーブル記憶部
３４…情報出力部
３５…映像信号出力部 DESCRIPTION OF SYMBOLS 10 ... Information multiplexing apparatus 11 ... Information acquisition part 12 ... Video signal acquisition part 13 ... Color conversion part 14 ... Conversion table memory | storage part 15 ... Video signal output part 20 ... Video transmission system 30 ... Information separation apparatus 31 ... Video signal acquisition part 32 ... Information extraction / color reverse conversion unit 33 ... Reverse conversion table storage unit 34 ... Information output unit 35 ... Video signal output unit

Claims

輝度信号と２つの色差信号で表された色ベクトルが取り得る範囲を第１の範囲としたときに、前記第１の範囲である映像信号であって、前記第１の範囲の一部である第２の範囲が、表示対象の色に対応付けられている映像信号を取得する映像信号取得部と、
情報を取得する情報取得部と、
前記映像信号取得部が取得した映像信号に含まれている色ベクトルのうち、予め決められた第３の範囲に含まれている変換対象色ベクトルを、前記情報取得部が取得した情報に応じた色ベクトルに変換する色変換部と
を具備し、
前記色変換部によって変換された色ベクトルは、前記第１の範囲のうち、前記第２の範囲に含まれていない範囲内の色ベクトルと、前記変換対象色ベクトルとのうちのいずれかであり、
前記第３の範囲に含まれる全ての色ベクトルは、前記第２の範囲の端に位置すること
を特徴とする情報多重化装置。 The video signal that is the first range when the range that the color vector represented by the luminance signal and the two color difference signals can take is the first range, and is a part of the first range. A video signal acquisition unit that acquires a video signal in which the second range is associated with a color to be displayed;
An information acquisition unit for acquiring information;
Of the color vectors included in the video signal acquired by the video signal acquisition unit, the conversion target color vector included in the predetermined third range is determined according to the information acquired by the information acquisition unit. A color conversion unit for converting to a color vector,
The color vector converted by the color conversion unit is one of a color vector in a range not included in the second range in the first range and the conversion target color vector. The
All the color vectors contained in the said 3rd range are located in the end of the said 2nd range, The information multiplexing apparatus characterized by the above-mentioned .

前記色変換部によって変換された色ベクトルは、前記変換対象色ベクトルとの距離が、前記第３の範囲に含まれる前記変換対象色ベクトル以外のベクトルとの距離よりも、小さいことを特徴とする請求項１に記載の情報多重化装置。 The color vector converted by the color conversion unit has a distance from the conversion target color vector smaller than a distance from a vector other than the conversion target color vector included in the third range. The information multiplexing apparatus according to claim 1 .

輝度信号と２つの色差信号で表された色ベクトルが取り得る範囲を第１の範囲としたときに、前記第１の範囲である映像信号を取得する映像信号取得部と、
前記映像信号取得部が取得した映像信号に含まれている色ベクトルのうち、予め決められた所定の範囲に含まれている変換済み色ベクトルを、表示対象の色の変換先色ベクトルに変換するとともに、前記変換済み色ベクトルが表す情報を抽出する情報抽出・色逆変換部と
を具備し、
前記情報抽出・色逆変換部は、前記変換済み色ベクトルが、前記所定の範囲の内のどの位置に在るかによって前記情報を決定し、
前記変換済み色ベクトルは、前記第１の範囲の一部であり、かつ、表示対象の色に対応付けられている第２の範囲の端に位置すること
を特徴とする情報分離装置。 A video signal acquisition unit that acquires a video signal that is the first range when the range that the color vector represented by the luminance signal and the two color difference signals can take is the first range;
Among the color vectors included in the video signal acquired by the video signal acquisition unit, the converted color vector included in a predetermined range is converted into a conversion destination color vector of the color to be displayed. And an information extraction / color reverse conversion unit for extracting information represented by the converted color vector,
The information extraction / color reverse conversion unit determines the information depending on where the converted color vector is in the predetermined range ,
The information separation apparatus , wherein the converted color vector is a part of the first range and is located at an end of a second range associated with a color to be displayed .

前記変換済み色ベクトルは、前記変換先色ベクトルとの距離が、変換先色ベクトルになり得る他の色ベクトルとの距離よりも、小さいことを特徴とする請求項３に記載の情報分離装置。 The information separation apparatus according to claim 3 , wherein the converted color vector is smaller in distance from the conversion destination color vector than a distance from another color vector that can be the conversion destination color vector .

コンピュータを、請求項１または請求項２に記載の情報多重化装置として機能させるためのプログラム。 A program for causing a computer to function as the information multiplexing apparatus according to claim 1 or 2 .

コンピュータを、請求項３または請求項４に記載の情報分離装置として機能させるためのプログラム。 A program for causing a computer to function as the information separation device according to claim 3 or 4 .