WO2021101170A1 - 클라이언트측 포렌식 워터마크 장치, 시스템 및 방법 - Google Patents

클라이언트측 포렌식 워터마크 장치, 시스템 및 방법 Download PDF

Info

Publication number
WO2021101170A1
WO2021101170A1 PCT/KR2020/015908 KR2020015908W WO2021101170A1 WO 2021101170 A1 WO2021101170 A1 WO 2021101170A1 KR 2020015908 W KR2020015908 W KR 2020015908W WO 2021101170 A1 WO2021101170 A1 WO 2021101170A1
Authority
WO
WIPO (PCT)
Prior art keywords
watermark
mask
content
unit
frame
Prior art date
Application number
PCT/KR2020/015908
Other languages
English (en)
French (fr)
Inventor
박병선
박상호
윤성주
Original Assignee
(주)잉카엔트웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)잉카엔트웍스 filed Critical (주)잉카엔트웍스
Priority to CN202080042248.8A priority Critical patent/CN113940090B/zh
Priority to US17/614,944 priority patent/US11812118B2/en
Priority to JP2021571406A priority patent/JP7362154B2/ja
Priority to EP20889979.9A priority patent/EP4064716A4/en
Publication of WO2021101170A1 publication Critical patent/WO2021101170A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0085—Time domain based watermarking, e.g. watermarks spread over several images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0063—Image watermarking in relation to collusion attacks, e.g. collusion attack resistant

Definitions

  • the present invention relates to a client-side forensic watermark apparatus, system, and method, and to a client-side forensic watermark apparatus, system, and method capable of displaying a forensic watermark on a client side by using a watermark mask.
  • the approach to embedding a forensic watermark on the server side has disadvantages that not only require a lot of server resources, but also have poor real-time response. Therefore, in order to embed a forensic watermark on the server side, it is necessary to overcome the difficulty of embedding user information in real time. To overcome this difficulty, after creating a 0 content file with watermark 0 embedded in the video content and a 1 content file embedding watermark 1 in video content through a pre-processing process, pre-processing in real time based on user information A method of embedding a forensic watermark by combining 0 content files and 1 content files generated in is used. However, this method has a fatal disadvantage in that a plurality of users can easily disable the forensic watermark by mixing some sections of their own content. For example, two users could mix sections of downloaded content to create completely different content files, neutralizing the information embedded by the service provider.
  • an object of the present invention is to provide a client-side forensic watermark apparatus, system, and method capable of displaying a forensic watermark on the client side using a watermark mask.
  • selecting a watermark mask area to display a watermark mask from image content and storing watermark area information on the watermark mask area in a storage unit includes: a downloading unit that requests the video content to be played back from the content server and receives the video content and the watermark area information from the content server; A watermark mask generator configured to output the watermark mask using the watermark area information input from the downloading unit; And an overlapping unit overlapping the watermark mask input from the watermark mask generator on the watermark mask area of the image content input from the downloading unit.
  • the downloading unit may further receive a client section ID from the content server, and the watermark mask generation unit may generate and output the watermark mask using the client section ID input from the downloading unit.
  • the watermark mask generation unit may generate a mask frame including the watermark mask, and the overlapping unit may generate the watermark on an image frame including the watermark mask area among the image contents input from the downloading unit.
  • the mask frames input from the mask generator may be overlapped.
  • the mask frame is divided into a background and a foreground, and an alpha value indicating a degree of transparency for invisibility may be differently applied to the background and the foreground.
  • the watermark mask generator may extract a luminance value from the watermark area information and, if the luminance value is a dark value based on a predetermined threshold value, may select a dark alpha value as the background.
  • the forensic watermark apparatus may further include a synchronization management unit for synchronizing the mask frame with the image frame so that the mask frame is superimposed on an image frame including the watermark mask area among the image contents.
  • the synchronization management unit may synchronize the image frame including the watermark mask area to overlap the mask frame with the image frame during the overlapping duration when an overlapping duration indicating that there is no change in a continuous image frame is received. have.
  • the forensic watermark apparatus in relation to the watermark mask, whether the client section ID received from the content server is valid, whether the synchronization management unit is operating based on the overlap duration, or whether the operation of the overlapping unit is It may further include an attack defense unit that is removed and monitors whether only the video content is displayed.
  • a forensic watermark system includes: a content server configured to select a watermark mask area to display a watermark mask from image content and store watermark area information on the watermark mask area; And the forensic watermark device described above, wherein the content server receives client metadata along with a request for the video content to be played back from the downloading unit, the content server capable of specifying a client of the video content By generating a client section ID and storing the client section ID together with the client metadata in the storage unit, the above object can be achieved.
  • the content server may analyze blocks of a predetermined frame among GOP contents of the image content and store location information on blocks for displaying the watermark mask as the watermark area information.
  • a forensic watermark method performed by a capable forensic watermark device may include: requesting the video content to be played back from the content server, and receiving the video content and the watermark area information from the content server; Outputting the watermark mask using the watermark area information received in the receiving step; And overlapping the watermark mask output in the outputting step on the watermark mask region of the image content received in the receiving step, thereby achieving the above object.
  • the present invention can respond to a collusion attack by displaying a forensic watermark on the client side.
  • the present invention can also display a forensic watermark even when hardware Digital Rights Management (DRM) is applied to video content.
  • DRM Digital Rights Management
  • FIG. 1 is a block diagram illustrating a forensic watermark apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of blocks selected by the block analysis unit of FIG. 1.
  • FIG. 3 is a diagram illustrating an example of a watermark mask frame generated by the watermark mask generator of FIG. 1.
  • FIG. 4 is a diagram illustrating an example of an overlapping duration managed by the synchronization management unit of FIG. 1.
  • FIG. 5 is a diagram illustrating an example of an image superimposed on the content overlapping unit of FIG. 1.
  • FIG. 6 is a flowchart illustrating a forensic watermark method according to another embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating a client-side forensic watermark system according to an embodiment of the present invention
  • FIG. 2 is a diagram illustrating an example of blocks selected by the block analysis unit of FIG. 1
  • FIG. 3 is
  • FIG. 4 is a diagram illustrating an example of a watermark mask frame generated by the watermark mask generator of FIG. 1
  • FIG. 4 is a diagram illustrating an example of an overlapping duration managed by the synchronization management unit of FIG. 1
  • FIG. Is a diagram illustrating an example of an image superimposed on a content overlapping unit of.
  • the forensic watermark system includes a content server 110 and a forensic watermark device 120.
  • the content server 110 may include a frame extraction unit 112, a block analysis unit 114, a content storage unit 116, and a database storage unit 118.
  • the frame extraction unit 112 extracts an intra frame from the video content.
  • the video content may include a plurality of GOPs (Group Of Pictures).
  • the GOP includes an intra frame (I frame), which is an intra-frame coded image, a prediction frame (P frame), which is an encoded image for inter-frame forward prediction, and a bidirectional prediction frame (B frame), which is a bidirectional predictive coded image.
  • One GOP may be composed of I, B, B, P, B, B, P, B, B, P, B, B, P, B, B, P, B, B, B, B.
  • only an intra frame is used as an example of the frame extracted by the frame extracting unit 114, and the prediction frame (P frame) and the bidirectional prediction frame (B frame) are not excluded.
  • the block analysis unit 114 receives the intra frame extracted and output from the frame extraction unit 112 as an input, analyzes blocks capable of expressing complete watermark information, and displays a watermark mask in the forensic watermark device 120. You can choose a frame. In this case, it is possible to analyze and select whether there are blocks capable of expressing all of the payload in one frame.
  • the block analysis unit 114 selects a block having a predetermined size or less, that is, the smallest block of the encoded image, from the intra frame of the encoded image.
  • the block analysis unit 114 may select, for example, a luminance signal of a 4 ⁇ 4 prediction block in an intra frame. Accordingly, a block encoded as a block larger than a predetermined size in the intra frame is excluded from the block candidate group for embedding watermark information.
  • the reason for excluding a block encoded with a block larger than a predetermined size from the candidate group is that the image of these blocks is close to a smooth image, and thus, if a watermark is embedded in such a block, it is highly likely to be noticeable.
  • this block may be considered close to the flattened image, and 16 X 16 in the AVC standard, when one of the blocks of 8 X 16 and 16 X 8 is encoded, this block may be considered to be close to the flattened image.
  • the block analysis unit 114 selects a macroblock composed of only blocks of a predetermined size or less. For example, in the case of the AVC standard, the block analysis unit 114 may select a 16 ⁇ 16 macroblock composed of only 4 ⁇ 4 subblocks selected from an intra frame of an encoded image.
  • the block analysis unit 114 checks whether the number of nonzero quantized coefficients (NNZ) among the quantization coefficients of the selected macroblock is greater than a predetermined number Nt. If the number of NNZs is greater than the predetermined number Nt, the block analysis unit 114 selects the corresponding blocks as blocks in which watermark information can be embedded. If the NNZ is small, a lot of original information of the corresponding macroblock is lost during the video decoding process, and thus synchronization errors may increase. Therefore, it is important to set a predetermined number (Nt) in consideration of these.
  • the block analysis unit 114 selects a frame in which watermark information is to be displayed if the number of macroblocks in which watermark information can be embedded is a predetermined number of payloads, for example, 64 or more.
  • An example of blocks according to a result of analysis by the block analysis unit 114 is shown in FIG. 2.
  • the intra frame (Frame-1) of the first GOP and the intra frame (Frame-3) of the first GOP are displayed by the forensic watermark device 120. It was chosen as a frame.
  • a temporal flicker may occur in an image in which the watermark mask is superimposed in the forensic watermark apparatus 120.
  • the block analysis unit 114 may determine final macroblocks in which the watermark mask is to be displayed by calculating a pseudo motion vector to prevent or reduce such temporal flicker.
  • the block analysis unit 114 stores frame information (Frame Number) and location information (Block-Location) of blocks within the frame in the database storage unit 118. Meanwhile, the block analysis unit may store luminance information of the final macroblocks on which the watermark mask is to be displayed.
  • the content storage unit 116 may store content that is exactly the same as the video content, and depending on the device, the content including information on whether the watermark mask is to be displayed later in the sequence header may be stored, but the video frame itself Since there is no variation in the present invention, all of these contents are unified and used as video contents.
  • the database storage unit 118 frame information selected by the block analysis unit 114, location information of blocks within the frame, and luminance information are stored as watermark area information. This watermark area information is later transmitted to the forensic watermark device 120 to display the forensic watermark information.
  • a database storage unit At 118 this client section ID is also stored along with the client metadata.
  • the forensic watermark device 120 includes a downloading unit 122, a watermark mask generation unit 124, a synchronization management unit 126, an overlap unit 128, a display unit 130, and an attack defense unit 132. can do.
  • the downloading unit 122 requests the content to be viewed from the content server 110, and manages and plays the downloaded content.
  • the downloading unit 122 receives not only video content from the content server 110, but also a client section ID (Client-Session-ID), watermark area information, and an overlap duration (Overlay-Duration).
  • the watermark mask generation unit 124 receives the client section ID and watermark area information from the downloading unit 122.
  • the watermark mask generator 124 generates a watermark mask using the client section ID and provides a watermark mask to blocks of the mask frame using the watermark area information.
  • FIG. 1 it is described that the watermark mask is generated by the forensic watermark device 120, but the watermark mask can also be received from the content server 110.
  • the watermark mask is superimposed on the image content in a translucent form. Therefore, the watermark mask cannot be visually identified.
  • An example of a watermark mask frame generated by the watermark mask generator 124 is shown in FIG. 3.
  • the watermark mask may be displayed as ABC in the mask frame.
  • a watermark can be displayed with an alpha indicating the degree of transparency, with a full transparency of 0.0 and a complete opacity of 1.0.
  • such an alpha is displayed, for example, 1 Background: Black Alpha 0.0 and Foreground: White Alpha 0.1, 2 Background: Black Alpha 0.1 and Foreground: White Alpha 0.0, 3 Background: White Alpha 0.0 and foreground: Black Alpha 0.1, 4 Background: White Alpha 0.1 and foreground: Black Alpha 0.0 were used.
  • These alpha values can be selected using luminance information included in the watermark area information.
  • the alpha values of the embodiment are examples and may be changed according to luminance information.
  • the synchronization management unit 126 synchronizes the content frame and the mask frame so that the watermark mask is superimposed on an appropriate time point of the image content.
  • One watermark mask may overlap over one or more frames.
  • An example of the overlapping duration managed by the synchronization management unit 126 is shown in FIG. 4. As shown in FIG. 4, a watermark mask 1 (Overlay-Mask-1) may be overlapped over three frames, and a watermark 2 (Overlay-Mask-2) may be overlapped only in one frame.
  • the watermark mask 1 (Overlay-Mask-1) is superimposed over three frames, which is, for example, displaying the watermark mask 1 in two consecutive frames following the I frame in the GOP of the video.
  • I can. In this case, it may mean that there is no temporal change in the scenes of two consecutive frames following the I frame, and this information can be obtained from GOP header information of the content.
  • the overlapping unit 128 overlaps the mask frame on the content frame to be reproduced.
  • An example of an image superimposed by the content overlapping unit 128 is shown in FIG. 5. If necessary, the overlapping unit 128 may overlap by changing the density of the mask frame in consideration of the color and density of the content frame.
  • the display unit 130 displays a video superimposed by the overlapping unit 128.
  • the watermark mask cannot be recognized by the naked eye in the video displayed on the display unit 130.
  • the attack defense unit 132 monitors whether there is an external attack that removes the watermark mask.
  • the attack defense unit 132 monitors whether the watermark area information and the client section ID provided to the overlap generation unit are valid, and monitors whether the synchronization management unit 126 is operating based on the watermark area information and the overlap duration information. do.
  • the attack defense unit 132 also monitors whether the operation of the overlapping unit 128 is removed and only video content is displayed on the display unit 130. When an external attack is detected during monitoring, playback is stopped so that the video content is not displayed on the display unit 130.
  • FIG. 6 is a flowchart illustrating a forensic watermark method according to another embodiment of the present invention.
  • the frame extracting unit 112 extracts a predetermined frame, for example, an intra frame from the video content (S602).
  • the block analysis unit 114 receives the intra frame extracted and output from the frame extraction unit 112 as an input, analyzes blocks capable of expressing complete watermark information, and displays a watermark mask in the forensic watermark device 120. A frame is selected (S604).
  • the block analysis unit 114 stores frame information (Frame Number) and location information (Block-Location) of blocks within the frame in a database storage unit (S606). Meanwhile, the block analysis unit may further store luminance information of macroblocks on which the watermark mask is to be displayed.
  • the content storage unit 116 stores original content, that is, content that is exactly the same as the video content (S608). Depending on the content server 110, content including information on whether or not the watermark mask will be displayed later may be stored in the sequence header. Uniformly used as content.
  • a database storage unit This client section ID is stored together with the client metadata in 118 (S610).
  • the downloading unit 122 receives video content and watermark area information from the content server 110 (S612). In addition to the watermark area information, the downloading unit 122 may further receive a client section ID (Client-Session-ID) and an overlap duration (Overlay-Duration).
  • Client-Session-ID client section ID
  • Overlay-Duration overlap duration
  • the watermark mask generation unit 124 receives the client section ID and watermark area information from the downloading unit 122.
  • the watermark mask generator 124 generates a watermark mask using the client section ID, and outputs a mask frame by providing a watermark mask to blocks of the mask frame using the watermark area information (S614).
  • the synchronization management unit 126 synchronizes the content frame and the mask frame so that the watermark mask overlaps the appropriate time point of the image content (S616).
  • One watermark mask may overlap over one or more frames.
  • the overlapping unit 128 overlaps the mask frame on the reproduced content frame (S618).
  • An example of an image superimposed by the content overlapping unit 128 is shown in FIG. 5. If necessary, the overlapping unit 128 may overlap by changing the density of the mask frame in consideration of the color and density of the content frame.
  • the display unit 130 displays the video superimposed by the overlapping unit 128 (S620). In this case, the watermark mask cannot be recognized by the naked eye in the video displayed on the display unit 130.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명은 클라이언트측 포렌식 워터마크 장치, 시스템 및 방법에 관한 것으로, 본 발명에 따른 영상 콘텐츠로부터 워터마크 마스크를 표시할 워터마크 마스크 영역을 선정하고 워터마크 마스크 영역에 대한 워터마크 영역 정보를 저장부에 저장하는 콘텐츠 서버와 통신할 수 있는 포렌식 워터마크 장치는, 콘텐츠 서버에 재생하고자 하는 영상 콘텐츠를 요청하고, 콘텐츠 서버로부터 영상 콘텐츠 및 워터마크 영역 정보를 수신하는 다운로딩부; 다운로딩부로부터 입력된 워터마크 영역 정보를 이용하여 워터마크 마스크를 출력하는 워터마크 마스크 생성부; 및 다운로딩부로부터 입력된 영상 콘텐츠의 워터마크 마스크 영역에 워터마크 마스크 생성부로부터 입력된 워터마크 마스크를 중첩하는 중첩부를 제공함으로써, 클라이언트측에서 포렌식 워터마크를 표시하여 공모 공격에 대응할 수 있다.

Description

클라이언트측 포렌식 워터마크 장치, 시스템 및 방법
본 발명은 클라이언트측 포렌식 워터마크 장치, 시스템 및 방법에 관한 것으로, 워터마크 마스크를 이용하여 클라이언트측에서 포렌식 워터마크를 표시할 수 있는 클라이언트측 포렌식 워터마크 장치, 시스템 및 방법에 관한 것이다.
서버측에서 포렌식 워터마크를 임베딩하는 접근 방식은 서버 리소스가 많이 필요할뿐만 아니라 실시간 응답성이 떨어지는 단점이 있다. 따라서 서버측에서 포렌식 워터마크를 임베딩하기 위해서는 실시간으로 사용자 정보를 임베딩해야 하는 어려움을 극복해야 한다. 이러한 어려움을 극복하기 위해, 전처리 과정을 통해 영상 콘텐츠에 워터마크 0을 임베딩한 0 콘텐츠 파일과 영상 콘텐츠에 워터마크 1을 임베딩한 1 콘텐츠 파일을 생성한 후에, 사용자 정보에 근거하여 실시간으로 전처리 과정에서 생성된 0 콘텐츠 파일과 1 콘텐츠 파일을 조합하여 포렌식 워터마크를 임베딩하는 방식이 사용되고 있다. 하지만, 이 방식은 복수의 사용자가 각자가 자신이 가진 콘텐츠의 일부 구간을 섞어 쉽게 포렌식 워터마크를 무력화할 수 있는 치명적인 단점이 있다. 예를 들면, 두 명의 사용자가 각자 내려받은 콘텐츠 섹션들을 섞여서 완전히 다른 콘텐츠 파일을 만들어 서비스 제공자가 임베딩한 정보를 무력화할 수 있다.
또한, 영상 콘텐츠에 하드웨어 DRM(Digital Rights Management)이 적용되어 있는 경우 영상을 조작하는 방식으로 워터마크를 임베딩할 수 없다. 따라서 하드웨어 DRM이 적용되어 있는 영상 콘텐츠에도 임베딩 가능한 포렌식 워터마크 표현 방법이 요구된다.
상술한 문제점을 해결하기 위해, 본 발명은 워터마크 마스크를 이용하여 클라이언트측에서 포렌식 워터마크를 표시할 수 있는 클라이언트측 포렌식 워터마크 장치, 시스템 및 방법을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위해, 본 발명의 일 실시예에 따른, 영상 콘텐츠로부터 워터마크 마스크를 표시할 워터마크 마스크 영역을 선정하고 상기 워터마크 마스크 영역에 대한 워터마크 영역 정보를 저장부에 저장하는 콘텐츠 서버와 통신할 수 있는 포렌식 워터마크 장치는, 상기 콘텐츠 서버에 재생하고자 하는 상기 영상 콘텐츠를 요청하고, 상기 콘텐츠 서버로부터 상기 영상 콘텐츠 및 상기 워터마크 영역 정보를 수신하는 다운로딩부; 상기 다운로딩부로부터 입력된 상기 워터마크 영역 정보를 이용하여 상기 워터마크 마스크를 출력하는 워터마크 마스크 생성부; 및 상기 다운로딩부로부터 입력된 상기 영상 콘텐츠의 상기 워터마크 마스크 영역에 상기 워터마크 마스크 생성부로부터 입력된 상기 워터마크 마스크를 중첩하는 중첩부를 포함할 수 있다.
상기 다운로딩부는 상기 콘텐츠 서버로부터 클라이언트 섹션 ID를 더 수신할 수 있고, 상기 워터마크 마스크 생성부는 상기 다운로딩부로부터 입력된 상기 클라이언트 섹션 ID를 이용하여 상기 워터마크 마스크를 생성하여 출력할 수 있다.
상기 워터마크 마스크 생성부는 상기 워터마크 마스크를 포함하는 마스크 프레임을 생성할 수 있고, 상기 중첩부는 상기 다운로딩부로부터 입력된 상기 영상 콘텐츠 중 상기 워터마크 마스크 영역을 포함하는 영상 프레임 상에 상기 워터마크 마스크 생성부로부터 입력된 상기 마스크 프레임을 중첩할 수 있다.
상기 마스크 프레임은 배경과 전경으로 구분되고 비가시성을 위해 투명한 정도를 나타내는 알파 값을 상기 배경과 상기 전경에 다르게 부여할 수 있다.
상기 워터마크 마스크 생성부는 상기 워터마크 영역 정보로부터 휘도 값을 추출하고 상기 휘도 값이 소정의 임계값을 기준으로 어두운 값이면, 상기 배경으로 어두운 알파 값을 선택할 수 있다.
상기 포렌식 워터마크 장치는 상기 마스크 프레임이 상기 영상 콘텐츠 중 상기 워터마크 마스크 영역을 포함하는 영상 프레임 상에 중첩되도록 상기 영상 프레임에 상기 마스크 프레임을 동기화시키는 동기 관리부를 더 포함할 수 있다.
상기 동기 관리부는 상기 워터마크 마스크 영역을 포함하는 영상 프레임에 연속하는 영상 프레임에 변화가 없음을 나타내는 중첩 지속구간이 수신되면, 상기 중첩 지속구간 동안 상기 영상 프레임에 상기 마스크 프레임을 중첩하도록 동기화시킬 수 있다.
상기 포렌식 워터마크 장치는, 상기 워터마크 마스크와 관련하여, 상기 콘텐츠 서버로부터 수신된 상기 클라이언트 섹션 ID가 유효한지, 상기 동기 관리부가 상기 중첩 지속기간에 근거하여 동작하고 있는지, 또는 상기 중첩부의 동작이 제거되고 상기 영상 콘텐츠만 표시되는지를 모니터링하는 공격 방어부를 더 포함할 수 있다.
본 발명의 또 하나의 실시예에 따른 포렌식 워터마크 시스템은, 영상 콘텐츠로부터 워터마크 마스크를 표시할 워터마크 마스크 영역을 선정하고 상기 워터마크 마스크 영역에 대한 워터마크 영역 정보를 저장하는 콘텐츠 서버; 및 상술한 포렌식 워터마크 장치를 포함할 수 있고, 상기 콘텐츠 서버는 상기 다운로딩부로부터 재생하고자 하는 상기 영상 콘텐츠의 요청과 함께 클라이언트 메타데이터를 수신하면, 상기 영상 콘텐츠의 클라이언트를 특정할 수 있는 상기 클라이언트 섹션 ID를 생성하고 상기 클라이언트 메타데이터와 함께 상기 클라이언트 섹션 ID를 상기 저장부에 저장함으로써, 상술한 목적을 달성할 수 있다.
상기 콘텐츠 서버는 상기 영상 콘텐츠의 GOP 콘텐츠 중 소정의 프레임의 블록들을 분석하여 상기 워터마크 마스크를 표시할 블록들에 대한 위치 정보를 상기 워터마크 영역 정보로 저장할 수 있다.
본 발명의 다른 또 하나의 실시예에 따른, 영상 콘텐츠로부터 워터마크 마스크를 표시할 워터마크 마스크 영역을 선정하고 상기 워터마크 마스크 영역에 대한 워터마크 영역 정보를 저장부에 저장하는 콘텐츠 서버와 통신할 수 있는 포렌식 워터마크 장치에 의해 수행되는 포렌식 워터마크 방법은, 상기 콘텐츠 서버에 재생하고자 하는 상기 영상 콘텐츠를 요청하고, 상기 콘텐츠 서버로부터 상기 영상 콘텐츠 및 상기 워터마크 영역 정보를 수신하는 단계; 상기 수신하는 단계에서 수신한 상기 워터마크 영역 정보를 이용하여 상기 워터마크 마스크를 출력하는 단계; 및 상기 수신하는 단계에서 수신된 상기 영상 콘텐츠의 상기 워터마크 마스크 영역에 상기 출력하는 단계에서 출력된 상기 워터마크 마스크를 중첩하는 단계를 포함함으로써, 상술한 목적을 달성할 수 있다.
상술한 구성에 의해, 본 발명은 클라이언트측에서 포렌식 워터마크를 표시함으로써 공모 공격에 대응할 수 있다.
본 발명은 또한, 영상 콘텐츠에 하드웨어 DRM(Digital Rights Management)이 적용되어 있는 경우에도 포렌식 워터마크를 표시할 수 있다.
도 1은 본 발명의 일 실시예에 따른 포렌식 워터마크 장치를 도시하는 블록도이다.
도 2는 도 1의 블록 분석부에서 선택된 블록들의 일 예를 도시하는 도면이다.
도 3은 도 1의 워터마크 마스크 생성부에 생성된 워터마크 마스크 프레임의 일 예를 도시하는 도면이다.
도 4는 도 1의 동기 관리부에서 관리되는 중첩 지속구간의 일 예를 도시하는 도면이다.
도 5는 도 1의 콘텐츠 중첩부에서 중첩된 영상의 일 예를 도시하는 도면이다.
도 6은 본 발명의 또 하나의 실시예에 따른 포렌식 워터마크 방법을 도시하는 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 클라이언트측 포렌식 워터마크 장치, 시스템 및 방법의 바람직한 실시예를 설명한다. 참고로, 아래에서 본 발명을 설명함에 있어서, 본 발명의 구성요소를 지칭하는 용어들은 각각의 구성 요소들의 기능을 고려하여 명명된 것이므로, 본 발명의 기술적 구성요소를 한정하는 의미로 이해되어서는 안 될 것이다.
도 1은 본 발명의 일 실시예에 따른 클라이언트측 포렌식 워터마크 시스템을 도시하는 블록도이고, 도 2는 도 1의 블록 분석부에서 선택된 블록들의 일 예를 도시하는 도면이고, 도 3은 도 1의 워터마크 마스크 생성부에 생성된 워터마크 마스크 프레임의 일 예를 도시하는 도면이고, 도 4는 도 1의 동기 관리부에서 관리되는 중첩 지속구간의 일 예를 도시하는 도면이고, 도 5는 도 1의 콘텐츠 중첩부에서 중첩된 영상의 일 예를 도시하는 도면이다.
도 1에 도시된 바와 같이, 포렌식 워터마크 시스템은 콘텐츠 서버(110) 및 포렌식 워터마크 장치(120)를 포함한다.
콘텐츠 서버(110)는 프레임 추출부(112), 블록 분석부(114), 콘텐츠 저장부(116) 및 데이터베이스 저장부(118)를 포함할 수 있다.
프레임 추출부(112)는 영상 콘텐츠로부터 인트라 프레임을 추출한다. 영상 콘텐츠는 복수의 GOP(Group Of Pictures)를 포함할 수 있다. 여기서 GOP는 프레임 내 부호화 영상인 인트라 프레임(I frame), 프레임 간 순방향 예측의 부호화 영상인 예측 프레임(P frame), 및 양방향 예측 부호화 영상인 양방향 예측 프레임(B frame)을 포함하며, 예를 들어 하나의 GOP는 I, B, B, P, B, B, P, B, B, P, B, B, P, B, B으로 구성될 수 있다. 여기서 프레임 추출부(114)가 추출하는 프레임의 예시로 인트라 프레임이 사용되었을 뿐이며, 예측 프레임(P frame)과 양방향 예측 프레임(B frame)을 배제하는 것이 아니다.
블록 분석부(114)는 프레임 추출부(112)에서 추출되어 출력된 인트라 프레임을 입력으로 받아 온전한 워터마크 정보를 표현할 수 있는 블록들을 분석하여 포렌식 워터마크 장치(120)에서 워터마크 마스크가 표시될 프레임을 선택할 수 있다. 이 경우, 하나의 프레임 내에 페이로드 모두를 표현할 수 있는 블록들이 있는지를 분석하여 선택할 수 있다.
블록 분석부(114)는 부호화된 영상의 인트라 프레임에서 소정 크기 이하의 블록, 즉 부호화된 영상의 가장 작은 블록을 선택한다. 블록 분석부(114)는 예를 들어, 인트라 프레임에서 4 X 4의 예측 블록의 휘도(luminance) 신호를 선택할 수 있다. 이에 의해, 인트라 프레임에서 소정 크기보다 큰 블록으로 부호화된 블록은 워터마크 정보를 임베딩할 블록 후보군에서 제외된다. 소정 크기보다 큰 블록으로 부호화된 블록을 후보군에서 제외하는 이유는 이들 블록의 영상이 평탄한(smooth) 영상에 가까우므로 이러한 블록에 워터마크가 임베딩될 경우 눈에 띌 가능성이 크기 때문이다. 그러므로 HEVC 규격에서 32 X 32, 32 X 16, 16 X 32 및 16 X 16의 블록들 중 어느 하나로 부호화되어 있는 경우, 이 블록은 평탄화 영상에 가까운 것으로 고려될 수 있고, AVC 규격에서 16 X 16, 8 X 16 및 16 X 8의 블록들 중 어느 하나로 부호화되어 있는 경우, 이 블록은 평탄화 영상에 가까운 것으로 고려될 수 있다.
블록 분석부(114)는 소정 크기 이하의 블록들만으로 구성된 매크로블록을 선택한다. 블록 분석부(114)는 예를 들어, AVC 규격의 경우 부호화된 영상의 인트라 프레임에서 선택된 4 X 4의 서브블록으로만 구성된 16 X 16의 매크로블록을 선택할 수 있다.
블록 분석부(114)는 선택된 매크로블록의 양자화 계수들 중에서 영이 아닌 양자화 계수들(nonzero quantized coefficients: NNZ)의 수가 소정의 개수(Nt)보다 더 큰 지를 확인한다. NNZ의 수가 소정의 개수(Nt)보다 더 크면, 블록 분석부(114)는 해당 블록들을 워터마크 정보가 임베딩 가능한 블록들로 선택한다. NNZ가 작은 경우에는 영상 복호화 과정에서 해당 매크로블록의 원래의 정보를 많이 잃어버리게 되어 동기화 에러가 커질 수 있는바, 이들을 고려하여 소정의 개수(Nt)를 설정하는 것이 중요하다.
블록 분석부(114)는 워터마크 정보를 임베딩할 수 있는 매크로블록들의 수가 워터마크 정보를 페이로드할 수의 소정 개수, 예를 들어 64개 이상이면, 워터마크 정보가 표시될 프레임으로 선택한다. 블록 분석부(114)에서 분석한 결과에 따른 블록들의 일 예가 도 2에 도시되어 있다. 도 2에서 프레임들이 각각 인트라 프레임에 해당한다면, 제1 GOP의 인트라 프레임(Frame-1) 및 제1 GOP의 인트라 프레임(Frame-3)이 포렌식 워터마크 장치(120)에서 워터마크 마스크가 표시될 프레임으로 선택된 것이다.
한편, 포렌식 워터마크 장치(120)에서 워터마크 마스크가 중첩된 영상은 시간적 플리커(temporal flicker)가 발생할 수 있다. 블록 분석부(114)는 이러한 시간적 플리커를 방지하거나 감소시키기 위해 의사 움직임 벡터(pseudo motion vector)를 계산하여 워터마크 마스크가 표시될 최종 매크로블록들을 결정할 수 있다.
블록 분석부(114)는 워터마크 마스크가 표시될 최종 매크로블록들이 결정되면, 프레임 정보(Frame Number) 및 프레임 내의 블록들의 위치 정보(Block-Location)를 데이터베이스 저장부(118)에 저장한다. 한편, 블록 분석부는 워터마크 마스크가 표시될 최종 매크로블록들의 휘도 정보를 저장할 수 있다.
콘텐츠 저장부(116)는 영상 콘텐츠와 완전히 동일한 콘텐츠가 저장될 수 있으며, 장치에 따라서는 시퀀스 헤더에 나중에 워터마크 마스크가 표시될 프레임인지에 대한 정보가 포함된 콘텐츠가 저장될 수 있지만 동영상 프레임 자체에 변형이 있는 것이 아니므로 본 발명에서는 이러한 모든 콘텐츠를 영상 콘텐츠로 통일하여 사용한다.
데이터베이스 저장부(118)에는 블록 분석부(114)에서 선택된 프레임 정보와 프레임 내의 블록들의 위치 정보, 그리고 휘도 정보가 워터마크 영역 정보로 저장된다. 이 워터마크 영역 정보는 나중에 포렌식 워터마크 정보를 표시하도록 포렌식 워터마크 장치(120)로 송신된다. 포렌식 워터마크 장치(120)로부터 영상 콘텐츠가 요청되어 콘텐츠 재생 시점에 포렌식 워터마크 장치(120) 또는 사용자 등을 특정할 수 있는 클라이언트 섹션 ID(Client-Session-ID)가 생성된 경우에는 데이터베이스 저장부(118)에 클라이언트 메타데이터와 함께 이 클라이언트 섹션 ID도 저장된다.
포렌식 워터마크 장치(120)는 다운로딩부(122), 워터마크 마스크 생성부(124), 동기 관리부(126), 중첩부(128), 디스플레이부(130) 및 공격 방어부(132)를 포함할 수 있다.
다운로딩부(122)는 콘텐츠 서버(110)에 시청하고자 하는 콘텐츠를 요청하고, 다운로드된 콘텐츠를 관리하고 재생한다. 다운로딩부(122)는 콘텐츠 서버(110)로부터 영상 콘텐츠뿐만 아니라 클라이언트 섹션 ID(Client-Session-ID), 워터마크 영역 정보 및 중첩 지속기간(Overlay-Duration)을 수신한다.
워터마크 마스크 생성부(124)는 다운로딩부(122)로부터 클라이언트 섹션 ID 및 워터마크 영역 정보를 수신한다. 워터마크 마스크 생성부(124)는 클라이언트 섹션 ID를 사용하여 워터마크 마스크를 생성하고 워터마크 영역 정보를 이용하여 마스크 프레임의 블록들에 워터마크 마스크를 제공한다. 도 1에서는 워터마크 마스크가 포렌식 워터마크 장치(120)에서 생성되는 것으로 설명되어 있지만, 워터마크 마스크는 콘텐츠 서버(110)로부터도 수신할 수 있다.
워터마크 마스크는 영상 콘텐츠 위에 반투명 형태로 중첩된다. 따라서 워터마크 마스크는 가시적으로 식별될 수 없다. 워터마크 마스크 생성부(124)에 생성된 워터마크 마스크 프레임의 일 예가 도 3에 도시되어 있다.
도 3에 도시된 바와 같이, 예를 들어 클라이언트 섹션 ID가 ABC인 경우 워터마크 마스크는 마스크 프레임 내에 ABC로 표시될 수 있다. 이 경우 비가시성을 위해 투명한 정도를 나타내는 알파(alpha)로 워터마크를 표시할 수 있는데, 완전 투명은 0.0으로 완전 불투명은 1.0이다. 본 실시예에서는 이러한 알파의 표시로, 예를 들어, ① 배경(Background): Black Alpha 0.0 및 전경(Foreground): White Alpha 0.1, ② 배경: Black Alpha 0.1 및 전경: White Alpha 0.0, ③ 배경: White Alpha 0.0 및 전경: Black Alpha 0.1, ④ 배경: White Alpha 0.1 및 전경: Black Alpha 0.0을 사용하였다. 이러한 알파 값들은 워터마크 영역 정보에 포함된 휘도 정보를 이용하여 선택할 수 있다. 예를 들어 콘텐츠 영상의 휘도가 어두우면 배경은 Black Alpha를 선택하고 휘도 값에 따라 Black Alpha 값을 선택하고, 그리고 콘텐츠 영상의 휘도가 밝으면 배경은 White Alpha를 선택하고 휘도 값에 따라 White Alpha 값을 선택한다. 여기서 실시예의 알파 값들은 예시이며 휘도 정보에 따라 변경될 수 있다.
동기 관리부(126)는 워터마크 마스크가 영상 콘텐츠의 적절한 시점에 중첩되도록 콘텐츠 프레임과 마스크 프레임을 동기화시킨다. 하나의 워터마크 마스크는 1개 이상의 프레임에 걸쳐 중첩될 수 있다. 동기 관리부(126)에서 관리되는 중첩 지속구간의 일 예가 도 4에 도시되어 있다. 도 4에 도시된 바와 같이, 워터마크 마스크 1(Overlay-Mask-1)은 3개의 프레임에 걸쳐 중첩될 수 있으며, 워터마크 2(Overlay-Mask-2)는 1개의 프레임에만 중첩될 수 있다.
도 4에서는 워터마크 마스크 1(Overlay-Mask-1)은 3개의 프레임에 걸쳐 중첩되어 있는데, 이것은 예를 들어 동영상의 GOP에서 I 프레임에 이어 연속된 2개의 프레임에 워터마크 마스크 1을 표시하는 것일 수 있다. 이 경우 I 프레임에 이어 연속된 2개의 프레임의 장면들에는 시간적 변화가 없음을 의미할 수 있으며, 이러한 정보는 콘텐츠의 GOP 헤더 정보 등으로부터 얻을 수 있다,
중첩부(128)는 마스크 프레임을 재생되는 콘텐츠 프레임 상에 중첩한다. 콘텐츠 중첩부(128)에서 중첩된 영상의 일 예가 도 5에 도시되어 있다. 중첩부(128)는 필요하면, 콘텐츠 프레임의 색상 및 농도 등을 고려하여 마스크 프레임의 농도 등을 변형시켜 중첩할 수 있다.
디스플레이부(130)는 중첩부(128)에서 중첩된 동영상을 표시한다. 이 경우 디스플레이부(130)에 표시된 동영상은 육안으로 워터마크 마스크를 인식할 수 없다.
공격 방어부(132)는 워터마크 마스크를 제거하는 외부 공격이 있는지를 모니터링한다. 공격 방어부(132)는 중첩 생성부에 제공되는 워터마크 영역 정보와 클라이언트 섹션 ID가 유효한지를 모니터링하고, 동기 관리부(126)가 워터마크 영역 정보와 중첩 지속기간 정보에 근거하여 동작하고 있는지를 모니터링한다. 공격 방어부(132)는 또한, 중첩부(128)의 동작이 제거되고 디스플레이부(130)에 영상 콘텐츠만이 표시되고 있는지 등을 모니터링한다. 모니터링 동안에 외부 공격이 감지되면, 재생을 정지시켜 디스플레이부(130)에 영상 콘텐츠가 표시되지 않도록 한다.
도 6은 본 발명의 또 하나의 실시예에 따른 포렌식 워터마크 방법을 도시하는 흐름도이다.
프레임 추출부(112)는 영상 콘텐츠로부터 소정의 프레임, 예를 들어 인트라 프레임을 추출한다(S602). 블록 분석부(114)는 프레임 추출부(112)에서 추출되어 출력된 인트라 프레임을 입력으로 받아 온전한 워터마크 정보를 표현할 수 있는 블록들을 분석하여 포렌식 워터마크 장치(120)에서 워터마크 마스크가 표시될 프레임을 선택한다(S604). 블록 분석부(114)는 워터마크 마스크가 표시될 매크로블록들이 결정되면, 프레임 정보(Frame Number) 및 프레임 내의 블록들의 위치 정보(Block-Location)를 데이터베이스 저장부에 저장한다(S606). 한편, 블록 분석부는 워터마크 마스크가 표시될 매크로블록들의 휘도 정보를 더 저장할 수 있다.
콘텐츠 저장부(116)에는 원본 콘텐츠, 즉 영상 콘텐츠와 완전히 동일한 콘텐츠가 저장된다(S608). 콘텐츠 서버(110)에 따라서는 시퀀스 헤더에 나중에 워터마크 마스크가 표시될 프레임인지에 대한 정보가 포함된 콘텐츠가 저장될 수 있지만 영상 프레임 자체에 변형이 있는 것이 아니므로 본 발명에서는 이러한 모든 콘텐츠를 원본 콘텐츠로 통일하여 사용한다.
포렌식 워터마크 장치(120)로부터 영상 콘텐츠가 요청되어 콘텐츠 재생 시점에 포렌식 워터마크 장치(120) 또는 사용자 등을 특정할 수 있는 클라이언트 섹션 ID(Client-Session-ID)가 생성된 경우에는 데이터베이스 저장부(118)에 클라이언트 메타데이터와 함께 이 클라이언트 섹션 ID를 저장한다(S610).
다운로딩부(122)는 콘텐츠 서버(110)로부터 영상 콘텐츠와 워터마크 영역 정보를 수신한다(S612). 다운로딩부(122)는 워터마크 영역 정보 이외에 클라이언트 섹션 ID(Client-Session-ID) 및 중첩 지속기간(Overlay-Duration)을 더 수신할 수 있다.
워터마크 마스크 생성부(124)는 다운로딩부(122)로부터 클라이언트 섹션 ID 및 워터마크 영역 정보를 수신한다. 워터마크 마스크 생성부(124)는 클라이언트 섹션 ID를 사용하여 워터마크 마스크를 생성하고 워터마크 영역 정보를 이용하여 마스크 프레임의 블록들에 워터마크 마스크를 제공하여 마스크 프레임을 출력한다(S614).
동기 관리부(126)는 워터마크 마스크가 영상 콘텐츠의 적절한 시점에 중첩되도록 콘텐츠 프레임과 마스크 프레임을 동기화시킨다(S616). 하나의 워터마크 마스크는 1개 이상의 프레임에 걸쳐 중첩될 수 있다.
중첩부(128)는 마스크 프레임을 재생되는 콘텐츠 프레임 상에 중첩한다(S618). 콘텐츠 중첩부(128)에서 중첩된 영상의 일 예가 도 5에 도시되어 있다. 중첩부(128)는 필요하면, 콘텐츠 프레임의 색상 및 농도 등을 고려하여 마스크 프레임의 농도 등을 변형시켜 중첩할 수 있다.
디스플레이부(130)는 중첩부(128)에서 중첩된 동영상을 표시한다(S620). 이 경우 디스플레이부(130)에 표시된 동영상은 육안으로 워터마크 마스크를 인식할 수 없다.
본 발명의 실시예들에서는 블록들을 분석하여 선택하는 것을 예시로 설명했지만, 경우에 따라서는 고정된 블록들을 선택하여 이용할 수도 있을 것이다.
이상에서 설명된 본 발명의 실시예들은 본 발명의 기술 사상을 예시적으로 보여준 것에 불과하며, 본 발명의 보호 범위는 이하 특허청구범위에 의하여 해석되어야 마땅할 것이다. 또한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형할 수 있을 것인 바, 본 발명과 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (14)

  1. 영상 콘텐츠로부터 워터마크 마스크를 표시할 워터마크 마스크 영역을 선정하고 상기 워터마크 마스크 영역에 대한 워터마크 영역 정보를 저장부에 저장하는 콘텐츠 서버와 통신할 수 있는 포렌식 워터마크 장치에 있어서,
    상기 콘텐츠 서버에 재생하고자 하는 상기 영상 콘텐츠를 요청하고, 상기 콘텐츠 서버로부터 상기 영상 콘텐츠 및 상기 워터마크 영역 정보를 수신하는 다운로딩부;
    상기 다운로딩부로부터 입력된 상기 워터마크 영역 정보를 이용하여 상기 워터마크 마스크를 출력하는 워터마크 마스크 생성부; 및
    상기 다운로딩부로부터 입력된 상기 영상 콘텐츠의 상기 워터마크 마스크 영역에 상기 워터마크 마스크 생성부로부터 입력된 상기 워터마크 마스크를 중첩하는 중첩부를 포함하는 것을 특징으로 하는 포렌식 워터마크 장치.
  2. 제1항에 있어서,
    상기 다운로딩부는 상기 콘텐츠 서버로부터 클라이언트 섹션 ID를 더 수신하고,
    상기 워터마크 마스크 생성부는 상기 다운로딩부로부터 입력된 상기 클라이언트 섹션 ID를 이용하여 상기 워터마크 마스크를 생성하여 출력하는 것을 특징으로 하는 포렌식 워터마크 장치.
  3. 제2항에 있어서,
    상기 워터마크 마스크 생성부는 상기 워터마크 마스크를 포함하는 마스크 프레임을 생성하고,
    상기 중첩부는 상기 다운로딩부로부터 입력된 상기 영상 콘텐츠 중 상기 워터마크 마스크 영역을 포함하는 영상 프레임 상에 상기 워터마크 마스크 생성부로부터 입력된 상기 마스크 프레임을 중첩하는 것을 특징으로 하는 포렌식 워터마크 장치.
  4. 제3항에 있어서,
    상기 마스크 프레임은 배경과 전경으로 구분되고 비가시성을 위해 투명한 정도를 나타내는 알파 값을 상기 배경과 상기 전경에 다르게 부여하는 것을 특징으로 하는 포렌식 워터마크 장치.
  5. 제4항에 있어서,
    상기 워터마크 마스크 생성부는 상기 워터마크 영역 정보로부터 휘도 값을 추출하고 상기 휘도 값이 소정의 임계값을 기준으로 어두운 값이면, 상기 배경으로 어두운 알파 값을 선택하는 것을 특징으로 하는 포렌식 워터마크 장치.
  6. 제3항에 있어서,
    상기 마스크 프레임이 상기 영상 콘텐츠 중 상기 워터마크 마스크 영역을 포함하는 영상 프레임 상에 중첩되도록 상기 영상 프레임에 상기 마스크 프레임을 동기화시키는 동기 관리부를 더 포함하는 것을 특징으로 하는 포렌식 워터마크 장치.
  7. 제6항에 있어서,
    상기 동기 관리부는 상기 워터마크 마스크 영역을 포함하는 영상 프레임에 연속하는 영상 프레임에 변화가 없음을 나타내는 중첩 지속구간이 수신되면, 상기 중첩 지속구간 동안 상기 영상 프레임에 상기 마스크 프레임을 중첩하도록 동기화시키는 것을 특징으로 하는 포렌식 워터마크 장치.
  8. 제7항에 있어서,
    상기 워터마크 마스크와 관련하여, 상기 콘텐츠 서버로부터 수신된 상기 클라이언트 섹션 ID가 유효한지, 상기 동기 관리부가 상기 중첩 지속기간에 근거하여 동작하고 있는지, 또는 상기 중첩부의 동작이 제거되고 상기 영상 콘텐츠만 표시되는지를 모니터링하는 공격 방어부를 더 포함하는 것을 특징으로 하는 포렌식 워터마크 장치.
  9. 포렌식 워터마크 시스템에 있어서,
    영상 콘텐츠로부터 워터마크 마스크를 표시할 워터마크 마스크 영역을 선정하고 상기 워터마크 마스크 영역에 대한 워터마크 영역 정보를 저장하는 콘텐츠 서버; 및
    제1항 내지 제8항 중 어느 한 항에 따른 포렌식 워터마크 장치를 포함하고,
    상기 콘텐츠 서버는 상기 다운로딩부로부터 재생하고자 하는 상기 영상 콘텐츠의 요청과 함께 클라이언트 메타데이터를 수신하면, 상기 영상 콘텐츠의 클라이언트를 특정할 수 있는 상기 클라이언트 섹션 ID를 생성하고 상기 클라이언트 메타데이터와 함께 상기 클라이언트 섹션 ID를 상기 저장부에 저장하는 것을 특징으로 하는 포렌식 워터마크 시스템.
  10. 제9항에 있어서,
    상기 콘텐츠 서버는 상기 영상 콘텐츠의 GOP 콘텐츠 중 소정의 프레임의 블록들을 분석하여 상기 워터마크 마스크를 표시할 블록들에 대한 위치 정보를 상기 워터마크 영역 정보로 저장하는 것을 특징으로 하는 포렌식 워터마크 시스템.
  11. 영상 콘텐츠로부터 워터마크 마스크를 표시할 워터마크 마스크 영역을 선정하고 상기 워터마크 마스크 영역에 대한 워터마크 영역 정보를 저장부에 저장하는 콘텐츠 서버와 통신할 수 있는 포렌식 워터마크 장치에 의해 수행되는 포렌식 워터마크 방법에 있어서,
    상기 콘텐츠 서버에 재생하고자 하는 상기 영상 콘텐츠를 요청하고, 상기 콘텐츠 서버로부터 상기 영상 콘텐츠 및 상기 워터마크 영역 정보를 수신하는 단계;
    상기 수신하는 단계에서 수신한 상기 워터마크 영역 정보를 이용하여 상기 워터마크 마스크를 출력하는 단계; 및
    상기 수신하는 단계에서 수신된 상기 영상 콘텐츠의 상기 워터마크 마스크 영역에 상기 출력하는 단계에서 출력된 상기 워터마크 마스크를 중첩하는 단계를 포함하는 것을 특징으로 하는 포렌식 워터마크 방법.
  12. 제11항에 있어서,
    상기 수신하는 단계는 상기 콘텐츠 서버로부터 클라이언트 섹션 ID를 더 수신하고,
    상기 출력하는 단계는 상기 수신하는 단계에서 수신된 상기 클라이언트 섹션 ID를 이용하여 상기 워터마크 마스크를 생성하여 출력하는 것을 특징으로 하는 포렌식 워터마크 방법.
  13. 제11항 또는 제12항에 있어서,
    상기 생성하는 단계는 상기 워터마크 마스크를 포함하는 마스크 프레임을 생성하는 것을 포함하고,
    상기 중첩하는 단계는 상기 마스크 프레임을 상기 영상 콘텐츠 중 상기 워터마크 마스크 영역을 포함하는 영상 프레임에 동기화시킴으로써 상기 영상 프레임 상에 상기 생성하는 단계에서 생성한 상기 마스크 프레임을 중첩하는 것을 특징으로 하는 포렌식 워터마크 방법.
  14. 제13항에 있어서,
    상기 워터마크 마스크와 관련하여, 상기 콘텐츠 서버로부터 수신된 상기 클라이언트 섹션 ID가 유효한지, 또는 상기 중첩하는 단계의 동작이 제거되고 상기 영상 콘텐츠만 표시되는지를 모니터링하는 단계를 더 포함하는 것을 특징으로 하는 포렌식 워터마크 방법.
PCT/KR2020/015908 2019-11-22 2020-11-12 클라이언트측 포렌식 워터마크 장치, 시스템 및 방법 WO2021101170A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080042248.8A CN113940090B (zh) 2019-11-22 2020-11-12 客户端取证水印装置、***及方法
US17/614,944 US11812118B2 (en) 2019-11-22 2020-11-12 Client forensic watermarking device, system, and method
JP2021571406A JP7362154B2 (ja) 2019-11-22 2020-11-12 クライアント側フォレンジックウォーターマーク装置、システム及び方法
EP20889979.9A EP4064716A4 (en) 2019-11-22 2020-11-12 CLIENT-SIDE FORENSIC WATERMARKING APPARATUS, SYSTEM AND METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0151243 2019-11-22
KR1020190151243A KR102265784B1 (ko) 2019-11-22 2019-11-22 클라이언트측 포렌식 워터마크 장치, 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2021101170A1 true WO2021101170A1 (ko) 2021-05-27

Family

ID=75980019

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/015908 WO2021101170A1 (ko) 2019-11-22 2020-11-12 클라이언트측 포렌식 워터마크 장치, 시스템 및 방법

Country Status (6)

Country Link
US (1) US11812118B2 (ko)
EP (1) EP4064716A4 (ko)
JP (1) JP7362154B2 (ko)
KR (1) KR102265784B1 (ko)
CN (1) CN113940090B (ko)
WO (1) WO2021101170A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095425A (zh) * 2022-12-14 2023-05-09 杭州熙羚信息技术有限公司 基于水印的边界视频溯源方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100062111A (ko) * 2008-12-01 2010-06-10 주식회사 케이티 분할된 추적 정보를 이용한 워터마킹 장치 및 방법
KR20110007789A (ko) * 2009-07-17 2011-01-25 주식회사 케이티 비디오 콘텐츠에 워터마크를 삽입하는 워터마킹 장치 및 방법
KR20130116307A (ko) * 2010-12-17 2013-10-23 모토로라 모빌리티 엘엘씨 포렌식 워터마킹에 이용되는 세션 정보를 운반하는 시스템 및 방법
KR20180004741A (ko) * 2015-05-29 2018-01-12 주식회사 마크애니 추적 정보를 삽입하여 컨텐츠를 전송하는 방법 및 장치, 그리고 추적 정보를 삽입하여 컨텐츠를 수신하는 방법 및 장치
KR20180082450A (ko) * 2015-11-12 2018-07-18 나그라비젼 에스에이 암호화된 디지털 컨텐츠의 워터마킹 방법, 워터마크된 컨텐츠로부터 고유한 식별자를 검색하기 위한 방법 및 장치, 및 컨텐츠 배포 네트워크

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7644282B2 (en) * 1998-05-28 2010-01-05 Verance Corporation Pre-processed information embedding system
US6430301B1 (en) * 2000-08-30 2002-08-06 Verance Corporation Formation and analysis of signals with common and transaction watermarks
US7392394B2 (en) * 2001-12-13 2008-06-24 Digimarc Corporation Digital watermarking with variable orientation and protocols
US7392392B2 (en) * 2001-12-13 2008-06-24 Digimarc Corporation Forensic digital watermarking with variable orientation and protocols
KR100522049B1 (ko) * 2003-11-14 2005-10-18 한국전자통신연구원 프레임 평균을 이용한 실시간 비디오 워터마크 삽입 및추출 방법
US8020004B2 (en) * 2005-07-01 2011-09-13 Verance Corporation Forensic marking using a common customization function
US20080215605A1 (en) * 2005-07-14 2008-09-04 Koninklijke Philips Electronics, N.V. Method for Embedding Data
US8259938B2 (en) * 2008-06-24 2012-09-04 Verance Corporation Efficient and secure forensic marking in compressed
JP5108916B2 (ja) * 2010-05-28 2012-12-26 ヤフー株式会社 コンテンツ送信システム、コンテンツ送信方法及びプログラム
CN102567939A (zh) * 2010-12-27 2012-07-11 北大方正集团有限公司 一种图像中可见水印的分离方法及装置
US8165343B1 (en) * 2011-09-28 2012-04-24 Unicorn Media, Inc. Forensic watermarking
US9292897B2 (en) * 2012-10-05 2016-03-22 Mobitv, Inc. Watermarking of images
US9262794B2 (en) * 2013-03-14 2016-02-16 Verance Corporation Transactional video marking system
WO2014176513A1 (en) * 2013-04-25 2014-10-30 Verance Corporation Real-time anti-piracy for broadcast streams
EP2797335A1 (en) 2013-04-26 2014-10-29 Nagravision S.A. Method to watermark a compressed content encrypted by at least one content key
CN103366332B (zh) * 2013-06-18 2015-11-25 河海大学 一种基于深度信息的图像水印方法
IL251149A0 (en) * 2017-03-14 2017-06-29 Google Inc Semi-transparent marks for transferred content
US10698988B2 (en) * 2017-03-30 2020-06-30 Cisco Technology, Inc. Difference attack protection
US10887362B2 (en) * 2017-04-10 2021-01-05 Box, Inc. Forensic watermarking of shared video content
CN108055493B (zh) * 2017-12-13 2020-06-30 苏州科达科技股份有限公司 在视频图像中嵌入水印的方法及装置
CN110287658A (zh) * 2019-06-20 2019-09-27 南京大学 一种基于DirectX的数字水印生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100062111A (ko) * 2008-12-01 2010-06-10 주식회사 케이티 분할된 추적 정보를 이용한 워터마킹 장치 및 방법
KR20110007789A (ko) * 2009-07-17 2011-01-25 주식회사 케이티 비디오 콘텐츠에 워터마크를 삽입하는 워터마킹 장치 및 방법
KR20130116307A (ko) * 2010-12-17 2013-10-23 모토로라 모빌리티 엘엘씨 포렌식 워터마킹에 이용되는 세션 정보를 운반하는 시스템 및 방법
KR20180004741A (ko) * 2015-05-29 2018-01-12 주식회사 마크애니 추적 정보를 삽입하여 컨텐츠를 전송하는 방법 및 장치, 그리고 추적 정보를 삽입하여 컨텐츠를 수신하는 방법 및 장치
KR20180082450A (ko) * 2015-11-12 2018-07-18 나그라비젼 에스에이 암호화된 디지털 컨텐츠의 워터마킹 방법, 워터마크된 컨텐츠로부터 고유한 식별자를 검색하기 위한 방법 및 장치, 및 컨텐츠 배포 네트워크

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4064716A4 *

Also Published As

Publication number Publication date
US20220239993A1 (en) 2022-07-28
CN113940090B (zh) 2023-08-01
CN113940090A (zh) 2022-01-14
JP2022534620A (ja) 2022-08-02
KR102265784B1 (ko) 2021-06-17
EP4064716A4 (en) 2023-12-27
JP7362154B2 (ja) 2023-10-17
KR102265784B9 (ko) 2023-02-08
US11812118B2 (en) 2023-11-07
KR20210062956A (ko) 2021-06-01
EP4064716A1 (en) 2022-09-28

Similar Documents

Publication Publication Date Title
CN108206930A (zh) 基于隐私遮蔽显示图像的方法及装置
WO2010068020A2 (ko) 다시점 영상 부호화, 복호화 방법 및 그 장치
EP3662441A1 (en) Adaptive high dynamic range tone mapping with overlay indication
WO2021101170A1 (ko) 클라이언트측 포렌식 워터마크 장치, 시스템 및 방법
CN113206971A (zh) 一种图像处理方法及显示设备
WO2015009098A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014058207A1 (ko) 다시점 비디오 신호의 인코딩 방법, 디코딩 방법 및 이에 대한 장치
KR102289397B1 (ko) 적시의 포렌식 워터마크 임베딩 장치 및 방법
WO2014084613A9 (ko) 깊이 정보를 이용한 영상 부호화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템
Najaf-Zadeh et al. VR+ HDR: A system for view-dependent rendering of HDR video in virtual reality
WO2014054896A1 (ko) 비디오 신호 처리 방법 및 장치
WO2017209432A1 (ko) 임의편집 압축 동영상 컨텐츠 제공 시스템 및 제공방법
WO2021107708A1 (ko) 복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 장치 및 방법
WO2017074076A1 (ko) 전자 장치에서 콘텐츠의 명암비 제어 장치 및 방법
WO2012099352A2 (ko) 다시점 영상 부호화/복호화 장치 및 방법
WO2013032071A1 (ko) 가상 시점 합성 예측을 이용한 부호화/복호화 장치 및 부호화/복호화 방법
CN108924575B (zh) 一种视频解码分析方法、装置、设备及介质
WO2019124633A1 (ko) 압축영상에 대한 신택스 기반의 객체 월담 감지 방법
CN111179317A (zh) 互动教学***及方法
WO2019199087A1 (ko) 영상 처리 장치 및 방법
CN110012307A (zh) 视频传输方法、装置和主终端设备
US5822015A (en) Providing an accurate tally indication of sources in use for output
JP7205590B2 (ja) 送信装置、送信方法、受信装置および受信方法
KR20210056658A (ko) 포렌식 워터마크 임베딩 장치 및 방법
WO2022019552A1 (en) Method and apparatus for random access of 3d(ar) media

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20889979

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021571406

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020889979

Country of ref document: EP

Effective date: 20220622