WO2023047515A1 - 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラム - Google Patents

符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラム Download PDF

Info

Publication number
WO2023047515A1
WO2023047515A1 PCT/JP2021/035013 JP2021035013W WO2023047515A1 WO 2023047515 A1 WO2023047515 A1 WO 2023047515A1 JP 2021035013 W JP2021035013 W JP 2021035013W WO 2023047515 A1 WO2023047515 A1 WO 2023047515A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
encoding
data
invalidated
compression rate
Prior art date
Application number
PCT/JP2021/035013
Other languages
English (en)
French (fr)
Inventor
智規 久保田
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2021/035013 priority Critical patent/WO2023047515A1/ja
Priority to JP2023549242A priority patent/JPWO2023047515A1/ja
Publication of WO2023047515A1 publication Critical patent/WO2023047515A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability

Definitions

  • the present invention relates to an encoding device, a decoding device, an encoding method, a decoding method, an encoding program, and a decoding program.
  • the data size is reduced by encoding to reduce recording and transmission costs.
  • the compression ratio of each area should be increased to the limit where AI can recognize the recognition target (that is, limit compression rate) can be considered.
  • the entire area is encoded at the limit compression rate, so that the data of the encoded data There are ways to reduce the size.
  • the object is to generate highly convenient decoded data even when different compression ratios cannot be set for each region.
  • the encoding device comprises: a decision unit that decides a target area necessary for recognizing a recognition target in image data and a limit compression rate at which the recognition target can be recognized, based on the results of recognition processing by AI; a first encoding unit that encodes and transmits the entire area of the image data at the limit compression rate; first invalidated image data obtained by invalidating an area other than the target area in the image data; a generator that generates second invalidated image data that invalidates the a second encoding unit that encodes difference data between the first invalidated image data and the second invalidated image data at a predetermined compression rate and transmits the encoded data;
  • FIG. 1 is a diagram showing an example of the system configuration of an image processing system.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of an image processing device and a server device.
  • FIG. 3 is a first diagram illustrating an example of a functional configuration of a hierarchical coding unit of the image processing apparatus;
  • FIG. 4 is a second diagram showing an example of the functional configuration of the hierarchical coding unit of the image processing apparatus.
  • FIG. 5 is a first diagram showing a specific example of processing by the invalid area image processing unit.
  • FIG. 6 is a first flowchart showing the flow of hierarchical encoding processing.
  • FIG. 7 is a first diagram showing an example of the functional configuration of the hierarchical decoding unit of the server device.
  • FIG. 3 is a first diagram illustrating an example of a functional configuration of a hierarchical coding unit of the image processing apparatus.
  • FIG. 4 is a second diagram showing an example of the functional configuration of the hierarchical coding unit of the
  • FIG. 8 is a diagram showing a specific example of the processing of the adding unit.
  • FIG. 9 is a first flowchart showing the flow of hierarchical decoding processing.
  • FIG. 10 is a third diagram showing an example of the functional configuration of the hierarchical coding unit of the image processing apparatus.
  • FIG. 11 is a second flowchart showing the flow of hierarchical encoding processing.
  • FIG. 12 is a fourth diagram showing an example of the functional configuration of the hierarchical coding unit of the image processing device.
  • FIG. 13 is a fifth diagram showing an example of the functional configuration of the hierarchical coding unit of the image processing apparatus.
  • FIG. 14 is a sixth diagram showing an example of the functional configuration of the hierarchical coding unit of the image processing device.
  • FIG. 9 is a first flowchart showing the flow of hierarchical decoding processing.
  • FIG. 10 is a third diagram showing an example of the functional configuration of the hierarchical coding unit of the image processing apparatus.
  • FIG. 11 is a second
  • FIG. 15 is a second diagram showing a specific example of processing by the invalid area image processing unit.
  • FIG. 16 is a third flowchart showing the flow of hierarchical encoding processing.
  • FIG. 17 is a second diagram showing an example of the functional configuration of the hierarchical decoding unit of the server device.
  • FIG. 18 is a diagram illustrating a specific example of processing by the replacement unit.
  • FIG. 19 is a second flowchart showing the flow of hierarchical decoding processing.
  • FIG. 20 is a seventh diagram showing an example of the functional configuration of the hierarchical coding unit of the image processing device.
  • FIG. 21 is an eighth diagram showing an example of the functional configuration of the hierarchical coding unit of the image processing apparatus.
  • FIG. 22 is a fourth flowchart showing the flow of hierarchical encoding processing.
  • FIG. 1 is a diagram showing an example of the system configuration of an image processing system.
  • the image processing system 100 includes an imaging device 110, an image processing device 120 that is an example of an encoding device, and a server device 130 that is an example of a decoding device.
  • the image processing device 120 and the server device 130 are communicably connected via a network (not shown).
  • the imaging device 110 shoots at a predetermined frame cycle and transmits moving image data to the image processing device 120 .
  • An encoding program is installed in the image processing device 120, and the image processing device 120 functions as a hierarchical encoding unit 121 by executing the encoding program.
  • the hierarchical encoding unit 121 encodes image data of each frame included in moving image data to generate first encoded data.
  • the hierarchical encoding unit 121 increases the compression rate to the limit at which AI can recognize the recognition target included in the image data, and encodes the entire area of the image data at the same compression rate. do. That is, the hierarchical encoding unit 121 encodes the entire area of the image data at the limit compression rate.
  • the hierarchical encoding unit 121 compensates for the difference in image quality of the target region between the decoded data when the generated first encoded data is decoded and the image data before encoding. Then, the difference data of both data is encoded to generate the second encoded data.
  • the target area refers to an area necessary for AI to recognize a recognition target in image data.
  • the hierarchical encoding unit 121 transmits the generated first encoded data and second encoded data to the server device 130 .
  • a decryption program is installed in the server device 130 , and the server device 130 functions as a hierarchical decryption unit 131 by executing the decryption program.
  • the hierarchical decoding unit 131 decodes the first encoded data and the second encoded data transmitted from the image processing device 120 to generate the first decoded data and the second decoded data.
  • the hierarchical decoding unit 131 adds the second decoded data to the generated first decoded data, and stores the added decoded data in the decoded data storage unit 132 .
  • the server device 130 can compensate for the deterioration of the image quality of the decoded data due to encoding at the limit compression rate for the target area. Therefore, even if the image processing device 120 encodes the image data at a limit compression rate suitable for recognition processing by AI, the server device 130 can generate decoded data that reproduces the image quality of the image data before encoding for the target region. can be generated.
  • the server device 130 can generate decoded data by decoding the first encoded data encoded at the limit compression rate without processing such as blacking. Therefore, the server device 130 can generate decoded data with improved image quality for regions other than the target region, compared to the case where image data processed with blackening or the like is encoded. .
  • the decoded data for purposes other than recognition processing by AI. That is, according to the present embodiment, highly convenient decoded data can be generated even when different compression ratios cannot be set for each region.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of an image processing device and a server device.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the image processing apparatus.
  • the image processing apparatus 120 has a processor 201 , a memory 202 , an auxiliary storage device 203 , an I/F (Interface) device 204 , a communication device 205 and a drive device 206 .
  • Each piece of hardware of the image processing apparatus 120 is interconnected via a bus 207 .
  • the processor 201 has various computing devices such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the processor 201 reads various programs (for example, an encoding program, etc.) onto the memory 202 and executes them.
  • the memory 202 has main storage devices such as ROM (Read Only Memory) and RAM (Random Access Memory).
  • the processor 201 and the memory 202 form a so-called computer, and the processor 201 executes various programs read onto the memory 202, thereby realizing various functions of the computer.
  • the auxiliary storage device 203 stores various programs and various data used when the various programs are executed by the processor 201 .
  • the I/F device 204 is a connection device that connects the imaging device 110 as an example of an external device and the image processing device 120 .
  • the communication device 205 is a communication device for communicating with the server device 130 via the network.
  • a drive device 206 is a device for setting a recording medium 210 .
  • the recording medium 210 here includes media such as CD-ROMs, flexible disks, magneto-optical disks, etc. that record information optically, electrically, or magnetically.
  • the recording medium 210 may also include a semiconductor memory or the like that electrically records information, such as a ROM or a flash memory.
  • auxiliary storage device 203 Various programs to be installed in the auxiliary storage device 203 are installed by, for example, setting the distributed recording medium 210 in the drive device 206 and reading the various programs recorded in the recording medium 210 by the drive device 206. be done. Alternatively, various programs installed in the auxiliary storage device 203 may be installed by being downloaded from the network via the communication device 205 .
  • FIG. 2 is a diagram showing an example of the hardware configuration of the server device 130.
  • the processor 221 reads a decryption program or the like onto the memory 222 and executes it.
  • the I/F device 224 receives operations for the server device 130 via the operation device 231 .
  • the I/F device 224 also outputs the results of processing by the server device 130 and displays them via the display device 232 .
  • the communication device 225 communicates with the image processing device 120 via a network.
  • FIG. 3 and 4 are first and second diagrams showing an example of the functional configuration of the hierarchical coding unit of the image processing apparatus.
  • the hierarchical encoding unit 121 has an encoding unit 310, a decoding unit 320, a compression rate determining unit 330, a target area detecting unit 340, an invalid area image processing unit 350, and an encoding unit 360.
  • the encoding unit 310 acquires image data for one frame from the moving image data, encodes the acquired image data using the compression rate notified from the compression rate determination unit 330, and sends the encoded data to the decoding unit 320. Notice.
  • the decoding unit 320 decodes the encoded data notified from the encoding unit 310 and generates decoded data.
  • the decoding unit 320 also notifies the compression rate determining unit 330 of the generated decoded data.
  • the compression rate determination unit 330 is an example of a determination unit.
  • the compression rate determination unit 330 performs AI recognition processing on the decoded data notified from the decoding unit 320, and determines whether or not the recognition target included in the image data can be recognized.
  • the compression rate determination section 330 determines that the recognition target can be recognized, the compression rate determination section 330 increases the compression rate by a predetermined step width and notifies the encoding section 310 of the result.
  • the compression rate determination unit 330 determines that the recognition target cannot be recognized, it determines the compression rate notified to the encoding unit 310 last time as the limit compression rate. Further, the compression rate determining section 330 notifies the encoding section 310 and the encoding section 360 of the determined limit compression rate.
  • the encoding section 310, the decoding section 320, and the compression rate determining section 330 determine the limit compression rate by repeating encoding ⁇ decoding ⁇ recognition processing ⁇ changing the compression rate.
  • the target area detection unit 340 is an example of a determination unit.
  • the target area detection unit 340 performs recognition processing using AI on one frame of image data obtained from moving image data, and detects a target area necessary for recognizing a recognition target in the image data.
  • the target area detection unit 340 also calculates the position of the detected target area within the image data, and notifies the invalid area image processing unit 350 of the position information.
  • the invalid area image processing unit 350 is an example of a generation unit. After the encoding unit 310 encodes the image data for one frame obtained from the moving image data at the limit compression rate, the invalid area image processing unit 350 performs , to obtain the decrypted data.
  • the invalid area image processing unit 350 invalidates the area other than the target area specified by the notified position information among the image data for one frame acquired from the moving image data, and converts the first invalid image data. Generate.
  • the invalid area image processing unit 350 invalidates areas other than the target area specified by the notified position information in the decoded data notified from the decoding unit 320 to generate second invalid image data.
  • the invalid area image processing unit 350 also calculates the difference between the first invalidated image data and the second invalidated image data to generate difference data. Furthermore, the invalid area image processing section 350 notifies the encoding section 360 of the generated difference data.
  • invalidation refers to changing the pixel value of each color component in an area other than the target area specified by the position information to a predetermined pixel value.
  • the encoding unit 310 is an example of a first encoding unit.
  • the encoding unit 310 generates the first encoded data by encoding the entire area of the image data for one frame obtained from the moving image data at the determined limit compression rate. Also, the encoding unit 310 transmits the generated first encoded data to the server device 130 .
  • the encoding unit 360 is an example of a second encoding unit.
  • the encoding unit 360 generates second encoded data by encoding the difference data notified from the invalid area image processing unit 350 at a predetermined compression rate. Also, the encoding unit 360 transmits the generated second encoded data to the server device 130 .
  • the hierarchical encoding unit 121 encodes the entire area of the image data at the limit compression rate, and also encodes the difference data indicating the deterioration of the image quality of the target area at a predetermined compression rate.
  • the image quality of the image data before encoding can be reproduced for the target region, and the image quality of the regions other than the target region can be improved compared to the conventional art.
  • FIG. 5 is a first diagram showing a specific example of processing by the invalid area image processing unit.
  • image data 501 is image data for one frame obtained from moving image data.
  • the invalid area image processing section 350 identifies the target area within the image data 501 based on the position information notified from the target area detection section 340 .
  • the image data 502 shows how the target area is specified. Further, as shown in FIG. 5 , the invalid area image processing unit 350 invalidates areas other than the target area to generate first invalid image data 503 .
  • decoded data 511 is the decoded data notified from the decoding unit 320.
  • the invalid area image processing section 350 identifies the target area in the decoded data 511 based on the position information notified from the target area detection section 340 .
  • Decoded data 512 shows how the target area is specified.
  • the invalid area image processing unit 350 invalidates areas other than the target area to generate second invalid image data 513 .
  • the invalid area image processing unit 350 calculates the difference between the first invalid image data 503 and the second invalid image data 513 to generate difference data 520 .
  • FIG. 6 is a first flowchart showing the flow of hierarchical encoding processing.
  • step S601 the hierarchical encoding unit 121 acquires moving image data from the imaging device 110 in units of frames.
  • step S602 the hierarchical encoding unit 121 determines the limit compression ratio for one frame of image data acquired from the moving image data.
  • step S603 the hierarchical encoding unit 121 detects a target area necessary for recognizing a recognition target in the image data for one frame obtained from the moving image data, and converts the detected target area in the image data. Position information is output by calculating the position.
  • step S604 the hierarchical encoding unit 121 encodes the entire area of the image data for one frame obtained from the moving image data at the limit compression rate to generate first encoded data.
  • step S605 the hierarchical encoding unit 121 decodes the generated first encoded data to generate decoded data.
  • step S606 the hierarchical encoding unit 121 invalidates the area other than the target area specified by the position information in the image data for one frame acquired from the moving image data, thereby obtaining the first invalidated image data.
  • step S607 the hierarchical encoding unit 121 generates second nullified image data by nullifying areas other than the target area specified by the position information in the generated decoded data.
  • step S608 the hierarchical encoding unit 121 calculates the difference between the first invalidated image data and the second invalidated image data, and generates difference data.
  • step S609 the hierarchical encoding unit 121 encodes the generated differential data at a predetermined compression rate to generate second encoded data.
  • step S ⁇ b>610 the hierarchical encoding unit 121 transmits the generated first encoded data and the generated second encoded data to the server device 130 .
  • step S611 the hierarchical encoding unit 121 determines whether or not to end the hierarchical encoding process. If it is determined in step S611 not to end (continue) the hierarchical encoding process (NO in step S611), the process returns to step S601.
  • step S611 if it is determined in step S611 that the hierarchical encoding process should end (if YES in step S611), the hierarchical encoding process ends.
  • FIG. 7 is a first diagram showing an example of the functional configuration of the hierarchical decoding unit of the server device.
  • the hierarchical decoding section 131 has a decoding section 710 , a decoding section 720 , an adding section 730 and a storage control section 740 .
  • the decoding unit 710 is an example of a first decoding unit.
  • the decoding unit 710 receives the first encoded data transmitted from the image processing device 120 . Also, decoding section 710 decodes the first encoded data and notifies adding section 730 of the first decoded data.
  • the decoding unit 720 is an example of a second decoding unit.
  • the decoding unit 720 receives the second encoded data transmitted from the image processing device 120 . Also, decoding section 720 decodes the second encoded data and notifies adding section 730 of the second decoded data.
  • the adding section 730 adds the second decoded data notified from the decoding section 720 to the first decoded data notified from the decoding section 720 to generate decoded data after the addition.
  • the storage control unit 740 stores the generated decoded data after addition in the decoded data storage unit 132 .
  • the hierarchical decoding unit 131 can generate decoded data that reproduces the image quality of the image data before encoding for the target region. can be generated.
  • the hierarchical decoding unit 131 decodes the first encoded data encoded at the limit compression rate without processing such as blacking for areas other than the target area. , it is possible to generate decoded data with improved image quality compared to the conventional art.
  • FIG. 8 is a diagram showing a specific example of the processing of the adding unit.
  • first decoded data 801 is decoded data generated by decoding the first encoded data by decoding section 710 .
  • Second decoded data 802 is decoded data generated by decoding the second encoded data by decoding section 720 .
  • the addition unit 730 adds the second decoded data 802 to the first decoded data 801 to generate the decoded data 810 after the addition.
  • FIG. 9 is a first flowchart showing the flow of hierarchical decoding processing.
  • step S ⁇ b>901 the hierarchical decoding unit 131 acquires the first encoded data transmitted from the image processing device 120 .
  • step S902 the hierarchical decoding unit 131 decodes the obtained first encoded data to generate first decoded data.
  • step S ⁇ b>903 the hierarchical decoding unit 131 acquires the second encoded data transmitted from the image processing device 120 .
  • step S904 the hierarchical decoding unit 131 decodes the obtained second encoded data to generate second decoded data.
  • step S905 the second decoded data is added to the first decoded data.
  • step S906 the hierarchical decoding unit 131 stores the decoded data after the addition in the decoded data storage unit 132.
  • step S907 the hierarchical decoding unit 131 determines whether or not to end the hierarchical decoding process. If it is determined in step S907 not to end (continue) the hierarchical decoding process (NO in step S907), the process returns to step S901.
  • step S907 if it is determined in step S907 that the layered decoding process is to end (if YES in step S907), the layered decoding process ends.
  • the image processing apparatus 120 determines a target area necessary for recognizing a recognition target in image data and a limit compression rate at which the recognition target can be recognized. . Also, the image processing apparatus 120 according to the first embodiment encodes the entire area of the image data at the determined limit compression rate, and transmits the first encoded data. Further, the image processing apparatus 120 according to the first embodiment generates first invalidated image data by invalidating areas other than the target area in the image data. Further, the image processing apparatus 120 according to the first embodiment generates second invalidated image data by invalidating areas other than the target area in the decoded data decoded after encoding the image data at the limit compression rate. do. Furthermore, the image processing apparatus 120 according to the first embodiment encodes the difference data between the first invalidated image data and the second invalidated image data at a predetermined compression rate, and transmits the second encoded data.
  • the image processing apparatus 120 can reproduce the image quality of the image data before encoding for the target area, and improve the image quality for areas other than the target area. can be improved.
  • the server device 130 generates the first decoded data by decoding the first encoded data, and decodes the generated first decoded data with the second encoded data. Add the generated second decoded data.
  • the server device 130 can generate decoded data that reproduces the image quality of the image data before encoding for the target region, and can generate the conventional image data for regions other than the target region. It is possible to generate decoded data with improved image quality.
  • the first embodiment it is possible to use the decoded data for purposes other than recognition processing by AI. That is, according to the first embodiment, it is possible to generate highly convenient decoded data even when different compression ratios cannot be set for each region.
  • the target area detection unit is arranged, and the target area detection unit detects an area necessary for recognizing the recognition target in the image data, thereby outputting the position information.
  • the output function is not limited to the target area detection unit.
  • the position information may be output by detecting the target area from the decoded data.
  • the second embodiment will be described below, focusing on the differences from the first embodiment.
  • FIG. 10 is a third diagram showing an example of the functional configuration of the hierarchical coding unit of the image processing apparatus. The difference from the functional configuration described with reference to FIG.
  • the compression rate determination unit 1010 performs AI recognition processing on the decoded data notified from the decoding unit 320, and determines whether or not the recognition target contained in the decoded data can be recognized. When the compression rate determining section 1010 determines that the recognition target can be recognized, the compression rate determining section 1010 increases the compression rate by a predetermined step size and notifies the encoding section 310 of the result.
  • the compression rate determination unit 1010 determines that the recognition target cannot be recognized, it determines the compression rate notified to the encoding unit 310 last time as the limit compression rate. In addition, compression rate determination section 1010 notifies encoding section 310 and encoding section 360 of the determined limit compression rate.
  • the compression rate determination unit 1010 detects an area necessary for recognizing the recognition target in the decoded data encoded at the limit compression rate as the target area.
  • Compression rate determination section 1010 also calculates the position of the detected target area within the decoded data, and notifies invalid area image processing section 350 of the position information.
  • FIG. 11 is a second flowchart showing the flow of hierarchical encoding processing. The difference from FIG. 6 is step S1101.
  • step S1101 the hierarchical coding unit 121 detects a target area necessary for recognizing a recognition target in the decoded data encoded at the limit compression rate, and detects the target area in the decoded data. Position information is output by calculating the position.
  • the image processing apparatus 120 detects a region necessary for recognizing a recognition target in decoded data as a target region when determining the limit compression rate. to output the position information.
  • the image processing apparatus 120 it is possible to obtain the same effects as those of the first embodiment.
  • difference data is generated from image data and encoded in order to compensate for image quality deterioration in the target area.
  • the third embodiment instead of compensating for image quality deterioration in the target area, ⁇ Image data with areas other than the target area disabled (enhanced layer area image data), ⁇ Image data with the target area disabled (base layer area image data), is generated and encoded.
  • the region other than the target region image quality can be improved.
  • the third embodiment will be described below, focusing on the differences from the first and second embodiments.
  • FIGS. 12 to 14 are fourth to sixth diagrams showing an example of the functional configuration of the hierarchical coding unit of the image processing apparatus.
  • the hierarchical coding unit 121 of the image processing apparatus 120 includes an encoding unit 310, a decoding unit 320, a compression ratio determination unit 330, a target area detection unit 340, an invalid It has a region image processing unit 1210 and an encoding unit 360 .
  • the encoding unit 310 acquires image data for one frame from the moving image data, encodes the acquired image data using the compression rate notified from the compression rate determination unit 330, and sends the encoded data to the decoding unit 320. Notice.
  • the decoding unit 320 decodes the encoded data notified from the encoding unit 310 and generates decoded data.
  • the decoding unit 320 also notifies the compression rate determining unit 330 of the generated decoded data.
  • the compression rate determination unit 330 performs AI recognition processing on the decoded data notified from the decoding unit 320, and determines whether or not the recognition target contained in the image data can be recognized. When the compression rate determination section 330 determines that the recognition target can be recognized, the compression rate determination section 330 increases the compression rate by a predetermined step width and notifies the encoding section 310 of the result.
  • the compression rate determination unit 330 determines that the recognition target cannot be recognized, it determines the compression rate notified to the encoding unit 310 last time as the limit compression rate. Further, the compression rate determining section 330 notifies the encoding section 310 and the encoding section 360 of the determined limit compression rate.
  • the target area detection unit 340 performs AI recognition processing on one frame of image data obtained from moving image data, and detects a target area necessary for recognizing a recognition target in the image data.
  • the target area detection unit 340 also calculates the position of the detected target area within the image data, and notifies the invalid area image processing unit 1210 of the position information.
  • the invalid area image processing unit 1210 invalidates an area other than the target area specified by the notified position information among the image data for one frame acquired from the moving image data, and creates enhanced layer area image data (first 2 invalidation image data). In addition, the invalid area image processing unit 1210 notifies the encoding unit 360 of the generated enhancement layer area image data (second invalid image data) together with the position information.
  • the invalid area image processing unit 1210 invalidates the target area specified by the notified position information in the image data for one frame acquired from the moving image data, and the area image data for the base layer (first invalidation image data). In addition, the invalid area image processing unit 1210 notifies the encoding unit 310 of the generated base layer area image data (first invalid image data) together with the position information.
  • the encoding unit 310 encodes the base layer area image data (first invalidation image data) notified from the invalid area image processing unit 1210 at a compression rate higher than the limit compression rate to generate a first code.
  • the converted data is transmitted to the server device 130 together with the positional information.
  • the encoding unit 310 encodes the region image data for the enhance layer (second invalidation image data) notified from the invalid region image processing unit 1210 at the limit compression rate to generate the second encoded data at the position It is transmitted to the server device 130 together with the information.
  • the hierarchical encoding unit 121 invalidates areas other than the target area and then encodes the image data at the limit compression rate. Encode at a high compression rate.
  • the region other than the target region image quality can be improved.
  • the compression rate is changed. It has the advantage of not needing to Similarly, in the case of the third embodiment, when encoding regions other than the target region, even if the resolution parameter of the encoding unit 310 and the number of target regions are increased or decreased in order to correspond to the resolution of the moving image data, The advantage is that there is no need to change the compression ratio.
  • FIG. 15 is a second diagram showing a specific example of processing by the invalid area image processing unit.
  • image data 1501 is image data for one frame obtained from moving image data.
  • the invalid area image processing section 1210 identifies the target area in the image data 1501 based on the position information notified from the target area detection section 340 .
  • Image data 1502 shows how the target region is specified.
  • the invalid area image processing unit 1210 invalidates areas other than the target area to generate enhance layer area image data 1503 (second invalid image data), and position information Along with this, the encoding unit 360 is notified.
  • the invalid area image processing unit 1210 invalidates the target area to generate base layer area image data 1504 (first invalid image data), and notifies the encoding unit 310 of it together with the position information.
  • FIG. 16 is a third flowchart showing the flow of hierarchical encoding processing. The difference from FIG. 6 is steps S1601 to S1605.
  • step S1601 the hierarchical encoding unit 121 identifies a target region based on position information in one frame of image data obtained from moving image data, and invalidates regions other than the identified target region. Generate enhanced layer area image data.
  • step S1602 the hierarchical encoding unit 121 identifies a target region based on the position information in the image data for one frame acquired from the moving image data, and invalidates the identified target region. Generate area image data.
  • step S1603 the hierarchical encoding unit 121 encodes the enhanced layer area image data at the limit compression rate to generate second encoded data.
  • step S1604 the hierarchical encoding unit 121 encodes the base layer area image data at a compression rate higher than the limit compression rate to generate first encoded data.
  • step S1605 the hierarchical encoding unit 121 transmits the first encoded data and the second encoded data to the server device 130 in association with the position information.
  • FIG. 17 is a second diagram showing an example of the functional configuration of the hierarchical decoding unit of the server device.
  • the hierarchical decoding section 131 has a decoding section 710 , a decoding section 720 , a replacement section 1710 and a storage control section 740 .
  • the decoding unit 710 receives the first encoded data transmitted from the image processing device 120 together with the position information. Also, decoding section 710 decodes the first encoded data and notifies replacement section 1710 of the first decoded data together with the position information.
  • the decoding unit 720 receives the second encoded data transmitted from the image processing device 120 together with the position information. Also, decoding section 720 decodes the second encoded data and notifies replacement section 1710 of the second decoded data together with the position information.
  • Replacing section 1710 replaces the target area specified by the position information in the first decoded data notified from decoding section 710 with the target area specified by the position information in the second decoded data notified from decoding section 720. Substitution is performed, and decoded data after substitution is generated.
  • the storage control unit 740 stores the generated decoded data after replacement in the decoded data storage unit 132 .
  • FIG. 18 is a diagram illustrating a specific example of processing by the replacement unit.
  • first decoded data 1801 is decoded data generated by decoding the first encoded data by decoding section 710 .
  • Second decoded data 1802 is decoded data generated by decoding the second encoded data by decoding section 720 .
  • the replacing unit 1710 replaces the target region specified by the position information in the first decoded data 1801 with the target region specified by the position information in the second decoded data 1802. Decoded data 1810 after replacement is generated.
  • FIG. 19 is a second flowchart showing the flow of hierarchical decoding processing. The difference from the first flowchart described using FIG. 9 is steps S1901 and S1902.
  • step S1901 hierarchical decoding section 131 converts the target region specified by the position information in the first decoded data obtained by decoding the first encoded data to the target region specified by the position information in the second decoded data obtained by decoding the second encoded data. Replace with the region of interest specified by .
  • step S1902 the hierarchical decoding unit 131 stores the decoded data after replacement in the decoded data storage unit 132.
  • the image processing apparatus 120 according to the third embodiment encodes the second invalidated image data in which areas other than the target area are invalidated at the limit compression rate. Also, the image processing apparatus 120 according to the third embodiment encodes the first invalidated image data in which the target area is invalidated at a compression rate higher than the limit compression rate.
  • the image processing apparatus 120 can improve the image quality of regions other than the target region compared to the conventional art.
  • the target area detection unit is provided, and the target area detection unit detects the area necessary for recognizing the recognition target in the image data, thereby outputting the position information.
  • the output function is not limited to the target area detection unit.
  • the position information may be output by detecting the target area from the decoded data.
  • the fourth embodiment will be described below, focusing on the differences from the third embodiment.
  • FIGS. 20 and 21 are seventh and eighth diagrams showing an example of the functional configuration of the hierarchical coding unit of the image processing apparatus. The difference from the functional configuration described using FIG.
  • the compression rate determination unit 2010 performs AI recognition processing on the decoded data notified from the decoding unit 320, and determines whether or not the recognition target contained in the decoded data can be recognized. When the compression rate determining section 2010 determines that the recognition target can be recognized, the compression rate determining section 2010 increases the compression rate by a predetermined step size and notifies the encoding section 310 of the result.
  • the compression rate determination unit 2010 determines that the recognition target cannot be recognized, it determines the compression rate notified to the encoding unit 310 last time as the limit compression rate. Also, the compression rate determining section 2010 notifies the encoding section 310 and the encoding section 360 of the determined limit compression rate.
  • the compression rate determination unit 2010 detects an area necessary for recognizing a recognition target in decoded data encoded at the limit compression rate as a target area. Compression rate determination section 2010 also calculates the position of the detected target area within the decoded data, and notifies invalid area image processing section 1210 of the position information.
  • the invalid area image processing unit 1210 invalidates an area other than the target area specified by the notified position information among the image data for one frame acquired from the moving image data, and creates enhanced layer area image data (first 2 invalidation image data). In addition, the invalid area image processing unit 1210 notifies the encoding unit 360 of the generated enhancement layer area image data (second invalid image data) together with the position information.
  • the invalid area image processing unit 1210 invalidates the target area specified by the notified position information in the image data for one frame acquired from the moving image data, and the area image data for the base layer (first invalidation image data). In addition, the invalid area image processing unit 1210 notifies the encoding unit 310 of the generated base layer area image data (first invalid image data) together with the position information.
  • FIG. 22 is a fourth flowchart showing the flow of hierarchical encoding processing. The difference from the third flowchart described using FIG. 16 is step S2201.
  • step S2201 the hierarchical encoding unit 121 detects a target area necessary for recognizing a recognition target in the decoded data encoded at the limit compression rate, and detects the target area in the decoded data. Position information is output by calculating the position.
  • the image processing apparatus 120 detects a region necessary for recognizing a recognition target in decoded data as a target region when determining the limit compression rate. to output the position information.
  • the fourth embodiment it is possible to obtain the same effects as those of the third embodiment.
  • the invalid area image processing unit is described as generating difference data by calculating the difference between the first invalidated image data and the second invalidated image data.
  • the method of generating the difference data is not limited to this.
  • the difference data is generated by calculating the difference between the first invalidated image data and the second invalidated image data and then adding an offset value. may Thereby, difference data can be made non-negative.
  • the hierarchical coding unit 121 generates two-layered coded data has been described by exemplifying the case where one recognition target is included in the image data.
  • the method of generating encoded data is not limited to this. For example, if the image data includes n recognition targets and the recognition targets have different limit compression ratios, encoded data of n+1 layers is generated.
  • the encoding unit 310 transmits the first encoded data together with the positional information
  • the encoding unit 360 transmits the second encoded data together with the positional information.
  • the position information may be transmitted together with either one of the encoded data by encoding section 310 or encoding section 360 .
  • the invalid area image processing unit invalidates the target area specified by the position information when generating the base layer area image data (first invalid image data). described as what to do. Also, the invalid area image processing unit has been described as invalidating areas other than the target area specified by the position information when generating the enhance layer area image data (second invalid image data).
  • the method of generating the first invalidation image data and the second invalidation image data is not limited to this.
  • Image data may be generated.
  • the second invalidated image data may be generated by invalidating areas other than the area larger than the target area specified by the position information. That is, when the replacement unit performs replacement, a margin area may be provided so that the first decoded data and the second decoded data overlap at the boundary portion of the target area.
  • filtering processing may be performed on overlapping margin regions.
  • the filtering process in this case includes, for example, a process of averaging the pixel values of the first decoded data and the pixel values of the second decoded data, but is not limited to this process.
  • the replacement section performs replacement using position information transmitted and received between the hierarchical encoding section and the hierarchical decoding section.
  • processing equivalent to replacement by the replacement unit may be performed without transmitting and receiving position information.
  • the hierarchical coding unit generates first invalidation image data for zeroing the pixel values in the target area of the first decoded data, and reduces the pixel values in the area other than the target area of the second decoded data. Generate second nullified image data to be zeroed.
  • each pixel value of the region other than the target region of the first decoded data and the second decoded data Search for a position where none of the pixel values in the region of interest change.
  • the hierarchical decoding unit can appropriately align the first decoded data and the second decoded data, and a process equivalent to replacement can be realized.
  • the hierarchical decoding unit 131 of the server device 130 has been described as storing the decoded data after addition or the decoded data after replacement in the decoded data storage unit 132 .
  • the function of the hierarchical decoding unit 131 is not limited to this.
  • filtering processing or the like may be performed before storing.
  • the image processing device 120 functions as the hierarchical encoding unit 121
  • the server device 130 functions as the hierarchical decoding unit 131.
  • the image processing device 120 may have some functions included in the hierarchical decoding unit 131 in addition to the hierarchical encoding unit 121 .
  • server device 130 may have some functions included in hierarchical encoding section 121 in addition to hierarchical decoding section 131 .
  • the imaging device 110 and the image processing device 120 are described as separate devices, but the imaging device 110 and the image processing device 120 may be integrated. Alternatively, the imaging device 110 may have some functions included in the hierarchical coding unit 121 of the image processing device 120 .
  • recognition processing by AI described in each of the above embodiments may include analysis processing and the like that obtain results based on analysis by a computer or the like, in addition to deep learning processing.
  • the processing used when the target region detection unit 340 detects the target region necessary for recognizing the recognition target, and the compression rate determination unit 330 determines whether or not the recognition target can be recognized may be the same processing or different processing.
  • the compression rate determination unit 330 determined the limit compression rate by increasing the compression rate by a predetermined step width, but the method of determining the limit compression rate is not limited to this.
  • the compression rate determination unit 330 may determine the limit compression rate by analyzing the AI recognition state and recognition process.
  • the limit compression rate determined by the compression rate determination unit 330 may be a compression rate that allows recognition of the recognition target
  • the compression rate used when the target area detection unit 340 detects the target area necessary for recognizing the recognition target may be a compression rate suitable for analyzing the recognition target in more detail or with high accuracy. .
  • the method of determining the compression rate when generating the first encoded data and the second encoded data described in each of the above embodiments is an example, and other determination methods may be used.
  • one or both of the compression rate when generating the first encoded data and the compression rate when generating the second encoded data is based on the analysis result of AI, or information on the analysis process, etc. may decide.
  • REFERENCE SIGNS LIST 100 Image processing system 110 : Imaging device 120 : Image processing device 121 : Hierarchical encoding unit 130 : Server device 131 : Hierarchical decoding unit 310 : Encoding unit 320 : Decoding unit 330 : Compression rate determining unit 340 : Target area detecting unit 350 : Invalid area image processing unit 360 : Encoding unit 503 : First invalidation image data 513 : Second invalidation image data 520 : Difference data 710 : Decoding unit 720 : Decoding unit 730 : Addition unit 740 : Storage control unit 801 : Second 1 decoded data 802 : second decoded data 810 : decoded data after addition 1010 : compression rate determination unit 1210 : invalid area image processing unit 1503 : base layer area image data (first invalidation image data) 1504: Area image data for enhance layer (second invalidation image data) 1801 : first decoded data 1802 : second decoded data 1810 : decoded data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

領域ごとに異なる圧縮率を設定することができない場合でも、利便性の高い復号データを生成できるようにする。符号化装置は、ＡＩによる認識処理の結果に基づき、画像データにおいて認識対象を認識するのに必要な対象領域と、前記認識対象を認識できる限界圧縮率とを決定する決定部と、前記画像データの全領域を、前記限界圧縮率で符号化して送信する第１符号化部と、前記画像データのうち、前記対象領域以外の領域を無効化した第１無効化画像データと、前記画像データを前記限界圧縮率で符号化した後に復号した復号データのうち、前記対象領域以外の領域を無効化した第２無効化画像データとを生成する生成部と、前記第１無効化画像データと前記第２無効化画像データとの差分データを所定の圧縮率で符号化して送信する第２符号化部とを有する。

Description

符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラム
　本発明は、符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラムに関する。
　一般に、画像データを記録または伝送する際には、符号化によりデータサイズを小さくすることで、記録コストや伝送コストの削減を図る。
　一方で、ＡＩ（Artificial Intelligence）による認識処理に利用する目的で、画像データを記録または伝送する場合においては、認識対象をＡＩが認識できる限界まで各領域の圧縮率を上げて（つまり、限界圧縮率で）符号化する方法が考えられる。
特開２０１１－０３４３４２号公報 特開２０２１－０３４９８３号公報
　しかしながら、領域ごとに異なる圧縮率を設定することができない（つまり全領域に対して同一の圧縮率が設定される）符号化装置の場合、上記のような符号化方法を適用することができない。
　これに対して、例えば、認識対象を認識するのに必要な対象領域以外の領域について黒塗り等の加工を施してから、限界圧縮率で全領域を符号化することで、符号化データのデータサイズを削減する方法が考えられる。
　しかしながら、かかる方法の場合、復号データ内の対象領域以外の領域が画像データとして利用できなくなるため、復号データの利便性が低下する。
　一つの側面では、領域ごとに異なる圧縮率を設定することができない場合でも、利便性の高い復号データを生成できるようにすることを目的とする。
　一態様によれば、符号化装置は、
　ＡＩによる認識処理の結果に基づき、画像データにおいて認識対象を認識するのに必要な対象領域と、前記認識対象を認識できる限界圧縮率とを決定する決定部と、
　前記画像データの全領域を、前記限界圧縮率で符号化して送信する第１符号化部と、
　前記画像データのうち、前記対象領域以外の領域を無効化した第１無効化画像データと、前記画像データを前記限界圧縮率で符号化した後に復号した復号データのうち、前記対象領域以外の領域を無効化した第２無効化画像データとを生成する生成部と、
　前記第１無効化画像データと前記第２無効化画像データとの差分データを所定の圧縮率で符号化して送信する第２符号化部とを有する。
　領域ごとに異なる圧縮率を設定することができない場合でも、利便性の高い復号データが生成できるようになる。
図１は、画像処理システムのシステム構成の一例を示す図である。 図２は、画像処理装置及びサーバ装置のハードウェア構成の一例を示す図である。 図３は、画像処理装置の階層符号化部の機能構成の一例を示す第１の図である。 図４は、画像処理装置の階層符号化部の機能構成の一例を示す第２の図である。 図５は、無効領域画像加工部の処理の具体例を示す第１の図である。 図６は、階層符号化処理の流れを示す第１のフローチャートである。 図７は、サーバ装置の階層復号部の機能構成の一例を示す第１の図である。 図８は、加算部の処理の具体例を示す図である。 図９は、階層復号処理の流れを示す第１のフローチャートである。 図１０は、画像処理装置の階層符号化部の機能構成の一例を示す第３の図である。 図１１は、階層符号化処理の流れを示す第２のフローチャートである。 図１２は、画像処理装置の階層符号化部の機能構成の一例を示す第４の図である。 図１３は、画像処理装置の階層符号化部の機能構成の一例を示す第５の図である。 図１４は、画像処理装置の階層符号化部の機能構成の一例を示す第６の図である。 図１５は、無効領域画像加工部の処理の具体例を示す第２の図である。 図１６は、階層符号化処理の流れを示す第３のフローチャートである。 図１７は、サーバ装置の階層復号部の機能構成の一例を示す第２の図である。 図１８は、置換部の処理の具体例を示す図である。 図１９は、階層復号処理の流れを示す第２のフローチャートである。 図２０は、画像処理装置の階層符号化部の機能構成の一例を示す第７の図である。 図２１は、画像処理装置の階層符号化部の機能構成の一例を示す第８の図である。 図２２は、階層符号化処理の流れを示す第４のフローチャートである。
　以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
　［第１の実施形態］
　＜画像処理システムのシステム構成＞
　はじめに、符号化装置及び復号装置を備える画像処理システムのシステム構成について説明する。図１は、画像処理システムのシステム構成の一例を示す図である。図１に示すように、画像処理システム１００は、撮像装置１１０、符号化装置の一例である画像処理装置１２０、復号装置の一例であるサーバ装置１３０を有する。画像処理システム１００において、画像処理装置１２０とサーバ装置１３０とは、ネットワーク（不図示）を介して通信可能に接続される。
　撮像装置１１０は、所定のフレーム周期で撮影を行い、動画像データを画像処理装置１２０に送信する。
　画像処理装置１２０には符号化プログラムがインストールされており、当該符号化プログラムが実行されることで、画像処理装置１２０は、階層符号化部１２１として機能する。
　階層符号化部１２１は、動画像データに含まれる各フレームの画像データを符号化し、第１符号化データを生成する。階層符号化部１２１では、第１符号化データを生成する際、画像データに含まれる認識対象をＡＩが認識できる限界まで圧縮率を上げて、画像データの全領域を同一の圧縮率で符号化する。つまり、階層符号化部１２１では、限界圧縮率で画像データの全領域を符号化する。
　また、階層符号化部１２１は、生成された第１符号化データが復号された場合の復号データと、符号化される前の画像データとの間の対象領域についての画質の差異を補填するために、両データの差分データを符号化し、第２符号化データを生成する。なお、対象領域とは、画像データにおいて、ＡＩが認識対象を認識するのに必要な領域を指す。
　更に、階層符号化部１２１は、生成した第１符号化データ及び第２符号化データを、サーバ装置１３０に送信する。
　サーバ装置１３０には、復号プログラムがインストールされており、当該復号プログラムが実行されることで、サーバ装置１３０は、階層復号部１３１として機能する。
　階層復号部１３１は、画像処理装置１２０より送信された第１符号化データ及び第２符号化データを復号し、第１復号データ及び第２復号データを生成する。
　また、階層復号部１３１は、生成した第１復号データに第２復号データを加算し、加算後の復号データを、復号データ格納部１３２に格納する。
　これにより、サーバ装置１３０では、限界圧縮率で符号化したことによる復号データの画質の劣化を、対象領域について補填することができる。このため、画像処理装置１２０が、ＡＩによる認識処理に適した限界圧縮率で画像データを符号化した場合でも、サーバ装置１３０では、対象領域について符号化前の画像データの画質を再現した復号データを生成することができる。
　また、サーバ装置１３０では、黒塗り等の加工が施されることなく限界圧縮率で符号化された第１符号化データを復号して、復号データを生成することができる。このため、サーバ装置１３０では、例えば、黒塗り等の加工が施された画像データが符号化された場合と比較して、対象領域以外の領域について画質が向上した復号データを生成することができる。
　この結果、本実施形態によれば、ＡＩによる認識処理以外の用途で復号データを利用することが可能となる。つまり、本実施形態によれば、領域ごとに異なる圧縮率を設定することができない場合でも、利便性の高い復号データを生成することができる。
　＜画像処理装置及びサーバ装置のハードウェア構成＞
　次に、画像処理装置１２０及びサーバ装置１３０のハードウェア構成について説明する。図２は、画像処理装置及びサーバ装置のハードウェア構成の一例を示す図である。
　このうち、図２の２ａは、画像処理装置のハードウェア構成の一例を示す図である。画像処理装置１２０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、Ｉ／Ｆ（Interface）装置２０４、通信装置２０５、ドライブ装置２０６を有する。なお、画像処理装置１２０の各ハードウェアは、バス２０７を介して相互に接続されている。
　プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、符号化プログラム等）をメモリ２０２上に読み出して実行する。
　メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
　補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。
　Ｉ／Ｆ装置２０４は、外部装置の一例である撮像装置１１０と、画像処理装置１２０とを接続する接続デバイスである。
　通信装置２０５は、ネットワークを介してサーバ装置１３０と通信するための通信デバイスである。
　ドライブ装置２０６は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
　なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０６にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０６により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、通信装置２０５を介してネットワークからダウンロードされることで、インストールされてもよい。
　一方、図２の２ｂは、サーバ装置１３０のハードウェア構成の一例を示す図である。なお、サーバ装置１３０のハードウェア構成は、画像処理装置１２０のハードウェア構成と概ね同じであるため、ここでは、画像処理装置１２０との相違点を中心に説明する。
　プロセッサ２２１は、例えば、復号プログラム等をメモリ２２２上に読み出して実行する。
　Ｉ／Ｆ装置２２４は、サーバ装置１３０に対する操作を、操作装置２３１を介して受け付ける。また、Ｉ／Ｆ装置２２４は、サーバ装置１３０による処理の結果を出力し、表示装置２３２を介して表示する。また、通信装置２２５は、ネットワークを介して画像処理装置１２０と通信する。
　＜画像処理装置の階層符号化部の機能構成＞
　次に、画像処理装置１２０の階層符号化部１２１の機能構成について図３及び図４を用いて説明する。図３及び図４は、画像処理装置の階層符号化部の機能構成の一例を示す第１及び第２の図である。
　ここでは、動画像データに含まれる各フレームの画像データのうち、１フレーム分の画像データを符号化する場合の各部の機能について、実行順序に応じて図３と図４とに分けて説明する。
　図３及び図４に示すように、階層符号化部１２１は、エンコード部３１０、デコード部３２０、圧縮率決定部３３０、対象領域検出部３４０、無効領域画像加工部３５０、エンコード部３６０を有する。
　はじめに、図３を用いて、１フレーム分の画像データを符号化する際に用いる限界圧縮率を決定するまでの各部の機能について説明する。
　エンコード部３１０は、動画像データから１フレーム分の画像データを取得し、圧縮率決定部３３０より通知された圧縮率を用いて、取得した画像データを符号化し、符号化データをデコード部３２０に通知する。
　デコード部３２０は、エンコード部３１０より通知された符号化データを復号し、復号データを生成する。また、デコード部３２０は、生成した復号データを圧縮率決定部３３０に通知する。
　圧縮率決定部３３０は決定部の一例である。圧縮率決定部３３０は、デコード部３２０より通知された復号データに対して、ＡＩによる認識処理を行い、画像データに含まれる認識対象を認識できるか否かを判定する。圧縮率決定部３３０は、認識対象を認識できると判定した場合には、圧縮率を所定の刻み幅で上げて、エンコード部３１０に通知する。
　また、圧縮率決定部３３０は、認識対象を認識できないと判定した場合には、前回エンコード部３１０に通知した圧縮率を限界圧縮率として決定する。更に、圧縮率決定部３３０は、決定した限界圧縮率を、エンコード部３１０及びエンコード部３６０にそれぞれ通知する。
　このように、エンコード部３１０、デコード部３２０、圧縮率決定部３３０では、符号化→復号→認識処理→圧縮率の変更を繰り返すことで、限界圧縮率を決定する。
　続いて、図４を用いて、決定された限界圧縮率を用いて第１符号化データ及び第２符号化データを生成するまでの各部の機能について説明する。
　対象領域検出部３４０は決定部の一例である。対象領域検出部３４０は、動画像データから取得した１フレーム分の画像データに対して、ＡＩによる認識処理を行い、画像データにおいて、認識対象を認識するのに必要な対象領域を検出する。また、対象領域検出部３４０は、検出した対象領域の画像データ内での位置を算出し、位置情報を無効領域画像加工部３５０に通知する。
　無効領域画像加工部３５０は生成部の一例である。無効領域画像加工部３５０は、エンコード部３１０が、動画像データから取得した１フレーム分の画像データを限界圧縮率で符号化した後、デコード部３２０が当該第１符号化データを復号した場合に、当該復号データを取得する。
　また、無効領域画像加工部３５０は、動画像データから取得した１フレーム分の画像データのうち、通知された位置情報により特定される対象領域以外の領域を無効化し、第１無効化画像データを生成する。また、無効領域画像加工部３５０は、デコード部３２０より通知された復号データのうち、通知された位置情報により特定される対象領域以外の領域を無効化し、第２無効化画像データを生成する。また、無効領域画像加工部３５０は、第１無効化画像データと、第２無効化画像データとの差分を算出し、差分データを生成する。更に、無効領域画像加工部３５０は、生成した差分データを、エンコード部３６０に通知する。
　なお、無効化とは、位置情報により特定される対象領域以外の領域の各色成分の画素値を、所定の画素値に変更することを指す。
　エンコード部３１０は第１符号化部の一例である。エンコード部３１０は、動画像データから取得した１フレーム分の画像データの全領域を、決定された限界圧縮率で符号化することで、第１符号化データを生成する。また、エンコード部３１０は、生成した第１符号化データをサーバ装置１３０に送信する。
　エンコード部３６０は第２符号化部の一例である。エンコード部３６０は、無効領域画像加工部３５０より通知された差分データを、所定の圧縮率で符号化することで、第２符号化データを生成する。また、エンコード部３６０は、生成した第２符号化データをサーバ装置１３０に送信する。
　このように、階層符号化部１２１では、限界圧縮率で画像データの全領域を符号化するとともに、所定の圧縮率で対象領域の画質の劣化分を示す差分データを符号化する。これにより、階層符号化部１２１によれば、対象領域について、符号化前の画像データの画質を再現させることができるとともに、対象領域以外の領域について、従来よりも画質を向上させることができる。
　この結果、ＡＩによる認識処理以外の用途で復号データを利用することが可能となる。つまり、階層符号化部１２１によれば、領域ごとに異なる圧縮率を設定することができない場合でも、利便性の高い復号データが復号できるようになる。
　＜無効領域画像加工部の処理の具体例＞
　次に、無効領域画像加工部３５０の処理の具体例について説明する。図５は、無効領域画像加工部の処理の具体例を示す第１の図である。
　図５において、画像データ５０１は、動画像データから取得した１フレーム分の画像データである。図５に示すように、無効領域画像加工部３５０は、対象領域検出部３４０より通知された位置情報に基づいて、画像データ５０１内の対象領域を特定する。画像データ５０２は、対象領域を特定した様子を示している。また、図５に示すように、無効領域画像加工部３５０は、対象領域以外の領域を無効化し、第１無効化画像データ５０３を生成する。
　また、図５において、復号データ５１１は、デコード部３２０より通知された復号データである。図５に示すように、無効領域画像加工部３５０は、対象領域検出部３４０より通知された位置情報に基づいて、復号データ５１１内の対象領域を特定する。復号データ５１２は、対象領域を特定した様子を示している。また、図５に示すように、無効領域画像加工部３５０は、対象領域以外の領域を無効化し、第２無効化画像データ５１３を生成する。
　更に、図５に示すように、無効領域画像加工部３５０は、第１無効化画像データ５０３と第２無効化画像データ５１３との差分を算出し、差分データ５２０を生成する。
　＜階層符号化処理の流れ＞
　次に、階層符号化部１２１による階層符号化処理の流れについて説明する。図６は、階層符号化処理の流れを示す第１のフローチャートである。
　ステップＳ６０１において、階層符号化部１２１は、撮像装置１１０より動画像データをフレーム単位で取得する。
　ステップＳ６０２において、階層符号化部１２１は、動画像データから取得した１フレーム分の画像データについて限界圧縮率を決定する。
　ステップＳ６０３において、階層符号化部１２１は、動画像データから取得した１フレーム分の画像データにおいて、認識対象を認識するのに必要な対象領域を検出し、検出した対象領域の画像データ内での位置を算出することで、位置情報を出力する。
　ステップＳ６０４において、階層符号化部１２１は、動画像データから取得した１フレーム分の画像データの全領域を限界圧縮率で符号化し、第１符号化データを生成する。
　ステップＳ６０５において、階層符号化部１２１は、生成した第１符号化データを復号し、復号データを生成する。
　ステップＳ６０６において、階層符号化部１２１は、動画像データから取得した１フレーム分の画像データのうち、位置情報により特定される対象領域以外の領域を無効化することで、第１無効化画像データを生成する。
　ステップＳ６０７において、階層符号化部１２１は、生成した復号データのうち、位置情報により特定される対象領域以外の領域を無効化することで、第２無効化画像データを生成する。
　ステップＳ６０８において、階層符号化部１２１は、第１無効化画像データと、第２無効化画像データとの差分を算出し、差分データを生成する。
　ステップＳ６０９において、階層符号化部１２１は、生成した差分データを所定の圧縮率で符号化し、第２符号化データを生成する。
　ステップＳ６１０において、階層符号化部１２１は、生成した第１符号化データと生成した第２符号化データとを、サーバ装置１３０に送信する。
　ステップＳ６１１において、階層符号化部１２１は、階層符号化処理を終了するか否かを判定する。ステップＳ６１１において、階層符号化処理を終了しない（継続する）と判定した場合には（ステップＳ６１１においてＮＯの場合には）、ステップＳ６０１に戻る。
　一方、ステップＳ６１１において、階層符号化処理を終了すると判定した場合には（ステップＳ６１１においてＹＥＳの場合には）、階層符号化処理を終了する。
　＜サーバ装置の階層復号部の機能構成＞
　次に、サーバ装置１３０の階層復号部１３１の機能構成について説明する。図７は、サーバ装置の階層復号部の機能構成の一例を示す第１の図である。図７に示すように、階層復号部１３１は、デコード部７１０、デコード部７２０、加算部７３０、格納制御部７４０を有する。
　デコード部７１０は第１復号部の一例である。デコード部７１０は、画像処理装置１２０から送信された第１符号化データを受信する。また、デコード部７１０は、第１符号化データを復号し、第１復号データを加算部７３０に通知する。
　デコード部７２０は第２復号部の一例である。デコード部７２０は、画像処理装置１２０から送信された第２符号化データを受信する。また、デコード部７２０は、第２符号化データを復号し、第２復号データを加算部７３０に通知する。
　加算部７３０は、デコード部７２０から通知された第１復号データに、デコード部７２０から通知された第２復号データを加算し、加算後の復号データを生成する。
　格納制御部７４０は、生成された加算後の復号データを、復号データ格納部１３２に格納する。
　このように、限界圧縮率で符号化したことによる画質の劣化を、対象領域について補填することで、階層復号部１３１では、対象領域について、符号化前の画像データの画質を再現した復号データを生成することができる。また、対象領域以外の領域について、黒塗り等の加工が施されることなく限界圧縮率で符号化された第１符号化データを復号することで、階層復号部１３１では、対象領域以外の領域について、従来よりも画質が向上した復号データを生成することができる。
　この結果、ＡＩによる認識処理以外の用途で復号データを利用することが可能となる。つまり、階層復号部１３１によれば、領域ごとに異なる圧縮率を設定することができない場合でも、利便性の高い復号データを生成することができる。
　＜加算部の処理の具体例＞
　次に、加算部７３０の処理の具体例について説明する。図８は、加算部の処理の具体例を示す図である。図８において、第１復号データ８０１は、デコード部７１０により第１符号化データが復号されることで生成された復号データである。また、第２復号データ８０２は、デコード部７２０により第２符号化データが復号されることで生成された復号データである。
　図８に示すように、加算部７３０は、第１復号データ８０１に、第２復号データ８０２を加算することで、加算後の復号データ８１０を生成する。
　＜階層復号処理の流れ＞
　次に、階層復号部１３１による階層復号処理の流れについて説明する。図９は、階層復号処理の流れを示す第１のフローチャートである。
　ステップＳ９０１において、階層復号部１３１は、画像処理装置１２０より送信された、第１符号化データを取得する。
　ステップＳ９０２において、階層復号部１３１は、取得した第１符号化データを復号し、第１復号データを生成する。
　ステップＳ９０３において、階層復号部１３１は、画像処理装置１２０より送信された、第２符号化データを取得する。
　ステップＳ９０４において、階層復号部１３１は、取得した第２符号化データを復号し、第２復号データを生成する。
　ステップＳ９０５において、第１復号データに、第２復号データを加算する。
　ステップＳ９０６において、階層復号部１３１は、加算後の復号データを復号データ格納部１３２に格納する。
　ステップＳ９０７において、階層復号部１３１は、階層復号処理を終了するか否かを判定する。ステップＳ９０７において、階層復号処理を終了しない（継続する）と判定した場合には（ステップＳ９０７においてＮＯの場合には）、ステップＳ９０１に戻る。
　一方、ステップＳ９０７において、階層復号処理を終了すると判定した場合には（ステップＳ９０７においてＹＥＳの場合には）、階層復号処理を終了する。
　以上の説明から明らかなように、第１の実施形態に係る画像処理装置１２０は、画像データにおいて認識対象を認識するのに必要な対象領域と、認識対象を認識できる限界圧縮率とを決定する。また、第１の実施形態に係る画像処理装置１２０は、決定した限界圧縮率で画像データの全領域を符号化し、第１符号化データを送信する。また、第１の実施形態に係る画像処理装置１２０は、画像データのうち、対象領域以外の領域を無効化した第１無効化画像データを生成する。また、第１の実施形態に係る画像処理装置１２０は、画像データを限界圧縮率で符号化した後に復号した復号データのうち、対象領域以外の領域を無効化した第２無効化画像データを生成する。更に、第１の実施形態に係る画像処理装置１２０は、第１無効化画像データと第２無効化画像データとの差分データを所定の圧縮率で符号化し、第２符号化データを送信する。
　これにより、第１の実施形態によれば、画像処理装置１２０は、対象領域について、符号化前の画像データの画質を再現させることができるとともに、対象領域以外の領域について、従来よりも画質を向上させることができる。
　また、第１の実施形態に係るサーバ装置１３０は、第１符号化データを復号することで第１復号データを生成し、生成した第１復号データに、第２符号化データを復号することで生成した第２復号データを加算する。
　これにより、第１の実施形態によれば、サーバ装置１３０は、対象領域について、符号化前の画像データの画質を再現した復号データを生成することができるとともに、対象領域以外の領域について、従来よりも画質が向上した復号データを生成することができる。
　この結果、第１の実施形態によれば、ＡＩによる認識処理以外の用途で復号データを利用することが可能となる。つまり、第１の実施形態によれば、領域ごとに異なる圧縮率を設定することができない場合でも、利便性の高い復号データが生成できるようになる。
　［第２の実施形態］
　上記第１の実施形態では、対象領域検出部を配し、画像データにおいて認識対象を認識するのに必要な領域を、対象領域検出部が検出することで位置情報を出力したが、位置情報の出力機能を実現するのは対象領域検出部に限定されない。
　例えば、圧縮率決定部にて限界圧縮率を決定する際に、復号データから対象領域を検出することで位置情報を出力してもよい。以下、第２の実施形態について上記第１の実施形態との相違点を中心に説明する。
　＜画像処理装置の階層符号化部の機能構成＞
　はじめに、第２の実施形態に係る画像処理装置１２０の階層符号化部１２１の機能構成について説明する。図１０は、画像処理装置の階層符号化部の機能構成の一例を示す第３の図である。図３を用いて説明した機能構成との相違点は、対象領域検出部３４０が含まれていない点、圧縮率決定部１０１０の機能が、圧縮率決定部３３０の機能とは異なる点である。
　圧縮率決定部１０１０は、デコード部３２０より通知された復号データに対して、ＡＩによる認識処理を行い、復号データに含まれる認識対象を認識できるか否かを判定する。圧縮率決定部１０１０は、認識対象を認識できると判定した場合には、圧縮率を所定の刻み幅で上げて、エンコード部３１０に通知する。
　また、圧縮率決定部１０１０は、認識対象を認識できないと判定した場合には、前回エンコード部３１０に通知した圧縮率を限界圧縮率として決定する。また、圧縮率決定部１０１０は、決定した限界圧縮率を、エンコード部３１０及びエンコード部３６０にそれぞれ通知する。
　また、圧縮率決定部１０１０は、限界圧縮率で符号化した際の復号データにおいて認識対象を認識するのに必要な領域を、対象領域として検出する。また、圧縮率決定部１０１０は、検出した対象領域の復号データ内での位置を算出し、位置情報を無効領域画像加工部３５０に通知する。
　＜階層符号化処理の流れ＞
　次に、第２の実施形態に係る画像処理装置１２０の階層符号化部１２１による階層符号化処理の流れについて説明する。図１１は、階層符号化処理の流れを示す第２のフローチャートである。図６との相違点は、ステップＳ１１０１である。
　ステップＳ１１０１において、階層符号化部１２１は、限界圧縮率で符号化された際の復号データにおいて、認識対象を認識するのに必要な対象領域を検出し、検出した対象領域の復号データ内での位置を算出することで、位置情報を出力する。
　以上の説明から明らかなように、第２の実施形態に係る画像処理装置１２０は、限界圧縮率を決定する際に、復号データにおいて認識対象を認識するのに必要な領域を、対象領域として検出することで位置情報を出力する。これにより、第２の実施形態によれば、上記第１の実施形態と同様の効果を享受することができる。
　［第３の実施形態］
　上記第１及び第２の実施形態では、対象領域について、画質の劣化を補填するとともに、対象領域以外の領域について、黒塗り等の加工を施すことなく限界圧縮率で符号化することで、復号データの利便性を向上させることとした。
　一方で、上記第１及び第２の実施形態の場合、対象領域について画質の劣化を補填するために、画像データから差分データを生成して、符号化した。
　これに対して、第３の実施形態では、対象領域について画質の劣化を補填する代わりに、画像データから、
・対象領域以外の領域を無効化した画像データ（エンハンスレイヤ用領域画像データ）と、
・対象領域を無効化した画像データ（ベースレイヤ用領域画像データ）と、
を生成して、符号化する。これにより、第３の実施形態によれば、上記第１及び第２の実施形態同様、黒塗り等の加工が施された画像データが符号化された場合と比較して、対象領域以外の領域について画質を向上させることができる。加えて、第３の実施形態によれば、上記第１及び第２の実施形態と比較して、第１符号化データを復号する際に必要となる計算量を削減することができる。
　以下、第３の実施形態について、上記第１及び第２の実施形態との相違点を中心に説明する。
　＜画像処理装置の階層符号化部の機能構成＞
　はじめに、第３の実施形態に係る画像処理装置１２０の階層符号化部１２１の機能構成について、図１２乃至図１４を用いて説明する。図１２乃至図１４は、画像処理装置の階層符号化部の機能構成の一例を示す第４乃至第６の図である。
　ここでは、動画像データに含まれる各フレームの画像データのうち、１フレーム分の画像データを符号化する場合の各部の機能について、実行順序に応じて図１２と図１３と図１４とに分けて説明する。
　図１２乃至図１４に示すように、第３の実施形態に係る画像処理装置１２０の階層符号化部１２１は、エンコード部３１０、デコード部３２０、圧縮率決定部３３０、対象領域検出部３４０、無効領域画像加工部１２１０、エンコード部３６０を有する。
　はじめに、図１２を用いて、１フレーム分の画像データを符号化する際に用いる限界圧縮率を決定するまでの各部の機能について説明する。
　エンコード部３１０は、動画像データから１フレーム分の画像データを取得し、圧縮率決定部３３０より通知された圧縮率を用いて、取得した画像データを符号化し、符号化データをデコード部３２０に通知する。
　デコード部３２０は、エンコード部３１０より通知された符号化データを復号し、復号データを生成する。また、デコード部３２０は、生成した復号データを圧縮率決定部３３０に通知する。
　圧縮率決定部３３０は、デコード部３２０より通知された復号データに対して、ＡＩによる認識処理を行い、画像データに含まれる認識対象を認識できるか否かを判定する。圧縮率決定部３３０は、認識対象を認識できると判定した場合には、圧縮率を所定の刻み幅で上げて、エンコード部３１０に通知する。
　また、圧縮率決定部３３０は、認識対象を認識できないと判定した場合には、前回エンコード部３１０に通知した圧縮率を限界圧縮率として決定する。更に、圧縮率決定部３３０は、決定した限界圧縮率を、エンコード部３１０及びエンコード部３６０にそれぞれ通知する。
　続いて、図１３を用いて、エンコード部３１０及びエンコード部３６０それぞれにおいて符号化される画像データを生成するまでの各部の機能について説明する。
　対象領域検出部３４０は、動画像データから取得した１フレーム分の画像データに対して、ＡＩによる認識処理を行い、画像データにおいて、認識対象を認識するのに必要な対象領域を検出する。また、対象領域検出部３４０は、検出した対象領域の画像データ内での位置を算出し、位置情報を無効領域画像加工部１２１０に通知する。
　無効領域画像加工部１２１０は、動画像データから取得した１フレーム分の画像データのうち、通知された位置情報により特定される対象領域以外の領域を無効化した、エンハンスレイヤ用領域画像データ（第２無効化画像データ）を生成する。また、無効領域画像加工部１２１０は、生成したエンハンスレイヤ用領域画像データ（第２無効化画像データ）を、位置情報とともにエンコード部３６０に通知する。
　また、無効領域画像加工部１２１０は、動画像データから取得した１フレーム分の画像データのうち、通知された位置情報により特定される対象領域を無効化した、ベースレイヤ用領域画像データ（第１無効化画像データ）を生成する。また、無効領域画像加工部１２１０は、生成したベースレイヤ用領域画像データ（第１無効化画像データ）を、位置情報とともにエンコード部３１０に通知する。
　続いて、図１４を用いて、第１符号化データ及び第２符号化データを生成するまでの各部の機能について説明する。
　エンコード部３１０は、無効領域画像加工部１２１０より通知されたベースレイヤ用領域画像データ（第１無効化画像データ）を、限界圧縮率よりも高い圧縮率で符号化することで生成した第１符号化データを、位置情報とともにサーバ装置１３０に送信する。
　エンコード部３１０は、無効領域画像加工部１２１０より通知されたエンハンスレイヤ用領域画像データ（第２無効化画像データ）を、限界圧縮率で符号化することで生成した第２符号化データを、位置情報とともにサーバ装置１３０に送信する。
　このように、階層符号化部１２１では、対象領域以外の領域を無効化したうえで画像データを限界圧縮率で符号化するとともに、対象領域を無効化したうえで画像データを限界圧縮率よりも高い圧縮率で符号化する。これにより、第３の実施形態によれば、上記第１及び第２の実施形態同様、黒塗り等の加工が施された画像データが符号化された場合と比較して、対象領域以外の領域について画質を向上させることができる。加えて、第３の実施形態によれば、上記第１及び第２の実施形態と比較して、第１符号化データを復号する際に必要となる計算量を削減することができる。
　更に、第３の実施形態の場合、対象領域を符号化する際、動画像データの解像度に対応すべく、エンコード部３１０の解像度パラメータや対象領域の数を増減させた場合でも、圧縮率を変更する必要がないといった利点がある。同様に、第３の実施形態の場合、対象領域以外の領域を符号化する際、動画像データの解像度に対応すべく、エンコード部３１０の解像度パラメータや対象領域の数を増減させた場合でも、圧縮率を変更する必要がないといった利点がある。
　＜無効領域画像加工部の処理の具体例＞
　次に、無効領域画像加工部１２１０の処理の具体例について説明する。図１５は、無効領域画像加工部の処理の具体例を示す第２の図である。
　図１５において、画像データ１５０１は、動画像データから取得した１フレーム分の画像データである。図１５に示すように、無効領域画像加工部１２１０は、対象領域検出部３４０より通知された位置情報に基づいて、画像データ１５０１内の対象領域を特定する。画像データ１５０２は、対象領域を特定した様子を示している。
　また、図１５に示すように、無効領域画像加工部１２１０は、対象領域以外の領域を無効化することで、エンハンスレイヤ用領域画像データ１５０３（第２無効化画像データ）を生成し、位置情報とともに、エンコード部３６０に通知する。
　同様に、無効領域画像加工部１２１０は、対象領域を無効化することで、ベースレイヤ用領域画像データ１５０４（第１無効化画像データ）を生成し、位置情報とともに、エンコード部３１０に通知する。
　＜階層符号化処理の流れ＞
　次に、第３の実施形態に係る画像処理装置１２０の階層符号化部１２１による階層符号化処理の流れについて説明する。図１６は、階層符号化処理の流れを示す第３のフローチャートである。図６との相違点は、ステップＳ１６０１～Ｓ１６０５である。
　ステップＳ１６０１において、階層符号化部１２１は、動画像データから取得した１フレーム分の画像データにおいて、位置情報に基づいて対象領域を特定し、特定した対象領域以外の領域を無効化することで、エンハンスレイヤ用領域画像データを生成する。
　ステップＳ１６０２において、階層符号化部１２１は、動画像データから取得した１フレーム分の画像データにおいて、位置情報に基づいて対象領域を特定し、特定した対象領域を無効化することで、ベースレイヤ用領域画像データを生成する。
　ステップＳ１６０３において、階層符号化部１２１は、エンハンスレイヤ用領域画像データを限界圧縮率で符号化し、第２符号化データを生成する。
　ステップＳ１６０４において、階層符号化部１２１は、ベースレイヤ用領域画像データを限界圧縮率よりも高い圧縮率で符号化し、第１符号化データを生成する。
　ステップＳ１６０５において、階層符号化部１２１は、第１符号化データ及び第２符号化データを、位置情報と対応付けてサーバ装置１３０に送信する。
　＜サーバ装置の階層復号部の機能構成＞
　次に、第３の実施形態に係るサーバ装置１３０の階層復号部１３１の機能構成について説明する。図１７は、サーバ装置の階層復号部の機能構成の一例を示す第２の図である。図１７に示すように、階層復号部１３１は、デコード部７１０、デコード部７２０、置換部１７１０、格納制御部７４０を有する。
　デコード部７１０は、画像処理装置１２０から送信された第１符号化データを、位置情報とともに受信する。また、デコード部７１０は、第１符号化データを復号し、第１復号データを位置情報とともに置換部１７１０に通知する。
　デコード部７２０は、画像処理装置１２０から送信された第２符号化データを、位置情報とともに受信する。また、デコード部７２０は、第２符号化データを復号し、第２復号データを位置情報とともに置換部１７１０に通知する。
　置換部１７１０は、デコード部７１０から通知された第１復号データにおいて、位置情報により特定される対象領域を、デコード部７２０から通知された第２復号データにおいて、位置情報により特定される対象領域で置換し、置換後の復号データを生成する。
　格納制御部７４０は、生成された置換後の復号データを、復号データ格納部１３２に格納する。
　＜置換部の処理の具体例＞
　次に、置換部１７１０の処理の具体例について説明する。図１８は、置換部の処理の具体例を示す図である。図１８において、第１復号データ１８０１は、デコード部７１０により第１符号化データが復号されることで生成された復号データである。また、第２復号データ１８０２は、デコード部７２０により第２符号化データが復号されることで生成された復号データである。
　図１８に示すように、置換部１７１０は、第１復号データ１８０１において、位置情報により特定される対象領域を、第２復号データ１８０２において、位置情報により特定される対象領域で置換することで、置換後の復号データ１８１０を生成する。
　＜階層復号処理の流れ＞
　次に、第３の実施形態に係るサーバ装置１３０の階層復号部１３１による階層復号処理の流れについて説明する。図１９は、階層復号処理の流れを示す第２のフローチャートである。図９を用いて説明した第１のフローチャートとの相違点は、ステップＳ１９０１、Ｓ１９０２である。
　ステップＳ１９０１において、階層復号部１３１は、第１符号化データを復号した第１復号データにおいて、位置情報により特定される対象領域を、第２符号化データを復号した第２復号データにおいて、位置情報により特定される対象領域で置換する。
　ステップＳ１９０２において、階層復号部１３１は、置換後の復号データを復号データ格納部１３２に格納する。
　以上の説明から明らかなように、第３の実施形態に係る画像処理装置１２０は、対象領域以外を無効化した第２無効化画像データを限界圧縮率で符号化する。また、第３の実施形態に係る画像処理装置１２０は、対象領域を無効化した第１無効化画像データを限界圧縮率よりも高い圧縮率で符号化する。
　これにより、第３の実施形態によれば、画像処理装置１２０は、従来よりも対象領域以外の領域について画質を向上させることができる。加えて、第３の実施形態によれば、第１符号化データを復号する際に必要となる計算量を削減することができる。
　つまり、第３の実施形態によれば、領域ごとに異なる圧縮率を設定することができない場合でも、利便性の高い復号データが生成できるようになるとともに、復号する際に必要となる計算量を削減することができる。
　［第４の実施形態］
　上記第３の実施形態では、対象領域検出部を配し、画像データにおいて認識対象を認識するのに必要な領域を、対象領域検出部が検出することで位置情報を出力したが、位置情報の出力機能を実現するのは、対象領域検出部に限定されない。
　例えば、圧縮率決定部にて限界圧縮率を決定する際に、復号データから対象領域を検出することで位置情報を出力してもよい。以下、第４の実施形態について上記第３の実施形態との相違点を中心に説明する。
　＜画像処理装置の階層符号化部の機能構成＞
　はじめに、第４の実施形態に係る画像処理装置１２０の階層符号化部１２１の機能構成について図２０及び図２１を用いて説明する。図２０及び図２１は、画像処理装置の階層符号化部の機能構成の一例を示す第７及び第８の図である。図１２を用いて説明した機能構成との相違点は、対象領域検出部３４０が含まれていない点、圧縮率決定部２０１０の機能が、圧縮率決定部３３０の機能とは異なる点である。
　はじめに、図２０を用いて、１フレーム分の画像データを符号化する際に用いる限界圧縮率を決定し、位置情報を出力するまでの各部の機能について説明する。
　圧縮率決定部２０１０は、デコード部３２０より通知された復号データに対して、ＡＩによる認識処理を行い、復号データに含まれる認識対象を認識できるか否かを判定する。圧縮率決定部２０１０は、認識対象を認識できると判定した場合には、圧縮率を所定の刻み幅で上げて、エンコード部３１０に通知する。
　また、圧縮率決定部２０１０は、認識対象を認識できないと判定した場合には、前回エンコード部３１０に通知した圧縮率を限界圧縮率として決定する。また、圧縮率決定部２０１０は、決定した限界圧縮率を、エンコード部３１０及びエンコード部３６０にそれぞれ通知する。
　また、圧縮率決定部２０１０は、限界圧縮率で符号化した際の復号データにおいて認識対象を認識するのに必要な領域を、対象領域として検出する。また、圧縮率決定部２０１０は、検出した対象領域の復号データ内での位置を算出し、位置情報を無効領域画像加工部１２１０に通知する。
　続いて、図２１を用いて、エンコード部３１０及びエンコード部３６０それぞれにおいて符号化される画像データを生成するまでの各部の機能について説明する。
　無効領域画像加工部１２１０は、動画像データから取得した１フレーム分の画像データのうち、通知された位置情報により特定される対象領域以外の領域を無効化した、エンハンスレイヤ用領域画像データ（第２無効化画像データ）を生成する。また、無効領域画像加工部１２１０は、生成したエンハンスレイヤ用領域画像データ（第２無効化画像データ）を、位置情報とともにエンコード部３６０に通知する。
　また、無効領域画像加工部１２１０は、動画像データから取得した１フレーム分の画像データのうち、通知された位置情報により特定される対象領域を無効化した、ベースレイヤ用領域画像データ（第１無効化画像データ）を生成する。また、無効領域画像加工部１２１０は、生成したベースレイヤ用領域画像データ（第１無効化画像データ）を、位置情報とともにエンコード部３１０に通知する。
　＜階層符号化処理の流れ＞
　次に、第４の実施形態に係る画像処理装置１２０の階層符号化部１２１による階層符号化処理の流れについて説明する。図２２は、階層符号化処理の流れを示す第４のフローチャートである。図１６を用いて説明した第３のフローチャートとの相違点は、ステップＳ２２０１である。
　ステップＳ２２０１において、階層符号化部１２１は、限界圧縮率で符号化された際の復号データにおいて、認識対象を認識するのに必要な対象領域を検出し、検出した対象領域の復号データ内での位置を算出することで、位置情報を出力する。
　以上の説明から明らかなように、第４の実施形態に係る画像処理装置１２０は、限界圧縮率を決定する際に、復号データにおいて認識対象を認識するのに必要な領域を、対象領域として検出することで位置情報を出力する。これにより、第４の実施形態によれば、上記第３の実施形態と同様の効果を享受することができる。
　［その他の実施形態］
　上記第１及び第２の実施形態において、無効領域画像加工部は、第１無効化画像データと第２無効化画像データとの差分を算出することで、差分データを生成するものとして説明した。しかしながら、差分データの生成方法はこれに限定されず、例えば、第１無効化画像データと第２無効化画像データとの差分を算出したのち、オフセット値を加算することで、差分データを生成してもよい。これにより、差分データを非負化することができる。
　また、上記第１及び第２の実施形態において、階層符号化部１２１は、画像データ内に認識対象が１個含まれる場合の例を挙げ、２階層の符号化データを生成する場合について説明した。しかしながら、符号化データの生成方法はこれに限定されない。例えば、画像データ内に認識対象がｎ個含まれ、かつ、それぞれの認識対象の限界圧縮率が異なる場合には、ｎ＋１階層の符号化データが生成される。
　また、上記第３及び第４の実施形態において、エンコード部３１０は、第１符号化データを位置情報とともに送信し、エンコード部３６０は、第２符号化データを位置情報とともに送信するものとして説明した。しかしながら、位置情報は、エンコード部３１０またはエンコード部３６０により、いずれか一方の符号化データとともに送信されてもよい。
　また、上記第３及び第４の実施形態において、無効領域画像加工部は、ベースレイヤ用領域画像データ（第１無効化画像データ）を生成する際、位置情報により特定される対象領域を無効化するものとして説明した。また、無効領域画像加工部は、エンハンスレイヤ用領域画像データ（第２無効化画像データ）を生成する際、位置情報により特定される対象領域以外の領域を無効化するものとして説明した。
　しかしながら、第１無効化画像データ及び第２無効化画像データの生成方法はこれに限定されず、例えば、位置情報により特定される対象領域よりも小さい領域を無効化することで、第１無効化画像データを生成してもよい。あるいは、位置情報により特定される対象領域よりも大きい領域以外の領域を無効化することで、第２無効化画像データを生成してもよい。つまり、置換部が置換する際、対象領域の境界部分において、第１復号データと第２復号データとが重複するようにマージン領域を設けてもよい。なお、重複するマージン領域に対しては、例えば、フィルタリング処理を実行してもよい。この場合のフィルタリング処理には、例えば、第１復号データの画素値と第２復号データの画素値とを平均化する処理等が含まれるが、当該処理に限定されるものではない。
　また、上記第３及び第４の実施形態では、階層符号化部と階層復号部との間で送受信された位置情報を用いて、置換部が置換を行う場合について説明した。しかしながら、位置情報を送受信することなく、置換部による置換と等価な処理を行うようにしてもよい。具体的には、階層符号化部では、第１復号データの対象領域の画素値をゼロ化する第１無効化画像データを生成するとともに、第２復号データの対象領域以外の領域の画素値をゼロ化する第２無効化画像データを生成する。そして、階層復号部では、第１復号データの各画素値と第２復号データの各画素値とを加算した際に、第１復号データの対象領域以外の領域の各画素値及び第２復号データの対象領域の各画素値のいずれもが変化することのない位置を探索する。これにより、階層復号部では、第１復号データと第２復号データとを適切に位置合わせすることが可能となり、置換と等価な処理を実現することができる。
　また、上記各実施形態において、サーバ装置１３０の階層復号部１３１は、加算後の復号データまたは置換後の復号データを、復号データ格納部１３２に格納するものとして説明した。しかしながら、階層復号部１３１の機能はこれに限定されず、例えば、対象領域と対象領域以外の領域との画質の差異を軽減するために、フィルタリング処理等を施してから格納してもよい。
　また、上記各実施形態において、画像処理装置１２０は階層符号化部１２１として機能し、サーバ装置１３０は階層復号部１３１として機能するものとして説明した。しかしながら、画像処理装置１２０は、階層符号化部１２１に加えて、階層復号部１３１に含まれる一部の機能を有していてもよい。あるいは、サーバ装置１３０は、階層復号部１３１に加えて、階層符号化部１２１に含まれる一部の機能を有していてもよい。
　また、上記各実施形態において、撮像装置１１０と画像処理装置１２０とは別体の装置として説明したが、撮像装置１１０と画像処理装置１２０とは一体の装置としてもよい。あるいは、撮像装置１１０は、画像処理装置１２０の階層符号化部１２１に含まれる一部の機能を有していてもよい。
　また、上記各実施形態において説明したＡＩによる認識処理には、深層学習処理のほか、計算機等による解析に基づいて結果を得る解析処理等が含まれていてもよい。
　また、上記各実施形態において、対象領域検出部３４０が認識対象を認識するのに必要な対象領域を検出する際に用いる処理と、圧縮率決定部３３０が認識対象を認識できるか否かを判定する際に用いる処理とは、同一の処理であっても異なる処理であってもよい。
　また、上記各実施形態では、圧縮率決定部３３０が、圧縮率を所定の刻み幅で上げることで、限界圧縮率を決定したが、限界圧縮率の決定方法はこれに限定されない。例えば、圧縮率決定部３３０は、ＡＩによる認識状態や認識の過程を解析することで、限界圧縮率を決定してもよい。
　また、上記各実施形態において、対象領域検出部３４０が認識対象を認識するのに必要な対象領域を検出する際に用いる圧縮率、及び、圧縮率決定部３３０が決定する限界圧縮率は、それぞれ、復号データの利用目的に応じた圧縮率としてもよい。例えば、
・圧縮率決定部３３０が決定する限界圧縮率については、認識対象を認識可能な圧縮率としてもよいし、
・対象領域検出部３４０が認識対象を認識するのに必要な対象領域を検出する際に用いる圧縮率については、認識対象を更に、詳細あるいは高精度に解析するのに適した圧縮率としてもよい。
　また、上記各実施形態において説明した、第１符号化データ及び第２符号化データを生成する際の圧縮率の決定方法は一例であり、他の決定方法により決定してもよい。例えば、第１符号化データを生成する際の圧縮率及び第２符号化データを生成する際の圧縮率のいずれか一方または両方は、ＡＩの解析結果、あるいは、解析過程の情報等に基づいて決定してもよい。
　なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
　１００　　　　　：画像処理システム
　１１０　　　　　：撮像装置
　１２０　　　　　：画像処理装置
　１２１　　　　　：階層符号化部
　１３０　　　　　：サーバ装置
　１３１　　　　　：階層復号部
　３１０　　　　　：エンコード部
　３２０　　　　　：デコード部
　３３０　　　　　：圧縮率決定部
　３４０　　　　　：対象領域検出部
　３５０　　　　　：無効領域画像加工部
　３６０　　　　　：エンコード部
　５０３　　　　　：第１無効化画像データ
　５１３　　　　　：第２無効化画像データ
　５２０　　　　　：差分データ
　７１０　　　　　：デコード部
　７２０　　　　　：デコード部
　７３０　　　　　：加算部
　７４０　　　　　：格納制御部
　８０１　　　　　：第１復号データ
　８０２　　　　　：第２復号データ
　８１０　　　　　：加算後の復号データ
　１０１０　　　　：圧縮率決定部
　１２１０　　　　：無効領域画像加工部
　１５０３　　　　：ベースレイヤ用領域画像データ（第１無効化画像データ）
　１５０４　　　　：エンハンスレイヤ用領域画像データ（第２無効化画像データ）
　１８０１　　　　：第１復号データ
　１８０２　　　　：第２復号データ
　１８１０　　　　：置換後の復号データ
　２０１０　　　　：圧縮率決定部

Claims (19)

  1. 　ＡＩによる認識処理の結果に基づき、画像データにおいて認識対象を認識するのに必要な対象領域と、前記認識対象を認識できる限界圧縮率とを決定する決定部と、
    　前記画像データの全領域を、前記限界圧縮率で符号化して送信する第１符号化部と、
    　前記画像データのうち、対象領域以外の領域を無効化した第１無効化画像データと、前記画像データを前記限界圧縮率で符号化した後に復号した復号データのうち、前記対象領域以外の領域を無効化した第２無効化画像データとを生成する生成部と、
    　前記第１無効化画像データと前記第２無効化画像データとの差分データを所定の圧縮率で符号化して送信する第２符号化部と
    　を有する符号化装置。
  2. 　前記決定部は、圧縮率を所定の刻み幅で上げるごとに、符号化された前記画像データを復号することで生成された復号データについて、前記ＡＩによる認識処理を行うことで取得した認識処理の結果に基づき、前記限界圧縮率を決定する、請求項１に記載の符号化装置。
  3. 　前記差分データは、前記第１無効化画像データと前記第２無効化画像データとの差分を算出した後に、オフセット値を加算し、非負化することで生成される、請求項１に記載の符号化装置。
  4. 　請求項１に記載の符号化装置と通信する復号装置であって、
    　前記第１符号化部により符号化された前記画像データを復号する第１復号部と、
    　前記第２符号化部により符号化された前記差分データを復号する第２復号部と、
    　復号された前記画像データに、復号された前記差分データを加算する加算部と
    　を有する復号装置。
  5. 　復号された前記差分データにより加算された加算後の前記画像データのうち、前記対象領域と前記対象領域以外の領域との境界部分に対して、フィルタリング処理を行う、請求項４に記載の復号装置。
  6. 　ＡＩによる認識処理の結果に基づき、画像データにおいて認識対象を認識するのに必要な対象領域と、前記認識対象を認識できる限界圧縮率とを決定する決定部と、
    　前記画像データのうち、対象領域以外の領域を無効化した第１無効化画像データを、所定の圧縮率で符号化して送信する第１符号化部と、
    　前記画像データのうち、前記対象領域を無効化した第２無効化画像データを、前記限界圧縮率で符号化して送信する第２符号化部と、
    　を有する符号化装置。
  7. 　前記決定部は、圧縮率を所定の刻み幅で上げるごとに、符号化された前記画像データを復号することで生成された復号データについて、前記ＡＩによる認識処理を行うことで取得した認識処理の結果に基づき、前記限界圧縮率を決定する、請求項６に記載の符号化装置。
  8. 　前記第１符号化部は、前記第１無効化画像データを、前記限界圧縮率よりも高い前記所定の圧縮率で符号化する、請求項６に記載の符号化装置。
  9. 　前記第１無効化画像データを符号化することで生成した第１符号化データまたは前記第２無効化画像データを符号化することで生成した第２符号化データの少なくともいずれかに、前記対象領域の位置を示す情報が含まれる、請求項６に記載の符号化装置。
  10. 　請求項３に記載の符号化装置と通信する復号装置であって、
    　前記第１符号化部により符号化された前記第１無効化画像データを復号する第１復号部と、
    　前記第２符号化部により符号化された前記第２無効化画像データを復号する第２復号部と、
    　復号された前記第１無効化画像データのうち、前記対象領域を、復号された前記第２無効化画像データの前記対象領域で置き換える置換部と
    　を有する復号装置。
  11. 　復号された前記第２無効化画像データの前記対象領域により置き換えられた、置き換え後の前記第１無効化画像データのうち、前記対象領域と前記対象領域以外の領域との境界部分に対して、フィルタリング処理を行う、請求項１０に記載の復号装置。
  12. 　ＡＩによる認識処理の結果に基づき、画像データにおいて認識対象を認識するのに必要な対象領域と、前記認識対象を認識できる限界圧縮率とを決定し、
    　前記画像データの全領域を、前記限界圧縮率で符号化して送信し、
    　前記画像データのうち、対象領域以外の領域を無効化した第１無効化画像データと、前記画像データを前記限界圧縮率で符号化した後に復号した復号データのうち、前記対象領域以外の領域を無効化した第２無効化画像データとを生成し、
    　前記第１無効化画像データと前記第２無効化画像データとの差分データを所定の圧縮率で符号化して送信する
    　処理をコンピュータが実行する符号化方法。
  13. 　請求項１２に記載の符号化方法により符号化された前記画像データ及び前記差分データを復号し、
    　復号された前記画像データに、復号された前記差分データを加算する
    　処理をコンピュータが実行する復号方法。
  14. 　ＡＩによる認識処理の結果に基づき、画像データにおいて認識対象を認識するのに必要な対象領域と、前記認識対象を認識できる限界圧縮率とを決定し、
    　前記画像データのうち、対象領域以外の領域を無効化した第１無効化画像データを、所定の圧縮率で符号化して送信し、
    　前記画像データのうち、前記対象領域を無効化した第２無効化画像データを、前記限界圧縮率で符号化して送信する
    　処理をコンピュータが実行する符号化方法。
  15. 　請求項１４に記載の符号化方法により符号化された前記第１無効化画像データ及び前記第２無効化画像データを復号し、
    　復号された前記第１無効化画像データのうち、前記対象領域を、復号された前記第２無効化画像データの前記対象領域で置き換える
    　処理をコンピュータが実行する復号方法。
  16. 　ＡＩによる認識処理の結果に基づき、画像データにおいて認識対象を認識するのに必要な対象領域と、前記認識対象を認識できる限界圧縮率とを決定し、
    　前記画像データの全領域を、前記限界圧縮率で符号化して送信し、
    　前記画像データのうち、対象領域以外の領域を無効化した第１無効化画像データと、前記画像データを前記限界圧縮率で符号化した後に復号した復号データのうち、前記対象領域以外の領域を無効化した第２無効化画像データとを生成し、
    　前記第１無効化画像データと前記第２無効化画像データとの差分データを所定の圧縮率で符号化して送信する
    　処理をコンピュータに実行させるための符号化プログラム。
  17. 　請求項１６に記載の符号化プログラムが実行されることにより符号化された前記画像データ及び前記差分データを復号し、
    　復号された前記画像データに、復号された前記差分データを加算する
    　処理をコンピュータに実行させるための復号プログラム。
  18. 　ＡＩによる認識処理の結果に基づき、画像データにおいて認識対象を認識するのに必要な対象領域と、前記認識対象を認識できる限界圧縮率とを決定し、
    　前記画像データのうち、対象領域以外の領域を無効化した第１無効化画像データを、所定の圧縮率で符号化して送信し、
    　前記画像データのうち、前記対象領域を無効化した第２無効化画像データを、前記限界圧縮率で符号化して送信する
    　処理をコンピュータに実行させるための符号化プログラム。
  19. 　請求項１８に記載の符号化プログラムが実行されることにより符号化された前記第１無効化画像データ及び前記第２無効化画像データを復号し、
    　復号された前記第１無効化画像データのうち、前記対象領域を、復号された前記第２無効化画像データの前記対象領域で置き換える
    　処理をコンピュータに実行させるための復号プログラム。
PCT/JP2021/035013 2021-09-24 2021-09-24 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラム WO2023047515A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/035013 WO2023047515A1 (ja) 2021-09-24 2021-09-24 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラム
JP2023549242A JPWO2023047515A1 (ja) 2021-09-24 2021-09-24

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/035013 WO2023047515A1 (ja) 2021-09-24 2021-09-24 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラム

Publications (1)

Publication Number Publication Date
WO2023047515A1 true WO2023047515A1 (ja) 2023-03-30

Family

ID=85719374

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/035013 WO2023047515A1 (ja) 2021-09-24 2021-09-24 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラム

Country Status (2)

Country Link
JP (1) JPWO2023047515A1 (ja)
WO (1) WO2023047515A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005513842A (ja) * 2001-12-17 2005-05-12 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ オブジェクトに基づく符号化のための形状支援によるパディング
JP2009049979A (ja) * 2007-07-20 2009-03-05 Fujifilm Corp 画像処理装置、画像処理方法、画像処理システム、及びプログラム
JP2011176570A (ja) * 2010-02-24 2011-09-08 Nippon Telegr & Teleph Corp <Ntt> マルチ解像度映像復号方法、マルチ解像度映像復号装置、及びプログラム
JP2013505647A (ja) * 2009-09-22 2013-02-14 パナソニック株式会社 画像符号化装置、画像復号装置、画像符号化方法および画像復号方法
WO2021130919A1 (ja) * 2019-12-25 2021-07-01 富士通株式会社 解析装置及び解析プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005513842A (ja) * 2001-12-17 2005-05-12 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ オブジェクトに基づく符号化のための形状支援によるパディング
JP2009049979A (ja) * 2007-07-20 2009-03-05 Fujifilm Corp 画像処理装置、画像処理方法、画像処理システム、及びプログラム
JP2013505647A (ja) * 2009-09-22 2013-02-14 パナソニック株式会社 画像符号化装置、画像復号装置、画像符号化方法および画像復号方法
JP2011176570A (ja) * 2010-02-24 2011-09-08 Nippon Telegr & Teleph Corp <Ntt> マルチ解像度映像復号方法、マルチ解像度映像復号装置、及びプログラム
WO2021130919A1 (ja) * 2019-12-25 2021-07-01 富士通株式会社 解析装置及び解析プログラム

Also Published As

Publication number Publication date
JPWO2023047515A1 (ja) 2023-03-30

Similar Documents

Publication Publication Date Title
JP5576048B2 (ja) 直接モード符号化及び復号化方法
CN102326391B (zh) 多视点图像编码装置及方法、多视点图像译码装置及方法
JP5506397B2 (ja) 映像符号化方法及び装置、映像復号化方法及び装置
JP3176378B2 (ja) 画像復号化装置及び画像復号化方法
EP1569461A3 (en) Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method, and image decoding program
JP5219199B2 (ja) 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP2938412B2 (ja) 動画像の輝度変化補償方法、動画像符号化装置、動画像復号装置、動画像符号化もしくは復号プログラムを記録した記録媒体および動画像の符号化データを記録した記録媒体
KR19990008977A (ko) 윤곽선 부호화 방법
JP4153410B2 (ja) 階層符号化方法及びその装置と、階層復号方法及びその装置と、階層符号化プログラム及びそのプログラムを記録した記録媒体と、階層復号プログラム及びそのプログラムを記録した記録媒体
WO2023047515A1 (ja) 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラム
US20030058481A1 (en) Image processor
JP3523481B2 (ja) 映像符号化装置及び映像復号化装置並びに映像符号化方法及び映像復号化方法
KR20060109448A (ko) 비디오 신호 인코딩 방법
JP3841246B2 (ja) ビデオ階層符号化装置
Hanca et al. Real-time distributed video coding for 1K-pixel visual sensor networks
WO2023181323A1 (ja) 画像処理システム、画像処理装置、画像処理方法及び画像処理プログラム
JPH07203409A (ja) 動画像の再現装置及び符号化・復号システム
US20210099708A1 (en) Encoding apparatus, image capturing apparatus, control method, and storage medium
JP2006108932A (ja) 複数参照画像を用いた動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラム
JP4174111B2 (ja) 符号化方法及び装置
JP3546720B2 (ja) 符号化装置及び方法、復号装置及び方法並びに記録媒体
JP3917805B2 (ja) 画像符号化データの再符号化方法およびこの方法のプログラムを記録した記録媒体
JP3176601B1 (ja) 画像復号化装置
JP3670897B2 (ja) 画像信号の階層符号化方法および復号方法ならびにこれら方法を記録した記録媒体
JP2008259059A (ja) 動画像復号装置、方法及びプログラム、並びに、動画像符号化装置、方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21958391

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023549242

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE