WO2019044340A1 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法、及び画像処理プログラム Download PDFInfo
- Publication number
- WO2019044340A1 WO2019044340A1 PCT/JP2018/028743 JP2018028743W WO2019044340A1 WO 2019044340 A1 WO2019044340 A1 WO 2019044340A1 JP 2018028743 W JP2018028743 W JP 2018028743W WO 2019044340 A1 WO2019044340 A1 WO 2019044340A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image processing
- unit
- task
- processing
- operation unit
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims description 310
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000001514 detection method Methods 0.000 claims abstract description 111
- 238000000034 method Methods 0.000 claims description 171
- 239000000284 extract Substances 0.000 claims description 2
- 238000010276 construction Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000004886 process control Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
Definitions
- the present disclosure relates to an image processing apparatus, an image processing method, and an image processing program.
- Japanese Patent Laid-Open No. 2004-030312 discloses a control method that achieves high-speed processing by dividing a series of processes by a plurality of threads and simultaneously processing them while synchronizing a plurality of threads (arithmetic units). It is disclosed.
- the first operation unit mainly performs partial processing.
- the second operation unit executes the partial process in accordance with an instruction from the first operation unit asynchronously, the end of the partial process in the second operation unit may not be efficiently detected.
- the second arithmetic unit can not be newly performed partial processing until the completion of the partial processing is detected, so the second arithmetic unit is sufficiently operated. In some cases, the processing efficiency of the image processing may be reduced.
- the present disclosure provides an image processing apparatus, an image processing method, and an image processing program, which accelerates image processing by more efficiently detecting the end of partial processing in the second operation unit.
- a first aspect of the present disclosure is an image processing apparatus that executes image processing with each object of an object group in which objects for which image processing is to be executed are connected in a plurality in a directed non-cyclic graph form.
- the first operation unit is a division unit that divides the image data into a plurality of divided image data, and a partial process that is an image process performed on the divided image data, and a partial process that can be performed according to the dependency relationship before and after
- the control unit performs control to be executed in parallel to each of the plurality of operation devices provided, and executes the partial processing for the second operation unit.
- the end detection task for detecting the end of partial processing in the second operation unit is registered in the end detection task management information
- access to the end detection task management information includes a determination unit that determines whether the end detection tasks second operation unit has completed the partial processing, the.
- the arithmetic device may operate as a determination unit after execution of the partial processing.
- the arithmetic device performs another partial process again by the control of the control unit after the determination of the presence or absence of the termination detection task as the determination unit. It is also good.
- the arithmetic device may operate as the registration unit.
- the arithmetic device may continuously perform the operation as the registration unit and the operation as the determination unit.
- control unit may cause the arithmetic device to execute a determination task for operating as the determination unit.
- access to the end detection task management information of the registration unit and the determination unit may be exclusively controlled.
- the determination unit may delete, from the termination detection task management information, the termination detection task for which the second operation unit has finished partial processing.
- control unit may sequentially fetch partial processes stored in the task queue and cause the plurality of arithmetic devices to execute the partial processes in parallel.
- a tenth aspect of the present disclosure is an image processing method by an image processing apparatus in which image processing is performed by each object of an object group in which a plurality of objects for performing image processing are connected in a directed acyclic graph form.
- a partial process which is image processing to be performed on divided image data by dividing image data to be subjected to image processing into a plurality of divided image data, and a partial process that can be processed according to a preceding / following dependency relationship; Control is performed in parallel to each of a plurality of arithmetic devices included in the arithmetic unit, and when the second arithmetic unit can execute partial processing asynchronously to the first arithmetic unit, execution of partial processing on the second arithmetic unit is performed After the execution instructing task to be instructed is executed in the operation device of the first operation unit, the end detection task for detecting the end of partial processing in the second operation unit is registered in the end detection task management information. And, access to the end detection task management information, determines the presence or
- An eleventh aspect of the present disclosure is an image processing program, which causes a computer to function as a division unit, a control unit, a registration unit, and a determination unit of the image processing apparatus of the present disclosure.
- a twelfth aspect of the present disclosure is an image processing apparatus that executes image processing with each object of an object group in which objects for which image processing is to be executed are connected in a plurality in a directed non-cyclic graph form.
- the first operation unit includes partial processes that can be processed according to the preceding and following dependency relationships.
- An execution instruction task for instructing the execution of partial processing to the second operation unit is performed when control is performed in parallel to each of the operation devices and the second operation unit can execute partial processing asynchronously to the first operation unit.
- An end detection task for detecting the end of partial processing in the second operation unit after being executed in the operation device of the first operation unit is registered in the end detection task management information, and the end detection task management Access the distribution, having a processor determines the presence or absence of termination detection task in which the second calculating unit has completed the partial processing.
- an image processing apparatus an image processing method, and an image processing program, which accelerates image processing by more efficiently detecting the end of partial processing in the second operation unit. .
- FIG. 6 is a schematic diagram for describing an example of an input image division process.
- FIG. 6 is a schematic diagram for describing an example of an input image division process.
- FIG. 10 is a schematic diagram for describing an asynchronous process end detection task list.
- FIG. 10 is a schematic diagram for describing an asynchronous process end detection task list.
- FIG. 14 is a schematic diagram for describing determination of an asynchronous process end detection task list.
- FIG. 14 is a schematic diagram for describing determination of an asynchronous process end detection task list.
- FIG. 14 is a schematic diagram for describing determination of an asynchronous process end detection task list. It is a flow chart which shows an example of a flow of DAG construction / execution processing concerning a 1st example embodiment. It is a flowchart which shows an example of the flow of the task storage process which concerns on 1st exemplary embodiment.
- FIG. 7 is a schematic diagram for describing image processing DAG execution processing according to the first exemplary embodiment.
- GPU 2nd calculating part
- the computer 10 may be a copier, a printer, a facsimile machine, a multifunction machine having the functions of these devices, and a computer incorporated in an image processing device that performs image processing such as a scanner. Further, the computer 10 may be an independent computer such as a PC (Personal Computer), or may be a computer incorporated in a portable device such as a PDA (Personal Digital Assistant) and a cellular phone.
- PC Personal Computer
- PDA Personal Digital Assistant
- a computer 10 includes a first operation unit 12A, a second operation unit 12B, a memory 14, a display unit 16, an operation unit 18, a storage unit 20, and an image data supply unit 22. , And an image output unit 24. Further, the respective units of the first calculation unit 12A, the second calculation unit 12B, the memory 14, the display unit 16, the operation unit 18, the storage unit 20, the image data supply unit 22, and the image output unit 24 It is connected.
- the first operation unit 12A is a main processor of the computer 10, and includes, by way of example, a central processing unit (CPU) having a plurality of processor cores 13 (hereinafter referred to as "cores 13"). is there.
- CPU central processing unit
- cores 13 processor cores 13
- each core 13 is described separately, like the core 13A and the core 13B, alphabets are added to the end of reference numerals.
- the core 13 of the present exemplary embodiment is an example of the arithmetic device of the present disclosure.
- the second operation unit 12B is, for example, a GPU (Graphics Processing Unit) having a local memory 15 therein.
- the second operation unit 12B is not particularly limited as long as it is an operation device that includes an internal memory such as the local memory 15 and performs image processing on image data stored in the internal memory, and may be, for example, a CPU .
- the second operation unit 12B may be a GPU built in the first operation unit 12A.
- the first operation unit 12A and the second operation unit 12B may be operation units such as a field programmable gate array (FPGA).
- FPGA field programmable gate array
- the memory 14 is a non-volatile storage unit that causes the first operation unit 12A to temporarily store data.
- the first operation unit 12A transfers the image data stored in the storage area of the memory 14 or the storage unit 20 to the second operation unit 12B via the bus 26. Transfer through. Then, the second operation unit 12B stores the image data transferred from the first operation unit 12A in the local memory 15, and performs image processing on the stored image data.
- the display unit 16 and the operation unit 18 for example, a display panel such as an LCD (Liquid Crystal Display) provided on the image processing apparatus and a numeric keypad are applied.
- a display panel such as an LCD (Liquid Crystal Display) provided on the image processing apparatus and a numeric keypad
- the computer 10 is an independent computer, for example, a display connected to the computer 10, a keyboard, a mouse, and the like are applied to the display unit 16 and the operation unit 18.
- the display unit 16 and the operation unit 18 may be a touch panel display or the like in which a touch panel and a display are integrated.
- a non-volatile storage medium such as a hard disk drive (HDD), a solid state drive (SSD), and a flash memory is applied.
- the image data supply unit 22 only needs to supply image data to be processed, and for example, an image reading unit that reads an image recorded on a recording material such as paper or a photographic film and outputs the image data is applied. Ru. Further, as the image data supply unit 22, for example, a reception unit that receives image data from an external device via a communication line, an image storage unit (memory 14 or storage unit 20) that stores image data, and the like are applied.
- the image output unit 24 only needs to output image data subjected to image processing or an image represented by image data subjected to image processing. For example, an image for recording an image represented by image data on a recording material such as paper or photosensitive material A recording unit is applied.
- the image output unit 24 is a display unit (display unit 16) that displays an image represented by the image data on a display or the like, and a writing device that writes the image data to a recording medium such as a compact disk read only memory (CD-ROM). Applied.
- the image output unit 24 is applied with a transmission unit that transmits image data subjected to image processing to an external device through a communication line.
- the image output unit 24 may be an image storage unit (memory 14 or storage unit 20) that stores image data subjected to image processing.
- the storage unit 20 stores various programs executed by the first operation unit 12A and the second operation unit 12B.
- the storage unit 20 stores, as various programs, a program of an operating system 30 that manages resources, manages program execution, and communicates between the computer 10 and an external device.
- an image processing program group 34 for causing the computer 10 to function as an image processing apparatus is stored as various programs.
- the storage unit 20 also stores, as various programs, various application programs 32 (hereinafter referred to as “applications 32”) that cause the image processing apparatus to perform desired image processing.
- the image processing program group 34 is a program developed for the purpose of reducing the load when developing an image processing program executed by the above-described image handling device, portable device, PC or the like. Further, the image processing program group 34 is a program developed to be able to be executed commonly by various devices (platforms) such as the image processing device, the portable device, and the PC described above.
- the image processing apparatus realized by the image processing program group 34 performs image processing instructed by the application 32 according to a construction instruction from the application 32.
- Image processing DAG Directed Acyclic Graph
- 50A (details will be described later) Build). Then, the image processing apparatus executes the processing of the image processing DAG 50A in accordance with the execution instruction from the application 32. Therefore, the image processing program group 34 provides the application 32 with an interface for instructing construction of the image processing DAG 50A for performing desired image processing, and instructing execution of image processing by the constructed image processing DAG 50A. doing.
- the image processing program group 34 includes a module library 36, a program of the processing construction unit 42, and a program of the processing control unit 46.
- the module library 36 programs of a plurality of types of image processing modules 38 that perform different predetermined image processing are registered.
- image processing for example, input processing, filter processing, color conversion processing, enlargement / reduction processing (denoted as “enlargement / reduction processing” in FIG. 1), skew angle detection processing, image rotation processing, image synthesis processing, and output processing Etc.
- image processing modules 38 which have the same type of image processing and different contents of image processing to be executed are also registered.
- this type of image processing module is distinguished by appending numerals at the end to “module 1” and “module 2”.
- An image processing module 38 is provided to perform processing.
- an image processing module 38 that performs enlargement / reduction processing an image processing module 38 that performs enlargement / reduction processing at a designated enlargement / reduction ratio is provided.
- the image processing module 38 that converts an image in an RGB (Red Green Blue) color space to an image in a CMYK (Cyan Magenta Yellow Key-Plate (black)) color space.
- an image processing module 38 for converting an image in the CMYK color space into an image in the RGB color space For example, for the image processing module 38 that performs color conversion processing, the image processing module 38 converts an image in RGB color space to an image in YCbCr color space, and converts an image in YCbCr color space to an image in RGB color space
- An image processing module 38 and the like are prepared.
- a buffer module 40 having a storage area (buffer) for storing image data is also registered.
- the processing construction unit 42 constructs the image processing DAG 50A in the DAG form according to an instruction from the application 32.
- the image processing DAG 50A as shown in FIG. 2A as an example, one or more image processing modules 38 are connected via a buffer module 40 arranged at least one of the front and rear of each image processing module 38. .
- Each image processing module 38 is an example of an object that performs image processing on input image data. Further, in the example shown in FIG. 2A, the image processing module 38 in which the image processing module 38 is connected to the previous stage through the buffer module 40 performs its own image processing when the image processing by the image processing module 38 of the previous stage is completed. Indicates that it is possible to In addition, the image processing module 38 in which the plurality of image processing modules 38 are connected to the previous stage through the buffer module 40 performs the image processing of its own when all the image processing of the plurality of image processing modules 38 in the previous stage is completed. It shows that it is possible to execute.
- FIG. 2A shows the DAG in which only each module is connected in the order of processing, but when this DAG is executed, input image data stored in the memory 14 is input as shown in FIG. 2B. And image processing is performed according to DAG. Finally, processing results such as processed output image data are stored in the memory 14.
- the process control unit 46 includes a division unit 60, a control unit 62, a task queue 64, an output unit 66, a registration unit 67, a determination unit 68, and an asynchronous process end detection task list (hereinafter simply referred to as “list ') 69).
- the dividing unit 60 divides an image indicated by a portion to be processed of input image data into a plurality of partial areas (hereinafter, referred to as “divided images”). As an example shown in FIG. 4A, the dividing unit 60 divides the image G indicated by the portion to be processed of the input image data into a plurality of (three in the example shown in FIG. 4A) divided images B1 to B3. .
- image data indicating a divided image is referred to as "divided image data”.
- the portion to be processed of the input image data means a portion to be processed by the entire input image data in image processing to process the entire input image as in color conversion processing.
- the part to be processed of the input image data means a part of the input image in the image processing in which a part of the input image is to be processed like a trimming process.
- input image data a portion to be processed of input image data is simply referred to as “input image data”.
- the dividing unit 60 divides the image G into upper and lower views in a front view, but is not limited thereto.
- the dividing unit 60 may divide the image G into the left and right in a front view, or may divide the image G into upper, lower, left and right in front view as shown in FIG. 4B.
- the number of divisions of the input image data by the dividing unit 60 is not particularly limited.
- the division unit 60 may divide the input image data by a predetermined number or size.
- the dividing unit 60 may divide the input image data into a number equal to or less than the number of processor cores of the computing unit that executes the image processing by the image processing module 38, and to two or more.
- the dividing unit 60 may divide input image data with a size equal to or less than the capacity of the cache memory of the computing unit that executes the image processing by the image processing module 38.
- the dividing unit 60 is a cache memory at a level farthest from the processor of the computing unit that executes image processing by the image processing module 38, that is, less than the capacity of so-called LLC (Last Level Cache) and as much as possible.
- LLC Last Level Cache
- the control unit 62 performs control to cause a plurality of cores 13 to execute tasks corresponding to divided image data in parallel.
- parallel means that tasks that can be executed based on the dependency are executed in parallel (simultaneously) by a plurality of cores 13.
- the control unit 62 divides the image processing performed by each image processing module 38 of the image processing DAG 50A into divided image data (divided image data divided by the dividing unit 60) And the image processing DAG 50A is updated to the image processing DAG 50B.
- the image processing DAG 50B represents DAG in the task of each partial processing 39, and is a so-called task DAG.
- FIG. 5 shows the image processing DAG 50B when the input image data is divided into four divided image data in the image processing DAG 50A shown in FIG. 2A.
- the buffer module 40 is omitted to avoid confusion.
- the control unit 62 performs partial processing 39 of the image processing module 38 coupled to the previous stage and image processing coupled to the subsequent stage according to the type of image processing performed by the image processing module 38.
- a dependency is given to the partial process 39 of the module 38. In FIG. 5, this dependency is indicated by a broken arrow.
- each partial process 39 also has a one-to-one dependency.
- a dependency is also given to partial processing 39 in the previous stage that performs image processing on peripheral pixels. That is, when the partial processing 39 of the image processing module 38 connected to the previous stage is completed between the connected image processing modules 38, the dependency relation is calculated based on the partial processing 39 of the image processing module 38 connected to the latter stage. It is a relation that becomes feasible. Therefore, each partial process 39 can be executed when there is no partial process 39 to which the dependency is given in the former stage or when all partial processes 39 in the former stage to which the dependency is given are completed.
- the partial process 39A and the partial process 39B shown in FIG. 5 can be executed at the start of execution of the image processing. Further, for example, the partial process 39C shown in FIG. 5 can be executed when the processes of both the partial process 39A and the partial process 39B of the previous stage to which the dependency is given are completed.
- the partial process 39 corresponding to the divided image data is referred to as a “task”.
- the control unit 62 stores the tasks that can be executed in the task queue 64 for the plurality of cores 13 to sequentially fetch and execute the stored tasks. Note that, as an example, the control unit 62 of the present exemplary embodiment sets the number of tasks stored simultaneously in the task queue 64 to two or less.
- the number of tasks simultaneously stored in the task queue 64 is not limited to the present exemplary embodiment, but is preferably two or more.
- the new task is not stored in the task queue 64, and there are multiple cores 13 Among them, the number of non-operating cores 13 increases, and the operation rate of the cores 13 decreases.
- the task queue 64 does not limit the number of tasks that can be stored simultaneously, memory is secured for all tasks stored in the task queue 64 in the pre-processing (described in detail later). Memory capacity will increase.
- the number of tasks that the task queue 64 can simultaneously store may be determined according to the memory capacity or the like, or may be variable according to the operating rate of the core 13.
- the synchronization task is a task that does not return control to the core 13A until the processing in the core 13B or the second operation unit 12B ends when the core 13A instructs the core 13B or the second operation unit 12B to execute the process.
- an asynchronous task is a task whose control returns to the core 13A without waiting for the end of the processing in the core 13B or the second operation unit 12B when the core 13A instructs the core 13B or the second operation unit 12B to execute the process. is there.
- the control unit 62 acquires a task from the task queue 64 and causes the acquired task to be executed.
- information indicating whether the task has ended processing or is ongoing is output to the control unit 62.
- it is not limited to this exemplary embodiment, For example, it may be a form which does not output about the information showing whether it is continuing, and outputs only the information showing that the process was complete
- the task If the task is an asynchronous task, the task outputs information indicating that processing is ongoing because it is the timing at which the task has just started to be executed.
- the control unit 62 registers, in the list 69, an asynchronous task whose processing is continuing via the registration unit 67.
- the list 69 of the present exemplary embodiment is an example of the end detection task management information of the present disclosure.
- the asynchronous task registered in the list 69 is a combination of an end detection task (described in detail later) for detecting the end of asynchronous processing.
- an asynchronous task in which an end detection task is combined is simply referred to as an “end detection task”.
- the end detection task the state in which the processing of the combined asynchronous task is continuing is referred to as "the ongoing end detection task”, and the state in which the processing of the combined asynchronous task is ended. Is called "a finished end detection task”.
- FIG. 6A shows an example of the state of the list 69.
- a state in which two ongoing end detection tasks TEp are already registered in the list 69 is schematically shown.
- the solid arrows shown in the list 69 indicate the direction from the top to the end of the list. Specifically, in FIG. 6A, the left side of the list 69 is the top, and the right side, which is the tip of the arrow, is the end.
- FIG. 6B schematically illustrates an example in which the registration unit 67 registers one new ongoing termination detection task TEp in the list 69.
- Registration unit 67 to register the termination detection task T Ep list 69, as shown in FIG. 6B as an example, to register the termination detection task T Ep at the end of the list 69.
- the task when the task is a synchronous task, the task outputs information indicating that the processing has been completed. In this case, the control unit 62 executes list determination processing (described in detail later) in the determination unit 68 before the task queue 64 acquires the next task.
- the determination unit 68 sequentially scans the list 69 from the top to check whether there is an end detection task that has been completed. If it is determined that there is an end detection task that has been completed, the determination unit 68 deletes the completed end detection task that has been determined from the list 69 to delete it and update the list 69.
- FIG. 7A schematically shows an example of a state in which the determination unit 68 sequentially scans the list 69 from the top and determines that the second end detection task in the list 69 is the end detection task TEf that has been completed. ing.
- the determination unit 68 determines that the end detection task TEf is completed, the determined end detection task TEf is deleted by extracting it from the list 69, and the list 69 is updated. Do.
- the determination unit 68 determines whether or not the end detection task of the next turn is the end detection task TEf that has been ended.
- the determination unit 68 executes the above processing up to the end of the list 69.
- the output unit 66 outputs output image data obtained as a result of the image processing performed by the image processing module 38 of the final stage of the image processing DAG 50B under the control of the control unit 62.
- the output unit 66 displays the output image indicated by the obtained output image data on the display unit 16.
- the output unit 66 may output (send) output image data to an external device.
- the output unit 66 may output (form) an output image indicated by the output image data to a recording material such as paper.
- FIG. 8 is a flowchart showing an example of the flow of DAG construction / execution processing executed by the first operation unit 12A when an instruction to start execution of image processing is input by the application 32.
- a program for DAG construction / execution processing (DAG construction / execution processing program) is installed in advance in the storage unit 20.
- the core 13 capable of executing a task without executing any task in the first operation unit 12A functions as the above-mentioned process construction unit 42 and control unit 62 by executing the DAG construction / execution processing program.
- the processing construction unit 42 constructs an image processing DAG 50A that performs the image processing instructed by the application 32 in accordance with the construction instruction from the application 32. Further, the processing construction unit 42 updates the image processing DAG 50A to the image processing DAG 50B as described above.
- control unit 62 causes the first operation unit 12A (core 13) and the second operation unit 12B to execute image processing by the image processing DAG 50B constructed in step 100. After this, the DAG construction / execution processing ends.
- the output unit 66 can obtain the result of the image processing desired by the application 32.
- the control unit 62 indicates that the process has been completed, or indicates that an error has occurred during the process. The information is notified to the application 32.
- the DAG construction / execution processing of this exemplary embodiment includes a task storage processing for storing an executable task of the image processing DAG 50B in the task queue 64, and a task execution processing for executing the tasks stored in the task queue 64. , Contains two processes.
- FIG. 9 is a flowchart showing an example of the flow of task storage processing.
- the program for task storage processing (task storage processing program) is installed in advance in the storage unit 20 as a part of the DAG construction / execution processing program, or another so-called sub program or the like.
- the core 13 capable of executing a task without executing any task in the first operation unit 12A executes the task storage processing program to function as the control unit 62, and executes the task storage processing shown in FIG. .
- the control unit 62 determines whether or not an executable task is stored in the task queue 64. In the present exemplary embodiment, when the number of executable tasks stored in the task queue 64 is two or more, the determination in step 110 is positive and the process proceeds to step 114.
- step 110 determines whether the number of executable tasks stored in the task queue 64 is less than two. If the number of executable tasks stored in the task queue 64 is less than two, the determination in step 110 is negative and the process proceeds to step 112.
- the control unit 62 finds out an executable task from the image processing DAG 50B and stores the task in the task queue 64.
- the number of tasks stored in the task queue 64 may be two or less, and the number of tasks to be simultaneously stored in the task queue 64 by the control unit 62 in this step is One or two may be used. Specifically, when no task is stored in the task queue 64, the control unit 62 may store one or two tasks in the task queue 64, and one task is stored in the task queue 64. If it is, the control unit 62 may store one task in the task queue 64. The number of tasks to be simultaneously stored in the task queue 64 by the control unit 62 in this step may be determined in advance, or may be variable according to the progress of the task processing in each core 13.
- the control unit 62 determines whether or not all the tasks of the image processing DAG 50B have been stored in the task queue 64. If there is a task not yet stored in the task queue 64, the determination at step 114 is negative, the process returns to step 110, and the task storage process is repeated. On the other hand, when all the tasks have been stored in the task queue 64, the determination in step 114 is affirmed and the task storage processing ends.
- FIG. 11 is a flowchart showing an example of the flow of task execution processing.
- the program for task execution processing (task execution processing program) is previously installed in the storage unit 20 as a part of the DAG construction / execution processing program, or another so-called sub program or the like.
- Each of the cores 13 capable of executing a task without executing any task in the first operation unit 12A executes a task execution processing program, thereby functioning as a control unit 62, a registration unit 67, and a determination unit 68.
- the task execution process shown in FIG. 11 is executed.
- the task storage process and the task execution process are executed in parallel by executing the task storage process and the task execution process in different cores 13.
- control unit 62 acquires a task from the task queue 64.
- the control unit 62 executes a pre-processing predetermined in the execution of the task.
- the preprocessing to be executed in this step is a process that is predetermined to be performed before image processing, and is not particularly limited. For example, it is for securing an output buffer area for storing an image processing result and for image processing It is a process of securing a resource for calculation such as initialization of variables.
- the control unit 62 causes the core 13 or the second operation unit 12B of the first operation unit 12A to execute the task acquired in step 120.
- the core 13 of the first operation unit 12A causes the second operation unit 12B to execute the task so that the second operation unit 12B executes the task.
- Ru The task to be executed by the second operation unit 12B of the present exemplary embodiment is an example of the execution instruction task of the present disclosure.
- information indicating whether the task is a task to be executed by the second operation unit 12B is the image processing DAG 50B from the image processing DAG 50A at step 100 (see FIG. 8) of the DAG construction / execution processing. Is given in the process of generating
- control unit 62 determines whether the task executed at step 124 is finished (finished).
- the data (image data) generally required for the processing is the second operation unit 12B because processing is performed at high speed. Is transferred to the local memory 15 of FIG.
- the second operation unit 12B is a GPU
- FIG. 13A when the tasks T1 and T2 which are GPU processing are continuously performed, as shown in FIG. 13B, an example of the second operation unit 12B from the memory 14 before execution of the task T1.
- a transfer process to the local memory 15 and a transfer process of the processing result from the local memory 15 to the memory 14 are performed after execution of the task T2.
- the core 13 executes a task and instructs the CPU
- the GPU is activated and controlled, and the GPU executes the task.
- synchronous processing processing in which control does not return to the core 13 until processing in the GPU is completed
- FIG. 13B it is configured in the same way as a task executed by a normal CPU.
- the core 13 is in a standby state until the processing is completed, and the operation of the core 13 is wasted.
- the core 13 instructs to asynchronously process each of the transfer to the GPU, the process, and the transfer of the processing result from the GPU (tasks T0 to T3). Then, when control returns to the core 13 side, the core 13 executes an end detection task T4 that detects the end of the task in the GPU.
- step S124 the process is hardly finished. If the process has not been completed, the determination in step 126 is negative, and the process proceeds to step 128.
- step 128 the control unit 62 causes the registration unit 67 to register the end detection task T4 at the end of the list 69, and then ends the task execution process.
- step 126 when the task is a task to be executed by the first operation unit 12A (see arrow (c) in FIG. 10), execution is performed in synchronization processing in the core 13 and control is sent to the control unit 62 until synchronization processing is completed. Dont return. Therefore, in the determination of step 126 after the control returns to the control unit 62, since the synchronization processing has been completed, the determination of step 126 is positive and the process proceeds to step 130.
- the control unit 62 performs post-processing.
- the post-processing to be executed in this step is a process which is predetermined to be performed after the partial process corresponding to the task, and is not particularly limited. For example, release of the operation resource secured in the process of step 122 Processing.
- the control unit 62 notifies the process construction unit 42 of the completion of the task.
- the processing construction unit 42 that has received the task completion notification updates the dependency of the image processing DAG 50B. As described above, when the dependency of the image processing DAG 50B is updated, the processing construction unit 42 determines an executable task based on the updated dependency in the above-described task storage process (see FIG. 9).
- control unit 62 causes the determination unit 68 to execute list determination processing for determining the end detection task registered in the list 69, and then ends the task execution processing.
- FIG. 12 is a flowchart illustrating an example of the flow of the list determination process.
- step 150 the determination unit 68 acquires the end detection task registered at the top of the list 69.
- the determination unit 68 determines whether acquisition of the end detection task has succeeded. If the list 69 is empty and the end detection task can not be acquired, the determination in step 152 is negative, and the list determination process ends.
- step 152 determines whether the end detection task can be acquired. If the end detection task can be acquired, the determination in step 152 is positive, and the process proceeds to step 154.
- step 154 the determination unit 68 determines whether the asynchronous processing corresponding to the acquired end detection task is ended.
- the termination detection task acquired by the determination unit 68 is termination detection task T Ep
- the determination in step 154 is negative and the process proceeds to step 162.
- the determination unit 68 acquires the termination detection task registered next from the list 69, and returns to the processing of step 152.
- the termination detection task acquired by the determination unit 68 is the termination detection task TEf .
- the process proceeds to step 156.
- step 156 the determination unit 68 extracts the termination detection task that has been terminated from the list 69 and deletes it (see also FIG. 7B).
- the determination unit 68 performs post-processing in the same manner as step 130 of the above-described task execution process (see FIG. 11). Furthermore, in the next step 160, the determination unit 68 notifies the process construction unit 42 of the completion of the task, as in step 132 of the task execution process described above.
- the determination unit 68 acquires the termination detection task registered next from the list 69, and returns to the processing in step 152.
- control unit 62 sequentially scans the list 69 from the top to the end, and determines, for each of the end detection tasks, whether or not the combined asynchronous processing has ended.
- the core 13 that instructs the second operation unit 12B to execute the process of the asynchronous task and does not finish the execution of the task registers the end detection task in the list 69.
- the core 13 which has completed the execution of the task performs list determination processing, deletes the completed termination detection task from the list 69, and performs post-processing of the corresponding asynchronous task to the processing construction unit 42. Give notification of completion.
- management of the end detection task is performed by the list 69, so detection of the end of the asynchronous task executed by the second operation unit 12B can be efficiently performed.
- the second operation unit 12B can be efficiently operated, and parallel processing with improved scalability can be realized.
- the termination detection task registered in the list 69 May be stored in the task queue 64. This makes it possible to prevent the core 13 from entering a standby state and causing a deadlock.
- each process of updating the image processing DAG 50B, storing the task in the task queue 64, and taking out the task from the task queue 64 described above needs to be performed while performing exclusive control. Needless to say.
- Second Exemplary Embodiment In this exemplary embodiment, a form is described in which the access to the list 69 for performing registration of the end detection task, scanning for determination, and deletion for each is exclusively controlled to avoid confusion.
- the access to the list 69 for performing registration of the end detection task, scanning for determination, and deletion for each is exclusively controlled to avoid confusion.
- movement similar to the said 1st exemplary embodiment, that is described and detailed description is abbreviate
- the configuration of the computer 10 of the present exemplary embodiment is similar to the configuration (see FIGS. 1 and 3) of the computer 10 of the first exemplary embodiment, and thus the detailed description is omitted.
- the task storage process in the DAG construction / execution process (see FIG. 8) executed by the computer 10 is the same as the task storage process (see FIG. 9) of the first exemplary embodiment Do.
- the task execution process since the task execution process includes a process different from the task execution process (see FIG. 11) in the first exemplary embodiment, the task execution process in the present exemplary embodiment will be described in detail below.
- FIG. 14 is a flowchart showing an example of the flow of task execution processing according to the present exemplary embodiment.
- the task execution process of the present exemplary embodiment includes the process of steps 127A and 127B between step 126 and step 128, and includes the process of step 129 after step 128. It differs from the task execution process (see FIG. 11) of the exemplary embodiment.
- step 127A the control unit 62 determines whether or not the lock of exclusive control for the access of the list 69 has been acquired. The determination in step 127A is negative until the lock can be acquired, and when the lock can be acquired, the determination in step 127A is positive and the process proceeds to step 127B.
- step 127 B the control unit 62 performs the list determination process by the determination unit 68 as in step 134 of the task execution process of the first exemplary embodiment described above, and then proceeds to step 128.
- step 129 the control unit 62 performs the list determination process by the determination unit 68 as in step 134 of the task execution process of the first exemplary embodiment described above, and then proceeds to step 128.
- the process proceeds to step 129.
- control unit 62 After releasing the acquired lock in step 129, the control unit 62 ends the task execution process.
- the task execution process of the present exemplary embodiment includes the process of step 133 between step 132 and step 134, and includes the process of step 135 after the process of step 134, This differs from the task execution process (see FIG. 11) of the first exemplary embodiment.
- step 133 the control unit 62 determines whether the lock of the exclusive control for the access of the list 69 has been acquired. If the lock can not be acquired, the determination in step 133 is negative, and the task execution processing ends. On the other hand, if the lock can be acquired, the determination in step 133 becomes affirmative and the process proceeds to step 134.
- control unit 62 ends the task execution process.
- the core 13 registering the termination detection task in the list 69 is in a standby state until the lock for access to the list 69 can be acquired, and the list determination process is performed when the lock is acquired. After that, the end detection task is registered in the list 69. Also, the core 13 having received the task completion notification performs the list determination process when the lock for access to the list 69 can be acquired, and does not perform the list determination process when the lock can not be acquired.
- the access to the list 69 is simply exclusive controlled, there is a plurality of cores 13 that execute the list determination process, and when each of the cores 13 accesses the list 69 at the same timing, one core While 13 is accessing the list 69, the other cores 13 are blocked. In this case, the operation of the blocked core 13 is wasted. Since the core 13 which has acquired the lock for access to the list 69 scans all the end detection tasks in the list 69 by the list determination process, the list determination process by the other cores 13 may not be performed.
- the core 13 that can not acquire the lock can perform processing efficiently by suppressing the list determination process, and the waste of the operation of the core 13 can be suppressed.
- the core 13 that registers the end detection task acquires a lock on the list 69
- the core 13 that performs list determination processing is blocked.
- the determination of the completed end detection task is delayed, and the second operation unit 12B is caused to newly perform the asynchronous task. It becomes impossible, and waste occurs in operation of the 2nd operation part 12B.
- the list determination process is also performed to make the determination on the termination detection task completed more efficient. It can be carried out.
- the second operation unit 12B can be operated more efficiently, and parallel processing with improved scalability can be realized.
- the configuration of the computer 10 of the present exemplary embodiment is similar to the configuration (see FIGS. 1 and 3) of the computer 10 of the first exemplary embodiment, and thus the detailed description is omitted.
- the task storage process in the DAG construction / execution process (see FIG. 8) executed by the computer 10 is the same as the task storage process (see FIG. 9) of the first exemplary embodiment Do.
- the task execution process since the task execution process includes a process different from the task execution process (see FIG. 11) in the first exemplary embodiment, the task execution process in the present exemplary embodiment will be described in detail below.
- FIG. 15 is a flowchart showing an example of the flow of task execution processing according to the present exemplary embodiment. As shown in FIG. 15, the task execution process of the present exemplary embodiment differs from the task execution process (see FIG. 11) of the first exemplary embodiment in that the process of step 139 is included after step 128.
- the control unit 62 After the end detection task is registered in the list 69, the control unit 62 stores the determination task for causing the list determination process to be performed in the task queue 64 in step 139, and then ends the task execution process.
- the core 13A stored the end detection task T Ep in the list 69 shows a state in which the judgment task T J is stored in the task queue 64 (see arrow (e)).
- the task execution process of the present exemplary embodiment includes the process of step 121 between step 120 and step 122, and the timing of executing the process of step 134 is the first example. This is different from the task execution process (see FIG. 11) of the embodiment.
- step 121 the control unit 62 determines whether the acquired task is a determination task. If the acquired task is not a determination task, the determination in step 121 is negative, and the process proceeds to step 122. On the other hand, if the acquired task is a determination task, the determination in step 121 is affirmative, and the process proceeds to step 134 to execute the list determination process, and then the task execution process is ended. In the present exemplary embodiment, after the task construction unit 42 is notified of task completion in step 132, the task execution processing is terminated.
- the timing when the list determination process is performed is set as the timing when the core 13 acquires the determination task from the task queue 64. There is.
- a plurality of termination detection tasks are collectively managed by the list 69, and execution of one list determination process completes termination for all termination detection tasks registered in the list 69. It is determined whether or not it is an end detection task of Therefore, for example, as compared with the case where individual end detection tasks are stored in the task queue 64, it is possible to efficiently determine the end detection tasks that have been ended.
- the second operation unit 12B can be efficiently operated, and parallel processing with improved scalability can be realized.
- the computer 10 is the computer 10 that executes image processing with each object of an object group in which objects for performing image processing are connected in a plurality in a directed acyclic graph form.
- a division unit 60 that divides image data to be processed into a plurality of divided image data, and a task that is image processing performed on the divided image data and that can be processed according to the dependency between before and after
- the control unit 62 performs control to execute each of the plurality of cores 13 included in the first operation unit 12A in parallel.
- a registration unit 67 that registers in the list 69 an end detection task that detects the end of the task to be completed, and a determination unit 68 that accesses the list 69 and the second operation unit 12B determines the presence / absence of the end detection task that ended the task; Equipped with
- the core 13 that has instructed the second operation unit 12B to execute the process of the asynchronous task registers the end detection task in the list 69. Also, the core 13 deletes the termination detection task that has been terminated by the list determination processing from the list 69, and notifies the processing construction unit 42 of the completion of the task.
- the termination detection task is stored in the task queue 64
- the execution of other tasks stored before the termination detection task is terminated, and the termination detection task is the task queue, unlike the above-described exemplary embodiments.
- the second operation unit 12B can not newly perform the task. Therefore, the second arithmetic unit 12B can not be operated sufficiently, and the processing efficiency of the image processing is reduced.
- the second operation unit 12B may be provided inside the computer 10
- the second operation unit 12B may be provided outside the computer 10, It may be provided in a computer different from the computer 10.
- the said each exemplary embodiment demonstrated the aspect by which various programs were beforehand memorize
- the various programs may be provided in the form of being recorded on a recording medium such as a CD-ROM, a DVD-ROM (Digital Versatile Disk Read Only Memory), or a USB (Universal Serial Bus) memory.
- various programs may be downloaded from an external device via a network.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
コンピュータは、画像データを複数の分割画像データに分割する分割部と、分割画像データに対して行うタスクで、かつ前後の依存関係に応じて処理可能なタスクを第1演算部が備える複数のコアの各々に並列して実行させる制御を行う制御部と、第1演算部と非同期に第2演算部がタスクを実行可能な場合、第2演算部に対するタスクの実行を指示する実行指示タスクを第1演算部のコアにおいて実行した後に、第2演算部におけるタスクの終了を検知する終了検知タスクをリストに登録する登録部と、リストにアクセスし、第2演算部がタスクを終了した終了検知タスクの有無を判定する判定部と、を備える。
Description
本開示は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
特開2004-030312号公報には、複数のスレッド(演算装置)が同期をとりながら、一連の処理を複数のスレッドで分担して同時に処理することで、処理の高速化を実現する制御方式が開示されている。
また、Mark Grand, Patterns in Java: A Catalog of Reusable Design Patterns Illustrated with UML, 2nd Edition, Vol. 1, Wiley Pub., 2003/02/17, p. 495-500、及び、Rajat P. Gang and Ilya Sharapov, Techniques for Optimizing Applications: High Performance Computing, Prentice-Hall, 2001/07/25, p. 394-395には、タスク供給者(Producer)がキューに投入されたタスクを、複数のワーカースレッドによるタスク消費者(Consumer)に供給する技術が開示されている。
上記特開2004-030312号公報や、Mark Grand, Patterns in Java: A Catalog of Reusable Design Patterns Illustrated with UML, 2nd Edition, Vol. 1, Wiley Pub., 2003/02/17, p. 495-500、及び、Rajat P. Gang and Ilya Sharapov, Techniques for Optimizing Applications: High Performance Computing, Prentice-Hall, 2001/07/25, p. 394-395に開示された技術では、主として部分処理を行う第1演算部と非同期に、第1演算部の指示により第2演算部で部分処理を実行する場合、第2演算部における部分処理の終了の検知が効率的に行われない場合があった。この場合、部分処理が終了しているにもかかわらず、部分処理の終了が検知されるまで第2演算部に新たに部分処理を行わせることができないため、第2演算部を十分に稼働させることができず、画像処理の処理効率が低下する場合があった。
本開示は、第2演算部における部分処理の終了の検知をより効率的に行うことにより画像処理を高速化する、画像処理装置、画像処理方法、及び画像処理プログラムを提供する。
本開示の第1の態様は、画像処理を実行するオブジェクトが有向非循環グラフ形態で複数連結されたオブジェクト群の各オブジェクトにより画像処理を実行する画像処理装置であって、画像処理の対象となる画像データを複数の分割画像データに分割する分割部と、分割画像データに対して行う画像処理である部分処理で、かつ前後の依存関係に応じて処理可能な部分処理を第1演算部が備える複数の演算装置の各々に並列して実行させる制御を行う制御部と、第1演算部と非同期に第2演算部が部分処理を実行可能な場合、第2演算部に対する部分処理の実行を指示する実行指示タスクを第1演算部の演算装置において実行した後に、第2演算部における部分処理の終了を検知する終了検知タスクを終了検知タスク管理情報に登録する登録部と、終了検知タスク管理情報にアクセスし、第2演算部が部分処理を終了した終了検知タスクの有無を判定する判定部と、を備える。
また、本開示の第2の態様は、上記第1の態様において、演算装置は、部分処理の実行後に判定部として動作してもよい。
また、本開示の第3の態様は、上記第2の態様において、演算装置は、判定部として終了検知タスクの有無の判定の終了後、再び制御部の制御により他の部分処理を実行してもよい。
また、本開示の第4の態様は、上記態様において、演算装置は、登録部として動作してもよい。
また、本開示の第5の態様は、上記態様において、演算装置は、登録部としての動作と判定部としての動作とを連続して行ってもよい。
また、本開示の第6の態様は、上記第1の態様において、制御部は、判定部として動作させるための判定タスクを演算装置に実行させてもよい。
また、本開示の第7の態様は、上記態様において、登録部及び判定部の終了検知タスク管理情報へのアクセスが排他制御されていてもよい。
また、本開示の第8の態様は、上記態様において、判定部は、第2演算部が部分処理を終了した終了検知タスクを終了検知タスク管理情報から削除してもよい。
また、本開示の第9の態様は、上記態様において、制御部は、タスクキューに格納された部分処理を順次取り出して複数の演算装置に並列して実行させてもよい。
また、本開示の第10の態様は、画像処理を実行するオブジェクトが有向非循環グラフ形態で複数連結されたオブジェクト群の各オブジェクトにより画像処理を実行する画像処理装置による画像処理方法であって、画像処理の対象となる画像データを複数の分割画像データに分割し、分割画像データに対して行う画像処理である部分処理で、かつ前後の依存関係に応じて処理可能な部分処理を第1演算部が備える複数の演算装置の各々に並列して実行させる制御を行い、第1演算部と非同期に第2演算部が部分処理を実行可能な場合、第2演算部に対する部分処理の実行を指示する実行指示タスクを第1演算部の演算装置において実行した後に、第2演算部における部分処理の終了を検知する終了検知タスクを終了検知タスク管理情報に登録し、終了検知タスク管理情報にアクセスし、第2演算部が部分処理を終了した終了検知タスクの有無を判定する、処理を含む。
また、本開示の第11の態様は、画像処理プログラムであって、コンピュータを本開示の画像処理装置の分割部、制御部、登録部、及び判定部として機能させる。
本開示の第12の態様は、画像処理を実行するオブジェクトが有向非循環グラフ形態で複数連結されたオブジェクト群の各オブジェクトにより画像処理を実行する画像処理装置であって、画像処理の対象となる画像データを複数の分割画像データに分割し、分割画像データに対して行う画像処理である部分処理で、かつ前後の依存関係に応じて処理可能な部分処理を第1演算部が備える複数の演算装置の各々に並列して実行させる制御を行い、第1演算部と非同期に第2演算部が部分処理を実行可能な場合、第2演算部に対する部分処理の実行を指示する実行指示タスクを第1演算部の演算装置において実行した後に、第2演算部における部分処理の終了を検知する終了検知タスクを終了検知タスク管理情報に登録し、終了検知タスク管理情報にアクセスし、第2演算部が部分処理を終了した終了検知タスクの有無を判定するプロセッサを有する。
本開示の上記態様によれば、第2演算部における部分処理の終了の検知をより効率的に行うことにより画像処理を高速化する、画像処理装置、画像処理方法、及び画像処理プログラムを提供できる。
以下、図面を参照して、本開示を実施するための形態例を詳細に説明する。
[第1例示的実施形態]
まず、図1を参照して、画像処理装置として機能するコンピュータ10の構成を説明する。なお、コンピュータ10は、複写機、プリンタ、ファクシミリ装置、これらの装置の機能を兼ね備えた複合機、及びスキャナ等の内部で画像処理を行う画像取扱機器に組み込まれたコンピュータであってもよい。また、コンピュータ10は、PC(Personal Computer)等の独立したコンピュータであってもよく、PDA(Personal Digital Assistant)及び携帯電話機等の携帯機器に組み込まれたコンピュータであってもよい。
まず、図1を参照して、画像処理装置として機能するコンピュータ10の構成を説明する。なお、コンピュータ10は、複写機、プリンタ、ファクシミリ装置、これらの装置の機能を兼ね備えた複合機、及びスキャナ等の内部で画像処理を行う画像取扱機器に組み込まれたコンピュータであってもよい。また、コンピュータ10は、PC(Personal Computer)等の独立したコンピュータであってもよく、PDA(Personal Digital Assistant)及び携帯電話機等の携帯機器に組み込まれたコンピュータであってもよい。
図1に示すように、本例示的実施形態に係るコンピュータ10は、第1演算部12A、第2演算部12B、メモリ14、表示部16、操作部18、記憶部20、画像データ供給部22、及び画像出力部24を備えている。また、第1演算部12A、第2演算部12B、メモリ14、表示部16、操作部18、記憶部20、画像データ供給部22、及び画像出力部24の各部は、バス26を介して互いに接続されている。
本例示的実施形態に係る第1演算部12Aは、コンピュータ10のメイン・プロセッサであり、一例として複数のプロセッサ・コア13(以下、「コア13」という。)を有するCPU(Central Processing Unit)である。以下では、各コア13を区別して説明する場合は、コア13A、コア13Bのように、符号の末尾にアルファベットを付して説明する。本例示的実施形態のコア13が、本開示の演算装置の一例である。
また、本例示的実施形態に係る第2演算部12Bは、一例として内部にローカルメモリ15を有するGPU(Graphics Processing Unit)である。なお、第2演算部12Bは、ローカルメモリ15等の内部メモリを備え、内部メモリに記憶された画像データに対して画像処理を行う演算装置であれば、特に限定されず、例えば、CPUでもよい。また、第2演算部12Bは、第1演算部12Aに内蔵されたGPUでもよい。また、第1演算部12A及び第2演算部12Bは、FPGA(Field Programmable Gate Array)等の演算器でもよい。
メモリ14は、第1演算部12Aが一時的にデータを記憶させる不揮発性の記憶手段である。本例示的実施形態に係る第2演算部12Bにより画像処理を行う場合、第1演算部12Aはメモリ14又は記憶部20の記憶領域に記憶された画像データを第2演算部12Bにバス26を介して転送する。そして、第2演算部12Bは、第1演算部12Aから転送された画像データをローカルメモリ15に記憶し、記憶した画像データに対して画像処理を行う。
コンピュータ10が前述した画像取扱機器に組み込まれている場合、表示部16及び操作部18は、例えば画像取扱機器に設けられたLCD(Liquid Crystal Display)等の表示パネル及びテンキー等が適用される。また、コンピュータ10が独立したコンピュータである場合、表示部16及び操作部18は、例えばコンピュータ10に接続されたディスプレイ、及びキーボード、マウス等が適用される。また、表示部16及び操作部18は、タッチパネル及びディスプレイが一体化して構成されたタッチパネルディスプレイ等でもよい。また、記憶部20は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、及びフラッシュメモリ等の不揮発性の記憶媒体が適用される。
画像データ供給部22は、処理対象の画像データを供給するものであればよく、例えば紙又は写真フィルム等の記録材料に記録されている画像を読み取って画像データを出力する画像読取部が適用される。また、画像データ供給部22は、例えば通信回線を介して外部装置から画像データを受信する受信部、及び画像データを記憶する画像記憶部(メモリ14又は記憶部20)等が適用される。
画像出力部24は、画像処理を経た画像データ又は画像処理を経た画像データが表す画像を出力するものであればよく、例えば画像データが表す画像を紙又は感光材料等の記録材料に記録する画像記録部が適用される。また、画像出力部24は、画像データが表す画像をディスプレイ等に表示する表示部(表示部16)、画像データをCD-ROM(Compact Disk Read Only Memory)等の記録媒体に書き込む書込装置が適用される。また、画像出力部24は、画像処理を経た画像データを、通信回線を介して外部装置に送信する送信部が適用される。また、画像出力部24は、画像処理を経た画像データを記憶する画像記憶部(メモリ14又は記憶部20)であってもよい。
図1に示すように、記憶部20には、第1演算部12A及び第2演算部12Bによって実行される各種プログラムが記憶されている。記憶部20には、各種プログラムとして、リソースの管理、プログラムの実行の管理、及びコンピュータ10と外部装置との通信等を司るオペレーティングシステム30のプログラムが記憶されている。また、記憶部20には、各種プログラムとして、コンピュータ10を画像処理装置として機能させるための画像処理プログラム群34が記憶されている。また、記憶部20には、各種プログラムとして、上記画像処理装置に対して所望の画像処理を行わせる各種のアプリケーションプログラム群32(以下、「アプリケーション32」という。)が記憶されている。
画像処理プログラム群34は、前述した画像取扱機器、携帯機器、及びPC等で実行される画像処理プログラムを開発する際の負荷を軽減することを目的として開発されたプログラムである。また、画像処理プログラム群34は、前述した画像取扱機器、携帯機器、及びPC等の各種機器(プラットフォーム)で共通に実行可能に開発されたプログラムである。
画像処理プログラム群34によって実現される画像処理装置は、アプリケーション32からの構築指示に従い、アプリケーション32が指示した画像処理を行う画像処理DAG(有向非循環グラフ:Directed Acyclic Graph)50A(詳細は後述)を構築する。そして、上記画像処理装置は、アプリケーション32からの実行指示に従い画像処理DAG50Aの処理を実行する。このため、画像処理プログラム群34は、所望の画像処理を行う画像処理DAG50Aの構築を指示したり、構築された画像処理DAG50Aによる画像処理の実行を指示したりするためのインタフェースをアプリケーション32に提供している。
以上の構成により、内部で画像処理を行う必要のある任意の機器を新規に開発する場合等にも、上記画像処理を行うプログラムの開発に関しては、上記任意の機器で必要とされる画像処理を、上記インタフェースを利用して画像処理プログラム群34に行わせるアプリケーション32を開発すればよい。従って、開発者は、実際に画像処理を行うプログラムを新たに開発する必要が無くなり、開発者の負荷が軽減される。
次に、本例示的実施形態に係る画像処理プログラム群34について詳細に説明する。図1に示すように、画像処理プログラム群34は、モジュールライブラリ36、処理構築部42のプログラム、及び処理制御部46のプログラムを含む。
モジュールライブラリ36は、予め定められた互いに異なる画像処理を行う複数種類の画像処理モジュール38のプログラムが各々登録されている。この画像処理としては、例えば、入力処理、フィルタ処理、色変換処理、拡大・縮小処理(図1では「拡縮処理」と表記)、スキュー角検知処理、画像回転処理、画像合成処理、及び出力処理等が挙げられる。
また、モジュールライブラリ36には、画像処理の種類が同一で、かつ実行する画像処理の内容が異なる画像処理モジュール38も登録されている。図1では、この種の画像処理モジュールを「モジュール1」、「モジュール2」と、末尾に数字を付して区別している。例えば、拡大・縮小処理を行う画像処理モジュール38については、入力された画像データを、水平方向及び垂直方向の各方向ともに1画素おきに間引くことで画像の縦横のサイズを50%に縮小する縮小処理を行う画像処理モジュール38が用意されている。さらに、例えば、拡大・縮小処理を行う画像処理モジュール38については、入力された画像データに対して指定された拡大・縮小率で拡大・縮小処理を行う画像処理モジュール38等が用意されている。
また、例えば、色変換処理を行う画像処理モジュール38については、RGB(Red Green Blue)色空間の画像をCMYK(Cyan Magenta Yellow Key-Plate(黒))色空間の画像へ変換する画像処理モジュール38、及びCMYK色空間の画像をRGB色空間の画像へ変換する画像処理モジュール38が用意されている。さらに、例えば、色変換処理を行う画像処理モジュール38については、RGB色空間の画像をYCbCr色空間の画像へ変換する画像処理モジュール38、及びYCbCr色空間の画像をRGB色空間の画像へ変換する画像処理モジュール38等が用意されている。
また、モジュールライブラリ36には、画像データを記憶するための記憶領域(バッファ)を備えたバッファモジュール40も登録されている。
本例示的実施形態に係る処理構築部42は、アプリケーション32からの指示により、DAG形態の画像処理DAG50Aを構築する。画像処理DAG50Aは、一例として図2Aに示すように、1つ以上の画像処理モジュール38が、個々の画像処理モジュール38の前段及び後段の少なくとも一方に配置されたバッファモジュール40を介して連結される。
なお、個々の画像処理モジュール38は、入力画像データに対して画像処理を実行するオブジェクトの一例である。また、図2Aに示す例では、バッファモジュール40を介して前段に画像処理モジュール38が連結された画像処理モジュール38は、前段の画像処理モジュール38による画像処理が終了した場合に、自身の画像処理の実行が可能となることを示している。また、バッファモジュール40を介して前段に複数の画像処理モジュール38が連結された画像処理モジュール38は、前段の複数の画像処理モジュール38の全ての画像処理が終了した場合に、自身の画像処理の実行が可能となることを示している。
また、図2Aでは、各モジュールのみが処理の順に接続されたDAGを示しているが、このDAGが実行される際には、図2Bに示すようにメモリ14に記憶された入力画像データが入力されてDAGに従って画像処理が行われる。そして、最終的にメモリ14に処理済みの出力画像データ等の処理結果が記憶される。
次に、図3を参照して、本例示的実施形態に係る処理制御部46の機能的な構成を説明する。図3に示すように、処理制御部46は、分割部60、制御部62、タスクキュー64、出力部66、登録部67、判定部68、及び非同期処理終了検知タスクリスト(以下、単に「リスト」という)69を備えている。
本実施の形態に係る分割部60は、入力画像データの処理対象とする部分により示される画像を複数の部分領域(以下、「分割画像」という。)に分割する。一例として図4Aに示すように、分割部60は、入力画像データの処理対象とする部分により示される画像Gを、複数(図4Aに示す例では3つ)の分割画像B1~B3に分割する。なお、以下では分割画像を示す画像データを「分割画像データ」という。また、入力画像データの処理対象とする部分とは、色変換処理のように入力画像全体を処理対象とする画像処理では、入力画像データ全体が処理対象とする部分を意味する。また、入力画像データの処理対象とする部分とは、切り抜き(トリミング)処理のように、入力画像の一部を処理対象とする画像処理では、入力画像の一部を意味する。以下では、錯綜を回避するために、入力画像データの処理対象とする部分を、単に「入力画像データ」という。
また、図4Aに示した例では、分割部60が画像Gを正面視上下に分割しているが、これに限定されない。例えば分割部60は画像Gを正面視左右に分割してもよいし、図4Bに示すように、正面視上下左右に分割してもよい。
なお、分割部60による入力画像データの分割数は特に限定されない。例えば、分割部60は、予め定められた数又はサイズで入力画像データを分割してもよい。また、例えば、分割部60は、画像処理モジュール38による画像処理を実行する演算部が有するプロセッサ・コア数以下で、かつ2以上の数に入力画像データを分割してもよい。
また、例えば、分割部60は、画像処理モジュール38による画像処理を実行する演算部が有するキャッシュメモリの容量以下のサイズで入力画像データを分割してもよい。この場合、例えば、分割部60は、画像処理モジュール38による画像処理を実行する演算部のプロセッサから最も遠いレベルのキャッシュメモリ、所謂LLC(Last Level Cache)の容量以下で、かつLLCの容量に極力一致するサイズで入力画像データを分割する形態が例示される。
本例示的実施形態に係る制御部62は、分割画像データに対応するタスクを複数のコア13に並列に実行させる制御を行う。なお、ここでいう並列とは、依存関係に基づいて実行可能となったタスクが複数のコア13により並列に(同時に)実行されることを意味する。
具体的には、制御部62は、一例として図5に示すように、画像処理DAG50Aの各画像処理モジュール38で実行される画像処理を分割画像データ(分割部60により分割された分割画像データ)の各々に対応する部分処理39に分割して、画像処理DAG50Aを画像処理DAG50Bに更新する。なお、画像処理DAG50Bは、各部分処理39のタスクにおけるDAGを表すものであり、いわゆるタスクDAGである。
なお、図5は、図2Aに示した画像処理DAG50Aにおいて、入力画像データを4つの分割画像データに分割した場合の画像処理DAG50Bを示している。図5では、錯綜を回避するために、バッファモジュール40の図示を省略している。
本例示的実施形態に係る制御部62は、画像処理モジュール38で実行される画像処理の種類に応じて、前段に連結された画像処理モジュール38の部分処理39と、後段に連結された画像処理モジュール38の部分処理39との間で依存関係を付与する。なお、図5では、この依存関係を破線の矢印で示している。
例えば、色変換処理のように、処理対象とする画素のみに対して画像処理を行う処理は、各部分処理39も1対1の依存関係となる。一方、例えば、フィルタ処理のように、処理対象とする画素の周辺画素も必要な画像処理では、周辺画素に対して画像処理を行う前段の部分処理39にも依存関係を付与することとなる。すなわち、この依存関係は、連結された画像処理モジュール38間において、前段に連結された画像処理モジュール38の部分処理39が終了した場合に、後段に連結された画像処理モジュール38の部分処理39が実行可能となる関係である。従って、各部分処理39は、前段に依存関係が付与された部分処理39が存在しない場合か、又は依存関係が付与された前段の全ての部分処理39が終了した場合に実行可能となる。
具体的には、例えば、図5に示す部分処理39A及び部分処理39Bは、画像処理の実行開始時に実行可能となる。また、例えば、図5に示す部分処理39Cは、依存関係が付与された前段の部分処理39A及び部分処理39Bの双方の処理が終了した場合に実行可能となる。
なお、本例示的実施形態においては、分割画像データに対応する部分処理39について、「タスク」と称している。
制御部62は、実行可能となっているタスクを、格納されたタスクを複数のコア13の各々が順次取り出して実行するためのタスクキュー64に格納する。なお、一例として、本例示的実施形態の制御部62は、タスクキュー64に同時に格納するタスクの数を2つ以下としている。
なお、タスクキュー64に同時に格納するタスクの数は、本例示的実施形態に限定されないが、2つ以上であることが好ましい。タスクキュー64にタスクを1つだけ格納する場合に、タスクの実行が完了するまで新たなタスクをタスクキュー64に格納しないとすると、新たなタスクがタスクキュー64に格納されず、複数あるコア13のうち、稼働しないコア13が増加してしまい、コア13の稼働率が低下する。一方、タスクキュー64が同時に格納可能なタスクの数を制限しない場合、タスクキュー64に格納された全てのタスクに対して、前処理(詳細後述)において、メモリが確保されるため、確保されるメモリ容量が多くなってしまう。
そのため、タスクキュー64が同時に格納可能なタスクの数を制限することにより、前処理において確保されるメモリ等のリソースの量が増加するのが抑制される。そのため、タスクキュー64が同時に格納可能なタスクの数は、メモリの容量等に応じて定めてもよいし、コア13の稼働率に応じて可変としてもよい。
本例示的実施形態におけるタスクには、同期タスクと非同期タスクとの2種類がある。同期タスクとは、コア13Aがコア13Bまたは第2演算部12Bに処理の実行を指示すると、コア13Bまたは第2演算部12Bにおける処理が終了するまでコア13Aに制御が戻らないタスクである。一方、非同期タスクとは、コア13Aがコア13Bまたは第2演算部12Bに処理の実行を指示すると、コア13Bまたは第2演算部12Bにおける処理の終了を待たずにコア13Aに制御が戻るタスクである。
制御部62は、タスクキュー64からタスクを取得し、取得したタスクを実行させる。タスクの実行が開始されると、本例示的実施形態では、タスクから処理を終了したか又は継続中かを表す情報が制御部62に出力される。なお、本例示的実施形態に限定されず、例えば、継続中かを表す情報については出力せず、処理を終了したことを表す情報のみを制御部62に出力する形態であってもよい。
タスクが非同期タスクの場合、タスクの実行を開始したばかりのタイミングであるためタスクからは処理が継続中であることを表す情報が出力される。この場合、制御部62は、登録部67を介して、処理が継続中である非同期タスクをリスト69に登録する。本例示的実施形態のリスト69が、本開示の終了検知タスク管理情報の一例である。
リスト69に登録される非同期タスクは、非同期処理の終了を検知するための終了検知タスク(詳細後述)が組み合わされたタスクとされている。以下では、終了検知タスクが組み合わされた非同期タスクを単に「終了検知タスク」という。また、以下では、終了検知タスクにおいて、組み合わされた非同期タスクの処理が継続中である状態のものを「継続中の終了検知タスク」といい、組み合わされた非同期タスクの処理が終了している状態のものを「終了済の終了検知タスク」という。
図6Aは、リスト69の状態の一例を示している。図6Aに示した例では、既に2つの継続中の終了検知タスクTEpがリスト69に登録された状態が模式的に示されている。なお、リスト69において示した実線の矢印は、リストの先頭から末尾へ向かう方向を表している。具体的には、図6A中では、リスト69の左側が先頭であり、矢印の先に当たる右側が末尾になる。
図6Bは、登録部67が、新たな継続中の終了検知タスクTEpを1つ、リスト69に登録する例を模式的に示している。登録部67は、リスト69に終了検知タスクTEpを登録する場合、一例として図6Bに示すように、リスト69の末尾に終了検知タスクTEpを登録する。
一方、タスクが同期タスクの場合、タスクからは処理を終了したことを表す情報が出力される。この場合、制御部62は、タスクキュー64に次のタスクを取得しに行く前に、判定部68でのリスト判定処理(詳細後述)を実行する。
判定部68は、リスト69を先頭から順番に走査し、終了済の終了検知タスクの有無を調べる。判定部68は、終了済の終了検知タスクが有ると判定した場合、判定した終了済の終了検知タスクをリスト69から抜き出すことにより削除してリスト69を更新する。
図7Aは、判定部68がリスト69を先頭から順番に走査し、リスト69中の2番目の終了検知タスクが終了済の終了検知タスクTEfであると判定した状態の例を模式的に示している。図7Bに示すように判定部68は、終了済の終了検知タスクTEfであると判定した場合、判定した終了済の終了検知タスクTEfをリスト69から抜き出すことにより削除してリスト69を更新する。図7Cに示すように続けて判定部68は、次の順番の終了検知タスクが終了済の終了検知タスクTEfであるか否かを判定する。判定部68は、以上の処理をリスト69の末尾まで実行する。
本例示的実施形態に係る出力部66は、制御部62による制御により、画像処理DAG50Bの最終段の画像処理モジュール38により実行された画像処理の結果得られた出力画像データを出力する。本例示的実施形態では、出力部66は、得られた出力画像データにより示される出力画像を表示部16に表示する。なお、出力部66は、出力画像データを外部装置に出力(送信)してもよい。また、コンピュータ10がプリンタに組み込まれている場合は、出力部66は、出力画像データにより示される出力画像を紙等の記録材料に出力(形成)してもよい。
次に、図8~図13を参照して、本例示的実施形態に係るコンピュータ10の作用を説明する。なお、図8は、アプリケーション32により画像処理の実行開始の指示が入力された場合に第1演算部12Aによって実行されるDAG構築・実行処理の流れの一例を示すフローチャートである。また、DAG構築・実行処理のプログラム(DAG構築・実行処理プログラム)は記憶部20に予めインストールされている。また、第1演算部12Aにおける何らかのタスクを実行していなく、タスクを実行可能なコア13がDAG構築・実行処理プログラムを実行することで、前述した処理構築部42及び制御部62として機能する。
図8のステップ100で、処理構築部42は、アプリケーション32からの構築指示に従い、アプリケーション32が指示した画像処理を行う画像処理DAG50Aを構築する。また、処理構築部42は、画像処理DAG50Aを上述したように画像処理DAG50Bに更新する。
次のステップ102で、制御部62は、ステップ100で構築された画像処理DAG50Bによる画像処理の実行を、第1演算部12A(コア13)及び第2演算部12Bに実行させる画像処理DAG実行処理を実行した後、本DAG構築・実行処理を終了する。
本DAG構築・実行処理を実行することにより、出力部66からアプリケーション32が所望する画像処理の結果が得られる。なお、本例示的実施形態では、本DAG構築・実行処理が終了した場合、制御部62は、処理が完了したことを表す情報、もしくは、処理中に何らかのエラーが生じた場合、その旨を表す情報をアプリケーション32へ通知する。
次に、上記DAG構築・実行処理のステップ102における画像処理DAG実行処理について詳細に説明する。本例示的実施形態のDAG構築・実行処理には、画像処理DAG50Bの実行可能なタスクをタスクキュー64に格納するタスク格納処理と、タスクキュー64に格納されているタスクを実行するタスク実行処理と、2つの処理が含まれる。
まず、図9を参照してタスク格納処理について説明する。図9は、タスク格納処理の流れの一例を示すフローチャートである。本例示的実施形態では、タスク格納処理のプログラム(タスク格納処理プログラム)は、DAG構築・実行処理プログラムの一部、または別のいわゆるサブプログラム等として記憶部20に予めインストールされている。
第1演算部12Aにおける何らかのタスクを実行していなく、タスクを実行可能なコア13がタスク格納処理プログラムを実行することで、制御部62として機能し、図9に示したタスク格納処理を実行する。
図9のステップ110で制御部62は、タスクキュー64に、実行可能なタスクが格納されているか否かを判定する。本例示的実施形態では、タスクキュー64に格納されている実行可能なタスクが2以上の場合、ステップ110の判定が肯定判定となりステップ114へ移行する。
一方、タスクキュー64に格納されている実行可能なタスクが2つ未満の場合、ステップ110の判定が否定判定となりステップ112へ移行する。
ステップ112で制御部62は、画像処理DAG50Bから実行可能なタスクを見つけ出してタスクキュー64に格納する。図10に示した例では、制御部62が、画像処理DAG50Bの実行可能な同期タスクTSを、既に実行可能な非同期タスクTAが格納されているタスクキュー64に格納した状態を示している。
なお、タスクを格納する場合、上述したように、タスクキュー64に格納されているタスクの数が2以下であればよく、本ステップにおいて制御部62がタスクキュー64に同時に格納させるタスクの数は1つでもよいし、2つでもよい。具体的には、タスクキュー64にタスクが格納されていない場合、制御部62は、タスクキュー64にタスクを1つもしくは2つ格納すればよいし、タスクキュー64にタスクが1つ格納されている場合、制御部62は、タスクキュー64にタスクを1つ格納すればよい。制御部62が、本ステップにおいてタスクキュー64に同時に格納させるタスクの数をいずれとするかは、予め定めておいてもよいし、各コア13におけるタスク処理の進行に応じて可変としてもよい。
次のステップ114で制御部62は、画像処理DAG50Bの全タスクをタスクキュー64に格納したか否かを判定する。未だタスクキュー64に格納していないタスクが有る場合、ステップ114の判定が否定判定となりステップ110に戻り本タスク格納処理を繰り返す。一方、全てのタスクをタスクキュー64に格納した場合、ステップ114の判定が肯定判定となり本タスク格納処理を終了する。
次に、図11を参照してタスク実行処理について説明する。図11は、タスク実行処理の流れの一例を示すフローチャートである。本例示的実施形態では、タスク実行処理のプログラム(タスク実行処理プログラム)は、DAG構築・実行処理プログラムの一部、または別のいわゆるサブプログラム等として記憶部20に予めインストールされている。
第1演算部12Aにおける何らかのタスクを実行していなく、タスクを実行可能なコア13の各々がタスク実行処理プログラムを実行することで、制御部62、登録部67、及び判定部68として機能し、図11に示したタスク実行処理を実行する。なお、本例示的実施形態では、上記タスク格納処理及びタスク実行処理を異なるコア13で実行することにより、タスク格納処理及びタスク実行処理が並列に実行される。
図11のステップ120で制御部62は、タスクキュー64からタスクを取得する。
次のステップ122で制御部62は、タスクの実行において予め定められた前処理を実行する。本ステップにおいて実行する前処理は画像処理前に行っておくことが予め定められている処理であり、特に限定されないが、例えば、画像処理結果を格納するための出力バッファ領域の確保や画像処理用の変数の初期化等の演算用のリソースの確保を行う処理である。
次のステップ124で制御部62は、上記ステップ120で取得したタスクを、第1演算部12Aのコア13または第2演算部12Bに実行させる。なお、第2演算部12Bにタスクを実行させる場合、第1演算部12Aのコア13が、第2演算部12Bにタスクを実行させる処理を行うことにより、第2演算部12Bによりタスクが実行される。本例示的実施形態の第2演算部12Bに実行させるタスクが、本開示の実行指示タスクの一例である。
なお、タスクが第2演算部12Bで実行するタスクであるか否かを表す情報は、上記DAG構築・実行処理のステップ100(図8参照)で処理構築部42が画像処理DAG50Aから画像処理DAG50Bを生成する処理において付与される。
次のステップ126で制御部62は、上記ステップ124で実行したタスクが終了した(終了済)であるか否かを判定する。
タスクが第2演算部12Bで実行されるタスクの場合(図10の矢印(a)参照)、高速に処理を行うため、一般的に処理に必要なデータ(画像データ)は第2演算部12Bのローカルメモリ15に転送して処理される。以下では、第2演算部12BがGPUである場合を具体例として説明する。一例として、図13Aに示すように、GPU処理であるタスクT1、T2が連続して行われる場合、図13Bに一例を示すように、タスクT1の実行前にメモリ14から第2演算部12Bのローカルメモリ15への転送処理、及びタスクT2の実行後にローカルメモリ15からメモリ14への処理結果の転送処理が行われる。
上述したように、コア13がタスクを実行してCPUに指示することによりGPUが起動及び制御され、GPUによりタスクが実行される。図13Bに一例を示した同期処理(GPUにおける処理が終了するまでコア13に制御が戻らない処理)の場合、通常のCPUにより実行されるタスクと同じように構成されるが、図13BにおけるGPU処理1とGPU処理2との間、コア13は処理が終了するまで待機状態となりコア13の稼働において無駄が生じる。
図13Cに一例を示した非同期処理(コア13がGPUに処理の実行を指示すると処理の終了を待たずに、コア13側に制御が戻る処理)の場合、コア13はGPU処理1及びGPU処理2と並行して別のタスクが実行可能であるため稼働率が向上される。
なお、非同期処理の場合、GPUにより実行されるタスク(図13Cでは、タスクT1、T2)の終了の検知を行う必要がある。そのため、図13Cに示すように、GPUへの転送、処理、及びGPUからの処理結果の転送の各々(タスクT0~T3)を非同期で処理するための指示をコア13が行う。そして、コア13側に制御が戻ると、コア13は、GPUにおけるタスクの終了を検知する終了検知タスクT4を実行する。
この場合、ステップS124が実行されたタイミングでは、処理が終了済となることは、殆どない。処理が終了済ではない場合、ステップ126の判定が否定判定となり、ステップ128へ移行する。
ステップ128で制御部62は、登録部67によりリスト69の末尾に終了検知タスクT4を登録させた後、本タスク実行処理を終了する。
図10に示した例では、既に2つの終了検知タスクTEp、TEfが登録されているリスト69の末尾に、非同期タスクTAを第2演算部12Bに実行させたコア13Aが、その終了検知タスクTEpを登録した状態を示している(矢印(b)参照)。
一方、タスクが第1演算部12Aで実行されるタスクの場合(図10の矢印(c)参照)、コア13において同期処理で実行が行われ、同期処理が終了するまで制御部62に制御が戻らない。従って制御部62に制御が戻った後のステップ126の判定では同期処理が終了済となっているため、ステップ126の判定が肯定判定となり、ステップ130へ移行する。
ステップ130で制御部62は、後処理を行う。本ステップにおいて実行する後処理はタスクに対応する部分処理の後に行うことが予め定められている処理であり、特に限定されないが、例えば、上記ステップ122の処理において確保した演算用のリソースの解放等を行う処理である。
次のステップ132で制御部62は、処理構築部42にタスクの完了通知を行う。タスクの完了通知を受け取った処理構築部42は、画像処理DAG50Bの依存関係を更新する。このように、画像処理DAG50Bの依存関係が更新されると、上述したタスク格納処理(図9参照)において処理構築部42は、更新された依存関係に基づいて、実行可能なタスクを判定する。
次のステップ134で制御部62は、リスト69に登録された終了検知タスクに対する判定を行うリスト判定処理を判定部68に実行させた後、本タスク実行処理を終了する。
次に、図12を参照して、上記タスク実行処理(図11参照)のステップ134のリスト判定処理について詳細に説明する。図12は、リスト判定処理の流れの一例を示すフローチャートである。
ステップ150で判定部68は、リスト69の先頭に登録されている終了検知タスクを取得する。
次のステップ152で判定部68は、終了検知タスクの取得が成功したか否かを判定する。リスト69が空であり、終了検知タスクを取得できなかった場合、ステップ152の判定が否定判定となり、本リスト判定処理を終了する。
一方、終了検知タスクを取得できた場合、ステップ152の判定が肯定判定となり、ステップ154へ移行する。
ステップ154で判定部68は、取得した終了検知タスクに対応する非同期処理が終了済であるか否かを判定する。非同期処理が継続しており、終了検知タスクにより非同期処理の終了を未だ検知していない場合、例えば図10に示した例では判定部68が取得した終了検知タスクが終了検知タスクTEpである場合、ステップ154の判定が否定判定となり、ステップ162へ移行する。ステップ162で判定部68は、リスト69から次に登録されている終了検知タスクを取得して、ステップ152の処理に戻る。
一方、非同期処理が終了済であり、対応する終了検知タスクにより非同期処理の終了を検知した場合、例えば図10に示した例では判定部68が取得した終了検知タスクが終了検知タスクTEfである場合、ステップ154の判定が肯定判定となり、ステップ156へ移行する。
ステップ156で判定部68は、終了済である終了検知タスクをリスト69から抜き出して削除する(図7Bも参照)。
次のステップ158で判定部68は、上述したタスク実行処理(図11参照)のステップ130と同様に後処理を行う。さらに次のステップ160で判定部68は、上述したタスク実行処理のステップ132と同様に、処理構築部42にタスクの完了通知を行う。
次のステップ162で判定部68は、リスト69から次に登録されている終了検知タスクを取得して、ステップ152の処理に戻る。
すなわち、制御部62は、リスト69を先頭から末尾まで順番に走査し、終了検知タスクの各々について、組み合わされている非同期処理を終了したか否かの判定を実行する。図10の矢印(d)は、同期タスクTsの処理を終了したコア13Bが、2番目に登録されている終了検知タスクが、終了済の終了検知タスクTEfである状態のリスト69を先頭から順番に走査する場合を例示している。
このように本例示的実施形態では、第2演算部12Bに非同期タスクの処理の実行を指示し、かつタスクの実行が終了していないコア13は、リスト69に終了検知タスクを登録する。また、タスクの実行が終了したコア13は、リスト判定処理を行って、終了済みの終了検知タスクをリスト69から削除し、さらに対応する非同期タスクの後処理を行って処理構築部42にタスクの完了通知を行う。
本例示的実施形態では、終了検知タスクの管理をリスト69により行うため、第2演算部12Bで実行される非同期タスクの終了の検知を効率的に行うことができる。これにより、本例示的実施形態では、第2演算部12Bを効率的に稼働させることができ、スケーラビリティを高めた並列処理を実現することができる。
なお、リスト69に終了検知タスクが登録されているにもかかわらず、タスク格納処理(図9参照)によりタスクキュー64に格納されたタスクがなくなった場合、リスト69に登録されている終了検知タスクをタスクキュー64に格納するとよい。これにより、コア13が待機状態になり、デッドロックしてしまうのを抑制することができる。
なお、本例示的実施形態において、上述した画像処理DAG50Bの更新やタスクキュー64へのタスクの格納、及びタスクキュー64からタスクの取り出しの各々の処理は、排他制御しながら行う必要があることは言うまでもない。
[第2例示的実施形態]
本例示的実施形態では、終了検知タスクの登録、判定のための走査、及び削除の各々を行うためのリスト69へのアクセスを、錯綜を回避するために排他制御する形態について説明する。なお、上記第1例示的実施形態と同様の構成及び動作については、その旨を記載し、詳細な説明を省略する。
本例示的実施形態では、終了検知タスクの登録、判定のための走査、及び削除の各々を行うためのリスト69へのアクセスを、錯綜を回避するために排他制御する形態について説明する。なお、上記第1例示的実施形態と同様の構成及び動作については、その旨を記載し、詳細な説明を省略する。
本例示的実施形態のコンピュータ10の構成は第1例示的実施形態のコンピュータ10の構成(図1及び3参照)と同様であるため、詳細な説明を省略する。
本例示的実施形態では、コンピュータ10が実行するDAG構築・実行処理(図8参照)におけるタスク格納処理は第1例示的実施形態のタスク格納処理(図9参照)と同様であるため説明を省略する。一方、タスク実行処理は、第1例示的実施形態のタスク実行処理(図11参照)と異なる処理を含むため、以下では、本例示的実施形態におけるタスク実行処理について詳細に説明する。
図14は、本例示的実施形態のタスク実行処理の流れの一例を示すフローチャートである。図14に示すように本例示的実施形態のタスク実行処理は、ステップ126とステップ128との間にステップ127A及び127Bの処理を含み、ステップ128の後にステップ129の処理を含む点で、第1例示的実施形態のタスク実行処理(図11参照)と異なっている。
本例示的実施形態ではステップ126で否定判定となった場合、ステップ127Aに移行する。ステップ127Aで制御部62は、リスト69のアクセスに対する排他制御のロックを取得できたか否かを判定する。ロックが取得できるまでステップ127Aの判定が否定判定となり、ロックが取得できるとステップ127Aの判定が肯定判定となりステップ127Bへ移行する。
ステップ127Bで制御部62は、上述した第1例示的実施形態のタスク実行処理のステップ134と同様に、判定部68によりリスト判定処理を行った後、ステップ128に移行する。ステップ128で上述したように、登録部67によりリスト69の末尾に終了検知タスクを登録させた後、ステップ129へ移行する。
ステップ129で制御部62は、取得したロックを解放した後、本タスク実行処理を終了する。
また、図14に示すように本例示的実施形態のタスク実行処理は、ステップ132とステップ134との間にステップ133の処理を含み、ステップ134の処理の後にステップ135の処理を含む点で、第1例示的実施形態のタスク実行処理(図11参照)と異なっている。
ステップ133で制御部62は、リスト69のアクセスに対する排他制御のロックを取得できたか否かを判定する。ロックが取得できなかった場合、ステップ133の判定が否定判定となり、本タスク実行処理を終了する。一方、ロックが取得できた場合、ステップ133の判定が肯定判定となりステップ134へ移行する。
また、ステップ135で制御部62は、取得したロックを解放した後、本タスク実行処理を終了する。
このように本例示的実施形態のコンピュータ10では、リスト69に終了検知タスクを登録するコア13は、リスト69に対するアクセスのロックが取得できるまで待機状態となり、ロックが取得できるとリスト判定処理を行った後、リスト69に終了検知タスクを登録する。また、タスクの完了通知を受け取ったコア13は、リスト69に対するアクセスのロックが取得できた場合、リスト判定処理を行い、ロックが取得できない場合、リスト判定処理を行わない。
本例示的実施形態と異なり、リスト69へのアクセスを単に排他制御した場合、リスト判定処理を実行するコア13が複数有り、コア13の各々がリスト69にアクセスするタイミングが重なると、1つのコア13がリスト69にアクセスしている間、他のコア13がブロックされてしまう。この場合、ブロックされるコア13の稼働に無駄が生じる。リスト69に対するアクセスのロックを取得したコア13がリスト判定処理によりリスト69内の全ての終了検知タスクを走査するため、他のコア13によるリスト判定処理は行わなくてよい。
そこで、本例示的実施形態では、ロックが取得できなかったコア13は、リスト判定処理を行わないことで、処理を効率化し、コア13の稼働の無駄を抑制することができる。
また、終了検知タスクの登録を行うコア13がリスト69へのロックを取得している間、リスト判定処理を行うコア13はブロックされてしまう。本例示的実施形態と異なり、リスト判定処理を行うコア13のブロックのみを行うと、終了済みの終了検知タスクの判定が遅れてしまい、第2演算部12Bに新たに非同期タスクを行わせることができなくなり、第2演算部12Bの稼働に無駄が生じる。
そこで、本例示的実施形態では、終了検知タスクの登録を行うコア13がリスト69へのロックを取得した場合、リスト判定処理も行うことで、終了済みの終了検知タスクの判定をより効率的に行うことができる。これにより、本例示的実施形態では、第2演算部12Bをより効率的に稼働させることができ、スケーラビリティを高めた並列処理を実現することができる。
[第3例示的実施形態]
本例示的実施形態では、リスト判定処理を1つのタスクとして扱う形態について説明する。なお、上記第1例示的実施形態と同様の構成及び動作については、その旨を記載し、詳細な説明を省略する。
本例示的実施形態では、リスト判定処理を1つのタスクとして扱う形態について説明する。なお、上記第1例示的実施形態と同様の構成及び動作については、その旨を記載し、詳細な説明を省略する。
本例示的実施形態のコンピュータ10の構成は第1例示的実施形態のコンピュータ10の構成(図1及び3参照)と同様であるため、詳細な説明を省略する。
本例示的実施形態では、コンピュータ10が実行するDAG構築・実行処理(図8参照)におけるタスク格納処理は第1例示的実施形態のタスク格納処理(図9参照)と同様であるため説明を省略する。一方、タスク実行処理は、第1例示的実施形態のタスク実行処理(図11参照)と異なる処理を含むため、以下では、本例示的実施形態におけるタスク実行処理について詳細に説明する。
図15は、本例示的実施形態のタスク実行処理の流れの一例を示すフローチャートである。図15に示すように本例示的実施形態のタスク実行処理は、ステップ128の後にステップ139の処理を含む点で、第1例示的実施形態のタスク実行処理(図11参照)と異なっている。
終了検知タスクをリスト69に登録した後、ステップ139で制御部62は、リスト判定処理を行わせるための判定タスクをタスクキュー64に格納した後、本タスク実行処理を終了する。図16に示して例では、リスト69に終了検知タスクTEp格納したコア13Aが、タスクキュー64に判定タスクTJを格納する状態を示している(矢印(e)参照)。
また、図15に示すように本例示的実施形態のタスク実行処理は、ステップ120とステップ122との間にステップ121の処理を含む点、及びステップ134の処理を実行するタイミングが第1例示的実施形態のタスク実行処理(図11参照)と異なっている。
ステップ121で制御部62は、取得したタスクが判定タスクであるか否かを判定する。取得したタスクが判定タスクではない場合、ステップ121の判定が否定判定となり、ステップ122へ移行する。一方、取得したタスクが判定タスクである場合、ステップ121の判定が肯定判定となり、ステップ134移行し、リスト判定処理を実行した後、本タスク実行処理を終了する。なお、本例示的実施形態では、ステップ132で処理構築部42にタスクの完了通知を行った後、本タスク実行処理を終了する。
このように本例示的実施形態では、リスト判定処理を行うための判定タスクをタスクキュー64に格納することにより、リスト判定処理を行うタイミングをコア13がタスクキュー64から判定タスクを取得したタイミングとしている。
本例示的実施形態の場合においても、複数の終了検知タスクを一括してリスト69により管理し、一度のリスト判定処理の実行により、リスト69に登録されている全ての終了検知タスクについて、終了済みの終了検知タスクであるか否かを判定している。そのため、例えば、個々の終了検知タスクをタスクキュー64に格納する場合に比べて、終了済みの終了検知タスクの判定を効率的に行うことができる。これにより、本例示的実施形態では、第2演算部12Bを効率的に稼働させることができ、スケーラビリティを高めた並列処理を実現することができる。
以上説明したように、上記各例示的実施形態のコンピュータ10は、画像処理を実行するオブジェクトが有向非循環グラフ形態で複数連結されたオブジェクト群の各オブジェクトにより画像処理を実行するコンピュータ10であって、画像処理の対象となる画像データを複数の分割画像データに分割する分割部60と、分割画像データに対して行う画像処理であるタスクで、かつ前後の依存関係に応じて処理可能なタスクを第1演算部12Aが備える複数のコア13の各々に並列して実行させる制御を行う制御部62と、第1演算部12Aと非同期に第2演算部12Bがタスクを実行可能な場合、第2演算部12Bに対するタスクの実行を指示する実行指示タスクを第1演算部12Aのコア13において実行した後に、第2演算部12Bにおけるタスクの終了を検知する終了検知タスクをリスト69に登録する登録部67と、リスト69にアクセスし、第2演算部12Bがタスクを終了した終了検知タスクの有無を判定する判定部68と、を備える。
このように上記各例示的実施形態では、第2演算部12Bに非同期タスクの処理の実行を指示したコア13は、リスト69に終了検知タスクを登録する。また、コア13は、リスト判定処理により終了済みの終了検知タスクをリスト69から削除し、処理構築部42にタスクの完了通知を行う。
これに対して上記各例示的実施形態と異なり、終了検知タスクをタスクキュー64に格納する場合、終了検知タスクの前に格納されている他のタスクの実行が終了し、終了検知タスクがタスクキュー64から取得されるまでタスクの実行が終了しているにもかかわらず、第2演算部12Bに新たにタスクを行わせることができない。そのため、第2演算部12Bを十分に稼働させることができず、画像処理の処理効率が低下する。
一方、上記各例示的実施形態では、複数の終了検知タスクの管理をリスト69により行うため、第2演算部12Bで実行される非同期タスクの終了の検知を効率的に行うことができる。これにより、上記各例示的実施形態では、第2演算部12Bを効率的に稼働させることができ、スケーラビリティを高めた並列処理を実現することができる。
従って、上記各例示的実施形態のコンピュータ10によれば、第2演算部12Bにおけるタスクの終了の検知をより効率的に行うことにより画像処理を高速化することができる。
なお、上記各例示的実施形態では、第2演算部12Bがコンピュータ10内部に備えられている場合について説明したが、第2演算部12Bは、コンピュータ10の外部に設けられていてもよいし、コンピュータ10と異なるコンピュータに備えられていてもよい。
また、上記各例示的実施形態では、各種プログラムが記憶部20に予め記憶(インストール)されている態様を説明したが、これに限定されない。各種プログラムは、CD-ROM、DVD-ROM(Digital Versatile Disk Read Only Memory)、USB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、各種プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
日本出願特願2017-165510の開示は、その全体が参照により本明細書に取り込まれる。
本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
Claims (11)
- 画像処理を実行するオブジェクトが有向非循環グラフ形態で複数連結されたオブジェクト群の各オブジェクトにより画像処理を実行する画像処理装置であって、
前記画像処理の対象となる画像データを複数の分割画像データに分割する分割部と、
前記分割画像データに対して行う画像処理である部分処理で、かつ前後の依存関係に応じて処理可能な部分処理を第1演算部が備える複数の演算装置の各々に並列して実行させる制御を行う制御部と、
前記第1演算部と非同期に第2演算部が前記部分処理を実行可能な場合、前記第2演算部に対する前記部分処理の実行を指示する実行指示タスクを前記第1演算部の演算装置において実行した後に、前記第2演算部における前記部分処理の終了を検知する終了検知タスクを終了検知タスク管理情報に登録する登録部と、
前記終了検知タスク管理情報にアクセスし、前記第2演算部が前記部分処理を終了した前記終了検知タスクの有無を判定する判定部と、
を備えた画像処理装置。 - 前記演算装置は、前記部分処理の実行後に前記判定部として動作する、請求項1に記載の画像処理装置。
- 前記演算装置は、前記判定部として前記終了検知タスクの有無の判定の終了後、再び前記制御部の制御により他の部分処理を実行する、請求項2に記載の画像処理装置。
- 前記演算装置は、前記登録部として動作する、請求項1から請求項3のいずれか1項に記載の画像処理装置。
- 前記演算装置は、前記登録部としての動作と前記判定部としての動作とを連続して行う、請求項1から請求項4のいずれか1項に記載の画像処理装置。
- 前記制御部は、前記判定部として動作させるための判定タスクを前記演算装置に実行させる、請求項1に記載の画像処理装置。
- 前記登録部及び前記判定部の前記終了検知タスク管理情報へのアクセスは排他制御されている、請求項1から請求項6のいずれか1項に記載の画像処理装置。
- 前記判定部は、前記第2演算部が前記部分処理を終了した前記終了検知タスクを前記終了検知タスク管理情報から削除する、請求項1から請求項7のいずれか1項に記載の画像処理装置。
- 前記制御部は、タスクキューに格納された前記部分処理を順次取り出して前記複数の演算装置に並列して実行させる、請求項1から請求項8のいずれか1項に記載の画像処理装置。
- 画像処理を実行するオブジェクトが有向非循環グラフ形態で複数連結されたオブジェクト群の各オブジェクトにより画像処理を実行する画像処理装置による画像処理方法であって、
前記画像処理の対象となる画像データを複数の分割画像データに分割し、
前記分割画像データに対して行う画像処理である部分処理で、かつ前後の依存関係に応じて処理可能な部分処理を第1演算部が備える複数の演算装置の各々に並列して実行させる制御を行い、
前記第1演算部と非同期に第2演算部が前記部分処理を実行可能な場合、前記第2演算部に対する前記部分処理の実行を指示する実行指示タスクを前記第1演算部の演算装置において実行した後に、前記第2演算部における前記部分処理の終了を検知する終了検知タスクを終了検知タスク管理情報に登録し、
前記終了検知タスク管理情報にアクセスし、前記第2演算部が前記部分処理を終了した前記終了検知タスクの有無を判定する、
処理を含む画像処理方法。 - コンピュータを、請求項1から請求項9のいずれか1項に記載の画像処理装置の分割部、制御部、登録部、及び判定部として機能させるための画像処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201880055557.1A CN111052084B (zh) | 2017-08-30 | 2018-07-31 | 图像处理装置、图像处理方法以及图像处理程序 |
JP2019539104A JP6945634B2 (ja) | 2017-08-30 | 2018-07-31 | 画像処理装置、画像処理方法、及び画像処理プログラム |
US16/803,884 US11257178B2 (en) | 2017-08-30 | 2020-02-27 | Image processing device, image processing method, and storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017165510 | 2017-08-30 | ||
JP2017-165510 | 2017-08-30 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/803,884 Continuation US11257178B2 (en) | 2017-08-30 | 2020-02-27 | Image processing device, image processing method, and storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019044340A1 true WO2019044340A1 (ja) | 2019-03-07 |
Family
ID=65527284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/028743 WO2019044340A1 (ja) | 2017-08-30 | 2018-07-31 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11257178B2 (ja) |
JP (1) | JP6945634B2 (ja) |
CN (1) | CN111052084B (ja) |
WO (1) | WO2019044340A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021022379A (ja) * | 2019-07-27 | 2021-02-18 | アナログ・ディヴァイシス・インターナショナル・アンリミテッド・カンパニー | ハードウェアアクセラレータの自律ジョブキューイングシステム |
JP2022188077A (ja) * | 2019-07-27 | 2022-12-20 | アナログ・ディヴァイシス・インターナショナル・アンリミテッド・カンパニー | ハードウェアアクセラレータの自律ジョブキューイングシステム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10861126B1 (en) * | 2019-06-21 | 2020-12-08 | Intel Corporation | Asynchronous execution mechanism |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03246746A (ja) * | 1990-02-26 | 1991-11-05 | Hitachi Ltd | 並列実行方法およびコンパイラおよび並列プロセススケジュール支援ツール |
JP2010146055A (ja) * | 2008-12-16 | 2010-07-01 | Fujifilm Corp | 画像処理装置、方法及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2956201B2 (ja) * | 1990-11-06 | 1999-10-04 | 日本電信電話株式会社 | 画像信号のタスク分割並列処理方法 |
JP2003263331A (ja) * | 2002-03-07 | 2003-09-19 | Toshiba Corp | マルチプロセッサシステム |
JP2004030321A (ja) | 2002-06-26 | 2004-01-29 | Mitsubishi Heavy Ind Ltd | 3d―cad図面干渉確認方法および3d―cad図面干渉確認システム |
US8310491B2 (en) * | 2007-06-07 | 2012-11-13 | Apple Inc. | Asynchronous notifications for concurrent graphics operations |
JP5479519B2 (ja) * | 2012-03-30 | 2014-04-23 | 富士フイルム株式会社 | 画像処理装置、方法及びプログラム |
US9588804B2 (en) * | 2014-01-21 | 2017-03-07 | Qualcomm Incorporated | System and method for synchronous task dispatch in a portable device |
US10026145B2 (en) * | 2016-12-13 | 2018-07-17 | Qualcomm Incorporated | Resource sharing on shader processor of GPU |
-
2018
- 2018-07-31 CN CN201880055557.1A patent/CN111052084B/zh active Active
- 2018-07-31 JP JP2019539104A patent/JP6945634B2/ja active Active
- 2018-07-31 WO PCT/JP2018/028743 patent/WO2019044340A1/ja active Application Filing
-
2020
- 2020-02-27 US US16/803,884 patent/US11257178B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03246746A (ja) * | 1990-02-26 | 1991-11-05 | Hitachi Ltd | 並列実行方法およびコンパイラおよび並列プロセススケジュール支援ツール |
JP2010146055A (ja) * | 2008-12-16 | 2010-07-01 | Fujifilm Corp | 画像処理装置、方法及びプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021022379A (ja) * | 2019-07-27 | 2021-02-18 | アナログ・ディヴァイシス・インターナショナル・アンリミテッド・カンパニー | ハードウェアアクセラレータの自律ジョブキューイングシステム |
US11397612B2 (en) | 2019-07-27 | 2022-07-26 | Analog Devices International Unlimited Company | Autonomous job queueing system for hardware accelerators |
JP2022188077A (ja) * | 2019-07-27 | 2022-12-20 | アナログ・ディヴァイシス・インターナショナル・アンリミテッド・カンパニー | ハードウェアアクセラレータの自律ジョブキューイングシステム |
JP7467554B2 (ja) | 2019-07-27 | 2024-04-15 | アナログ・ディヴァイシス・インターナショナル・アンリミテッド・カンパニー | ハードウェアアクセラレータの自律ジョブキューイングシステム |
Also Published As
Publication number | Publication date |
---|---|
JP6945634B2 (ja) | 2021-10-06 |
CN111052084B (zh) | 2023-10-17 |
US20200202482A1 (en) | 2020-06-25 |
JPWO2019044340A1 (ja) | 2020-10-29 |
US11257178B2 (en) | 2022-02-22 |
CN111052084A (zh) | 2020-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108463836B (zh) | 图像处理装置、图像处理方法和图像处理程序 | |
US7652671B2 (en) | Image processing device and method and storage medium storing program | |
US11257178B2 (en) | Image processing device, image processing method, and storage medium | |
CN108475213B (zh) | 图像处理装置、图像处理方法和图像处理程序 | |
US10949942B2 (en) | Image processing apparatus, image processing method, and image processing program | |
US10878526B2 (en) | Image processing apparatus, image processing method, and image processing program | |
US11341599B2 (en) | Image processing apparatus, image processing method, and computer readable medium storing image processing program | |
JP7039424B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
WO2020059161A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 | |
JP6600077B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2010146055A (ja) | 画像処理装置、方法及びプログラム | |
JP2008140170A (ja) | 画像処理装置及びプログラム | |
JP2009258908A (ja) | 画像処理装置、画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18851318 Country of ref document: EP Kind code of ref document: A1 |
|
DPE1 | Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101) | ||
ENP | Entry into the national phase |
Ref document number: 2019539104 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18851318 Country of ref document: EP Kind code of ref document: A1 |