WO2023017617A1 - 車両画像から車両の損傷情報を推定するための情報処理装置、方法、及びプログラム、並びに学習済みモデルを生成するための方法及びシステム - Google Patents

車両画像から車両の損傷情報を推定するための情報処理装置、方法、及びプログラム、並びに学習済みモデルを生成するための方法及びシステム Download PDF

Info

Publication number
WO2023017617A1
WO2023017617A1 PCT/JP2021/029817 JP2021029817W WO2023017617A1 WO 2023017617 A1 WO2023017617 A1 WO 2023017617A1 JP 2021029817 W JP2021029817 W JP 2021029817W WO 2023017617 A1 WO2023017617 A1 WO 2023017617A1
Authority
WO
WIPO (PCT)
Prior art keywords
image feature
damage
model
feature quantity
vehicle
Prior art date
Application number
PCT/JP2021/029817
Other languages
English (en)
French (fr)
Inventor
和隆 村上
満明 野澤
祐一郎 増野
直哉 森
正和 佐藤
Original Assignee
コグニビジョン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コグニビジョン株式会社 filed Critical コグニビジョン株式会社
Priority to JP2023541198A priority Critical patent/JPWO2023017617A1/ja
Priority to PCT/JP2021/029817 priority patent/WO2023017617A1/ja
Publication of WO2023017617A1 publication Critical patent/WO2023017617A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Definitions

  • the present invention relates to an information processing device, method, and program for estimating vehicle damage information from vehicle images, as well as a method and system for generating a trained model.
  • Patent Literature 1 discloses a technique for determining a damaged range and damage type of an automobile part by analyzing an automobile part image using an automobile part damage identification model.
  • An information processing device includes: An information processing device for estimating vehicle damage information from a vehicle image, an image feature quantity extraction model for extracting an image feature quantity from a vehicle image; a skin panel recognition model that determines the range of the skin panel based on the image feature quantity extracted by the image feature quantity extraction model; a damage location recognition model that extracts an image feature amount for damage location detection based on the image feature amount extracted by the image feature amount extraction model and determines the range of the damage location; a damage level estimation model that determines a damage level based on the image feature amount extracted by the image feature amount extraction model and the image feature amount extracted by the damaged location recognition model; An information processing device comprising:
  • An attention mechanism for determining a feature amount for attention based on the image feature amount extracted by the damaged part recognition model The information processing apparatus according to [1], wherein the damage level estimation model determines the damage level based on the image feature amount extracted by the image feature amount extraction model and the attention feature amount determined by the attention mechanism. is.
  • the information processing apparatus according to [3], further comprising an order constraint mechanism that determines the probability of each damage level so that the order of the probability of each damage level determined by the damage level estimation model satisfies a certain constraint.
  • the skin panel recognition model determines a range of skin panels for each type of skin panel based on the image feature quantity extracted by the image feature quantity extraction model, The information processing device according to [4], wherein the damage level estimation model and the order constraint mechanism determine the probability of each damage level for each type of skin panel.
  • the image feature amount extraction model, the skin panel recognition model, the damaged location recognition model, the damage level estimation model, and the attention mechanism are determined by inputting a learning vehicle image into the image feature amount extraction model.
  • Each of the range of the skin panel, the range of the damaged part, and the damage level, and the correct data of the range of the skin panel, the range of the damaged part, and the damage level of the learning vehicle image created in advance The information processing apparatus according to any one of [2] to [5], wherein machine learning processing is performed so as to minimize a loss value corresponding to the difference.
  • An information processing device includes: A computer-implemented method for estimating vehicle damage information from vehicle images, comprising: a step of extracting an image feature quantity from a vehicle image; determining a range of the skin panel based on the extracted image feature quantity; Determining the range of the damaged location and determining the image feature for detecting the damaged location based on the extracted image feature; determining a damage level based on the extracted image feature quantity and the determined image feature quantity for damage location detection; A method comprising:
  • a program according to one aspect of the present invention is a program that causes a computer to execute each step of the method described in [7].
  • the method of one aspect of the present invention comprises A method for generating a trained model for estimating vehicle damage information from vehicle images, comprising: an image feature quantity extraction model for extracting an image feature quantity from a vehicle image; a skin panel recognition model that outputs a skin panel range based on the image feature quantity extracted by the image feature quantity extraction model; a damage location recognition model that outputs the range of the damage location based on the image feature quantity extracted by the image feature quantity extraction model and outputs the image feature quantity for damage location detection; a damage level estimation model that determines a damage level based on the image feature quantity extracted by the image feature quantity extraction model and the image feature quantity output by the damaged location recognition model; For a neural network containing , to generate a trained model.
  • the method includes: The range of the skin panel, the range of the damaged location, and the damage level determined by inputting the vehicle image for learning into the image feature quantity extraction model, and the range and damage of the skin panel of the vehicle image for learning Generating a learned model by performing machine learning on the neural network so as to minimize the loss value corresponding to the difference between the range of the location and the correct data of the damage level.
  • the information processing apparatus according to [9].
  • a system comprises A system for generating a trained model for estimating vehicle damage information from vehicle images, an image feature quantity extraction model for extracting an image feature quantity from a vehicle image; a skin panel recognition model that outputs a skin panel range based on the image feature quantity extracted by the image feature quantity extraction model; a damage location recognition model that outputs the range of the damage location based on the image feature quantity extracted by the image feature quantity extraction model and outputs the image feature quantity for damage location detection; a damage level estimation model that determines a damage level based on the image feature quantity extracted by the image feature quantity extraction model and the image feature quantity output by the damaged location recognition model; By performing machine learning based on learning data including correct data for the vehicle image for learning, the range of the skin panel of the vehicle image, the range of the damaged location, and the damage level, A system that generates trained models.
  • more accurate vehicle damage information can be estimated from vehicle images.
  • FIG. 1 is a block diagram showing the hardware configuration of an information processing device according to one embodiment of the present invention
  • FIG. 1 shows an example of a functional block diagram of an information processing apparatus according to an embodiment of the present invention
  • FIG. It is a figure which shows an example of the vehicle image used as input data. It is a figure which shows an example of output data.
  • 4 is a flowchart showing vehicle damage information estimation processing of the information processing apparatus according to the embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an overview of an example of a learning method for generating a trained model in an information processing device
  • FIG. 10 is a diagram showing an example of a part of a screen for inputting annotations of panel segments and panel classes of outer panel panels to vehicle images for learning.
  • FIG. 10 is a diagram showing an example of a part of a screen for inputting damage segments of damaged locations, damage class annotations, and damage level annotations to vehicle images for learning.
  • the information processing device 10 is a device for estimating vehicle damage information from vehicle images.
  • the vehicle image is an image of a damaged or potentially damaged vehicle.
  • the vehicle damage information is information including the extent of damage and the probability of the damage level of the skin panel.
  • FIG. 1 is a block diagram showing the hardware configuration of an information processing device 10 according to one embodiment of the present invention.
  • the information processing apparatus 10 of this embodiment includes a configuration similar to that of a general computer.
  • the information processing device 10 includes a processor 11 , an input device 12 , a display device 13 , a storage device 14 and a communication device 15 .
  • Each of these components are connected by a bus 16 . It is assumed that an interface is interposed between the bus 16 and each constituent device as required.
  • the information processing device 10 may be configured by a plurality of devices, may be realized by a cloud system, or may be realized by one device. In the present embodiment, for convenience of explanation, the information processing apparatus 10 will be described as being realized by one device.
  • the processor 11 controls the operation of the entire information processing device 10, and is, for example, a CPU.
  • an electronic circuit such as a GPU may also be used for speeding up, or an electronic circuit such as an MPU may be used.
  • the processor 11 performs various processes by reading and executing programs and data stored in the storage device 14 .
  • the input device 12 is a user interface that receives input from the user to the information processing device 10, and is, for example, a touch panel, touch pad, keyboard, mouse, or button.
  • the display device 13 is a display that displays application screens and the like to the user of the information processing device 10 under the control of the processor 11 .
  • the storage device 14 includes a main storage device and an auxiliary storage device.
  • the main storage device is, for example, a semiconductor memory such as RAM.
  • the RAM is a volatile storage medium capable of high-speed reading and writing of information, and is used as a storage area and work area when the processor 11 processes information.
  • the main storage device may include ROM, which is a read-only nonvolatile storage medium.
  • the auxiliary storage stores various programs and data used by the processor 11 when executing each program.
  • the auxiliary storage device may be any non-volatile storage or non-volatile memory that can store information, and may be removable.
  • the communication device 15 exchanges data with other computers such as user terminals or servers via a network, and is, for example, a wireless LAN module.
  • the communication device 15 can be a device or module for wireless communication such as a Bluetooth (registered trademark) module, or a device or module for wired communication such as an Ethernet (registered trademark) module or a USB interface. You can also
  • FIG. 2 shows an example of a functional block diagram of the information processing device 10 according to one embodiment of the present invention.
  • the information processing device 10 includes an image feature quantity extraction model 21 , a skin panel recognition model 22 , a damaged location recognition model 23 , a damage level estimation model 24 , an attention mechanism 25 and an order restriction mechanism 26 .
  • these functions are realized by the processor 11 executing a program.
  • the information processing device 10 stores the input data 30 in the storage device 14 .
  • the information processing device 10 receives input data 30 via the communication device 15 .
  • FIG. 3 is an example of a vehicle image used as input data 30.
  • FIG. 4 is an example of the output data 40.
  • the output data 40 includes the output data 41 output by the skin panel recognition model 22, the output data 42 output by the damaged location recognition model 23, and the order constraint. and output data 43 output by mechanism 26 .
  • the image feature value extraction model 21, the skin panel recognition model 22, the damaged location recognition model 23, the damage level estimation model 24, the attention mechanism 25, and the order constraint mechanism 26 are considered as one multitasking module 27. be able to.
  • the multitasking module 27 subjected to machine learning processing can be considered as one trained model 27 that combines one classification task (damage level) and two segment tasks (panel/damage location).
  • the image feature amount extraction model 21 extracts image feature amounts from the vehicle image of the input data 30 .
  • the image feature amount extraction model 21 is a neural network model that outputs the image feature amount of the input image when the vehicle image of the input data 30 is input.
  • the image feature quantity extraction model 21 is implemented by a CNN (convolutional neural network) such as Resnet and an FPN (feature pyramid network).
  • the skin panel recognition model 22 determines the range of the skin panel in the vehicle image for each skin panel type based on the image feature quantity extracted by the image feature quantity extraction model 21 .
  • the skin panel recognition model 22 determines the range of the skin panel in the vehicle image and the type of the skin panel ( output) is a neural network model. Note that, in the present embodiment, the same type of skin panels at different positions are different types of skin panels.
  • the skin panel recognition model 22 determines the panel segment and panel class of the skin panel from the image feature quantity extracted by the image feature quantity extraction model 21 .
  • a panel class is information indicating the type of a skin panel, and includes, for example, "left_front_door”, “front_bumper”, “left_rocker_panel”, “left_front_fender”, and “hood”. In this case, “left_front_door” is the left front door, “front_bumper” is the front bumper, “left_rocker_panel” is the left rocker panel, “left_front_fender” is the left front fender, and "hood” is the panel class corresponding to the bonnet.
  • a panel segment is information indicating a range (region) for each type of skin panel.
  • the skin panel recognition model 22 is a neural network model that performs segmentation processes such as semantic segmentation and instance segmentation.
  • the skin panel recognition model 22 is a neural network model with an encoder portion and a decoder portion.
  • the encoder section compresses the input image and extracts the feature quantity
  • the decoder section identifies which skin panel exists in which position in the vehicle image from the extracted feature quantity, and Data with a label (panel class) indicating which skin panel each pixel corresponds to is generated.
  • the output data 41 shown in FIG. 4 indicates the panel class and panel segment output by the skin panel recognition model 22.
  • a rectangular dotted line is for clearly indicating the range indicated by each panel segment, and may not be displayed.
  • the output data 41 in FIG. 4 includes a panel segment 45a with a panel class of "right_front_fender” (right front fender), a panel segment 45b with a panel class of "right_front_door” (right front door), and a panel class of "front_bumper” (front bumper).
  • Panel segment 45c, panel segment 45d with panel class "right_rocker_panel” (right rocker panel), and panel segment 45e with panel class "hood” (bonnet) are shown, respectively.
  • the damaged location recognition model 23 extracts the image feature amount for damaged location detection based on the image feature amount extracted by the image feature amount extraction model 21, and determines the range of the damaged location.
  • the damage location recognition model 23 outputs the image feature quantity for damage location detection as an intermediate output, and detects the damage in the vehicle image.
  • a neural network model that determines (outputs) information indicating the extent of a site and its degree of damage.
  • the damage location recognition model 23 determines the damage segment and damage class of the damage location from the image feature quantity extracted by the image feature quantity extraction model 21 .
  • the damage class is information indicating the degree of damage at the damaged location, and includes, for example, 'a dent', 'scratches', 'a dent with scratches', and 'scuffs'. In this case, "a dent” is a dent, “scratches” is a scratch, “a dent with scratches” is a dent with a scratch, and “scuffs” is the damage class corresponding to scuffing.
  • a damaged segment is information indicating the range (area) of each damaged location.
  • the skin panel recognition model 22 is a neural network model that performs segmentation processes such as semantic segmentation and instance segmentation.
  • the damaged location recognition model 23 is a neural network model having an encoder portion and a decoder portion.
  • the encoder part compresses the input image and extracts the feature quantity
  • the decoder part identifies what kind of damage exists in the vehicle image from the extracted feature quantity and at what position in the vehicle image.
  • the image feature quantity for damaged location detection is a feature quantity extracted from the encoder portion.
  • the output data 42 shown in FIG. 4 shows the damage classes and damage segments output by the damage location recognition model 23.
  • a rectangular dotted line is for clearly indicating the range indicated by each panel segment, and may not be displayed.
  • the output data 42 of FIG. 4 includes a damaged segment 46a with a damage class of "a dent with scratches", a damaged segment 46b with a damage class of "a dent with scratches”, and a damaged segment 46c with a damage class of "scratches”. show.
  • the attention mechanism 25 determines a feature amount for attention based on the image feature amount extracted by the damaged part recognition model 23 .
  • the feature amount for attention is a feature amount for guiding the user to pay attention (attention) to the damaged portion and to obtain the damage level.
  • the attention mechanism 25 generates, as the feature amount for attention, data to which the degree of attention is given as to how much attention should be paid to each pixel in the vehicle image with respect to the damaged portion.
  • learning parameters (weights) are set so as to generate the feature amount for attention as described above.
  • the attention mechanism 25 is realized by an attention mechanism using Dot-Product Attention or the like.
  • the damage level estimation model 24 determines (estimates) the damage level based on the image feature quantity extracted by the image feature quantity extraction model 21 and the attention feature quantity determined by the attention mechanism 25 .
  • the damage level estimating model 24 receives the image feature amount extracted by the image feature amount extraction model 21 and the attention feature amount determined by the attention mechanism 25, for each type of skin panel , is a neural network model that determines (outputs) the probability of damage level for each of a plurality of predefined damage levels.
  • the damage level estimation model 24 is implemented with a CNN and a Fully-Connected Layer.
  • damage level 1 is “minor abrasion”
  • damage level 2 is “slight pressure loss and abrasion”
  • damage level 3 is “moderate damage”
  • damage level 4 is "severe damage requiring panel replacement”.
  • the damage level estimating model 24 may include damage level 0 (no damage): 0%, damage level 1: 2%, damage level 2: 12%, damage level 3: 54%, damage level 4: 32%.
  • a numerical value is determined and output in the form of array data such as [0.00, 0.02, 0.12, 0.54, 0.32].
  • the order constraint mechanism 26 determines the probabilities of each damage level so that the order of the probabilities of each damage level determined by the damage level estimation model 24 satisfies a certain constraint. In this embodiment, when the probability of each damage level determined by the damage level estimation model 24 for each type of skin panel is input, the order constraint mechanism 26 calculates the probability of each damage level for each type of skin panel. A mechanism (eg, a software module) that recurs in order. This makes it possible to output human interpretable results.
  • the order constraint mechanism 26 is configured so that the distribution of the probability for each damage level for each type of skin panel has a unimodal distribution, that is, the probability distribution for each damage level increases by one as the damage level increases. Adjust the probabilities for each damage level to limit outputs that are not unimodal such that the probabilities decrease and increase by one more damage level. In one example, the order constraint mechanism 26 is implemented by a regression mechanism to a unimodal function of the injury level output.
  • the damage level estimation model 24 includes numerical values corresponding to damage level 0: 30%, damage level 1: 0%, damage level 2: 70%, damage level 3: 0%, and damage level 4: 0%. to output
  • damage levels 0 and 2 have a large probability
  • the probability of damage level 1, which is the level between them is 0, and the probability distribution for each damage level does not have a unimodal distribution.
  • the damage level output is a result (output) that is difficult to interpret.
  • the order constraint mechanism 26 given the probabilities for each damage level as in this example, limits such output to, for example, damage level 0: 17%, damage level 1: 44%, damage level 2: By determining numerical values such as 39%, damage level 3:0%, damage level 4:0%, the probability of each damage level is determined so that the distribution of the damage level probability has a unimodal shape.
  • the order constraint mechanism 26 outputs the probability of each damage level determined by the input damage level estimation model 24 as it is.
  • the output data 43 shown in FIG. 4 indicates the probability of each damage level for each type of skin panel output by the order constraint mechanism 26 .
  • the output data 43 in FIG. 4 indicates that the probability of damage levels 0 to 4 for the panel class “right_front_fender” is [0.00, 0.00, 0.00, 0.01, 0.99]. , since damage level 4 has the highest probability, the estimation result of the damage level of the skin panel is "4".
  • the probabilities of damage levels 0 to 4 for the panel class "right_front_door” are [0.00, 0.38, 0.51, 0.11, 0. 00], and the damage level 2 has the highest probability.
  • FIG. 5 is a flowchart showing vehicle damage information estimation processing of the information processing apparatus 10 according to one embodiment of the present invention.
  • the image feature amount extraction model 21 extracts image feature amounts from the vehicle image of the input data 30 .
  • the skin panel recognition model 22 determines the range of the skin panel in the vehicle image for each skin panel type based on the image feature amount extracted at step 101.
  • the damaged location recognition model 23 extracts image feature amounts for damaged location detection based on the image feature amounts extracted in step 101, and determines the range of the damaged location. Steps 102 and 103 may be performed simultaneously or in reverse order.
  • the attention mechanism 25 determines a feature amount for attention based on the image feature amount extracted at step 103.
  • the damage level estimation model 24 determines the damage level for each type of skin panel based on the image feature amount extracted in step 101 and the attention feature amount determined in step 104, and orders
  • the constraint mechanism 26 determines the damage level for each type of skin panel such that the order of the probability of each damage level determined by the damage level estimation model 24 satisfies a certain constraint.
  • FIG. 6 is a diagram explaining an overview of an example of a learning method for generating the trained model 27 in the information processing device 10.
  • the information processing device 10 stores learning data for learning to generate the trained model 27 in the storage device 14 .
  • the information processing device 10 receives learning data via the communication device 15 .
  • the learning data includes learning input data 50 and correct answer data 70 .
  • the learning input data 50 is a vehicle image (original image) for learning
  • the correct data 70 is annotation data given to the vehicle image.
  • the learning data includes each of a plurality of vehicle images for learning and annotation data given to the vehicle images.
  • the trained model 27 is generated by subjecting the multitask module (neural network) 27 to machine learning based on learning data including learning input data 50 and correct answer data 70.
  • the trained model 27 includes the range of the skin panel output by inputting the learning vehicle image of the learning input data 50 to the multitasking module 27, the type of the skin panel, and the damage location.
  • the multitask module (neural network) 27 is provided with a mechanical It is generated by learning.
  • the correct data 70 is generated by a general computer using a known annotation tool capable of annotating images such as labelme, but may be generated by the information processing apparatus 10 .
  • the correct data 70 are information indicating the range of the skin panel and the type of the skin panel, the range of the damaged part and the degree of damage, and the information indicating the extent of the damage in each vehicle image for learning. Information on the damage level for each type of panel is generated as data for learning at the same time. Note that the following annotation input method is just an example, and is not limited to this.
  • FIG. 7 is a diagram showing an example of part of a screen 71 for inputting annotations of panel segments and panel classes of outer panel panels for vehicle images for learning.
  • a screen 71 displays a segment input area 72 in which annotations of panel segments of outer panels are input with respect to vehicle images for learning, and a list of panel classes of outer panels input with respect to the input panel segments. and a class display area 73 shown.
  • the user draws a panel segment on the screen 71 by drawing a line using points to enclose the skin panel, and specifies the panel class by labeling the drawn panel segment. Perform an input operation to associate (associate).
  • each of the panel classes (“right_front_door”, “right_rear_door”, “right_quater_panel”, “right_rocker_panel”) is specified for each rendered panel segment.
  • FIG. 8 is a diagram showing an example of a part of the screen 74 for inputting the damage segment of the damaged portion, the damage class annotation, and the damage level annotation for the vehicle image for learning.
  • a screen 74 includes a segment input area 75 in which annotations of damage segments of damaged locations are input to vehicle images for learning, and a class showing a list of damage classes of damaged locations that are input for the input damaged segments. It includes a display area 76 and a damage level display area 77 showing a list of damage levels input for each skin panel.
  • the user draws a damage segment on the screen 74 by drawing a line with points around the damage site and designates a damage class by labeling the drawn damage segment. (Associate) perform an input operation.
  • each of the damage classes ("a dent” and "a dent with scratches") are each assigned to the drawn damage segment.
  • the user performs an input operation to designate damage levels 1 to 4 for each skin panel on screen 74 .
  • check boxes for selecting damage levels 1 to 4 are displayed for each skin panel. A check is entered in "front_bumper_2" indicating that.
  • the types of skin panels included in the damage level display area 77 display check boxes for selecting damage levels 1 to 4 for each panel class input on the screen 70a.
  • the correct answer data 70 is generated as follows using a computer that can use annotation tools.
  • the computer annotates the panel segment (panel range) and the panel class (classification of front bumper, right front door, etc.) of the skin panel input to the vehicle image of the learning input data 50 according to the user's operation.
  • data is saved as a JSON file F1.
  • the computer saves the data of the damage segment, the damage class annotation, and the damage level annotation input for the vehicle image of the learning input data 50 as a JSON file F2 according to the user's operation.
  • the computer depending on the user's operation, sets two JSON files F1 and F2, such as whether the panel class input in JSON file F1 includes the one corresponding to the skin panel whose damage level is input in JSON file F2.
  • the computer If there is an inconsistency, the computer outputs an error indicating that at least one of the JSON files F1 and F2 needs to be corrected, and checks the consistency again when the corrected file is saved by the user.
  • the two JSON files F1 and F2 that have passed the consistency check are the correct data 70.
  • the learning data includes the vehicle image of the learning input data 50 and two JSON files F1 and F2 of the correct data 70 generated based on this vehicle image.
  • the learning data includes vehicle images of a plurality of different learning input data 50, and two JSON files F1 and F2 of correct data 70 generated based on each vehicle image.
  • the method of generating the correct answer data 70, the file format, and the like are merely examples, and the present invention is not limited to this.
  • the image feature quantity extraction model 21 receives vehicle image groups of the learning input data 50 .
  • a vehicle image group which is a plurality of vehicle images, and correct data 70 generated based on each of these vehicle image groups are used in one learning.
  • one vehicle image and correct data 70 for the vehicle image may be used in one learning.
  • Step 202 is forward propagation processing, and the multitasking module 27 uses the current learning parameters 91-95 to output learning output data 61, 62, and 63 for each vehicle image group.
  • the skin panel recognition model 22 outputs the range of the skin panel in the vehicle image and the type of the skin panel (learning output data 61) based on the image feature amount extracted in step 201. do.
  • the damaged location recognition model 23 extracts image feature values for damaged location detection based on the image feature values extracted in step 201, and obtains information (learning output data 62 ).
  • the attention mechanism 25 determines the feature amount for attention based on the image feature amount extracted by the damage site recognition model 23, and the damage level estimation model 24 is determined by the image feature amount extracted in step 101 and the attention mechanism 25. Based on the attention feature amount thus determined, the probability of each damage level for each type of skin panel is determined.
  • Each damage level (learning output data 63) for each type of skin panel is output so as to satisfy the constraints.
  • step 203 the information processing apparatus 10 compares the range of the skin panel of the correct data 70 and the type of the skin panel with the output data 61 for learning, calculates the loss value 81, and calculates the damaged part of the correct data 70. and the learning output data 62, calculate the loss value 82, and compare each damage level for each type of outer panel in the correct data 70 with the learning output data 63. Compare and calculate a loss value 83 .
  • the correct data 70 has one of the damage levels 0 to 4 for each type of skin panel as data, so the damage to one skin panel of the correct data 70 Assuming that the level is "2", the correct data 70 to be compared with each damage level of the one skin panel in the learning output data 63 when calculating the loss value 83 is, for example, [0.00, 0. 00, 1.00, 0.00, 0.00].
  • Step 204 is backpropagation processing, and the information processing device 10 adjusts or learns the learning parameters 91-95 so that the loss values 81, 82, 83 are minimized.
  • the information processing apparatus 10 executes the processing of steps 201 to 204 using the vehicle image group of the next learning input data 50 and the correct data 70 for the vehicle image group.
  • the information processing apparatus 10 executes the process of step 202 using the learning parameters 91 to 95 adjusted in step 204 immediately before.
  • the information processing apparatus 10 repeats the vehicle image group of the different learning input data 50 and the vehicle image group until the specified number of times is executed or the loss values 81, 82, and 83 become less than the default values.
  • the processing of steps 201 to 204 is executed.
  • the information processing apparatus 10 includes an image feature quantity extraction model 21, a skin panel recognition model 22, a damaged location recognition model 23, a damage level estimation model 24, an attention mechanism 25, and an order constraint mechanism 26. and a multitasking module 27 .
  • the multitasking module 27 receives the information indicating the range of the outer panel, the type of the outer panel, the range of the damaged portion and the degree of damage, and the damage level for each type of the outer panel. Estimate (output) the probability.
  • the multitasking module 27 is subjected to machine learning processing based on learning data including learning input data 50 and correct answer data 70 .
  • the multitask module 27 can be learned end-to-end as a unit during learning, so that a mutual learning effect can be obtained, and more accurate vehicle damage information can be obtained. can be estimated. Further, the estimation of the damage level of the damage level estimation model 24 is based on the attention feature amount for obtaining the damage level by focusing on the damaged part received from the damaged part recognition model 23 and the attention mechanism 25. It is possible to estimate vehicle damage information with high accuracy.
  • the information processing device 10 may not include the order constraint mechanism 26.
  • the damage level estimation model 24 outputs output data 43 and learning output data 63 . Also in this embodiment, it is possible to estimate vehicle damage information with higher accuracy than in the conventional art. Note that in this embodiment, the damage level estimation model 24 can be configured to estimate (output) only the information regarding the damage level with the highest probability.
  • the information processing device 10 may not include the attention mechanism 25.
  • the damage level estimation model 24 can also have the function of the attention mechanism 25, and the damage level estimation model 24 can be generated by the image feature quantity extracted by the image feature quantity extraction model 21 and the damage location recognition model 23.
  • a neural network model that estimates (outputs) the probability of each damage level for each type of skin panel based on the extracted image feature amount for detecting damaged locations can also be used. Also in this embodiment, it is possible to estimate vehicle damage information with higher accuracy than in the conventional art.
  • settings relating to damage levels such as the number of damage level stages and the definition of each stage, can be changed.
  • the skin panel recognition model 22 is not for each type of skin panel, but for each predetermined group, such as one or more types of skin panels.
  • the extent of the skin panel in the image can be determined.
  • the damage level estimation model 24 and order constraint mechanism 26 also estimate the probability of each damage level for each predetermined group.
  • the correct data 70 includes information indicating the range of the skin panel, the group to which the skin panel belongs, the range of the damaged portion and the degree of damage, and the damage level for each group.
  • the skin panel recognition model 22 uses an exterior It can be configured to output only the extent of the board panel (panel segment). In this embodiment, the skin panel recognition model 22 does not include information about the panel class, so the correct data 70 does not include information about the panel class either. Also in this embodiment, it is possible to estimate vehicle damage information with higher accuracy than in the conventional art.
  • the damage location recognition model 23 uses the damage locations in the vehicle image instead of the extent of the damage in the vehicle image (damage segment) and information indicating the extent of the damage (damage class). can be configured to output the extent (damage segment) of In this embodiment, the damage location recognition model 23 does not include information about the damage class, so the correct data 70 also does not include information about the damage class. Also in this embodiment, it is possible to estimate vehicle damage information with higher accuracy than in the conventional art.
  • a device (system) for performing machine learning on the multitasking module 27 or generating a trained model 27 is a device (system) different from the information processing device 10. be able to.
  • a device different from the information processing device 10 can execute the processing of steps 201 to 204 to generate the trained model 27, and the information processing device 10 is provided with the trained model 27 generated by the device. can be configured as
  • the embodiment of the present invention can be a device, system, or program that realizes the functions of the embodiment of the present invention described above and the information processing shown in the flowchart, and a computer-readable storage medium storing the program.
  • the information processing device 10 a method or a program for realizing processing of the information processing device 10, and a learned model for estimating vehicle damage information from a vehicle image can be generated. It can also be a method, program, or system for doing so.
  • a server can supply a computer with a program for realizing the functions of the embodiments of the present invention described above and the information processing shown in the flowcharts.
  • it can be a virtual machine that realizes the functions of the embodiment of the present invention described above and the information processing shown in the flowchart.

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

車両画像から、より精度の高い車両の損傷情報を推定することが可能な情報処理装置を提供する。　本発明の一実施形態の情報処理装置は、車両画像から車両の損傷情報を推定するための情報処理装置であって、車両画像から画像特徴量を抽出する画像特徴量抽出モデルと、画像特徴量抽出モデルにより抽出された画像特徴量に基づいて外板パネルの範囲を決定する外板パネル認識モデルと、画像特徴量抽出モデルにより抽出された画像特徴量に基づいて、損傷個所検出用の画像特徴量を抽出し、損傷個所の範囲を決定する損傷個所認識モデルと、画像特徴量抽出モデルにより抽出された画像特徴量及び損傷個所認識モデルにより抽出された画像特徴量に基づいて損傷レベルを決定する損傷レベル推定モデルと、を備える。

Description

車両画像から車両の損傷情報を推定するための情報処理装置、方法、及びプログラム、並びに学習済みモデルを生成するための方法及びシステム
　本発明は、車両画像から車両の損傷情報を推定するための情報処理装置、方法、及びプログラム、並びに学習済みモデルを生成するための方法及びシステムに関する。
　従来、損傷を受けた車両の修理に要する費用の見積りの際、車両の画像から車両の損傷状態を把握している。車両の画像から車両の損傷状態を自動的に把握するための技術が知られている。例えば、特許文献１には、自動車部分損傷識別モデルを使用して自動車部分画像を解析することによって、自動車部分の被損傷範囲および損傷種類を判定する技術が開示されている。
特表２０２０－５０４８５６号公報
　このような中で、自動車の車両の修理費用の見積もりに慣れていないユーザであっても、見積費用を算出可能なシステムが求められており、損傷を受けた車両の画像から、より精度の高い車両の損傷情報を与えることが可能な装置が求められている。本発明は、このような課題を解決するためになされたものであり、車両画像から、より精度の高い車両の損傷情報を推定することが可能な情報処理装置等を提供することを目的とする。
　〔１〕本発明の１つの態様の情報処理装置は、
　車両画像から車両の損傷情報を推定するための情報処理装置であって、
　車両画像から画像特徴量を抽出する画像特徴量抽出モデルと、
　前記画像特徴量抽出モデルにより抽出された画像特徴量に基づいて外板パネルの範囲を決定する外板パネル認識モデルと、
　前記画像特徴量抽出モデルにより抽出された画像特徴量に基づいて、損傷個所検出用の画像特徴量を抽出し、損傷個所の範囲を決定する損傷個所認識モデルと、
　前記画像特徴量抽出モデルにより抽出された画像特徴量及び前記損傷個所認識モデルにより抽出された画像特徴量に基づいて損傷レベルを決定する損傷レベル推定モデルと、
　を備える、情報処理装置である。
　〔２〕本発明の１つの態様では、
　前記損傷個所認識モデルにより抽出された画像特徴量に基づいてアテンション用特徴量を決定するアテンション機構を備え、
　前記損傷レベル推定モデルは、前記画像特徴量抽出モデルにより抽出された画像特徴量及び前記アテンション機構により決定されたアテンション用特徴量に基づいて損傷レベルを決定する、〔１〕に記載の情報処理装置である。
　〔３〕本発明の１つの態様では、
　前記損傷レベル推定モデルは、予め定義された複数の損傷レベルの各損傷レベルの確率を決定する、〔２〕に記載の情報処理装置である。
　〔４〕本発明の１つの態様では、
　前記損傷レベル推定モデルが決定する各損傷レベルの確率の順序が一定の制約を満たすように各損傷レベルの確率を決定する順序制約機構を備える、〔３〕に記載の情報処理装置である。
　〔５〕本発明の１つの態様では、
　前記外板パネル認識モデルは、前記画像特徴量抽出モデルにより抽出された画像特徴量に基づいて、外板パネルの種別ごとに外板パネルの範囲を決定し、
　前記損傷レベル推定モデル及び前記順序制約機構は、外板パネルの種別ごとに、各損傷レベルの確率を決定する、〔４〕に記載の情報処理装置である。
　〔６〕本発明の１つの態様では、
　前記画像特徴量抽出モデル、前記外板パネル認識モデル、前記損傷個所認識モデル、前記損傷レベル推定モデル、及び前記アテンション機構は、学習用車両画像を前記画像特徴量抽出モデルに入力することにより決定される外板パネルの範囲、損傷個所の範囲、及び損傷レベルのそれぞれと、予め作成された該学習用車両画像の外板パネルの範囲、損傷個所の範囲、及び損傷レベルの正解データのそれぞれとの差分に対応する損失値を最小化するように機械学習処理が施されたものである、〔２〕から〔５〕のいずれか１つに記載の情報処理装置である。
　〔７〕本発明の１つの態様の情報処理装置は、
　コンピュータにより実行される、車両画像から車両の損傷情報を推定するための方法であって、
　車両画像から画像特徴量を抽出するステップと、
　前記抽出された画像特徴量に基づいて外板パネルの範囲を決定するステップと、
　前記抽出された画像特徴量に基づいて、損傷個所の範囲を決定し、かつ損傷個所検出用の画像特徴量を決定するステップと、
　前記抽出された画像特徴量及び前記決定された損傷個所検出用の画像特徴量に基づいて損傷レベルを決定するステップと、
　を含む、方法である。
　〔８〕本発明の１つの態様のプログラムは、〔７〕に記載の方法の各ステップをコンピュータに実行させるプログラムである。
　〔９〕本発明の１つの態様の方法は、
　車両画像から車両の損傷情報を推定するための学習済みモデルを生成するための方法であって、
　車両画像から画像特徴量を抽出する画像特徴量抽出モデルと、
　前記画像特徴量抽出モデルにより抽出された画像特徴量に基づいて外板パネルの範囲を出力する外板パネル認識モデルと、
　前記画像特徴量抽出モデルにより抽出された画像特徴量に基づいて、損傷個所の範囲を出力し、かつ損傷個所検出用の画像特徴量を出力する損傷個所認識モデルと、
　前記画像特徴量抽出モデルにより抽出された画像特徴量及び前記損傷個所認識モデルにより出力された画像特徴量に基づいて損傷レベルを決定する損傷レベル推定モデルと、
　を含むニューラルネットワークに対して、学習用車両画像と該学習用車両画像の外板パネルの範囲、損傷個所の範囲、及び損傷レベルの正解データとを含む学習データに基づいて機械学習を行うことにより、学習済みモデルを生成する、方法である。
　〔１０〕本発明の１つの態様では、
　前記方法は、
　学習用車両画像を前記画像特徴量抽出モデルに入力することにより決定される外板パネルの範囲、損傷個所の範囲、及び損傷レベルのそれぞれと、該学習用車両画像の外板パネルの範囲、損傷個所の範囲、及び損傷レベルの正解データのそれぞれとの差分に対応する損失値を最小化するように、前記ニューラルネットワークに対して機械学習を行うことにより、学習済みモデルを生成することを含む、〔９〕に記載の情報処理装置である。
　〔１１〕本発明の１つの態様のシステムは、
　車両画像から車両の損傷情報を推定するための学習済みモデルを生成するためのシステムであって、
　車両画像から画像特徴量を抽出する画像特徴量抽出モデルと、
　前記画像特徴量抽出モデルにより抽出された画像特徴量に基づいて外板パネルの範囲を出力する外板パネル認識モデルと、
　前記画像特徴量抽出モデルにより抽出された画像特徴量に基づいて、損傷個所の範囲を出力し、かつ損傷個所検出用の画像特徴量を出力する損傷個所認識モデルと、
　前記画像特徴量抽出モデルにより抽出された画像特徴量及び前記損傷個所認識モデルにより出力された画像特徴量に基づいて損傷レベルを決定する損傷レベル推定モデルと、
　を含むニューラルネットワークに対して、学習用の車両画像と該車両画像の外板パネルの範囲、損傷個所の範囲、及び損傷レベルの正解データとを含む学習データに基づいて機械学習を行うことにより、学習済みモデルを生成する、システムである。
　本発明によれば、車両画像から、より精度の高い車両の損傷情報を推定することができる。
本発明の一実施形態の情報処理装置のハードウェア構成を示すブロック図である。 本発明の一実施形態の情報処理装置の機能ブロック図の一例を示す。 入力データとして用いられる車両画像の一例を示す図である。 出力データの一例を示す図である。 本発明の一実施形態の情報処理装置の車両の損傷情報の推定処理を示すフローチャートである。 情報処理装置における学習済みモデルを生成するための学習方法の一例の概要を説明する図である。 学習用の車両画像に対して外板パネルのパネルセグメントとパネルクラスのアノテーションを入力するための画面の一部の一例を示す図である。 学習用の車両画像に対して損傷個所の損傷セグメントと損傷クラスのアノテーションと、損傷レベルのアノテーションとを入力するための画面の一部の一例を示す図である。
　以下、図面を参照して、本発明の実施形態の情報処理装置１０を説明する。情報処理装置１０は、車両画像から車両の損傷情報を推定するための装置である。本実施形態では、車両画像は、損傷を受けた又は損傷を受けた可能性がある車両の画像である。本実施形態では、車両の損傷情報は、損傷個所の範囲、及び外板パネルの損傷レベルの確率を含む情報である。
　図１は本発明の一実施形態の情報処理装置１０のハードウェア構成を示すブロック図である。本実施形態の情報処理装置１０は、一般的なコンピュータと同様の構成を含む。情報処理装置１０は、プロセッサ１１、入力装置１２、表示装置１３、記憶装置１４、及び通信装置１５を備える。これらの各構成装置はバス１６によって接続される。なお、バス１６と各構成装置との間には必要に応じてインタフェースが介在しているものとする。情報処理装置１０は、複数の装置により構成されてもよいし、クラウドシステムにより実現されてもよいし、１つの装置により実現されてもよい。本実施形態では、説明の便宜上、情報処理装置１０は、１つの装置により実現されるものとして説明する。
　プロセッサ１１は、情報処理装置１０全体の動作を制御するものであり、例えばＣＰＵである。プロセッサ１１としては、高速化のためＧＰＵ等の電子回路が併せて用いられてもよいし、ＭＰＵ等の電子回路が用いられてもよい。プロセッサ１１は、記憶装置１４に格納されているプログラムやデータを読み込んで実行することにより、様々な処理を実行する。
　入力装置１２は、情報処理装置１０に対するユーザからの入力を受け付けるユーザインタフェースであり、例えば、タッチパネル、タッチパッド、キーボード、マウス、又はボタンである。表示装置１３は、プロセッサ１１の制御に従って、アプリケーション画面などを情報処理装置１０のユーザに表示するディスプレイである。
　記憶装置１４は、主記憶装置及び補助記憶装置を含む。主記憶装置は、例えばＲＡＭのような半導体メモリである。ＲＡＭは、情報の高速な読み書きが可能な揮発性の記憶媒体であり、プロセッサ１１が情報を処理する際の記憶領域及び作業領域として用いられる。主記憶装置は、読み出し専用の不揮発性記憶媒体であるＲＯＭを含んでいてもよい。補助記憶装置は、様々なプログラムや、各プログラムの実行に際してプロセッサ１１が使用するデータを格納する。補助記憶装置は、情報を格納できるものであればいかなる不揮発性ストレージ又は不揮発性メモリであってもよく、着脱可能なものであっても構わない。
　通信装置１５は、ネットワークを介してユーザ端末又はサーバなどの他のコンピュータとの間でデータの授受を行うものであり、例えば無線ＬＡＮモジュールである。通信装置１５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールなどの他の無線通信用のデバイスやモジュールなどとすることもできるし、イーサネット（登録商標）モジュールやＵＳＢインタフェースなどの有線通信用のデバイスやモジュールなどとすることもできる。
　図２は本発明の一実施形態の情報処理装置１０の機能ブロック図の一例を示す。情報処理装置１０は、画像特徴量抽出モデル２１と、外板パネル認識モデル２２と、損傷個所認識モデル２３と、損傷レベル推定モデル２４と、アテンション機構２５と、順序制約機構２６とを備える。本実施形態においては、プロセッサ１１によりプログラムが実行されることによりこれらの機能が実現される。
　情報処理装置１０は、入力データ３０を記憶装置１４に記憶する。例えば情報処理装置１０は、通信装置１５を介して入力データ３０を受け取る。図３は、入力データ３０として用いられる車両画像の１つの例示である。図４は、出力データ４０の１つの例示であり、出力データ４０は、外板パネル認識モデル２２により出力される出力データ４１と、損傷個所認識モデル２３により出力される出力データ４２と、順序制約機構２６により出力される出力データ４３とを含む。
　本実施形態では、画像特徴量抽出モデル２１、外板パネル認識モデル２２、損傷個所認識モデル２３、損傷レベル推定モデル２４、アテンション機構２５、及び順序制約機構２６は、１つのマルチタスクモジュール２７と考えることができる。また、機械学習処理が施されたマルチタスクモジュール２７は、１つの分類タスク（損傷レベル）と２つのセグメントタスク（パネル・損傷個所）を合体した１つの学習済みモデル２７と考えることができる。
　画像特徴量抽出モデル２１は、入力データ３０の車両画像から画像特徴量を抽出する。本実施形態では、画像特徴量抽出モデル２１は、入力データ３０の車両画像が入力されると、入力画像の画像特徴量を出力するニューラルネットワークモデルである。１つの例では、画像特徴量抽出モデル２１は、ＲｅｓｎｅｔなどのＣＮＮ（畳み込みニューラルネットワーク）とＦＰＮ（特徴ピラミッドネットワーク）により実現される。
　外板パネル認識モデル２２は、画像特徴量抽出モデル２１により抽出された画像特徴量に基づいて、外板パネルの種別ごとに、車両画像における外板パネルの範囲を決定する。本実施形態では、外板パネル認識モデル２２は、画像特徴量抽出モデル２１により抽出された画像特徴量が入力されると、車両画像における外板パネルの範囲とその外板パネルの種別を決定（出力）するニューラルネットワークモデルである。なお、本実施形態では、異なる位置の同種の外板パネルは、異なる種別の外板パネルである。
　１つの例では、外板パネル認識モデル２２は、画像特徴量抽出モデル２１により抽出された画像特徴量から外板パネルのパネルセグメントとパネルクラスを決定する。パネルクラスは、外板パネルの種別を示す情報であり、例えば、「ｌｅｆｔ＿ｆｒｏｎｔ＿ｄｏｏｒ」、「ｆｒｏｎｔ＿ｂｕｍｐｅｒ」、「ｌｅｆｔ＿ｒｏｃｋｅｒ＿ｐａｎｅｌ」、「ｌｅｆｔ＿ｆｒｏｎｔ＿ｆｅｎｄｅｒ」、「ｈｏｏｄ」を含む。この場合、「ｌｅｆｔ＿ｆｒｏｎｔ＿ｄｏｏｒ」は左フロントドア、「ｆｒｏｎｔ＿ｂｕｍｐｅｒ」はフロントバンパー、「ｌｅｆｔ＿ｒｏｃｋｅｒ＿ｐａｎｅｌ」は左ロッカーパネル、「ｌｅｆｔ＿ｆｒｏｎｔ＿ｆｅｎｄｅｒ」は左フロントフェンダー、「ｈｏｏｄ」はボンネットに各々対応するパネルクラスである。パネルセグメントは、外板パネルの種別ごとの範囲（領域）を示す情報である。１つの例では、外板パネル認識モデル２２は、セマンティック・セグメンテーションやインスタンス・セグメンテーションなどのセグメンテーション処理を行うニューラルネットワークモデルである。
　１つの例では、外板パネル認識モデル２２は、エンコーダ部分とデコーダ部分を持つニューラルネットワークモデルである。この場合、エンコーダ部分は、入力画像を圧縮して特徴量を抽出し、デコーダ部分は、抽出した特徴量から車両画像内にどの外板パネルがどの位置に存在するかを識別し、車両画像における各画素がどの外板パネルに対応するかについてのラベル（パネルクラス）を付与したデータを生成する。
　図４が示す出力データ４１は、外板パネル認識モデル２２により出力されるパネルクラスとパネルセグメントを示す。矩形状の点線は、各パネルセグメントが示す範囲を明示するためのものであり、表示されなくてもよい。図４の出力データ４１は、パネルクラスが「ｒｉｇｈｔ＿ｆｒｏｎｔ＿ｆｅｎｄｅｒ」（右フロントフェンダー）のパネルセグメント４５ａ、パネルクラスが「ｒｉｇｈｔ＿ｆｒｏｎｔ＿ｄｏｏｒ」（右フロントドア）のパネルセグメント４５ｂ、パネルクラスが「ｆｒｏｎｔ＿ｂｕｍｐｅｒ」（フロントバンパー）のパネルセグメント４５ｃ、パネルクラスが「ｒｉｇｈｔ＿ｒｏｃｋｅｒ＿ｐａｎｅｌ」（右ロッカーパネル）のパネルセグメント４５ｄ、及びパネルクラスが「ｈｏｏｄ」（ボンネット）のパネルセグメント４５ｅ、をそれぞれ示す。
　損傷個所認識モデル２３は、画像特徴量抽出モデル２１により抽出された画像特徴量に基づいて、損傷個所検出用の画像特徴量を抽出し、損傷個所の範囲を決定する。本実施形態では、損傷個所認識モデル２３は、画像特徴量抽出モデル２１により抽出された画像特徴量が入力されると、損傷個所検出用の画像特徴量を中間出力として出力し、車両画像における損傷個所の範囲及びその損傷の程度を示す情報を決定（出力）するニューラルネットワークモデルである。
　１つの例では、損傷個所認識モデル２３は、画像特徴量抽出モデル２１により抽出された画像特徴量から損傷個所の損傷セグメントと損傷クラスを決定する。損傷クラスは、損傷個所の損傷の程度を示す情報であり、例えば、「ａ　ｄｅｎｔ」、「ｓｃｒａｔｃｈｅｓ」、「ａ　ｄｅｎｔ　ｗｉｔｈ　ｓｃｒａｔｃｈｅｓ」、「ｓｃｕｆｆｓ」を含む。この場合、「ａ　ｄｅｎｔ」は凹み、「ｓｃｒａｔｃｈｅｓ」は擦り傷、「ａ　ｄｅｎｔ　ｗｉｔｈ　ｓｃｒａｔｃｈｅｓ」は擦り傷を伴う凹み、「ｓｃｕｆｆｓ」は擦り減りに対応する損傷クラスである。損傷セグメントは、損傷個所ごとの範囲（領域）を示す情報である。１つの例では、外板パネル認識モデル２２は、セマンティック・セグメンテーションやインスタンス・セグメンテーションなどのセグメンテーション処理を行うニューラルネットワークモデルである。
　１つの例では、損傷個所認識モデル２３は、エンコーダ部分とデコーダ部分を持つニューラルネットワークモデルである。この場合、エンコーダ部分は、入力画像を圧縮して特徴量を抽出し、デコーダ部分は、抽出した特徴量から車両画像内にどのような損傷がどの位置に存在するかを識別し、車両画像における各画素がどのような損傷に対応するかについてのラベル（損傷クラス）を付与したデータを生成する。例えば、損傷個所検出用の画像特徴量は、エンコーダ部分から抽出される特徴量である。
　図４が示す出力データ４２は、損傷個所認識モデル２３により出力される損傷クラスと損傷セグメントを示す。矩形状の点線は、各パネルセグメントが示す範囲を明示するためのものであり、表示されなくてもよい。図４の出力データ４２は、損傷クラスが「ａ　ｄｅｎｔ　ｗｉｔｈ　ｓｃｒａｔｃｈｅｓ」の損傷セグメント４６ａ、損傷クラスが「ａ　ｄｅｎｔ　ｗｉｔｈ　ｓｃｒａｔｃｈｅｓ」の損傷セグメント４６ｂ、及び損傷クラスが「ｓｃｒａｔｃｈｅｓ」の損傷セグメント４６ｃ、をそれぞれ示す。
　アテンション機構２５は、損傷個所認識モデル２３により抽出された画像特徴量に基づいてアテンション用特徴量を決定する。アテンション用特徴量は、損傷個所に注目（アテンション）させて損傷レベルを求めるように誘導するための特徴量である。例えば、アテンション機構２５は、車両画像における各画素が損傷個所に関してどの程度注目すべきかについての注目度合いを付与したデータをアテンション用特徴量として生成する。アテンション機構２５においては、上記のようなアテンション用特徴量を生成するような学習パラメータ（重み）が設定される。１つの例では、アテンション機構２５は、Ｄｏｔ－Ｐｒｏｄｕｃｔ　Ａｔｔｅｎｔｉｏｎなどを用いたアテンション機構により実現される。
　損傷レベル推定モデル２４は、画像特徴量抽出モデル２１により抽出された画像特徴量及びアテンション機構２５により決定されたアテンション用特徴量に基づいて、損傷レベルを決定（推定）する。本実施形態では、損傷レベル推定モデル２４は、画像特徴量抽出モデル２１により抽出された画像特徴量及びアテンション機構２５により決定されたアテンション用特徴量が入力されると、外板パネルの種別ごとに、予め定義された複数の損傷レベルの各々の損傷レベルの確率を決定（出力）するニューラルネットワークモデルである。１つの例では、損傷レベル推定モデル２４は、ＣＮＮとＦｕｌｌｙ－Ｃｏｎｎｅｃｔｅｄ　Ｌａｙｅｒ（全結合層）により実現される。
　本実施形態では、損傷レベルは損傷なし（損傷レベル０）～損傷レベル４の５段階のレベルが設定される。例えば、損傷レベル１は「軽微の擦過損」、損傷レベル２は「軽度の圧損・擦過」、損傷レベル３は「中程度の損傷」、損傷レベル４は「パネル交換が必要な重度の損傷」にそれぞれ対応する損傷の度合いである。例えば、損傷レベル推定モデル２４は、損傷レベル０（損傷なし）：０％、損傷レベル１：２％、損傷レベル２：１２％、損傷レベル３：５４％、損傷レベル４：３２％のような数値を決定し、［０．００、０．０２、０．１２、０．５４、０．３２］のような配列データの形式で出力する。
　順序制約機構２６は、損傷レベル推定モデル２４が決定する各損傷レベルの確率の順序が一定の制約を満たすように各損傷レベルの確率を決定する。本実施形態では、順序制約機構２６は、外板パネルの種別ごとに損傷レベル推定モデル２４が決定する各損傷レベルの確率が入力されると、外板パネルの種別ごとに各損傷レベルの確率の順序がそろうように回帰する機構（例えばソフトウェアモジュール）である。これにより、人間が解釈可能な結果を出力することが可能となる。順序制約機構２６は、外板パネルの種別ごとに、損傷レベルごとの確率の分布が単峰性を持つように、すなわち、損傷レベルごとの確率の分布が、損傷レベルが１つ大きくなると確率が減り、更に損傷レベルが１つ大きくなると確率が増えるような単峰性を持たない出力を制限するように、各損傷レベルの確率を調整する。１つの例では、順序制約機構２６は、損傷レベル出力の単峰性を持つ関数への回帰機構により実現される。
　１つの例では、損傷レベル推定モデル２４は、損傷レベル０：３０％、損傷レベル１：０％、損傷レベル２：７０％、損傷レベル３：０％、損傷レベル４：０％に対応する数値を出力する。この場合、損傷レベル０と２に大きな確率がある一方、その間のレベルである損傷レベル１の確率が０となっており、損傷レベルごとの確率の分布が単峰性を持たないため、このような損傷レベルの出力は解釈しがたい結果（出力）である。順序制約機構２６は、本例示のような各損傷レベルの確率が入力されると、このような出力を制限するため、例えば損傷レベル０：１７％、損傷レベル１：４４％、損傷レベル２：３９％、損傷レベル３：０％、損傷レベル４：０％のような数値を決定することにより、損傷レベルの確率の分布が単峰性を持つように各損傷レベルの確率を決定する。
　１つの例では、損傷レベル推定モデル２４が決定する各損傷レベルの確率の順序が一定の制約を満たしている場合（損傷レベルごとの確率の分布が単峰性を持つ場合）、順序制約機構２６は、入力された損傷レベル推定モデル２４が決定する各損傷レベルの確率をそのまま出力する。
　図４が示す出力データ４３は、順序制約機構２６により出力される、外板パネルの種別ごとの各損傷レベルの確率を示す。図４の出力データ４３は、パネルクラスが「ｒｉｇｈｔ＿ｆｒｏｎｔ＿ｆｅｎｄｅｒ」の外板パネルの損傷レベル０～４の確率が［０．００、０．００、０．００、０．０１、０．９９］であり、一番確率が高いのは損傷レベル４であるため、当該外板パネルの損傷レベルの推定結果が「４」であることを示している。同様にして、図４の出力データ４３は、パネルクラスが「ｒｉｇｈｔ＿ｆｒｏｎｔ＿ｄｏｏｒ」の外板パネルの損傷レベル０～４の確率が［０．００、０．３８、０．５１、０．１１、０．００］であり、一番確率が高いのは損傷レベル２であるため、当該外板パネルの損傷レベルの推定結果が「２」であることを示している。同様にして、図４の出力データ４３は、パネルクラスが「ｒｉｇｈｔ＿ｒｏｃｋｅｒ＿ｐａｎｅｌ」の外板パネルの損傷レベル０～４の確率が［１．００、０．００、０．００、０．００、０．００］であり、一番確率が高いのは損傷レベル０であるため、当該外板パネルの損傷レベルの推定結果が「０」であることを示している。その他の外板パネルについても同様である。
　図５は、本発明の一実施形態の情報処理装置１０の車両の損傷情報の推定処理を示すフローチャートである。ステップ１０１で、画像特徴量抽出モデル２１は、入力データ３０の車両画像から画像特徴量を抽出する。
　ステップ１０２で、外板パネル認識モデル２２は、ステップ１０１で抽出された画像特徴量に基づいて、外板パネルの種別ごとに、車両画像における外板パネルの範囲を決定する。ステップ１０３で、損傷個所認識モデル２３は、ステップ１０１で抽出された画像特徴量に基づいて、損傷個所検出用の画像特徴量を抽出し、損傷個所の範囲を決定する。ステップ１０２とステップ１０３は同時に実行されてもよいし、逆の順番で実行されてもよい。
　ステップ１０４で、アテンション機構２５は、ステップ１０３で抽出された画像特徴量に基づいてアテンション用特徴量を決定する。ステップ１０５で、損傷レベル推定モデル２４は、ステップ１０１で抽出された画像特徴量及びステップ１０４で決定されたアテンション用特徴量に基づいて、外板パネルの種別ごとに、損傷レベルを決定し、順序制約機構２６は、損傷レベル推定モデル２４が決定する各損傷レベルの確率の順序が一定の制約を満たすように、外板パネルの種別ごとに、損傷レベルを決定する。
　図６は、情報処理装置１０における学習済みモデル２７を生成するための学習方法の一例の概要を説明する図である。情報処理装置１０は、学習済みモデル２７を生成するために学習させる学習データを記憶装置１４に記憶する。例えば情報処理装置１０は、通信装置１５を介して学習データを受け取る。学習データは、学習用入力データ５０及び正解データ７０を含む。学習用入力データ５０は学習用の車両画像（元画像）であり、正解データ７０は当該車両画像に対して与えられたアノテーションのデータである。本実施形態では、学習データは、複数の学習用の車両画像と当該車両画像に対して与えられたアノテーションのデータの各々とを含む。
　１つの例では、学習済みモデル２７は、マルチタスクモジュール（ニューラルネットワーク）２７に対して、学習用入力データ５０及び正解データ７０を含む学習データに基づいて機械学習を行うことにより、生成される。１つの例では、学習済みモデル２７は、学習用入力データ５０の学習用車両画像をマルチタスクモジュール２７に入力することにより出力される外板パネルの範囲及びその外板パネルの種別、損傷個所の範囲及びその損傷の程度を示す情報、並びに外板パネルの種別ごとの各損傷レベルのそれぞれと、該学習用車両画像の外板パネルの範囲及びその外板パネルの種別、損傷個所の範囲及びその損傷の程度を示す情報、並びに外板パネルの種別ごとの各損傷レベルの正解データのそれぞれとの差分に対応する損失値を最小化するように、マルチタスクモジュール（ニューラルネットワーク）２７に対して機械学習を行うことにより、生成される。
　ここで、正解データ７０（アノテーション）の生成方法の一例について説明する。正解データ７０は、例えばｌａｂｅｌｍｅなどの画像にアノテーションを与えることが可能な既知のアノテーションツールを用いて一般的なコンピュータで生成されるが、情報処理装置１０において生成されてもよい。本実施形態では、正解データ７０（アノテーション）は、学習用の車両画像の各々において外板パネルの範囲とその外板パネルの種別、損傷個所の範囲とその損傷の程度を示す情報、及び外板パネルの種別ごとの損傷レベルの情報を同時に学習するためのデータとして生成される。なお、下記のアノテーションの入力方法は、１つの例示であって、これに限定されない。
　図７は、学習用の車両画像に対して外板パネルのパネルセグメントとパネルクラスのアノテーションを入力するための画面７１の一部の一例を示す図である。画面７１は、学習用の車両画像に対して外板パネルのパネルセグメントのアノテーションが入力されるセグメント入力領域７２と、入力されたパネルセグメントに対して入力される外板パネルのパネルクラスの一覧を示すクラス表示領域７３とを含む。１つの例では、ユーザは、画面７１において、外板パネルを囲むようにポイントを用いて線を引くことでパネルセグメントを描画し、描画したパネルセグメントに対してラベルを付けることでパネルクラスを指定する（関連付ける）入力操作を行う。図７が示す例示においては、パネルクラス（「ｒｉｇｈｔ＿ｆｒｏｎｔ＿ｄｏｏｒ」、「ｒｉｇｈｔ＿ｒｅａｒ＿ｄｏｏｒ」、「ｒｉｇｈｔ＿ｑｕａｔｅｒ＿ｐａｎｅｌ」、「ｒｉｇｈｔ＿ｒｏｃｋｅｒ＿ｐａｎｅｌ」）の各々が、描画されたパネルセグメントの各々に対して指定されている。
　図８は、学習用の車両画像に対して損傷個所の損傷セグメントと損傷クラスのアノテーションと、損傷レベルのアノテーションとを入力するための画面７４の一部の一例を示す図である。画面７４は、学習用の車両画像に対して損傷個所の損傷セグメントのアノテーションが入力されるセグメント入力領域７５と、入力された損傷セグメントに対して入力される損傷個所の損傷クラスの一覧を示すクラス表示領域７６と、外板パネルごとに入力される損傷レベルの一覧を示す損傷レベル表示領域７７とを含む。
　１つの例では、ユーザは、画面７４において、損傷個所を囲むようにポイントを用いて線を引くことで損傷セグメントを描画し、描画した損傷セグメントに対してラベルを付けることで損傷クラスを指定する（関連付ける）入力操作を行う。図８が示す例示においては、損傷クラス（「ａ　ｄｅｎｔ」と「ａ　ｄｅｎｔ　ｗｉｔｈ　ｓｃｒａｔｃｈｅｓ」）の各々が描画された損傷セグメントに対して各々指定されている。１つの例では、ユーザは、画面７４において、外板パネルごとに、損傷レベル１～４を指定する入力操作を行う。図８が示す例示においては、外板パネルごとに、損傷レベル１～４を選択するためのチェックボックスが表示されており、例えばフロントバンパーの外板パネルに対応する「ｒｉｇｈｔ＿ｒｅａｒ＿ｄｏｏｒ」が損傷レベル２であることを示す「ｆｒｏｎｔ＿ｂｕｍｐｅｒ＿２」にチェックが入力されている。図８が示す例示においては、損傷レベル０（損傷無し）の場合、チェックが入力されないため、例えば「ｒｉｇｈｔ＿ｑｕａｒｔｅｒ＿ｐａｎｅｌ」においては、チェックが入力されていない。１つの例では、損傷レベル表示領域７７が含む外板パネルの種別は、画面７０ａにおいて入力されたパネルクラスごとに、損傷レベル１～４を選択するためのチェックボックスが表示される。
　１つの例では、正解データ７０は、アノテーションツールが使用可能なコンピュータを用いて、以下のように生成される。コンピュータは、ユーザ操作に応じて、学習用入力データ５０の車両画像に対して入力された外板パネルのパネルセグメント（パネルの範囲）とパネルクラス（フロントバンパー、右フロントドアなどのクラス分け）のアノテーションのデータを、ＪＳＯＮファイルＦ１として保存する。コンピュータは、ユーザ操作に応じて、学習用入力データ５０の車両画像に対して入力された損傷個所の損傷セグメントと損傷クラスのアノテーションと損傷レベルのアノテーションのデータを、ＪＳＯＮファイルＦ２として保存する。コンピュータは、ユーザ操作に応じて、ＪＳＯＮファイルＦ１で入力されたパネルクラスがＪＳＯＮファイルＦ２で損傷レベルが入力された外板パネルに対応するものを含むか否かなどの２つのＪＳＯＮファイルＦ１とＦ２の整合性のチェックを実施する。コンピュータは、不整合がある場合、ＪＳＯＮファイルＦ１とＦ２の少なくとも一方の訂正が必要である旨のエラーを出力し、ユーザにより訂正したファイルが保存されると再度整合性のチェックを実施する。整合性のチェックを通過した２つのＪＳＯＮファイルＦ１とＦ２が正解データ７０である。この場合、学習データは、学習用入力データ５０の車両画像と、この車両画像を元に生成した正解データ７０の２つのＪＳＯＮファイルＦ１とＦ２とを含むものである。学習データは、異なる複数の学習用入力データ５０の車両画像と、各車両画像を元に生成した正解データ７０の２つのＪＳＯＮファイルＦ１とＦ２の各々とを含む。ただし、上記の正解データ７０の生成方法やファイル形式などは１つの例示であって、これに限定されない。
　図６に戻り、学習済みモデル２７を生成するための学習方法の一例について説明する。ステップ２０１で、画像特徴量抽出モデル２１は、学習用入力データ５０の車両画像群を受け付ける。本学習においては、１度の学習で、複数の車両画像である車両画像群と、これらの車両画像群の各々を元に生成した正解データ７０を用いる。ただし、１度の学習で、１つの車両画像と、該車両画像に対する正解データ７０を用いてもよい。
　ステップ２０２は順伝播の処理であり、マルチタスクモジュール２７は、現行の学習パラメータ９１～９５を利用して、車両画像群のそれぞれに対して、学習用出力データ６１、６２、６３を出力する。具体的には、外板パネル認識モデル２２は、ステップ２０１で抽出された画像特徴量に基づいて、車両画像における外板パネルの範囲とその外板パネルの種別（学習用出力データ６１）を出力する。損傷個所認識モデル２３は、ステップ２０１で抽出された画像特徴量に基づいて、損傷個所検出用の画像特徴量を抽出し、損傷個所の範囲及びその損傷の程度を示す情報（学習用出力データ６２）を出力する。アテンション機構２５は、損傷個所認識モデル２３により抽出された画像特徴量に基づいてアテンション用特徴量を決定し、損傷レベル推定モデル２４は、ステップ１０１で抽出された画像特徴量及びアテンション機構２５により決定されたアテンション用特徴量に基づいて、外板パネルの種別ごとの各損傷レベルの確率を決定し、順序制約機構２６は、損傷レベル推定モデル２４が決定する各損傷レベルの確率の順序が一定の制約を満たすように、外板パネルの種別ごとの各損傷レベル（学習用出力データ６３）を出力する。
　ステップ２０３で、情報処理装置１０は、正解データ７０の外板パネルの範囲及びその外板パネルの種別と学習用出力データ６１とを比較し、損失値８１を計算し、正解データ７０の損傷個所の範囲及びその損傷の程度を示す情報と学習用出力データ６２とを比較し、損失値８２を計算し、正解データ７０の外板パネルの種別ごとの各損傷レベルと学習用出力データ６３とを比較し、損失値８３を計算する。１つの例では、正解データ７０は外板パネルの種別ごとに損傷レベル０～４のうちのいずれか１つの損傷レベルをデータとして有するものであるため、正解データ７０の一の外板パネルの損傷レベルが「２」であるとすると、損失値８３を計算する場合に学習用出力データ６３の当該一の外板パネルの各損傷レベルと比較する正解データ７０は、例えば［０．００、０．００、１．００、０．００、０．００］である。
　ステップ２０４は逆伝播の処理であり、情報処理装置１０は、損失値８１、８２、８３が最小化するように、学習パラメータ９１～９５を調整する又は学習パラメータ９１～９５を学習する。
　情報処理装置１０は、ステップ２０４終了後、次の学習用入力データ５０の車両画像群と該車両画像群に対する正解データ７０を用いて、ステップ２０１～ステップ２０４の処理を実行する。このとき、情報処理装置１０は、直前のステップ２０４において調整された学習パラメータ９１～９５を用いて、ステップ２０２の処理を実行する。１つの例では、情報処理装置１０は、規定回数を実行するまで、又は損失値８１、８２、８３が既定値未満となるまで、別の学習用入力データ５０の車両画像群と該車両画像群に対する正解データ７０を用いて、ステップ２０１～ステップ２０４の処理を実行する。
　次に、本発明の実施形態の情報処理装置１０の主な作用効果について説明する。本実施形態では、情報処理装置１０は、画像特徴量抽出モデル２１と、外板パネル認識モデル２２と、損傷個所認識モデル２３と、損傷レベル推定モデル２４と、アテンション機構２５と、順序制約機構２６とを含むマルチタスクモジュール２７を備える。マルチタスクモジュール２７は、車両画像を入力すると、外板パネルの範囲とその外板パネルの種別、損傷個所の範囲とその損傷の程度を示す情報、及び外板パネルの種別ごとの各損傷レベルの確率を推定（出力）する。マルチタスクモジュール２７は、学習用入力データ５０及び正解データ７０を含む学習データに基づく機械学習処理が施される。
　このように、外板パネルの範囲とその外板パネルの種別、損傷個所の範囲とその損傷の程度を示す情報、及び外板パネルの種別ごとの損傷レベルの相関のある情報を同時に学習し、推定するような構成とすることにより、学習時においてはマルチタスクモジュール２７をエンドツーエンドで一体として学習させることが可能であるため相互学習効果を得ることができ、より精度の高い車両の損傷情報を推定することが可能となる。また損傷レベル推定モデル２４の損傷レベルの推定が損傷個所認識モデル２３及びアテンション機構２５から受け取る損傷個所に注目させて損傷レベルを求めるためのアテンション用特徴量に基づくような構成とすることにより、より精度の高い車両の損傷情報を推定することが可能となる。
　また本実施形態では、損傷レベル推定モデル２４が決定する各損傷レベルの確率の順序が一定の制約を満たすように各損傷レベルの確率を決定する順序制約機構２６を備える構成とすることにより、人間にとって解釈可能な出力を可能とするとともに、学習用出力データ６３の精度が向上することにより、マルチタスクモジュール２７に対するより精度の高い学習を可能とするため、より精度の高い車両の損傷情報を推定することが可能となる。
　上記の作用効果は、特に言及が無い限り、他の実施形態や変形例においても同様である。
　本発明の１又は複数の実施形態では、情報処理装置１０は、順序制約機構２６を備えないこともできる。この実施形態においては、損傷レベル推定モデル２４が出力データ４３や学習用出力データ６３を出力する。この実施形態においても、従来と比較して、より精度の高い車両の損傷情報を推定することが可能となる。なお、この実施形態においては、損傷レベル推定モデル２４は、確率が最も高い損傷レベルに関する情報のみを推定（出力）するように構成することができる。
　本発明の１又は複数の実施形態では、情報処理装置１０は、アテンション機構２５を備えないこともできる。この実施形態においては、損傷レベル推定モデル２４がアテンション機構２５の機能を備えることもできるし、損傷レベル推定モデル２４を画像特徴量抽出モデル２１により抽出された画像特徴量と損傷個所認識モデル２３により抽出された損傷個所検出用の画像特徴量に基づいて外板パネルの種別ごとの各損傷レベルの確率を推定（出力）するニューラルネットワークモデルとすることもできる。この実施形態においても、従来と比較して、より精度の高い車両の損傷情報を推定することが可能となる。
　本発明の１又は複数の実施形態では、損傷レベルの段階数や各段階の定義などの損傷レベルに関する設定は、変更することができる。
　本発明の１又は複数の実施形態では、外板パネル認識モデル２２は、外板パネルの種別ごとではなく、例えば外板パネルの１又は複数の種別ごとなどの、予め定めたグループごとに、車両画像における外板パネルの範囲を決定することができる。この実施形態においては、損傷レベル推定モデル２４及び順序制約機構２６も、予め定めたグループごとに、各損傷レベルの確率を推定する。この実施形態においては、正解データ７０は、外板パネルの範囲及びその外板パネルの属するグループ、損傷個所の範囲及びその損傷の程度を示す情報、並びにグループごとの損傷レベルを含むこととなる。
　本発明の１又は複数の実施形態では、外板パネル認識モデル２２は、車両画像における外板パネルの範囲（パネルセグメント）とその外板パネルの種別（パネルクラス）の代わりに、車両画像における外板パネルの範囲（パネルセグメント）のみを出力するように構成することができる。この実施形態においては、外板パネル認識モデル２２は、パネルクラスに関する情報を含まないため、正解データ７０もパネルクラスに関する情報を含まないこととなる。この実施形態においても、従来と比較して、より精度の高い車両の損傷情報を推定することが可能となる。
　本発明の１又は複数の実施形態では、損傷個所認識モデル２３は、車両画像における損傷個所の範囲（損傷セグメント）及びその損傷の程度を示す情報（損傷クラス）の代わりに、車両画像における損傷個所の範囲（損傷セグメント）を出力するように構成することができる。この実施形態においては、損傷個所認識モデル２３は、損傷クラスに関する情報を含まないため、正解データ７０も損傷クラスに関する情報を含まないこととなる。この実施形態においても、従来と比較して、より精度の高い車両の損傷情報を推定することが可能となる。
　本発明の１又は複数の実施形態では、マルチタスクモジュール２７に対して機械学習を行う又は学習済みモデル２７を生成するための装置（システム）は、情報処理装置１０と異なる装置（システム）とすることができる。この場合、情報処理装置１０と異なる装置がステップ２０１～ステップ２０４の処理を実行して学習済みモデル２７を生成することができ、当該装置で生成された学習済みモデル２７を情報処理装置１０が備えるように構成することができる。
　本発明の実施形態では、上記で説明した本発明の実施形態の機能やフローチャートに示す情報処理を実現する装置、システム又はプログラムとすることができ、また該プログラムを格納したコンピュータ読み取り可能な記憶媒体とすることもできる。例えば、本発明の実施形態として、情報処理装置１０や情報処理装置１０の処理を実現する方法やプログラムとすることができるし、車両画像から車両の損傷情報を推定するための学習済みモデルを生成するための方法やプログラムやシステムとすることもできる。
　また他の実施形態では、上記で説明した本発明の実施形態の機能やフローチャートに示す情報処理を実現する方法とすることもできる。また他の実施形態では、上記で説明した本発明の実施形態の機能やフローチャートに示す情報処理を実現するプログラムをコンピュータに供給することができるサーバとすることもできる。また他の実施形態では、上記で説明した本発明の実施形態の機能やフローチャートに示す情報処理を実現する仮想マシンとすることもできる。
　上記の実施形態は、矛盾が生じない限りにおいて、適宜組み合わせて本発明の任意の実施形態とすることもできるし、任意の実施形態に適用することもできる。
　以上に説明した処理又は動作において、あるステップにおいて、そのステップではまだ利用することができないはずのデータを利用しているなどの処理又は動作上の矛盾が生じない限りにおいて、処理又は動作を自由に変更することができる。また以上に説明してきた各実施例は、本発明を説明するための例示であり、本発明はこれらの実施例に限定されるものではない。本発明は、その要旨を逸脱しない限り、種々の形態で実施することができる。
１０　情報処理装置
１１　プロセッサ
１２　入力装置
１３　表示装置
１４　記憶装置
１５　通信装置
１６　バス
２１　画像特徴量抽出モデル
２２　外板パネル認識モデル
２３　損傷個所認識モデル
２４　損傷レベル推定モデル
２５　アテンション機構
２６　順序制約機構
２７　マルチタスクモジュール（学習済みモデル）
３０　入力データ
４０、４１、４２、４３　出力データ
４５　パネルセグメント
４６　損傷セグメント
５０　学習用入力データ
６１、６２、６３　学習出力データ
７０　正解データ
７１、７４　画面
７２、７５　セグメント入力領域
７３、７６　クラス表示領域
７７　損傷レベル推定領域
８１、８２、８３　損失値
９１、９２、９３、９４、９５　学習パラメータ

Claims (11)

  1. 　車両画像から車両の損傷情報を推定するための情報処理装置であって、
    　車両画像から画像特徴量を抽出する画像特徴量抽出モデルと、
    　前記画像特徴量抽出モデルにより抽出された画像特徴量に基づいて外板パネルの範囲を決定する外板パネル認識モデルと、
    　前記画像特徴量抽出モデルにより抽出された画像特徴量に基づいて、損傷個所検出用の画像特徴量を抽出し、損傷個所の範囲を決定する損傷個所認識モデルと、
    　前記画像特徴量抽出モデルにより抽出された画像特徴量及び前記損傷個所認識モデルにより抽出された画像特徴量に基づいて損傷レベルを決定する損傷レベル推定モデルと、
    　を備える、情報処理装置。
  2. 　前記損傷個所認識モデルにより抽出された画像特徴量に基づいてアテンション用特徴量を決定するアテンション機構を備え、
    　前記損傷レベル推定モデルは、前記画像特徴量抽出モデルにより抽出された画像特徴量及び前記アテンション機構により決定されたアテンション用特徴量に基づいて損傷レベルを決定する、請求項１に記載の情報処理装置。
  3. 　前記損傷レベル推定モデルは、予め定義された複数の損傷レベルの各損傷レベルの確率を決定する、請求項２に記載の情報処理装置。
  4. 　前記損傷レベル推定モデルが決定する各損傷レベルの確率の順序が一定の制約を満たすように各損傷レベルの確率を決定する順序制約機構を備える、請求項３に記載の情報処理装置。
  5. 　前記外板パネル認識モデルは、前記画像特徴量抽出モデルにより抽出された画像特徴量に基づいて、外板パネルの種別ごとに外板パネルの範囲を決定し、
    　前記損傷レベル推定モデル及び前記順序制約機構は、外板パネルの種別ごとに、各損傷レベルの確率を決定する、請求項４に記載の情報処理装置。
  6. 　前記画像特徴量抽出モデル、前記外板パネル認識モデル、前記損傷個所認識モデル、前記損傷レベル推定モデル、及び前記アテンション機構は、学習用車両画像を前記画像特徴量抽出モデルに入力することにより決定される外板パネルの範囲、損傷個所の範囲、及び損傷レベルのそれぞれと、予め作成された該学習用車両画像の外板パネルの範囲、損傷個所の範囲、及び損傷レベルの正解データのそれぞれとの差分に対応する損失値を最小化するように機械学習処理が施されたものである、
    　請求項２から５のいずれか１項に記載の情報処理装置。
  7. 　コンピュータにより実行される、車両画像から車両の損傷情報を推定するための方法であって、
    　車両画像から画像特徴量を抽出するステップと、
    　前記抽出された画像特徴量に基づいて外板パネルの範囲を決定するステップと、
    　前記抽出された画像特徴量に基づいて、損傷個所の範囲を決定し、かつ損傷個所検出用の画像特徴量を決定するステップと、
    　前記抽出された画像特徴量及び前記決定された損傷個所検出用の画像特徴量に基づいて損傷レベルを決定するステップと、
    　を含む、方法。
  8. 　請求項７に記載の方法の各ステップをコンピュータに実行させるプログラム。
  9. 　車両画像から車両の損傷情報を推定するための学習済みモデルを生成するための方法であって、
    　車両画像から画像特徴量を抽出する画像特徴量抽出モデルと、
    　前記画像特徴量抽出モデルにより抽出された画像特徴量に基づいて外板パネルの範囲を出力する外板パネル認識モデルと、
    　前記画像特徴量抽出モデルにより抽出された画像特徴量に基づいて、損傷個所の範囲を出力し、かつ損傷個所検出用の画像特徴量を出力する損傷個所認識モデルと、
    　前記画像特徴量抽出モデルにより抽出された画像特徴量及び前記損傷個所認識モデルにより出力された画像特徴量に基づいて損傷レベルを決定する損傷レベル推定モデルと、
    　を含むニューラルネットワークに対して、学習用車両画像と該学習用車両画像の外板パネルの範囲、損傷個所の範囲、及び損傷レベルの正解データとを含む学習データに基づいて機械学習を行うことにより、学習済みモデルを生成する、方法。
  10. 　前記方法は、
    　学習用車両画像を前記画像特徴量抽出モデルに入力することにより決定される外板パネルの範囲、損傷個所の範囲、及び損傷レベルのそれぞれと、該学習用車両画像の外板パネルの範囲、損傷個所の範囲、及び損傷レベルの正解データのそれぞれとの差分に対応する損失値を最小化するように、前記ニューラルネットワークに対して機械学習を行うことにより、学習済みモデルを生成することを含む、
    　請求項９に記載の方法。
  11. 　車両画像から車両の損傷情報を推定するための学習済みモデルを生成するためのシステムであって、
    　車両画像から画像特徴量を抽出する画像特徴量抽出モデルと、
    　前記画像特徴量抽出モデルにより抽出された画像特徴量に基づいて外板パネルの範囲を出力する外板パネル認識モデルと、
    　前記画像特徴量抽出モデルにより抽出された画像特徴量に基づいて、損傷個所の範囲を出力し、かつ損傷個所検出用の画像特徴量を出力する損傷個所認識モデルと、
    　前記画像特徴量抽出モデルにより抽出された画像特徴量及び前記損傷個所認識モデルにより出力された画像特徴量に基づいて損傷レベルを決定する損傷レベル推定モデルと、
    　を含むニューラルネットワークに対して、学習用の車両画像と該車両画像の外板パネルの範囲、損傷個所の範囲、及び損傷レベルの正解データとを含む学習データに基づいて機械学習を行うことにより、学習済みモデルを生成する、システム。
PCT/JP2021/029817 2021-08-13 2021-08-13 車両画像から車両の損傷情報を推定するための情報処理装置、方法、及びプログラム、並びに学習済みモデルを生成するための方法及びシステム WO2023017617A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023541198A JPWO2023017617A1 (ja) 2021-08-13 2021-08-13
PCT/JP2021/029817 WO2023017617A1 (ja) 2021-08-13 2021-08-13 車両画像から車両の損傷情報を推定するための情報処理装置、方法、及びプログラム、並びに学習済みモデルを生成するための方法及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/029817 WO2023017617A1 (ja) 2021-08-13 2021-08-13 車両画像から車両の損傷情報を推定するための情報処理装置、方法、及びプログラム、並びに学習済みモデルを生成するための方法及びシステム

Publications (1)

Publication Number Publication Date
WO2023017617A1 true WO2023017617A1 (ja) 2023-02-16

Family

ID=85200118

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/029817 WO2023017617A1 (ja) 2021-08-13 2021-08-13 車両画像から車両の損傷情報を推定するための情報処理装置、方法、及びプログラム、並びに学習済みモデルを生成するための方法及びシステム

Country Status (2)

Country Link
JP (1) JPWO2023017617A1 (ja)
WO (1) WO2023017617A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081638A (ja) * 2009-10-07 2011-04-21 It Cars Co Ltd 車両修理シュミレーション方法およびこれを使用した車両修理支援装置
JP2019114059A (ja) * 2017-12-22 2019-07-11 三井住友海上火災保険株式会社 判定装置、修理費用判定システム、判定方法、および判定プログラム
JP2020517015A (ja) * 2017-04-11 2020-06-11 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ ピクチャベースの車両損害査定の方法および装置、ならびに電子デバイス
WO2021153796A1 (ja) * 2020-01-31 2021-08-05 コグニビジョン株式会社 見積装置、見積システム、見積方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081638A (ja) * 2009-10-07 2011-04-21 It Cars Co Ltd 車両修理シュミレーション方法およびこれを使用した車両修理支援装置
JP2020517015A (ja) * 2017-04-11 2020-06-11 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ ピクチャベースの車両損害査定の方法および装置、ならびに電子デバイス
JP2019114059A (ja) * 2017-12-22 2019-07-11 三井住友海上火災保険株式会社 判定装置、修理費用判定システム、判定方法、および判定プログラム
WO2021153796A1 (ja) * 2020-01-31 2021-08-05 コグニビジョン株式会社 見積装置、見積システム、見積方法及びプログラム

Also Published As

Publication number Publication date
JPWO2023017617A1 (ja) 2023-02-16

Similar Documents

Publication Publication Date Title
US10885397B2 (en) Computer-executed method and apparatus for assessing vehicle damage
US8627278B2 (en) Freehand system and method for creating, editing, and manipulating block diagrams
JP2019114059A (ja) 判定装置、修理費用判定システム、判定方法、および判定プログラム
CN106068520A (zh) 个性化的机器学习模型
CN110610154A (zh) 行为识别方法、装置、计算机设备和存储介质
CN110751043A (zh) 基于人脸可见性的人脸识别方法、装置及存储介质
CN111488640A (zh) 桥梁工程设计文件生成、装置、计算机设备和存储介质
JP6352512B1 (ja) 信号処理装置、信号処理方法、信号処理プログラム、及びデータ構造
CN111724336B (zh) 图像处理装置、图像处理方法及图像处理***
CN111739136B (zh) 渲染方法、计算机设备和存储介质
US20210034848A1 (en) System and method for text line extraction
WO2023017617A1 (ja) 車両画像から車両の損傷情報を推定するための情報処理装置、方法、及びプログラム、並びに学習済みモデルを生成するための方法及びシステム
CN115661927A (zh) 手语识别方法、装置、电子设备及存储介质
US20230071291A1 (en) System and method for a precise semantic segmentation
CN117441166A (zh) 用于训练分类器的方法和用于对块进行分类的***
JP7347750B2 (ja) 照合装置、学習装置、方法、及びプログラム
CN112036443A (zh) 一种图像数据中物体轮廓的标注方法和装置
JP2021124759A (ja) 見積装置、見積システム、見積方法及びプログラム
CN111696180A (zh) 一种虚拟仿真人的生成方法、***、装置和存储介质
CN116821745B (zh) 智能线切割慢走丝设备的控制方法及其***
JP2019021037A (ja) ソースコード評価装置、ソースコード評価方法及びソースコード評価プログラム
US20240160303A1 (en) Control method of a touchpad
CN112101281B (zh) 人脸图像的检测方法、装置
CN114496263B (zh) 用于体重指数估计的神经网络模型建立方法及存储介质
KR102424342B1 (ko) 섬네일 이미지 생성 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21953512

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023541198

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE