WO2021153409A1 - アセットデータ作成システム、およびプログラム - Google Patents

アセットデータ作成システム、およびプログラム Download PDF

Info

Publication number
WO2021153409A1
WO2021153409A1 PCT/JP2021/002002 JP2021002002W WO2021153409A1 WO 2021153409 A1 WO2021153409 A1 WO 2021153409A1 JP 2021002002 W JP2021002002 W JP 2021002002W WO 2021153409 A1 WO2021153409 A1 WO 2021153409A1
Authority
WO
WIPO (PCT)
Prior art keywords
sign
video
unit
display area
image
Prior art date
Application number
PCT/JP2021/002002
Other languages
English (en)
French (fr)
Inventor
純一 富樫
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to JP2021574689A priority Critical patent/JP7444905B2/ja
Publication of WO2021153409A1 publication Critical patent/WO2021153409A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions

Definitions

  • the present invention relates to an asset data creation system and an asset data creation program.
  • road signs are meaningful and important information for autonomous driving and semi-autonomous driving. Therefore, there is an active movement to create a database of sign installation positions and types. Therefore, a system has been proposed in which a sign is image-recognized from a road image and the recognition result is manually corrected to create a sign database.
  • Patent Document 1 states, "(Claim 7) When the shooting position of a road image is displayed on a map by a symbol or a character on the trajectory of a shooting camera and the position is selected by an instruction device, "Displaying road images at a plurality of shooting positions adjacent to each other from that position on a sub screen” and "(Paragraph 0038) Specifying a sign icon displayed on a map and tracing corresponding sign candidates" are disclosed.
  • an object of the present invention is to provide a technique for improving work efficiency when interactively modifying or determining a labeling database.
  • one of the typical asset data creation systems of the present invention includes a sign recognition unit, a sign position detection unit, a data storage unit, a video display unit, a map display unit, and a control unit.
  • the sign recognition unit acquires video data taken by a moving body with a shooting function and position information of the moving body, recognizes a sign as an image from the video data, and outputs a sign type.
  • the sign position detection unit calculates the installation position of the sign based on the video data in which the sign is image-recognized and the position information of the moving body at the time of photographing the sign.
  • the data storage unit stores the installation position of the sign and the sign type as a sign database.
  • the video display unit generates a video display area for displaying the video data.
  • the map display unit generates a map display area for displaying the installation position of the sign on a map.
  • the control unit outputs the map display area and the video display area, accepts operation inputs, and modifies the sign database of the data storage unit in response to the operation inputs. Further, when the control unit receives the operation input for selecting and designating the installation position of the sign in the map display area, the control unit displays the video data in which the designated installation position is captured in the video display area. ..
  • the present invention provides a technique for improving work efficiency when interactively modifying or determining a labeling database.
  • FIG. 1 is a block diagram showing a configuration of the asset data creation system of the first embodiment.
  • FIG. 2 is a flow chart for explaining the automation process of video data.
  • FIG. 3 is a diagram showing a data structure (tree view structure) in which the data storage unit manages data.
  • FIG. 4 is a flow chart for explaining the display routine of the operation screen.
  • FIG. 5 is an explanatory diagram showing an example of an operation screen.
  • FIG. 6 is a flow chart (1/2) for explaining the operation input processing routine.
  • FIG. 7 is a flow chart (2/2) for explaining the operation input processing routine.
  • FIG. 8 is a diagram illustrating a cooperative operation between the map display area and the video display area.
  • FIG. 9 is a diagram illustrating (continuous) skip reproduction of the detection section.
  • FIG. 10 is a diagram for explaining the correction of the movement route and the batch correction of the sign icon.
  • FIG. 11 is a diagram illustrating other operation functions.
  • FIG. 12 is a diagram illustrating other
  • FIG. 1 is a block diagram showing a configuration of the asset data creation system 100 of the first embodiment.
  • the asset data creation system 100 includes a sign recognition unit 110, a sign position detection unit 120, a data storage unit 130, a map display unit 140, a video display unit 150, a control unit 160, and a representative image extraction unit 170.
  • the sign recognition unit 110 receives image data that is a peripheral image of the moving body 200 from a moving body 200 (vehicle or the like) including an imaging device 210 and a GPS terminal 220, and position information (latitude / longitude and orientation of the vehicle body) of the moving body 200. And collect data. Such data collection may be performed in real time via a communication network, or may be performed as a batch process via a recording device 230 in between.
  • the position information of the moving body 200 may be collected by the marker position detection unit 120.
  • the sign recognition unit 110 detects the sign reflected in the video frame by image recognition for the acquired video data.
  • a position detecting means other than the GPS terminal 220 may be used.
  • the position information (latitude / longitude and orientation of the vehicle body) of the mobile body 200 may be acquired from various sensors of the mobile body 200, an operation control device, an independent driving system, an external traffic monitoring center, an artificial satellite, a drone, or the like. .. Further, the orientation of the vehicle body may be determined by the position of a celestial body such as the sun seen from the moving body 200, in addition to the orientation sensor such as the geomagnetism.
  • the sign position detection unit 120 calculates the installation position of the sign based on the video data in which the sign is image-recognized and the position information of the moving body 200 at the time of photographing the sign. This calculation method will be described later.
  • the data storage unit 130 stores a sign database including the installation position, the sign type, and the like for the sign to be image-recognized in the storage medium 130A built in the system. For each indicator in this indicator database, an area of "confirmed flag" is provided, which indicates whether or not the operator has undergone correction or confirmation in the set / reset state.
  • the map display unit 140 generates a map display area for displaying the installation position of the sign on a map.
  • the video display unit 150 generates a video display area for displaying video data.
  • the control unit 160 outputs an operation screen including a map display area and a video display area to the client terminal 300 via the network NW, and receives an operation input from the client terminal 300.
  • the representative image extraction unit 170 extracts a "representative image showing a sign" from the video data.
  • Such an asset data creation system 100 has a CPU (Centra) as hardware. l It is configured as a computer system equipped with a Processing Unit) and memory. When this hardware executes an asset data creation program stored on a computer-readable medium, various functions as a system are realized. For some or all of this hardware, use dedicated devices, machine learning machines, DSPs (Digital Signal Processors), FPGAs (Field-Programmable Gate Arrays), GPUs (Graphics Processing Units), PLDs (programmable logic devices), etc. It may be substituted. Further, various functions may be provided as a cloud service by configuring a cloud system by concentrating or distributing a part or all of hardware and programs on servers on the network.
  • DSPs Digital Signal Processors
  • FPGAs Field-Programmable Gate Arrays
  • GPUs Graphics Processing Units
  • PLDs programmable logic devices
  • FIG. 2 is a flow chart for explaining the automation process of video data.
  • the automation process here may be performed without delay (for example, in a pipeline system) at the time when the video data is acquired by the moving body 200. Further, after the video data is acquired, it may be collectively executed as a batch process.
  • description will be given according to the step numbers shown in the figure.
  • Step S101 The sign recognition unit 110 acquires (video data, position information) collected by the moving body 200. These data are temporarily stored in the data storage unit 130.
  • Step S102 The sign recognition unit 110 image-recognizes a sign (including the main sign / auxiliary sign) in the image for the video data and outputs it as a sign type.
  • the sign recognition unit 110 uses a convolutional neural network for this image recognition.
  • An example of this convolutional neural network is input by sequentially cutting out a predetermined vertical and horizontal size scanning range from a video frame of video data (such as a video frame that has been preprocessed for pixel number conversion, distortion correction, gradation correction, etc.). It includes an input layer, an intermediate layer including a convolutional layer, a pooling layer, a connecting layer, and the like in multiple layers, and an output layer that outputs "probability for each labeling type".
  • machine learning error backpropagation method, etc.
  • a learning data set consisting of a marker image for learning and a teacher value indicating the correct answer of the label type.
  • the marker recognition unit 110 decodes the characters and symbols by using the character and symbol recognition processing such as OCR and neural network for the auxiliary sign including the characters and symbols.
  • Step S103 The sign position detection unit 120 specifically calculates the sign installation position (latitude / longitude) by the following calculation process.
  • the sign position detection unit 120 obtains a shooting distance D to the sign with the moving body 200 as the origin O.
  • This shooting distance D is calculated based on the size of the sign on the image captured in the video data, the known actual size of the sign, and the shooting angle of view of the imaging device 210. Further, when the imaging device 210 mounted on the moving body 200 can output the depth of field data, the shooting distance D from the depth data to the sign may be obtained.
  • the sign position detection unit 120 signs the moving body 200 as the origin O based on the position on the image of the recognized sign and the information of the photographing direction obtained by the direction (direction) of the vehicle body of the moving body 200.
  • the direction toward is calculated as the space angle ⁇ .
  • the marker position detection unit 120 offsets the position coordinates (latitude and longitude) of the moving body 200 at the time of tag shooting by the polar coordinates (shooting distance D, space angle ⁇ ) of the sign with the moving body 200 as the origin O. By performing the calculation, the installation position (latitude / longitude) of the sign is calculated.
  • the sign position detection unit 120 When there are signs having substantially the same sign type and substantially the same installation position among adjacent video frames, the sign position detection unit 120 performs name identification processing of a plurality of signs (installation position, sign type). Then, it is integrated into one sign (installation position, sign type). At the time of integration, priority is given to signs with higher likelihood of image recognition, and integration such as weighted addition of installation position is performed.
  • Step S104 FIG. 3 is a diagram showing a data structure (tree view structure) in which the data storage unit 130 manages data. As shown in the figure, the data storage unit 130 searches for the main sign and the auxiliary sign (group) existing at the same installation position, and groups them hierarchically.
  • the data storage unit 130 searches for an auxiliary sign (group) sandwiched between the main sign at the same installation position, and groups the searched auxiliary sign (group) hierarchically with the upper main sign.
  • Step S105 The representative image extraction unit 170 extracts the “video frame in which the sign is image-recognized” from the video data and uses it as the representative image of the sign.
  • the representative image extraction unit 170 selects a video frame showing a high likelihood in the image recognition of the sign (see step S102) and uses it as the representative image of the sign.
  • Step S106 The data storage unit 130 stores the sign (installation position, sign type, representative image) in the form of the data structure shown in FIG. 3 as a sign database. Since the confirmed flags of these signs have not been corrected or confirmed by the operator, they are initially set to the reset state.
  • the asset data creation system 100 completes the automation processing of the video data.
  • FIG. 4 is a flow chart for explaining the display routine of the operation screen.
  • the display routine is executed by the control unit 160 when the work of the client terminal 300 is started or when the display is updated.
  • FIG. 5 is an explanatory diagram showing an example of an operation screen. Hereinafter, a description will be given with reference to FIGS. 4 and 5.
  • Step S201 The control unit 160 reads the sign database from the data storage unit 130 and acquires data (installation position, sign type, representative image) for each sign. Further, the control unit 160 also acquires the data generation source (video data, position information) from the data storage unit 130.
  • data installation position, sign type, representative image
  • data generation source video data, position information
  • Step S202 The video display unit 150 generates a video display area 320 for reproducing and displaying video data.
  • a rectangular frame indicating “image recognized” is added to the image-recognized sign and displayed (see FIGS. 3, 8, and 9).
  • Step S203 The video display unit 150 creates a time axis display 321 indicating the playback period of the video data and a playback operation unit 322 at the lower part of the video display area 320.
  • the time axis display 321 is attached with a slider for indicating the playback position of the video data.
  • the video display unit 150 links the position of the slider on the time axis display 321 according to the playback position of the video data displayed in the video display area 320.
  • the video display unit 150 changes the playback position of the video data according to the movement position of the slider.
  • Step S204 The video display unit 150 displays the next section on the time axis display 321 in a color-coded manner so as to be identifiable.
  • Traveling section (green color-coded display): Corresponds to a video section taken during the period when the position information of the moving body 200 is moving. Alternatively, it corresponds to a video section in which the background of the video data is moving.
  • Stop section Corresponds to a video section taken during the period when the position information of the moving body 200 is stopped. Alternatively, it corresponds to a video section in which the background of the video data is stationary.
  • Detection section Corresponds to the video section in which the sign is image-recognized by the sign recognition unit 110.
  • a sign-like object in the sign recognition unit 110 corresponds to an image-recognized video section.
  • the video display unit 150 performs color-coded display according to the priority order of the detection section, the caution section, the traveling section, and the stop section.
  • Step S205 The map display unit 140 acquires the position information of the moving body 200 that has captured the video data being reproduced in the video display area 320.
  • the peripheral map data of the position information of the moving body is acquired from a map database (not shown) or the like and displayed in the map display area 310.
  • the map display unit 140 converts the installation position of the sign read from the sign database into the map coordinates of the map display area 310, and superimposes and displays the sign icon 313 on the position of the converted map coordinates.
  • the yellow pin indicating before the confirmation is used for the sign icon 313.
  • a green pin indicating confirmed is used for the sign icon 313.
  • Step S206 The map display unit 140 calculates the trajectory of the movement path 312 based on the position information of the moving body 200, and superimposes and displays it on the map display area 310. Further, the map display unit 140 superimposes and displays the moving body icon 311 whose position of the moving body 200 changes in synchronization with the video reproduction of the video display area 320 on the map display area 310.
  • Step S207 The control unit 160 generates an input area 330 for correcting and editing the sign type of the sign and a thumbnail area 340 for selecting video data and a representative image.
  • Step S208 The control unit 160 generates an operation screen (see FIG. 5) including the map display area 310, the video display area 320, the input area 330, and the thumbnail area 340 described above, and outputs the operation screen (see FIG. 5) to the client terminal 300.
  • the client terminal 300 displays an operation screen on the monitor screen.
  • Step S301 The control unit 160 outputs an operation screen (see FIG. 5) to the client terminal 300, and starts accepting operation inputs from the client terminal 300.
  • Step S302 The control unit 160 determines whether or not the received operation input is an operation input for clicking and designating the sign icon 313 (sign installation position). When the sign icon 313 is click-designated, the control unit 160 proceeds to step S303. In other cases, the control unit 160 shifts the operation to step S311.
  • Step S303 As shown in FIG. 8, the map display unit 140 changes the click-designated sign icon 313 to a red pin (selected state), and indicates that the corresponding sign is the target of the correction work in the map display area. show.
  • Step S304 When the control unit 160 acquires the installation position of the designated sign icon 313, the control unit 160 displays a representative image of the corresponding sign in the image display area 320 as “video data obtained by capturing this installation position”.
  • Step S305 By observing the representative image, the operator determines whether or not the corresponding sign is clearly visible. If the sign is too small and is inappropriate as a representative image, the operator manually selects an appropriate representative image by advancing the video data in the video display area 320 back and forth frame by frame.
  • control unit 160 When the control unit 160 receives such a change operation of the representative image, the operation proceeds to step S306. In other cases, the control unit 160 shifts the operation to step S307.
  • Step S306 The control unit 160 changes the representative image for the corresponding sign according to the operation of changing the representative image.
  • Step S307 The control unit 160 changes the installation position and the sign type of the corresponding sign according to the operation input to the map display area 310, the video display area 320, and the input area 330.
  • the control unit 160 changes the installation position of the corresponding sign based on the position on the map after the movement of the sign icon 313. Further, for example, when an input operation for the input area 330 is received, the control unit 160 changes the sign type of the corresponding sign based on the input content of the input area 330.
  • Step S311 When the control unit 160 receives an operation input of "continuous skip playback" in the video display area 320 (such as double-clicking the skip button of the playback operation unit 322), the control unit 160 proceeds to the operation in step S312. In other cases, the control unit 160 shifts the operation to step S313.
  • Step S312 The video display unit 150 sequentially extracts only the detection section in which the sign is image-recognized from the video data, and performs continuous skip playback (see FIG. 9).
  • Step S313 When the control unit 160 receives an operation input of "skip playback" in the video display area 320 (such as clicking the skip button of the playback operation unit 322), the control unit 160 proceeds to the operation in step S314. In other cases, the control unit 160 shifts the operation to step S315.
  • Step S314 The video display unit 150 skips from the current playback position to the next detection section and performs skip playback (see FIG. 9).
  • Step S315 When the control unit 160 receives the "movement operation for one point on the movement path" in the map display area 310, the control unit 160 proceeds to the operation in step S316. In other cases, the control unit 160 shifts the operation to step S318.
  • Step S316 When the control unit 160 receives a movement operation for one point on the movement path, it spreads to a plurality of surrounding points as shown in FIG. 10 to smoothly correct the shape of the movement path.
  • Step S317 The sign position detection unit 120 calculates the installation position of the sign as shown in FIG. 10 and collectively corrects it according to the position information of the moving body 200 that is displaced by the correction of the movement path. Since the calculation method here is the same as the calculation method in step S103, duplicate description here will be omitted.
  • Step S318 When the operator finds an "unrecognized sign" on the video display area 320 that does not have a rectangular frame indicating "image recognized", the operator draws a rectangular frame for the "unrecognized sign”. do. Further, the operator inputs the sign type for the "unrecognized sign" for the input area 330.
  • the sign position detection unit 120 calculates the sign installation position based on the video frame on which the rectangular frame is drawn and the position information of the video frame at the time of sign shooting. Since the calculation method here is the same as the calculation method in step S103, duplicate description will be omitted.
  • the map display unit 140 superimposes and displays the sign icon 313 on the installation position of the new sign in the map display area 310.
  • the map display unit 140 deletes the corresponding sign icon 313 from the map display area 310 in conjunction with the operation of deleting the rectangular frame.
  • the data storage unit 130 deletes the data of the corresponding sign from the sign database in conjunction with the operation of deleting the rectangular frame.
  • the operator may delete the corresponding sign icon 313 from the map display area 310.
  • the video display unit 150 deletes the corresponding rectangular frame from the video display area 320.
  • the data storage unit 130 deletes the data of the corresponding sign from the sign database in conjunction with the deletion operation of the sign icon 313.
  • Step S319 The map display unit 140 changes the sign icon 313 that has been modified or confirmed by the operator to a green pin (color in the confirmed state).
  • Step S320 The data storage unit 130 sets a confirmed flag for the sign that has been corrected or confirmed by the worker so far, and saves it in the sign database. After this saving operation, the control unit 160 returns to step S301 and repeats the operation routine of the operation screen.
  • Example 1 has the following remarkable effects.
  • the video data in which the designated installation position is captured is automatically displayed in the video display area 320. Is displayed in.
  • the operator can immediately determine whether or not the sign type of the sign icon 313 is correct by the automatically displayed "video data in which the installation position is captured". Therefore, it becomes possible for the worker to significantly omit the work of searching for the reproduction of the video data, and it becomes possible to improve the work efficiency.
  • Example 1 In Example 1, the following points are significantly different from Patent Document 1.
  • the installation position of the sign is selected on the map, and the video data in which the installation position is taken is displayed. Therefore, the displayed video data always shows the direction of the installation position (that is, the direction in which the sign is located) that the operator wants to confirm. Therefore, the first embodiment is excellent in that the operator can confirm the sign more reliably.
  • Patent Document 1 describes up to "(paragraph 0038) designating a sign icon displayed on a map and tracing a sign candidate corresponding thereto", selective display of video data related to this operation is provided. No specific disclosure is found in Patent Document 1.
  • the detection section of the video data whose image is recognized by the sign is identifiablely displayed with respect to the time axis display indicating the reproduction period of the video data. Therefore, when searching for a sign from video data, the worker may reproduce the video data only in the detection section. In this respect as well, the work efficiency of the first embodiment is high.
  • the first embodiment has a function of automatically extracting and reproducing only the detection section displayed on the time axis display from the video data. Therefore, the trouble of manually selecting and reproducing the detection section is further eliminated. In this respect as well, the work efficiency of the first embodiment is high.
  • the "video in which the sign is image-recognized" is automatically extracted from the video data and saved as a representative video of the sign. Therefore, there is no need to manually extract the representative image of the sign from the video data. In this respect as well, the work efficiency of the first embodiment is high.
  • an image having a high likelihood of image recognition of the sign is selected from the “image in which the sign is image-recognized” and used as a representative image.
  • images with high likelihood of image recognition it is possible to obtain a representative image in which the sign is easily seen, such as when the sign is shown in the front direction.
  • the representative image of the sign is output to the image display area and the change operation of the representative image is accepted. Therefore, even if the video data is manually selected, the representative image may be changed starting from the automatically selected representative image, so that the work efficiency is improved.
  • the movement route is corrected by spreading to a plurality of points of the movement route.
  • the installation position of the sign can be corrected with the movement of a plurality of points on this movement route. Therefore, it is possible to collectively correct an error in the sign installation position based on an error in the movement route. In this respect as well, the work efficiency of the first embodiment is high.
  • the sign icon 313 before the confirmation and the sign icon 313 after the correction or confirmation are identifiablely displayed in the map display area. Therefore, the operator can easily identify the sign icon 313 before the confirmation.
  • the auxiliary sign sandwiched above and below the main sign is hierarchically grouped with the upper main sign. Therefore, when a plurality of main signs exist at the same installation position, it is possible to automatically determine which main sign should be layered as the auxiliary sign.
  • Example 1 a convolutional neural network was used for image recognition of the marker.
  • learning models include decision tree learning, correlation rule learning, neural networks, genetic programming, inductive logic programming, support vector machines, clustering, Bayesian networks, reinforcement learning, expression learning, principal component analysis, and extreme learning. Learning machines and other learning models may be employed.
  • the image recognition of the sign may be performed by applying the subject recognition technology such as face detection.
  • the asset data creation system 100 may be configured by a single computer.
  • the mobile body 200 and the asset data creation system 100 are configured separately.
  • the present invention is not limited to this.
  • a part or all of the asset data creation system 100 may be mounted on the moving body 200.
  • the moving body 200 is used as a road vehicle and a road sign is handled has been described.
  • the present invention is not limited to this.
  • the moving body 200 can be used as a pedestrian or a bicycle to handle sidewalk signs, facility signs, and the like.
  • the present invention is not limited to the above-described examples, and includes various modifications.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations.
  • the present invention is not limited to the operation functions described in the first embodiment, and other operation functions (see, for example, FIGS. 11 and 12) may be added as appropriate.
  • 100 Asset data creation system, 110 ... Mark recognition unit, 120 ... Mark position detection unit, 130 ... Data storage unit, 130A ... Storage medium, 140 ... Map display unit, 150 ... Video display unit, 160 ... Control unit, 170 ... Representative image extraction unit, 200 ... moving object, 210 ... imaging device, 220 ... GPS terminal, 310 ... map display area, 312 ... moving route, 313 ... sign icon, 320 ... video display area, 321 ... time axis display, 322 ... Playback operation unit, 330 ... Input area, 340 ... Thumbnail area

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

標識データベースを修正する際の作業効率を向上させる。アセットデータ作成システムは、標識認識部、標識位置検出部、データ保存部、映像表示部、および制御部を備える。標識認識部は、映像データから標識を画像認識して標識種別を出力する。標識位置検出部は、標識が画像認識された映像データと、移動体の位置情報に基づいて、標識の設置位置を算出する。データ保存部は、標識の設置位置および標識種別を保存する。映像表示部は、映像表示域を生成する。地図表示部は、標識の設置位置を地図表示する地図表示域を生成する。制御部は、地図表示域において標識の設置位置を選択指定する操作入力を受け付けると、指定された設置位置が撮影された映像データを映像表示域に表示する。

Description

アセットデータ作成システム、およびプログラム
　本発明は、アセットデータ作成システム、およびアセットデータ作成プログラムに関する。
　近年、日本を含む世界の主要自動車メーカーにおいて、自動運転システムの開発が行われている。この自動運転システムの実用化に向けて、道路環境や道路インフラ設備に関するデータ（いわゆるロード・アセットデータ）の整備が急務になっている。
　特に、道路の標識については、自動運転や半自動運転において有意義かつ重要な情報になる。そのため、標識の設置位置や種別についてデータベース化を推し進める動きが活発化している。そこで、道路映像から標識を画像認識し、その認識結果を人手で修正して標識データベースを作成するシステムが提案されている。
　そのようなシステムとして、特許文献１には、「（請求項７）地図上に道路画像の撮影位置を撮影カメラ軌跡の上に記号や文字で表示して、その位置を指示装置で選択すると、その位置から隣接する複数の撮影位置における道路画像を副画面に表示する」および「（段落００３８）地図上に表示された標識アイコンを指定してそれに対応する標識候補をたどる」が開示される。
特開２００８－２８７３７９号公報
　特許文献１に開示される技術では、標識の認識結果に基づいて標識データベースを対話的に修正・確定するため、人手工数と時間を削減することが可能になる。
　しかしながら、人手で確認すべき標識の数は膨大になるため、対話的なインタフェースについては更なる改善が強く要望される。
　そこで、本発明は、標識データベースを対話的に修正または確定するに際して、作業効率を向上させるための技術を提供することを目的とする。
　上記課題を解決するために、本発明の代表的なアセットデータ作成システムの一つは、標識認識部、標識位置検出部、データ保存部、映像表示部、地図表示部、および制御部を備える。
　前記標識認識部は、撮影機能付きの移動体によって撮影された映像データと、前記移動体の位置情報とを取得し、前記映像データから標識を画像認識して標識種別を出力する。
　前記標識位置検出部は、前記標識が画像認識された前記映像データと、前記標識の撮影時点における前記移動体の前記位置情報とに基づいて、前記標識の設置位置を算出する。
　前記データ保存部は、前記標識の前記設置位置および前記標識種別を標識データベースとして保存する。
　前記映像表示部は、前記映像データを表示する映像表示域を生成する。
　前記地図表示部は、前記標識の前記設置位置を地図表示する地図表示域を生成する。
　前記制御部は、前記地図表示域および前記映像表示域を出力して操作入力を受け付け、前記操作入力に応じて前記データ保存部の前記標識データベースを修正する。さらに、前記制御部は、前記地図表示域において前記標識の前記設置位置を選択指定する前記操作入力を受け付けると、指定された前記設置位置が撮影された前記映像データを前記映像表示域に表示する。
　本発明によって、標識データベースを対話的に修正または確定するに際して、作業効率を向上させるための技術が提供される。
　上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
図１は、実施例１のアセットデータ作成システムの構成を示すブロック図である。 図２は、映像データの自動化処理を説明する流れ図である。 図３は、データ保存部がデータ管理するデータ構造（ツリービュー構造）を示す図である。 図４は、操作画面の表示ルーチンを説明する流れ図である。 図５は、操作画面の一例を示す説明図である。 図６は、操作入力の処理ルーチンを説明する流れ図（１／２）である。 図７は、操作入力の処理ルーチンを説明する流れ図（２／２）である。 図８は、地図表示域と映像表示域との連携動作を説明する図である。 図９は、検知区間の（連続）スキップ再生を説明する図である。 図１０は、移動経路の修正と標識アイコンの一括修正を説明する図である。 図１１は、その他の操作機能を例示する図である。 図１２は、その他の操作機能を例示する図である。
　以下、図面を参照しながら、発明の実施例について説明する。
＜アセットデータ作成システムの構成＞
　図１は、実施例１のアセットデータ作成システム１００の構成を示すブロック図である。
　同図において、アセットデータ作成システム１００は、標識認識部１１０、標識位置検出部１２０、データ保存部１３０、地図表示部１４０、映像表示部１５０、制御部１６０、および代表画像抽出部１７０を備える。
　標識認識部１１０は、撮像装置２１０およびＧＰＳ端末２２０を備える移動体２００（車両など）から、移動体２００の周辺映像である映像データと、移動体２００の位置情報（緯度経度や車体の向き）とをデータ収集する。このようなデータ収集は、通信ネットワークを介してリアルタイムに行ってもよいし、記録装置２３０を間に介してバッチ処理として行ってもよい。なお、移動体２００の位置情報は標識位置検出部１２０が収集してもよい。
　標識認識部１１０は、取得された映像データについて、画像認識により映像フレームに写った標識を検出する。なお、ＧＰＳ端末２２０以外の位置検出手段を使用してもよい。また、移動体２００の各種センサーや運転制御装置や自立運転システムや外部の交通監視センターや人工衛星やドローンなどから移動体２００の位置情報（緯度経度や車体の向き）を情報取得してもよい。さらに、車体の向きについては、地磁気などの方位センサーの他に、移動体２００から見える太陽などの天体の位置により求めてもよい。
　標識位置検出部１２０は、標識が画像認識された映像データと、標識の撮影時点における移動体２００の位置情報とに基づいて、標識の設置位置を算出する。この算出方法については後述する。
　データ保存部１３０は、画像認識される標識について、設置位置および標識種別などを含む標識データベースをシステム内蔵の記憶媒体１３０Ａに保存する。この標識データベース内の個々の標識ごとには、作業者の修正または確認を経たか／否かをセット／リセットの状態で示す「確定済みフラグ」の領域が設けられる。
　地図表示部１４０は、標識の設置位置を地図表示する地図表示域を生成する。
　映像表示部１５０は、映像データを表示する映像表示域を生成する。
　制御部１６０は、地図表示域および映像表示域を備えた操作画面を、ネットワークＮＷを介してクライアント端末３００に出力し、クライアント端末３００から操作入力を受け付ける。
　代表画像抽出部１７０は、映像データから「標識が写った代表画像」を抽出する。
　このようなアセットデータ作成システム１００は、ハードウェアとしてＣＰＵ（Centra
l Processing Unit）やメモリなどを備えたコンピュータシステムとして構成される。このハードウェアがコンピュータ可読媒体に記憶されたアセットデータ作成プログラムを実行することにより、システムとしての各種機能が実現する。このハードウェアの一部または全部については、専用の装置、機械学習マシン、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＰＬＤ（programmable logic device）などで代替してもよい。また、ハードウェアやプログラムの一部または全部をネットワーク上のサーバに集中または分散してクラウドシステムを構成することにより、各種機能をクラウドサービスとして提供してもよい。
＜映像データの自動化処理について＞
　次に、収集された映像データに対してアセットデータ作成システム１００が自動的に行う処理について説明する。
　図２は、映像データの自動化処理を説明する流れ図である。ここでの自動化処理は、移動体２００による映像データの取得時点において遅滞なく（例えばパイプライン式に）実施してもよい。また、映像データの取得後にバッチ処理としてまとめて実施してもよい。
　以下、同図に示すステップ番号に沿って説明する。
ステップＳ１０１：　標識認識部１１０は、移動体２００において収集される（映像データ，位置情報）を取得する。これらのデータはデータ保存部１３０に一旦保存される。
ステップＳ１０２：　標識認識部１１０は、映像データについて画像内の標識（本標識・補助標識を含む）を画像認識し、標識種別として出力する。
　例えば、標識認識部１１０は、この画像認識に、畳み込みニューラルネットワークを使用する。この畳み込みニューラルネットワークの一例は、映像データの映像フレーム（画素数変換や歪み補正や階調補正などの事前処理済みの映像フレームなど）から所定の縦横サイズの走査範囲が逐次切り出されて入力される入力層と、畳み込み層やプーリング層や結合層などを多層に含む中間層と、「標識種別ごとの尤度」を出力する出力層とを備える。この畳み込みニューラルネットワークについては、学習用の標識画像と、標識種別の正解を示す教師値からなる学習データセットを用いて事前に機械学習（誤差逆伝播法など）が繰り返し実施済みである。
　また、標識認識部１１０は、文字や記号を含む補助標識については、ＯＣＲやニューラルネットワークなどの文字や記号の認識処理を併用して、文字や記号の解読を実施する。
ステップＳ１０３：　標識位置検出部１２０は、次の算出過程によって標識の設置位置（緯度経度）を具体的に算出する。
（１）標識位置検出部１２０は、移動体２００を原点Ｏとして標識までの撮影距離Ｄを求める。この撮影距離Ｄは、映像データに写った標識の画像上のサイズと、標識の既知の実サイズと、撮像装置２１０の撮影画角とに基づいて算出される。また、移動体２００に搭載される撮像装置２１０が被写界の奥行きデータを出力可能な場合は、奥行きデータから標識までの撮影距離Ｄを求めてもよい。
（２）標識位置検出部１２０は、認識された標識の画像上の位置と、移動体２００の車体の向き（方位）によって求まる撮影方位の情報とに基づいて、移動体２００を原点Ｏとして標識に向かう方位を空間角αとして求める。
（３）標識位置検出部１２０は、標識撮影時の移動体２００の位置座標（緯度経度）を、移動体２００を原点Ｏとした標識の極座標（撮影距離Ｄ，空間角α）だけオフセットする座標計算を行うことによって、標識の設置位置（緯度経度）を算出する。
（４）標識位置検出部１２０は、近傍する映像フレームの間において、標識種別が略同一および設置位置が略同一の標識が存在する場合、複数の標識の（設置位置，標識種別）を名寄せ処理して、一つの標識の（設置位置，標識種別）に統合する。統合に際しては、画像認識の尤度のより高い標識を優先して設置位置の加重加算などの統合を行う。
　なお、車道の脇に設置される小型標識については、同一の設置支柱に異なる標識が並べて複数設置されることが多い。そこで、これ以降の処理では、同一の設置支柱と認められる程度の小型標識の設置位置の誤差については同一の設置位置として扱う。
　また、複数車線からなる車道の上方に設置される大型の標識については、同一の設置バーに複数の大型標識が左右に並べて配置されることが多い。そこで、これ以降の処理では、同一の設置バーと認められる程度の大型標識の設置位置の誤差については同一の設置位置として扱う。
ステップＳ１０４：　図３は、データ保存部１３０がデータ管理するデータ構造（ツリービュー構造）を示す図である。
　同図に示すように、データ保存部１３０は、同一の設置位置に存在する本標識および補助標識（群）を探索し、階層グループ化する。
　また、データ保存部１３０は、同一の設置位置で本標識に上下を挟まれた補助標識（群）を探索し、探索された補助標識（群）を、上側の本標識と階層グループ化する。
ステップＳ１０５：　代表画像抽出部１７０は、「標識が画像認識された映像フレーム」を映像データから抽出して、当該標識の代表画像とする。
　このとき、代表画像の候補が複数存在する場合、代表画像抽出部１７０は、標識の画像認識（ステップＳ１０２参照）において高い尤度を示した映像フレームを選別し、当該標識の代表画像とする。
ステップＳ１０６：　データ保存部１３０は、標識の（設置位置，標識種別，代表画像）を図３に示すデータ構造の形態で、標識データベースとして保存する。これら標識の確定済みフラグについては、作業者による修正または確認を経ていないため、リセット状態に初期設定される。
　以上の処理により、アセットデータ作成システム１００は、映像データの自動化処理を完了する。
＜操作画面の表示ルーチンについて＞
　続いて、アセットデータ作成システム１００がクライアント端末３００に出力する操作画面について説明する。
　図４は、操作画面の表示ルーチンを説明する流れ図である。表示ルーチンは、クライアント端末３００の作業開始時や表示更新に際して、制御部１６０によって実行される。
　図５は、操作画面の一例を示す説明図である。
　以下、図４および図５を用いて説明する。
ステップＳ２０１：　制御部１６０は、標識データベースをデータ保存部１３０から読み出し、標識ごとに（設置位置，標識種別，代表画像）のデータを取得する。さらに、制御部１６０は、これらデータの生成元である（映像データ，位置情報）についてもデータ保存部１３０から取得する。
ステップＳ２０２：　映像表示部１５０は、映像データを再生表示するための映像表示域３２０を生成する。この映像表示域３２０では、画像認識済みの標識に対しては、「画像認識済み」を示す矩形枠が付与して表示される（図３，図８，図９参照）。
ステップＳ２０３：　映像表示部１５０は、映像表示域３２０の下部に、映像データの再生期間を示す時間軸表示３２１と、再生操作部３２２を作成する。
　この時間軸表示３２１には、映像データの再生位置を示すためのスライダが付属する。映像表示部１５０は、映像表示域３２０に表示する映像データの再生位置に応じて、時間軸表示３２１上のスライダの位置を連動させる。また、スライダの移動操作を受け付けた場合、映像表示部１５０は、スライダの移動位置に応じて映像データの再生位置を変更する。
ステップＳ２０４：　映像表示部１５０は、次の区間を時間軸表示３２１に識別可能に色分け表示する。
（１）走行区間（緑色の色分け表示）…移動体２００の位置情報が移動している期間に撮影された映像区間に相当する。または映像データの背景が動いている映像区間に相当する。
（２）停止区間（灰色の色分け表示）…移動体２００の位置情報が停止している期間に撮影された映像区間に相当する。または映像データの背景が静止している映像区間に相当する。
（３）検知区間（赤色の色分け表示）…標識認識部１１０において標識が画像認識された映像区間に相当する。
（４）注意区間（黄色の色分け表示）…標識認識部１１０において標識らしきものが画像認識された映像区間に相当する。
　これらの区間が同じ時間軸表示３２１上で重複する場合は、映像表示部１５０は検知区間、注意区間、走行区間、および停止区間の優先順位に従って色分け表示を行う。
ステップＳ２０５：　地図表示部１４０は、映像表示域３２０に再生中の映像データを撮影した移動体２００の位置情報を取得する。この移動体の位置情報の周辺地図のデータを地図データベース（不図示）などから取得し、地図表示域３１０に表示する。
　続いて、地図表示部１４０は、標識データベースから読み出した標識の設置位置を地図表示域３１０の地図座標に変換し、変換後の地図座標の位置に標識アイコン３１３を重畳表示する。このとき、確定済みフラグがリセット状態の標識については、標識アイコン３１３に確定前を示す黄色ピンが使用される。また、確定済みフラグがセット状態の標識については、標識アイコン３１３に確定済みを示す緑色ピンが使用される。
ステップＳ２０６：　地図表示部１４０は、移動体２００の位置情報に基づいて移動経路３１２を軌道計算し、地図表示域３１０に重畳表示する。さらに、地図表示部１４０は、映像表示域３２０の映像再生と同期して移動体２００の位置が変化する移動体アイコン３１１を地図表示域３１０に重畳表示する。
ステップＳ２０７：　制御部１６０は、標識の標識種別などを修正編集するための入力域３３０や、映像データや代表画像の選択を行うためのサムネイル域３４０を生成する。
ステップＳ２０８：　制御部１６０は、上述した地図表示域３１０、映像表示域３２０、入力域３３０、およびサムネイル域３４０を含む操作画面（図５参照）を生成し、クライアント端末３００に出力する。クライアント端末３００は、モニタ画面に操作画面を表示する。
　以上の動作により、操作画面の表示ルーチンが完了する。
＜操作入力の処理ルーチン＞
　次に、操作画面に対する操作入力の処理ルーチンについて説明する。
　図６および図７は、操作入力の処理ルーチンを説明する流れ図である。
　以下、図６および図７に示すステップ番号に沿って説明する。
ステップＳ３０１：　制御部１６０は、操作画面（図５参照）をクライアント端末３００に出力し、クライアント端末３００からの操作入力の受け付けを開始する。
ステップＳ３０２：　制御部１６０は、受け付けた操作入力が、標識アイコン３１３（標識の設置位置）をクリック指定する操作入力か否かを判定する。
　標識アイコン３１３がクリック指定されると、制御部１６０はステップＳ３０３に動作を進める。
　それ以外の場合、制御部１６０はステップＳ３１１に動作を移行する。
ステップＳ３０３：　図８に示すように、地図表示部１４０は、クリック指定された標識アイコン３１３を赤色ピン（選択状態）に変更し、該当の標識が修正作業の対象であることを地図表示域に示す。
ステップＳ３０４：　制御部１６０は、指定された標識アイコン３１３の設置位置を取得すると、「この設置位置を撮影した映像データ」として、該当の標識の代表画像を映像表示域３２０に表示する。
ステップＳ３０５：　作業者は代表画像を観察することで、該当の標識が見やすく写っているか否かを判断する。標識が小さすぎるなど代表画像として不適切であれば、作業者は、映像表示域３２０の映像データを前後にコマ送りすることにより、適切な代表画像を手動で選択する。
　制御部１６０は、このような代表画像の変更操作を受け付けると、ステップＳ３０６に動作を進める。それ以外の場合、制御部１６０はステップＳ３０７に動作を移行する。
ステップＳ３０６：　制御部１６０は、代表画像の変更操作に従って、該当の標識について代表画像を変更する。
ステップＳ３０７：　制御部１６０は、地図表示域３１０、映像表示域３２０、入力域３３０に対する操作入力に応じて、該当の標識について設置位置や標識種別を変更する
　例えば、地図表示域３１０において標識アイコン３１３の移動操作を受け付けると、制御部１６０は、標識アイコン３１３の移動後の地図上の位置に基づいて、該当する標識の設置位置を変更する。
　また例えば、入力域３３０に対する入力操作を受け付けると、制御部１６０は、入力域３３０の入力内容に基づいて、該当する標識の標識種別を変更する。
ステップＳ３１１：　制御部１６０は、映像表示域３２０における「連続スキップ再生」の操作入力（再生操作部３２２のスキップ釦のダブルクリックなど）を受け付けると、ステップＳ３１２に動作を進める。それ以外の場合、制御部１６０は、ステップＳ３１３に動作を移行する。
ステップＳ３１２：　映像表示部１５０は、標識が画像認識された検知区間のみを映像データから順番に抽出して連続スキップ再生を行う（図９参照）。
ステップＳ３１３：　制御部１６０は、映像表示域３２０における「スキップ再生」の操作入力（再生操作部３２２のスキップ釦のクリックなど）を受け付けると、ステップＳ３１４に動作を進める。それ以外の場合、制御部１６０はステップＳ３１５に動作を移行する。
ステップＳ３１４：　映像表示部１５０は、現在の再生位置から次の検知区間までスキップしてスキップ再生を実施する（図９参照）。
ステップＳ３１５：　制御部１６０は、地図表示域３１０において「移動経路上の一点に対する移動操作」を受け付けると、ステップＳ３１６に動作を進める。それ以外の場合、制御部１６０はステップＳ３１８に動作を移行する。
ステップＳ３１６：　制御部１６０は、移動経路上の一点に対する移動操作を受け付けると、図１０に示すように周囲の複数点に波及させて、移動経路の形状を滑らかに修正する。
ステップＳ３１７：　標識位置検出部１２０は、移動経路の修正によって変位する移動体２００の位置情報それぞれに応じて、図１０に示すように標識の設置位置を算出して一括的に修正する。ここでの算出方法は、ステップＳ１０３の算出方法と同じため、ここでの重複説明を省略する。
ステップＳ３１８：　作業者は、映像表示域３２０の上で「画像認識済み」を示す矩形枠が付与されない「未認識の標識」を発見した場合、「未認識の標識」に対して矩形枠を描画する。さらに、作業者は、入力域３３０に対して、「未認識の標識」に対して標識種別を入力する。
　一方、標識位置検出部１２０は、矩形枠が描画された映像フレームと、その映像フレームの標識撮影時点の位置情報とに基づいて標識の設置位置を算出する。ここでの算出方法は、ステップＳ１０３の算出方法と同じため、重複説明を省略する。
　地図表示部１４０は、地図表示域３１０の新しい標識の設置位置に対して、標識アイコン３１３を重畳表示する。
　また、作業者は、映像表示域３２０の上で「画像認識済み」を示す矩形枠が付与されながら「標識と誤って認識された物体」を発見した場合、矩形枠を削除操作することができる。地図表示部１４０は、矩形枠の削除操作に連動して、該当する標識アイコン３１３を地図表示域３１０から削除する。データ保存部１３０は、矩形枠の削除操作に連動して、該当する標識のデータを標識データベースから削除する。
　なお、矩形枠の削除操作の代わりに、作業者が、該当する標識アイコン３１３を地図表示域３１０から削除してもよい。この標識アイコン３１３の削除操作に連動して、、映像表示部１５０は、該当する矩形枠を映像表示域３２０から削除する。さらに、データ保存部１３０は、この標識アイコン３１３の削除操作に連動して、該当する標識のデータを標識データベースから削除する。
ステップＳ３１９：　地図表示部１４０は、作業者の修正または確認を経た標識アイコン３１３を緑色ピン（確定状態の色）に変更する。
ステップＳ３２０：　データ保存部１３０は、ここまでにおいて作業者の修正または確認を経た標識については確定済みフラグを立てて標識データベースに保存する。この保存動作の後、制御部１６０はステップＳ３０１に動作を戻し、操作画面の操作ルーチンを繰り返す。
＜実施例の効果など＞
　実施例１は、次のような顕著な効果を奏する。
（１）通常、作業者は、地図表示域３１０の標識アイコン３１３について標識種別が正しいか否かを判断する場合、映像データの再生を繰り返して該当の標識が撮影された映像データを探索しなければならない。このような映像データの再生探索の作業は時間がかかるため作業効率が低くなる。
　しかしながら、実施例１では、地図表示域３１０において標識アイコン３１３（標識の設置位置）を選択指定する操作入力を受け付けると、指定された設置位置が撮影された映像データが映像表示域３２０に自動的に表示される。
　そのため、作業者は、標識アイコン３１３の標識種別が正しいか否かを、自動的に表示される「設置位置が撮影された映像データ」によって即座に判断可能になる。したがって、作業者にとっては映像データの再生探索の作業を大幅に省くことが可能になり、作業効率を向上させることが可能になる。
（２）実施例１において、特許文献１と大きく異なるのは次の点である。
　特許文献１の請求項７では、地図上で撮影位置（すなわち移動体の位置）を選択すると、その撮影位置から撮影された映像データを表示する。この場合、撮影方向は指定していないため、表示される映像データに「作業者が確認したい標識の方向」が写っている保証はない。
　それに対して、実施例１は、地図上で標識の設置位置を選択し、その設置位置が撮影された映像データを表示する。そのため、表示される映像データに、作業者が確認したい設置位置の方向（すなわち標識がある方向）が必ず写っている。したがって、実施例１は、作業者が一層確実に標識を確認できる点で優れている。
　なお、特許文献１には、「（段落００３８）地図上に表示された標識アイコンを指定してそれに対応する標識候補をたどる」までの記載はあるが、この動作に関連する映像データの選択表示については具体的な開示が特許文献１に見当たらない。
（３）実施例１では、映像データの再生期間を示す時間軸表示に対して、標識が画像認識された映像データの検知区間を識別可能に表示する。そのため、作業者は、映像データから標識を探索する場合、検知区間に絞って映像データを再生すればよい。この点においても実施例１の作業効率は高くなる。
（４）実施例１では、時間軸表示に表示される検知区間のみを映像データから自動的に抽出して再生する機能を有する。そのため、検知区間を人手で選択して再生する手間がさらになくなる。この点においても実施例１の作業効率は高くなる。
（５）実施例１では、映像データから「標識が画像認識された映像」を自動的に抽出し、標識の代表映像として保存する。そのため、標識の代表画像を人手で映像データから抽出する手間がない。この点においても実施例１の作業効率は高くなる。
（６）実施例では、「標識が画像認識された映像」の内で標識の画像認識の尤度が高い映像を選別して、代表映像にする。画像認識の尤度が高い映像は、標識が正面向きに写っているなど、標識が見やすく写った代表画像を得ることが可能になる。
（７）実施例１では、地図表示域において標識の設置位置に対する操作入力を受け付けると、標識の代表映像を映像表示域に出力し、代表映像の変更操作を受け付ける。したがって、人手で映像データを選択するにしても、自動選択された代表画像を出発点にして代表画像を変更すればよいため、作業効率が高くなる。
（８）実施例１では、移動経路の一点に対する移動操作を行うことで、移動経路の複数点に波及させて移動経路を修正する。この移動経路の複数点の移動に伴って、標識の設置位置を修正できる。したがって、移動経路の誤りに基づく、標識の設置位置の誤りを一括して修正することが可能になる。この点においても実施例１の作業効率は高くなる。
（９）実施例１では、地図表示域において、確定される前の標識アイコン３１３と、修正または確定された後の標識アイコン３１３とを識別可能に表示する。したがって、作業者は、確定前の標識アイコン３１３を容易に見分けることが可能になる。
（１０）実施例１では、本標識に上下を挟まれた補助標識を上側の本標識と階層グループ化する。そのため、同一の設置位置に複数の本標識が存在する場合に、補助標識をどちらの本標識に階層化すべきかを自動的に決定することが可能になる。
（１１）実施例１では、上述した（１）～（１０）の相乗的な効果により、標識データベースの修正作業にかかる人手工数や時間を顕著に削減することが可能になる。
＜補足事項について＞
　なお、上述した実施例１は、標識の画像認識に畳み込みニューラルネットワークを使用した。しかしながら、本発明はこれに限定されない。例えば、このような学習モデルとしては、決定木学習、相関ルール学習、ニューラルネットワーク、遺伝的プログラミング、帰納論理プログラミング、サポートベクターマシン、クラスタリング、ベイジアンネットワーク、強化学習、表現学習、主成分分析、エクストリーム・ラーニング・マシン、およびその他の学習モデルを採用してもよい。
　また、顔検出などの被写体認識技術を応用して標識の画像認識を行ってもよい。
　さらに、実施例１では、ネットワークＮＷを介して複数のクライアント端末３００を設けるシステム構成について説明した。しかしながら、本発明はこれに限定されない。例えば、単体のコンピュータによってアセットデータ作成システム１００を構成してもよい。
　なお、実施例１では、移動体２００とアセットデータ作成システム１００とを切り離して構成している。しかしながら、本発明はこれに限定されない。例えば、アセットデータ作成システム１００の一部または全部を移動体２００に搭載してもよい。
　また、実施例１では、移動体２００を道路車両として道路標識を扱うケースについて説明した。しかしながら、本発明はこれに限定されない。例えば、移動体２００を鉄道車両として鉄道標識を扱うことも可能である。また例えば、移動体２００を歩行者や自転車として歩道標識や施設内標識などを扱うことも可能である。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
　また、本発明は、実施例１で説明した操作機能のみに限定されず、その他の操作機能（例えば図１１，図１２参照）を適宜に追加してもよい。
１００…アセットデータ作成システム、１１０…標識認識部、１２０…標識位置検出部、１３０…データ保存部、１３０Ａ…記憶媒体、１４０…地図表示部、１５０…映像表示部、１６０…制御部、１７０…代表画像抽出部、２００…移動体、２１０…撮像装置、２２０…ＧＰＳ端末、３１０…地図表示域、３１２…移動経路、３１３…標識アイコン、３２０…映像表示域、３２１…時間軸表示、３２２…再生操作部、３３０…入力域、３４０…サムネイル域

Claims (10)

  1. 　移動体に設けられた撮像装置によって撮影された映像データから標識を画像認識して標識種別を出力する標識認識部と、
    　前記標識が画像認識された前記映像データと、前記標識の撮影時点における前記移動体の位置情報とに基づいて、前記標識の設置位置を算出する標識位置検出部と、
    　前記標識の前記設置位置および前記標識種別を標識データベースとして保存するデータ保存部と、
    　前記映像データを表示する映像表示域を生成する映像表示部と、
    　前記標識の前記設置位置を地図表示する地図表示域を生成する地図表示部と、
    　前記地図表示域および前記映像表示域を出力して操作入力を受け付け、前記操作入力に応じて前記データ保存部の前記標識データベースを修正する制御部とを備え、
    　前記制御部は、前記地図表示域において前記標識の前記設置位置を選択指定する前記操作入力を受け付けると、指定された前記設置位置が撮影された前記映像データを前記映像表示域に表示する
    　ことを特徴とするアセットデータ作成システム。
  2. 　請求項１に記載のアセットデータ作成システムであって、
    　前記映像表示部は、前記映像データの再生期間を示す時間軸表示を作成し、前記標識認識部によって前記標識が画像認識された前記映像データの区間（以下「検知区間」という）を前記時間軸表示に対して識別可能に表示する
    　ことを特徴とするアセットデータ作成システム。
  3. 　請求項２に記載のアセットデータ作成システムであって、
    　前記映像表示部は、前記時間軸表示に表示される前記検知区間のみを前記映像データから自動的に抽出して再生する機能を有する
    　ことを特徴とするアセットデータ作成システム。
  4. 　請求項１～３のいずれか一項に記載のアセットデータ作成システムであって、
    　前記映像データから「前記標識が画像認識された映像」を抽出し、前記標識の代表映像として前記標識データベースに保存する代表画像抽出部を備えた
    　ことを特徴とするアセットデータ作成システム。
  5. 　請求項４に記載のアセットデータ作成システムであって、
    　前記代表画像抽出部は、「前記標識が画像認識された映像」の内で前記標識の画像認識の尤度が高い映像を選別して、前記代表映像にする
    　ことを特徴とするアセットデータ作成システム。
  6. 　請求項４～５のいずれか一項に記載のアセットデータ作成システムであって、
    　前記制御部は、前記地図表示域において前記標識の前記設置位置に対する前記操作入力を受け付けると、前記標識の前記代表映像を前記映像表示域に出力し、前記代表映像の変更操作を受け付ける
    　ことを特徴とするアセットデータ作成システム。
  7. 　請求項１～６のいずれか一項に記載のアセットデータ作成システムであって、
    　前記地図表示部は、前記移動体の移動経路を前記地図表示域に表示し、
    　前記制御部は、前記地図表示域において前記移動経路の一点に対する移動操作を受け付けると、前記移動操作を前記移動経路の複数点に波及させて前記移動経路を修正し、
    　前記標識位置検出部は、前記移動経路の修正に基づいて変位する前記移動体の前記位置情報それぞれに基づいて、前記標識の前記設置位置を修正する
    　ことを特徴とするアセットデータ作成システム。
  8. 　請求項１～７のいずれか一項に記載のアセットデータ作成システムであって、
    　前記地図表示部は、前記地図表示域において、確定前の前記標識の表示と、確定済みの前記標識の表示とを識別可能に表示する
    　ことを特徴とするアセットデータ作成システム。
  9. 　請求項１～８のいずれか一項に記載のアセットデータ作成システムであって、
    　前記標識認識部は、前記映像データから本標識と補助標識とを画像認識し、
    　前記データ保存部は、同一の前記設置位置において前記本標識に上下を挟まれた前記補助標識を探索し、探索された前記補助標識を上側の前記本標識とグループ化して保存する
    　ことを特徴とするアセットデータ作成システム。
  10. 　コンピュータシステムを
    　請求項１～９のいずれか一項に記載のアセットデータ作成システムとして機能させる
    　ことを特徴とするアセットデータ作成プログラム。
PCT/JP2021/002002 2020-01-28 2021-01-21 アセットデータ作成システム、およびプログラム WO2021153409A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021574689A JP7444905B2 (ja) 2020-01-28 2021-01-21 アセットデータ作成システム、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020011508 2020-01-28
JP2020-011508 2020-01-28

Publications (1)

Publication Number Publication Date
WO2021153409A1 true WO2021153409A1 (ja) 2021-08-05

Family

ID=77079887

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002002 WO2021153409A1 (ja) 2020-01-28 2021-01-21 アセットデータ作成システム、およびプログラム

Country Status (2)

Country Link
JP (1) JP7444905B2 (ja)
WO (1) WO2021153409A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178856A (ja) * 2004-12-24 2006-07-06 Noritsu Koki Co Ltd 画像処理システム及び画像処理方法
JP2008176357A (ja) * 2007-01-16 2008-07-31 Fujitsu Ten Ltd 異常診断システム及び診断情報管理装置
JP2008287379A (ja) * 2007-05-16 2008-11-27 Hitachi Ltd 道路標識データ入力システム
JP3195716U (ja) * 2014-11-17 2015-01-29 阪神高速技術株式会社 道路点検補助システム
JP2019020784A (ja) * 2017-07-11 2019-02-07 トヨタ自動車株式会社 情報提供装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3279960B2 (ja) * 1997-06-27 2002-04-30 松下電器産業株式会社 経路画像情報記録再生装置及び経路画像情報記録方法
JP4506855B2 (ja) 2008-03-05 2010-07-21 株式会社デンソー カーナビゲーションシステム
JP6089456B2 (ja) 2012-06-08 2017-03-08 日本電気株式会社 運転行動診断装置、運転行動診断方法および運転行動診断プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178856A (ja) * 2004-12-24 2006-07-06 Noritsu Koki Co Ltd 画像処理システム及び画像処理方法
JP2008176357A (ja) * 2007-01-16 2008-07-31 Fujitsu Ten Ltd 異常診断システム及び診断情報管理装置
JP2008287379A (ja) * 2007-05-16 2008-11-27 Hitachi Ltd 道路標識データ入力システム
JP3195716U (ja) * 2014-11-17 2015-01-29 阪神高速技術株式会社 道路点検補助システム
JP2019020784A (ja) * 2017-07-11 2019-02-07 トヨタ自動車株式会社 情報提供装置

Also Published As

Publication number Publication date
JPWO2021153409A1 (ja) 2021-08-05
JP7444905B2 (ja) 2024-03-06

Similar Documents

Publication Publication Date Title
KR102266830B1 (ko) 차선 결정 방법, 디바이스 및 저장 매체
CN109635666B (zh) 一种基于深度学习的图像目标快速检测方法
CN107560622A (zh) 一种基于行车图像导航的方法与设备
CN113495940B (zh) 道路区域校正装置、道路区域校正方法以及能够由计算机读取的记录介质
CN109377509B (zh) 图像语义分割标注的方法、装置、存储介质和设备
CN110348463B (zh) 用于识别车辆的方法和装置
US11488353B2 (en) Manual curation tool for map data using aggregated overhead views
US11521375B2 (en) Method and system for improved object marking in sensor data
KR20220112590A (ko) 인공지능 기반 수계오염원 모니터링 시스템 및 방법
CN115082857A (zh) 一种目标对象的检测方法、装置、设备以及存储介质
Choi et al. Methods to detect road features for video-based in-vehicle navigation systems
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
CN109241893B (zh) 基于人工智能技术的道路选择方法、装置及可读存储介质
CN113496182B (zh) 基于遥感影像的道路提取方法及装置、存储介质及设备
CN111626971B (zh) 具有图像语义感知的智慧城市cim实时成像方法
JP2020013411A (ja) 情報提供装置、情報提供方法、およびプログラム
WO2021153409A1 (ja) アセットデータ作成システム、およびプログラム
CN116206326A (zh) 缺失检测模型的训练方法、导流区的缺失检测方法及装置
JP2009026164A (ja) 車線認識装置及びナビゲーション装置
CN116245498A (zh) 光缆路由标识检测方法、装置，及电子设备
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
US20220164982A1 (en) Localization and mapping method and moving apparatus
Eltaher et al. Using Satellite Images Datasets for Road Intersection Detection in Route Planning
CN114202689A (zh) 一种点位标注方法、装置、电子设备和存储介质
JP6686076B2 (ja) 情報処理装置、情報処理方法、プログラム、およびアプリケーションプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21748119

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021574689

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21748119

Country of ref document: EP

Kind code of ref document: A1