WO2013174867A1 - Method for modeling a building or a room of same on the basis of a limited number of photographs of the walls thereof - Google Patents

Method for modeling a building or a room of same on the basis of a limited number of photographs of the walls thereof Download PDF

Info

Publication number
WO2013174867A1
WO2013174867A1 PCT/EP2013/060509 EP2013060509W WO2013174867A1 WO 2013174867 A1 WO2013174867 A1 WO 2013174867A1 EP 2013060509 W EP2013060509 W EP 2013060509W WO 2013174867 A1 WO2013174867 A1 WO 2013174867A1
Authority
WO
WIPO (PCT)
Prior art keywords
building
image
objects
images
walls
Prior art date
Application number
PCT/EP2013/060509
Other languages
French (fr)
Inventor
Jahnny BRIQUET
Gilles Lambinet
Original Assignee
Pimaia
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pimaia filed Critical Pimaia
Publication of WO2013174867A1 publication Critical patent/WO2013174867A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design

Definitions

  • the present invention relates to a method of modeling a building or at least one room of said building from the analysis of a limited number of shots of walls of said building.
  • Modeling of existing buildings for visualization and virtual transformation for example to determine their mechanical and energy characteristics and simulate the impact on these characteristics of planned modifications, such as the replacement of a window, the isolation of a wall or a roof, etc., requires a certain amount of information on the geometry of the building.
  • primary is meant in the present text a geometric entity (point, curve, line, etc.) corresponding to an area of interest of an image, that is to say an area having remarkable properties in the framework of an image analysis.
  • the article refers to different calibration methods based on the use of primitives and proposes a technique of positioning on an image at least one parallelepiped corresponding to a part of the building to be represented in three dimensions, and to deduce the calibration of the image from the position and the orientation of said parallelepiped.
  • structure from motion consists in matching primitives detected on a large number of shots having a small difference in shooting angle (typically less than 15 ° between two successive images, to avoid distortions) and an important recovery from one image to another.
  • the calibration is performed by triangulation of said primitives.
  • Such disturbances include objects (vegetation, vehicles, other buildings, etc.) masking part of the building, but also significant shadows or overexpositions, or even low contrasts.
  • this technique provides, after the projection of the image on the reconstructed volume contour, a three-dimensional visual representation of the building, but does not provide a building envelope.
  • envelope of a building designates all the walls that separate living spaces from the outside environment; the envelope therefore typically includes the exterior walls and the roof of a building.
  • envelope of a room means all the walls separating said room from the outside environment and from other rooms of the building.
  • a building envelope is not limited to the exterior texture and geometry of the building, but is an organized assembly of building components.
  • the first technique has the disadvantage of requiring substantial intervention by the user for the interpretation of the characteristic elements and the faithful representation of the exterior image of the building, while the second requires a large number of shots and meeting quality and overlay criteria to obtain a faithful representation of the external image of the building.
  • An object of the invention is therefore to propose a method of modeling a building from a limited number of images of said building.
  • Another object of the invention is to propose a method for modeling a building that is less dependent than the existing methods with respect to a concealment of the building by objects and / or light effects (shadows, overexpositions, slight contrasts, etc.) possibly present on the shots and which makes it possible to avoid correcting and cleaning the images in order to obtain a model faithful to the original building.
  • Another object of the invention is to provide a method adapted to model both the inside and the outside of a building, according to the needs of the user.
  • said modeling is based on a decomposition of the building into walls and / or partitions, walls and / or partitions into objects and primitive objects detectable by image analysis, involving a memory encoding a grammar of the building or parts of a building in the form of a graph whose vertices are groups of objects, objects and structures of objects belonging to each wall or partition and whose ends are the primitives detected by analysis of image, said vertices being linked by rules of geometric and / or spatial relations and constraints.
  • This method comprises the steps of:
  • wall is meant here a volume which constitutes a part of the envelope of the building or the room, and not a surface corresponding to the apparent part of said volume.
  • wall is meant here a volume which constitutes a part of the envelope of the building or the room, and not a surface corresponding to the apparent part of said volume.
  • a wall has a certain function (for example, a load-bearing wall), a certain thickness, and one or more materials constituting the constituent elements of an interior or exterior wall, namely a covered structure, the case optionally, an insulation layer and / or a coating.
  • the method allows either to build an external model of the building, from shots of each of its facades, or an interior model of the building, from shots of each of the interior walls of the various rooms.
  • characteristic object is meant in the present text a physical entity belonging to a wall of the building, such as a door, a window, shutters, a balcony, etc., or its representation in a digital image.
  • the primitive is a group of points associated with an area of interest of the image, which has no physical reality
  • the object is a concrete physical entity.
  • each object is associated with at least one geometric constraint, that is to say a condition relating to its geometry.
  • geometrical stress is meant, for example, but in a nonlimiting manner, the fact that two adjacent walls are inclined at 90 ° relative to one another, the fact that a door or a window has a rectangular shape, etc.
  • At least some of said characteristic objects correspond to openings of the building or part of the building.
  • the modeling comprises an iterative phase of detection and inference comprising the detection of primitives by image analysis, the classification of the primitives according to their probability of belonging to a characteristic object, and an inference step consisting in assigning to each object the primitives that compose its contour and, if necessary, to complete said contour by using at least one geometric constraint or a geometrical and / or spatial relationship or constraint rule between objects or groups of objects of the same wall.
  • the inference phase involves the relations between two consecutive images.
  • the classification of primitives may involve a model base constructed by learning and stored.
  • the method of the invention advantageously comprises a manual variant, applicable when at least one of the digital images can not be calibrated, and which comprises the implementation of a template on said at least one digital image, said template being formed of two parallelograms having a common vertical side, such that said common vertical side coincides with a vertical line of the building or said building part and that the other sides of the parallelograms are aligned with vertical or horizontal lines of the building or said room building.
  • the calibration of the images relative to each other is performed by matching the templates of two consecutive digital images.
  • the images are calibrated, preferably by capturing a dimension of an aperture set manually on an image.
  • the template and / or the openings can be placed on an image by a drag-and-drop technique.
  • the walls are facades of the building.
  • the walls are internal walls of the building, a three-dimensional envelope corresponding parts of the building being then reconstructed.
  • the method may further include the steps of:
  • determining from at least one digital image and / or from an architectural database of reference digital images, and according to at least one criterion selected from the construction period and the geographical location of the building, data representative of the materials constituting the building, including the walls and the roof of the building,
  • the invention also relates to a method for calculating the energy balance of a building, comprising the following steps:
  • FIG. 1 is a functional diagram illustrating the various steps of the process according to two variant embodiments of the invention.
  • FIG. 2 illustrates the principle of the scheduling of digital images
  • FIG. 3 illustrates a part of a graph representing the grammar of the building
  • FIG. 4 illustrates an example of decomposition of a shutter into several structures and then the decomposition of each of these primitive structures
  • FIGS. 5A and 5B respectively illustrate examples of spatial constraints and geometrical constraints used to model a window with flaps
  • FIGS. 6A to 6C schematically illustrate steps of the method implemented automatically
  • FIGS. 7A to 7F schematically illustrate steps of the method implemented manually.
  • the process has a particular advantage for single-family homes, compared to residential or office buildings, since the user likely to model the building is generally not a specialist in image processing or computer modeling.
  • an advantage of the method is that it does not require a large number of shots nor the understanding, by the user, of the geometric characteristics of the images.
  • the method is less dependent than the existing methods vis-à-vis objects likely to obscure the building and lighting effects affecting the quality of shooting.
  • the method therefore does not require the user to provide images of a particular quality and can be implemented provided that the building is not completely obscured and a minimum contrast is respected on the outlets of views.
  • the calibration of the different images is performed automatically, without substantial intervention of the user.
  • this calibration is based on the automatic detection of characteristic objects on each image.
  • the method when at least one of the digital images can not be calibrated automatically, the method nevertheless makes it possible, with minimum manual intervention by the user, to calibrate the images and to reconstruct the three-dimensional envelope of the building or interior room considered.
  • FIG. 1 illustrates different steps of the method according to these two embodiments, each of the steps being described in detail below.
  • a first step S101 consists in ordering the digital images with respect to the footprint of the building or interior room considered.
  • Said fingerprint can either be provided automatically (input data D101) by a geographic information system B101.
  • the imprint can be manually traced by the user (input data D102).
  • the method may comprise steps implemented differently depending on whether all the images can be calibrated automatically or not, a first series of steps involving manual intervention by the user (branch M of the diagram), a second series of steps being implemented automatically (branch A of the diagram).
  • This situation can occur for example when no characteristic object can be detected on a digital image. Indeed, as will be explained in detail below, the process aims to avoid false detections; therefore, it is possible that too many primitives of a digital image are rejected so that a characteristic object can be detected.
  • This situation can also occur when the calibration of an image fails, for example when there are singularities, or that the calibration obtained is considered of insufficient quality.
  • the process is indeed able to evaluate the quality of a calibration by comparing, for example at the level of the angles, the result obtained with the real parallelepiped which it is supposed to correspond.
  • a first step consists in identifying, in each digital image, the contour of at least one element that can be associated with a geometric constraint.
  • said element consists of at least one characteristic object of the building which is automatically detected on each image (step S102A).
  • said element consists of a template that is placed manually by the user on each image (step S102M).
  • step S 103 At least one geometric constraint (step S 103) is applied to the element considered (template or object detected).
  • Each image can thus be calibrated (step S104).
  • the images are calibrated relative to each other by matching each element on the different images on which it has been identified.
  • step S105M it is the template of an image that is mapped to the template of the consecutive image.
  • step S105A it is each characteristic object detected automatically in an image that is mapped to the same object detected on a consecutive image.
  • image calibration can be performed by entering a dimension of an aperture.
  • This calibration is preferably implemented after the matching of the templates on the successive images and before the reconstruction of the three-dimensional envelope of the building or of a considered interior part, so that the three-dimensional envelope is not only representative proportions but also dimensions of the building or room considered; however, it will be possible to perform the calibration after the reconstruction of the envelope without departing from the scope of the present invention.
  • a data set representative of a three-dimensional envelope of the building or part considered (step S106) can be reconstructed, which can be stored for later use.
  • said three-dimensional envelope provides a complete three-dimensional model of the building or parts constituting it.
  • This model does not consist solely of a three-dimensional image representing the external limits of the building, but also constructive data relating to the components of the building.
  • constituent elements of the building are decomposed, in said model, into one or more strata representative of their structure.
  • the model comprises several layers successively corresponding to an exterior plaster, a layer of bricks and an inner insulation layer.
  • the method makes it possible to obtain a characteristic model of the building.
  • the process identifies, in the database B107, a construction model of the building (step S107).
  • the process automatically adapts the model to the geometry of the reconstructed three-dimensional envelope (step S108), and provides a characterized model MC of the building comprising a three-dimensional representation of the building but also the mechanical characteristics (strength of the materials, etc.) and / or physical properties such as thermal, acoustic, etc. of it.
  • the process does not project at any time image of the building on the reconstructed envelope.
  • the images are used only for analysis and interpretation in order to extract information enabling reconstruction of the envelope and the model, but once this information is extracted, the images are no longer used.
  • Exterior modeling and interior building modeling can be done independently of each other or combined, modeling can then be used to complete the second.
  • the user can perform external modeling on the basis of facade shots, and then an interior modeling of one or more rooms on the basis of shots of the houses. inner walls of said parts.
  • the knowledge of this opening in the interior model can locate the room relative to the outside model of the building.
  • the user can proceed to an external modeling of the building, but, if it can only rely on images of the front and rear facade, modeling may be incomplete in the absence of depth information. However, in this case, the modeling of the interior layout, which contains such information, can be used to complement the external modeling.
  • a first step of the method is to store in an orderly manner the digital images of a number of essentially non-redundant shots.
  • the shots may have been made by the user himself, for example by means of a digital camera, or already stored in the memory of a computer, or be downloadable from a server especially via the Internet.
  • this may result in the fact that, for the implementation of the method, it is sufficient to have a shot at each corner of the building, each shot then comprising the two facades forming between them. angle considered, ensuring that at least one vertical line and one horizontal line or a characteristic object of the building are present on two consecutive shots.
  • angles on the shots allows to benefit from a larger perspective, which improves the accuracy of the reconstruction.
  • the building has a high height and where the shooting position does not allow to encompass, in a single image, the entire height of the building, it is possible to perform, for each angle of the building, several shots of different levels of altitude of the building.
  • the user must then ensure that the images of two successive levels have at least one vertical line, a horizontal line and / or a characteristic object in common.
  • the fingerprint thus defined is saved in the memory of the computer.
  • the user For each corner of the building, the user assigns an image illustrating said angle to the building footprint, and records the corresponding image with its assignment.
  • a tool makes it possible to delimit the different parts to be modeled on the impression, taking into account their number of angles, and, if necessary, to name them.
  • the assignment of the images can be performed for example by a drag-and-drop technique with an input device, by bringing thumbnails of the different shots to the corresponding angles of the footprint of the building or corresponding parts.
  • This assignment is performed in an orderly manner, that is to say by turning in a given direction (for example, clockwise) and selecting successively for each angle the corresponding thumbnail.
  • Figure 2 illustrates the principle of this sequencing of digital images.
  • Each angle A1 to A6 of the footprint 1 of the building is located.
  • the user places himself at each angle, approximately positions the camera's P1 to P6 position for each shot, downloads the corresponding shot from the location in which it is recorded, and stores each image 11 at 16 corresponding to said angle.
  • the different images 11 to 16 used are thus ordered.
  • the modeling of the building is based on the decomposition of the building into different walls (walls or partitions), each being visible on two images, each wall being itself decomposed into objects (windows, doors, etc.) that belong to it; finally, each object can be decomposed into detectable primitives on the images.
  • the building is modeled using a set of relationship rules and constraints applying to these different entities.
  • these rules depend on the geometric and spatial attributes of objects and walls.
  • these rules can be of the type: the shutters are associated with the windows, the upper and lower edges of the shutters are aligned with those of the windows, the size of the shutters is less than or equal to that of the window, etc.
  • Groups of objects that is to say all the objects of the same type, for example all the windows, the set of doors, etc.
  • the rules linking them are modeled mathematically by a field Random Markov.
  • Objects for example, windows, doors, etc. are described by vectorial or primitive contour points describing their appearance in the image at the pixel level.
  • an object can generally be defined by different combinations of primitives; for example, the frame of a window can be defined by a rectangle or by four L-shaped junctions.
  • the vertices ET and OR form the graph g defining the grammar of the building.
  • the graph g is thus defined by a set S of vertices and a set R of rules.
  • the main categories of relationships are: relative scale, relative position, inclusion, alignment, percent recovery, proportion, relative orientation (non-exhaustive list).
  • the relationships between groups of objects may be of the type: the upper edges of the windows and doors of the same level are aligned;
  • the height of the windows is less than or equal to that of the doors
  • the relationships between objects can be of the type: - the windows of the same level are aligned;
  • the graph g (only part of which is represented) has several levels.
  • the AND vertices are represented by a solid ellipse
  • the OR vertices are represented by a dashed ellipse
  • the relations between objects or between groups are represented by a dashed arc
  • the hierarchy relations are schematized by the arrows.
  • the upper level (I) is that of the building, which is illustrated by a set E
  • the lower level (II) comprises the groups of objects of each facade visible on each of the ordered images, for example, the groups of objects G1 to G5 of the facades F1 and F2 visible on the image 11, etc.
  • the group G1 is that of the shutters
  • the group G2 is that of the windows
  • the group G3 is that of the doors
  • the group G4 is that of the balconies, etc. ; this list is naturally not exhaustive.
  • level III there is level II, there is level III of objects belonging to each group. Naturally, for the same facade, a group can include several objects.
  • level IV of the structures of objects, that is to say the different forms that a specific object can present.
  • an object of the shutter type may thus have a SOI structure of the full swing shutter type with scarves, a S02 structure of full swing shutter type, a S03 structure of Dauphine shutter type, etc.
  • V the lowest level of the graph (V) is that of the primitives that make up the different structures and which constitute the ends of the graph.
  • the primitives include points of interest, such as T-shaped, L-shaped, Y-shaped junctions, as well as simple geometric shapes, such as segments, rectangles, and so on.
  • Figure 4 illustrates more precisely the decomposition of an object in structures then in primitives.
  • the object is a shutter.
  • the three examples of structures SOI to S03 illustrated are, from the left to the right of the figure: a flap full shut with scarves, a shutter full shutter and a shutter Dauphinois.
  • Each structure of level IV of the graph g can be decomposed into a combination of primitives (level Va).
  • the outline of the flap can be decomposed into two L-shaped junctions, each junction being dissociable from the other and decomposed itself into segment type primitives (level Vb).
  • Structure models are essentially defined by geometric constraints, that is, by junctions and connections, rather than by particular dimensions.
  • FIG. 5A thus illustrates an example of geometrical constraints applying to a framed window 10 of shutters 11a, 11b.
  • Each element of the window (shutter, frame and tiles), which is rectangular in shape, is defined by four corners (L-shaped J-junctions) and four segment-shaped L-links.
  • the model is represented from the front, but it is also possible that the structure models include a notion of perspective.
  • the models of structures are also defined by spatial constraints, that is to say the relative positioning of the different elements.
  • the spatial constraints are that the window 10 has on its left a left flap 11a and on its right a right flap 11b.
  • the spatial constraints of the window itself are that the window is composed of a left tile 10a and a right tile 10b.
  • the grammar of the building also takes into account the fact that the same facade is visible on at least two images.
  • the method comprises a learning process making it possible to make the detection of objects more and more robust.
  • This learning generates a grammar conditioned by the location and construction period of the building.
  • This learning is done from selected digital images of a number of buildings representative of a region and / or a construction period.
  • This builds a database of structure models associated with data primitives, which can be used to make the detection of objects more accurate.
  • the learning process is, for example, of the type described in (Wu & Xia, 2007) to which reference can be made.
  • the model sought must approximate the true distribution f (g, 6) of these realizations.
  • the model must therefore correspond with:
  • the problem is to estimate the probability density by maximum entropy using a Gibbs distribution given by:
  • Empirical criteria derived from a base of constructive and architectural models are used to threshold energy functions during the inference step to determine whether vertices need to be merged.
  • the average number of windows per facade in a certain region can be used to limit the number of "window" peaks of the model.
  • the detection is carried out according to two successive phases, in which a process travels the graph iteratively from bottom to top and then from top to bottom.
  • the process traverses the graph of the lowest level, that is to say that of the primitives (level V on the graph of Figure 3), to that of the objects (level III on the graph of figure 3).
  • the process associates with each vertex of the graph a set of primitives compatible with the structure of said vertex.
  • a rectangle may be associated two opposite L-shaped junctions.
  • Each set of primitives is then weighted with a posterior probability coefficient, which expresses the precision with which the structure of the considered vertex is described.
  • This first detection phase can be implemented by a program implementing the so-called “compositional boosting” method (Wu & Xia, 2007), applied to the contour maps obtained for each image.
  • the edge maps which consist of the set of corners, edges and junctions detected in the image, can be obtained by a program implementing the so-called "primal sketch” method (Guo, Zhu, & Wu, 2003).
  • this first detection phase consists of grouping the primitives into structures using classification instructions or classifiers analyzing their geometrical and photometric characteristics.
  • the result of this operation is a set of vectorized structures (such as rectangles, T-junctions, L, Y, etc.) derived from the primitives and defined by a center of gravity ⁇ , an orientation ⁇ , a a scale, and two vanishing points.
  • this detection step provides a large number of candidates for each possible vertex.
  • the second inference phase (called “from top to bottom”) consists in implementing a process that traverses the top graph, that is to say of each object (level IV on the graph of Figure 3), towards the lowest level, that is to say that of the primitives (level V on the graph of Figure 3), so as to eliminate false detections and complete the missing vertices.
  • the process looks for a realization of the graph from a digital image I that maximizes the posterior probability p (l, g):
  • the process checks by maximizing the energy functions of the graph if the primitives used belong to a characteristic object of the building, and not to an object forming part of the foreground of the building (for example: example, a barrier, a vehicle, another building, etc.).
  • the process is thus able to eliminate primitives that are not useful for modeling to keep only the relevant primitives.
  • the process makes an assumption about the structure of the object and deduces from it the missing elements of the object.
  • the process can thus complete the object with the missing characteristics, for example by drawing a junction between two corners, so as to obtain a closed contour.
  • the process is capable of reinforcing the inference by applying to the object the associated intergroup or inter-object constraints.
  • the process checks to see if its top edge is aligned with the other windows detected on the facade; it can also verify that it does not interfere with another object with which it would be incompatible, for example a door, etc.
  • the process can make use of inter-image relations in this inference phase.
  • Inter-image relationships provide additional relationships that allow, for the inference of the objects of an image, to take into account the result of the inference performed on the adjacent image.
  • This detection and inference phase is performed iteratively, until the maximum probability for the graph is obtained.
  • FIGS 6A-6C schematically illustrate steps of this process.
  • the process detects, by analysis of a digital image 11 on which are visible two facades F1, F2 of the building, the primitives of the characteristic objects of these two facades.
  • FIG. 6B illustrates the result of the inference performed on the image 11.
  • the outline of some characteristic objects of the facades has been reconstructed from some of the primitives detected, and the image file modified accordingly.
  • the objects detected on the facade F2 are two windows 12, 13 without shutters, and a window 10 surrounded by shutters 1 1 a, 1 1 b.
  • the window could be completely rebuilt using the spatial and geometric constraints described above.
  • the process therefore has the advantage, without the need to clean the images, to overcome disturbances, whatever their nature.
  • a window 14 without shutters has been detected.
  • FIG. 6C illustrates the result of the inference performed on an image 12 consecutive to the image 11.
  • the window 14 of the facade F1 is visible on the images 11 and 12, which allows to match the said images.
  • the image 13 shows a facade F3 of the building, on which have been detected a French window 15 and a window 16.
  • the calibration of each image is based on the existence of a duality between:
  • extrinsic parameters for example, angles and / or proportions
  • these parallelepipeds correspond to objects detected in the image and to which one or more geometric constraints have been associated
  • intrinsic parameters of the camera some of which are known (for example, its optical center, the proportion of pixels, etc.).
  • This duality implies a system of equations which, if enough variables are known, can be solved to provide the calibration of the image.
  • the process matches the consecutive images by at least one characteristic object that they have in common.
  • the process is then able to calculate, for each facade, the position and the orientation of the line of sight of the two cameras through which the shots were taken.
  • the user manually positions, on each digital image that can not be calibrated automatically, a template for calibrating said image.
  • the process makes said template G appear at any point in the image (FIG. 7A).
  • the template G is in the form of two parallelograms G ', G "having a common vertical edge G'".
  • the user then slides said template G 'on the digital image so as to bring the vertical edge G' "along the edge of the corner of the building towards which the shot is directed, then deforms the parallelograms G ', G "so that their other vertical edge coincides with a vertical line of the building (for example, another vertical edge of a wall) and / or that at least one of the horizontal edges of the parallelograms coincides with a horizontal line of the building (for example, the floor, a balcony, the top of the window or door, etc.).
  • the user can also position the vertical edge of the template on a vertical line other than the edge of the corner of the building.
  • the template can be positioned in a frame, exterior or interior, window or door.
  • Figure 7B illustrates the template G placed on the image.
  • each image it suffices to visualize on each image at least one horizontal line and one vertical line (whether it belongs to an edge of the facade or to an element thereof (door, window, balcony, etc.) to be able to position a template and that the process is able to build the building model.
  • the method can be implemented with a template having other shapes than parallelograms, although the latter embodiment is particularly preferred because of the large number of horizontal and vertical lines in a building.
  • each image is associated with a geometric constraint, namely that each parallelogram actually represents a rectangle of the actual building in the image.
  • the process calibrates each image using the corresponding template.
  • FIG. 7C illustrates the principle of this scaling of the template N and the template N + 1 (where N is an integer between 1 and M, M being an integer between the number of digital images minus 2 and the number digital images).
  • the parallelogram common to both templates has vertical edges of length V- ⁇ , V 2 and horizontal edges Hi, H 2 in the reference frame R N of the template N and vertical edges of length V'-i, V 2 and horizontal of length ⁇ , H ' 2 in the reference frame R N + i of the template G N + i.
  • the standards R N and R N + 1 are constructed from the templates G N and G N + 1; the vectors of these marks are given by the direction vectors of the edges of the parallelograms and the ratio R of scaling is thus given by the following relation:
  • i is an integer equal to 1 or 2 and ⁇ , and a, are in the interval [0, 1].
  • the coefficients ⁇ and a make it possible to choose one or the other of the sides (for example, a vertical side or a horizontal side), or even a weighted combination of the different sides.
  • the parallelogram A N + 1 B N + 1 C N + 1 D N + 1 of the template G N + i which was not common with the template G N is positioned relative to the template G N in the reference R N of the template G N , and noted ABCD, the edge A N + 1 B N + 1 of the template G N + i (AB in the reference R N ) coinciding with the edge A N B N of the common parallelogram of the template G N.
  • the coordinates of the point A in the reference mark R N are either those of the point A N , the average of the coordinates of A N and A N + 1 , or any other combination making it possible to favor one of the templates.
  • the coordinates of the point B in the reference mark R N are either those of the point B N , the average of the coordinates of B N and B N + 1 , or any other combination making it possible to favor one of the templates.
  • the coordinates of the points C and D in R N are respectively equal to those of the points C N + i and D N + 1 (in R N + 1 ) which are expressed in the reference R N.
  • the user can place the openings (doors, windows) on each image.
  • the user can use the most appropriate digital image among the images on which this aperture appears.
  • the process asks the user to enter a dimension (for example, height or width) of this opening.
  • the process thus proceeds in a simple way to the calibration of the images.
  • the process is able to determine the position in the space of the different objects or templates , which allows to reconstruct the plans of the walls.
  • the process is able to locate the corners of the building.
  • the model consisting of the contours of the walls and, if appropriate, the objects they contain can then be displayed by the processing system for verification and possible modifications by the user using a device. Entrance.
  • the user can thus control a rotation of the model to visualize the different walls and, if necessary, add therewith the input device objects that have not been detected (for example an awning), or correct the form of complex objects (eg a recess).
  • this envelope is not limited to the external geometry of the building; on the contrary, because of the use of a grammar of the building which makes it possible to give meaning to the images, it consists of the organized assembly of the constituent elements of the building.
  • each part of the reconstructed envelope is a volume with a meaning in constructive terms (for example a wall, a roof, etc.).
  • the identification of the opening allows the location of the part.
  • the thickness of the interior partitions corresponds directly to the distance between the envelopes of two adjacent rooms.
  • an arrangement tool working in plan view and level allows the placement of the envelopes of the pieces using an input device such as a mouse.
  • the thickness of the partitions of the blind parts can arbitrarily be considered as equal to the average thickness of the other internal partitions of the building.
  • the above-mentioned layout tool can be used to adjust the thickness of the different partitions based on values entered by the user.
  • said layout tool can be used to refine details of the arrangement, for example the presence of a closet, etc.
  • This provides a data set representative of a three-dimensional envelope of the building which, moreover, can be represented in its real environment.
  • This envelope is editable by the user, in particular for a complete modeling of the interior of the building: positioning of the different levels, plan of parts, situation of the stairs.
  • the external model of the building is preferably represented in its environment, that is to say by positioning the model on the footprint of the building, which can be for example a digital image obtained at prior to a geographic information system.
  • the roof it is the user who, using an input device, draws it on the model obtained by the reconstruction.
  • the three-dimensional model thus obtained can advantageously be used to produce performance calculations in the building space or to model the interior layout of the building and simulate any transformation or supply of furniture and decoration.
  • the performances considered may be thermal performance, but also and without limitation mechanical performance, acoustics, air and water permeability, radiation (including light, absorption and emission), etc.
  • This determination can be made from the images of the building, according to the color, the texture of the facades and the roof, as well as at least one criterion chosen from the construction period and the geographical location of the building.
  • This determination can also use a database of constructive and architectural models, which contains reference digital images as well as reference data for materials used in a given region and during a given construction period.
  • Such a database is based on a typology of buildings by their period of construction and the region in which they are built.
  • the building stock - including, for the invention, individual houses - for a given geographical area (for example, the national territory) has been segmented into different segments corresponding to different construction completion periods, and to different regions of this area.
  • a typical building consists of a plurality of categories (eg roof, walls, partitions, doors, windows, etc.), themselves broken down into a plurality of parameters.
  • categories eg roof, walls, partitions, doors, windows, etc.
  • This architecture of the database makes it possible to describe all the constituent systems of the building.
  • the category “roof” is broken down into the following subcategories: number of roofs; roof slope; type of roof (for example, 2 or 4 sides); roofing materials; type of insulation; insulation material; presence of a screen under roof).
  • This description of the building is independent of the geometry of the building whose model is being sought, but it is used to characterize it.
  • the user informs the information he knows about the building (construction period, location, finish, wall structure, etc.).
  • the system refines the typical building associated with the user's building by comparing the parameters, the selected building being the one with the highest correspondence with the user's building.
  • the database is constructed in such a way that each construction model can be implemented with the data from the reconstructed three-dimensional envelope, thereby obtaining a characterized model of the building.
  • model and the database use the same parameters, so that it is possible to duplicate information from the database to the model to inform it.
  • said database of constructive and architectural models can be used during the inference phase of the automatic process.
  • This base comprises indeed, for the different groups of objects, a set of patterns of structures typical of a region and / or a construction period, appropriately encoded, within the reach of the skilled person.
  • the process is able to select the structural models associated with this geographical location and this build period to weight the vertices of the graph and threshold energy functions.
  • the database can thus influence the grammar of the building defined for the automatic detection of objects.
  • the building envelope Once the building envelope is rebuilt, its constituent elements (in particular the walls and the roof) can be associated with mechanical or physical characteristics, in particular thermal, acoustic, etc. from the description of the typical building.
  • the user may be asked to confirm or correct the information on the materials, or to complete them, for example by indicating the presence of interior insulation, etc.
  • the process then uses a material database and obtains, from the previously determined and stored material data, the insulation data of the different materials constituting the building envelope. The process then affects, at each facet of the three-dimensional envelope of the building, said insulation data, so as to produce a three-dimensional thermal model of the building.
  • This three-dimensional thermal model is stored for later use, including a calculation of the energy balance of the building and, if necessary, the simulation of the replacement of a window, the addition of an insulation layer, etc. .
  • the three-dimensional representation of the model can be enriched by additional layers reflecting the materials of the building systems (insulation, structure, finish) and / or by textures reflecting the typical building's cladding.
  • the three-dimensional representation can also be associated with building dimensions, making the model usable to study the layout of the building.
  • the representation of the building does not rely on a projection of the images on a reconstructed geometric volume, but on a modeling of the structure of the building envelope.
  • the mechanical and / or physical characteristics of the elements make it possible to control that the actions of the user (for example, the creation of a new opening) are viable.
  • the characterization of the envelope thus allows a faithful three-dimensional representation and a coherent manipulation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Civil Engineering (AREA)
  • Computer Graphics (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The invention relates to a method for modeling a building or at least one room of said building on the basis of the analysis of a limited number of photographs of walls of said building, implemented in a computer environment comprising processing means and storage means, characterised in that it comprises steps consisting in: storing the digital images of a number of essentially non-redundant photographs in a sequenced manner; identifying, in each digital image, the contour of at least one element that can be associated with a geometric constraint; applying a geometric constraint from a group of constraints to each contour; calibrating each digital image; calibrating the digital images in relation to each other by matching each element to the different images on which it has been identified; and constructing and storing a set of data representative of a three-dimensional envelope of the building or of said room using the geometric and semantic characteristics of the matched objects, said envelope consisting in an organised assembly of the component elements of the building.

Description

PROCEDE DE MODELISATION D'UN BATIMENT OU D'UNE PIECE DE CELUI-CI A PARTIR D'UN NOMBRE LIMITE DE PRISES DE VUES DE SES PAROIS  METHOD FOR MODELING A BUILDING OR A PART THEREOF FROM A LIMITED NUMBER OF SHOTS OF VIEWS OF ITS WALLS
DOMAINE DE L'INVENTION FIELD OF THE INVENTION
La présente invention concerne un procédé de modélisation d'un bâtiment ou d'au moins une pièce dudit bâtiment à partir de l'analyse d'un nombre limité de prises de vues de parois dudit bâtiment.  The present invention relates to a method of modeling a building or at least one room of said building from the analysis of a limited number of shots of walls of said building.
ARRIERE PLAN DE L'INVENTION BACKGROUND OF THE INVENTION
La modélisation de bâtiments existants en vue de les visualiser et les transformer virtuellement, par exemple pour déterminer leurs caractéristiques mécaniques et énergétiques et simuler l'impact sur ces caractéristiques de modifications envisagées, telles que le remplacement d'une fenêtre, l'isolation d'un mur ou d'un toit, etc., nécessite un certain nombre d'informations sur la géométrie du bâtiment.  Modeling of existing buildings for visualization and virtual transformation, for example to determine their mechanical and energy characteristics and simulate the impact on these characteristics of planned modifications, such as the replacement of a window, the isolation of a wall or a roof, etc., requires a certain amount of information on the geometry of the building.
II est connu de construire une image tridimensionnelle (3D) d'un bâtiment à partir de prises de vues numériques de l'extérieur dudit bâtiment sous différents angles.  It is known to construct a three-dimensional (3D) image of a building from digital shots of the exterior of said building from different angles.
Pour calibrer ces différentes prises de vues, c'est-à-dire déterminer, dans un référentiel donné, la position et l'orientation des façades visibles sur les prises de vues, il est connu de définir manuellement, sur chaque image numérique, des primitives qui seront mises en correspondance d'une image à l'autre.  To calibrate these different shots, that is to say, to determine, in a given frame, the position and the orientation of the facades visible on the shots, it is known to manually define, on each digital image, primitives that will be mapped from one image to another.
Par « primitive », on entend dans le présent texte une entité géométrique (point, courbe, droite, etc.) correspondant à une zone d'intérêt d'une image, c'est-à-dire une zone présentant des propriétés remarquables dans le cadre d'une analyse d'image.  By "primitive" is meant in the present text a geometric entity (point, curve, line, etc.) corresponding to an area of interest of an image, that is to say an area having remarkable properties in the framework of an image analysis.
L'article (Wilczkowiak, Sturm, & Boyer, 2004) fait référence à différentes méthodes de calibration basées sur l'utilisation de primitives et propose une technique consistant à positionner sur une image au moins un parallélépipède correspondant à une partie du bâtiment à représenter en trois dimensions, et à déduire de la position et de l'orientation dudit parallélépipède la calibration de l'image.  The article (Wilczkowiak, Sturm, & Boyer, 2004) refers to different calibration methods based on the use of primitives and proposes a technique of positioning on an image at least one parallelepiped corresponding to a part of the building to be represented in three dimensions, and to deduce the calibration of the image from the position and the orientation of said parallelepiped.
Une autre technique, dite « structure from motion » selon la terminologie anglo- saxonne, consiste à mettre en correspondance des primitives détectées sur un grand nombre de prises de vues présentant une faible différence d'angle de prise de vue (typiquement, moins de 15° entre deux images successives, pour éviter des distorsions) et un important recouvrement d'une image à l'autre.  Another technique, called "structure from motion" according to English terminology, consists in matching primitives detected on a large number of shots having a small difference in shooting angle (typically less than 15 ° between two successive images, to avoid distortions) and an important recovery from one image to another.
La calibration est réalisée par triangulation desdites primitives.  The calibration is performed by triangulation of said primitives.
Un exemple d'une telle méthode est décrit dans (Dick, Torr, Ruffle, & Cipolla, 2001 ). A l'issue de la triangulation, on obtient un nuage tridimensionnel de points non caractérisé, c'est-à-dire non associé à des entités physiques du bâtiment. An example of such a method is described in (Dick, Torr, Ruffle, & Cipolla, 2001). At the end of the triangulation, we obtain a three-dimensional cloud of points that is not characterized, that is to say, not associated with physical entities of the building.
Pour construire une image tridimensionnelle du bâtiment, il est nécessaire de détecter des plans (correspondant à des façades) dans ledit nuage tridimensionnel, de reconnaître sur chaque image des objets selon une approche probabiliste, de filtrer les objets détectés par mise en correspondance sur les différentes images et d'associer les objets reconnus aux plans (façades) détectés.  To build a three-dimensional image of the building, it is necessary to detect the planes (corresponding to facades) in said three-dimensional cloud, to recognize on each image objects according to a probabilistic approach, to filter the detected objects by matching on the different images and to associate the recognized objects with the detected plans (façades).
Ces deux types de méthodes nécessitent une intervention substantielle de l'utilisateur dans l'analyse des images.  Both types of methods require substantial user intervention in image analysis.
Par ailleurs, ces méthodes sont sensibles à la présence, sur les prises de vues, de perturbations occultant le bâtiment.  In addition, these methods are sensitive to the presence, on the shots, disturbances occulting the building.
De telles perturbations incluent notamment des objets (végétation, véhicules, autres bâtiments, etc.) masquant un partie du bâtiment, mais aussi des ombres ou des surexpositions importantes, ou encore de faibles contrastes.  Such disturbances include objects (vegetation, vehicles, other buildings, etc.) masking part of the building, but also significant shadows or overexpositions, or even low contrasts.
Ces perturbations empêchent une reconstruction complète et correcte d'une image tridimensionnelle du bâtiment.  These disturbances prevent a complete and correct reconstruction of a three-dimensional image of the building.
Or, les bâtiments sont rarement suffisamment dégagés pour que toutes leurs façades soient complètement visibles ; il est également difficilement possible, à un instant donné, d'obtenir des prises de vues suffisamment contrastées de chaque façade.  However, the buildings are rarely sufficiently cleared so that all their facades are completely visible; it is also difficult, at a given moment, to obtain sufficiently contrasted shots of each facade.
Pour s'affranchir de ces perturbations, il serait nécessaire de mettre en œuvre des algorithmes très puissants de nettoyage d'image.  To overcome these disturbances, it would be necessary to implement very powerful image cleaning algorithms.
Enfin, ces méthodes conduisent à projeter les images analysées sur des plans identifiés dans celles-ci et définissant les contours extérieurs du bâtiment.  Finally, these methods lead to project the analyzed images on plans identified in them and defining the external contours of the building.
La thèse (Wilczkowiak, 3D Modelling from Images Using Géométrie Constraints, 2004) décrit différents exemples de la reconstruction d'une image tridimensionnelle à partir d'une ou plusieurs images d'un bâtiment.  The thesis (Wilczkowiak, 3D Modeling from Images Using Constrained Geometry, 2004) describes different examples of the reconstruction of a three-dimensional image from one or more images of a building.
Cependant, cette image tridimensionnelle est inapte à refléter les caractéristiques constructives du bâtiment.  However, this three-dimensional image is incapable of reflecting the constructive characteristics of the building.
En effet, cette technique fournit donc, après la projection de l'image sur le contour volumique reconstruit, une représentation visuelle en trois dimensions du bâtiment, mais ne permet pas d'obtenir une enveloppe du bâtiment.  Indeed, this technique provides, after the projection of the image on the reconstructed volume contour, a three-dimensional visual representation of the building, but does not provide a building envelope.
Dans le présent texte, on désigne par « enveloppe d'un bâtiment » l'ensemble des parois qui séparent les espaces habitables du milieu extérieur ; l'enveloppe inclut donc typiquement les murs extérieurs et la toiture d'un bâtiment. Par extension, on entend par « enveloppe d'une pièce » l'ensemble des parois qui séparent ladite pièce du milieu extérieur et des autres pièces du bâtiment. In the present text, the term "envelope of a building" designates all the walls that separate living spaces from the outside environment; the envelope therefore typically includes the exterior walls and the roof of a building. By extension, we mean by "Envelope of a room" means all the walls separating said room from the outside environment and from other rooms of the building.
Par conséquent, l'enveloppe d'un bâtiment n'est pas limitée à la texture et à la géométrie extérieures du bâtiment mais correspond à un assemblage organisé des éléments constitutifs du bâtiment.  As a result, a building envelope is not limited to the exterior texture and geometry of the building, but is an organized assembly of building components.
Or, sur le marché des maisons individuelles, on cherche à proposer à un utilisateur, qui est par exemple le propriétaire de la maison, de procéder simplement à la modélisation de la maison.  However, in the market for single-family homes, it is sought to propose to a user, who is for example the owner of the house, to simply model the house.
Un tel utilisateur n'ayant pas nécessairement des connaissances dans l'analyse d'images et/ou dans la prise de vues, la première technique présente l'inconvénient de nécessiter une intervention substantielle de l'utilisateur pour l'interprétation des éléments caractéristiques et la représentation fidèle de l'image extérieure du bâtiment, tandis que la seconde requiert des prises de vues en grand nombre et répondant à des critères de qualité et de recouvrement trop contraignants pour obtenir une représentation fidèle de l'image extérieure du bâtiment.  Since such a user does not necessarily have knowledge in image analysis and / or shooting, the first technique has the disadvantage of requiring substantial intervention by the user for the interpretation of the characteristic elements and the faithful representation of the exterior image of the building, while the second requires a large number of shots and meeting quality and overlay criteria to obtain a faithful representation of the external image of the building.
Il est donc souhaitable de proposer un procédé de modélisation d'un bâtiment qui puisse être mis en œuvre moyennant une intervention minimale de l'utilisateur et ne nécessitant pas de la part de l'utilisateur de connaissances particulières en analyse d'images.  It is therefore desirable to provide a method of modeling a building that can be implemented with minimal user intervention and does not require the user to special knowledge in image analysis.
Il existe par ailleurs des situations dans lesquelles on cherche à modéliser l'agencement intérieur d'un bâtiment.  There are also situations in which one seeks to model the interior layout of a building.
Les méthodes existantes sont basées sur des outils de conception assistée par ordinateur (CAO), ou sur la recopie assistée de plans en 2D, ou encore sur l'utilisation des fonctions caméra et gyroscope d'un appareil portable pour assister les relevés de cotes.  Existing methods are based on computer-aided design (CAD) tools, 2D-assisted copy-copying, or the use of camera and gyroscope features of a portable device to assist with odds-reading.
Un but de l'invention est donc de proposer un procédé de modélisation d'un bâtiment à partir d'un nombre limité d'images dudit bâtiment.  An object of the invention is therefore to propose a method of modeling a building from a limited number of images of said building.
Un autre but de l'invention est de proposer un procédé de modélisation d'un bâtiment qui soit moins dépendant que les méthodes existantes vis-à-vis d'une occultation du bâtiment par des objets et/ou d'effets lumineux (ombres, surexpositions, faibles contrastes, etc.) éventuellement présents sur les prises de vues et qui permette d'éviter de corriger et de nettoyer les images en vue d'obtenir un modèle fidèle au bâtiment original.  Another object of the invention is to propose a method for modeling a building that is less dependent than the existing methods with respect to a concealment of the building by objects and / or light effects (shadows, overexpositions, slight contrasts, etc.) possibly present on the shots and which makes it possible to avoid correcting and cleaning the images in order to obtain a model faithful to the original building.
Un autre but de l'invention est de proposer un procédé adapté pour modéliser à la fois l'intérieur et l'extérieur d'un bâtiment, selon les besoins de l'utilisateur. BREVE DESCRIPTION DE L'INVENTION Another object of the invention is to provide a method adapted to model both the inside and the outside of a building, according to the needs of the user. BRIEF DESCRIPTION OF THE INVENTION
Il est donc proposé un procédé de modélisation d'un bâtiment ou d'au moins une pièce dudit bâtiment à partir de l'analyse d'un nombre limité de prises de vues de parois dudit bâtiment, mis en œuvre dans un environnement informatique comprenant des moyens de traitement et des moyens de mémorisation.  It is therefore proposed a method of modeling a building or at least one room of said building from the analysis of a limited number of views of walls of said building, implemented in a computer environment including processing means and storage means.
Conformément à l'invention, ladite modélisation repose sur une décomposition du bâtiment en murs et/ou cloisons, des murs et/ou cloisons en objets et des objets en primitives détectables par analyse d'image, impliquant une mémoire encodant une grammaire du bâtiment ou des pièces d'un bâtiment qui se présente sous la forme d'un graphe dont les sommets sont les groupes d'objets, les objets et les structures des objets appartenant à chaque mur ou cloison et dont les extrémités sont les primitives détectées par analyse d'image, lesdits sommets étant reliés par des règles de relations et de contraintes géométriques et/ou spatiales.  According to the invention, said modeling is based on a decomposition of the building into walls and / or partitions, walls and / or partitions into objects and primitive objects detectable by image analysis, involving a memory encoding a grammar of the building or parts of a building in the form of a graph whose vertices are groups of objects, objects and structures of objects belonging to each wall or partition and whose ends are the primitives detected by analysis of image, said vertices being linked by rules of geometric and / or spatial relations and constraints.
Ce procédé comprend les étapes consistant à :  This method comprises the steps of:
- mémoriser de manière ordonnée les images numériques d'un certain nombre de prises de vues essentiellement non redondantes, chaque image numérique correspondant à une prise de vue sur laquelle deux murs ou cloisons adjacents dudit bâtiment ou de ladite pièce du bâtiment sont visibles, les murs ou cloisons possédant au moins un objet caractéristique au contour identifiable par analyse d'image,  storing in an orderly manner the digital images of a number of essentially non-redundant shots, each digital image corresponding to a shot on which two adjacent walls or partitions of said building or said room of the building are visible, the walls or partitions having at least one characteristic object with an identifiable contour by image analysis,
- détecter, par analyse d'image dans chaque image numérique, des contours d'objets caractéristiques présents dans des zones d'image identifiées comme des zones de mur ou de cloison,  detecting, by image analysis in each digital image, contours of characteristic objects present in image zones identified as wall or partition zones,
- appliquer à chaque contour une contrainte géométrique parmi un ensemble de contraintes,  - apply to each contour a geometric constraint among a set of constraints,
- calibrer chaque image numérique,  - calibrate each digital image,
- calibrer les images numériques les unes par rapport aux autres par mise en correspondance de chaque objet caractéristique sur les différentes images sur lesquelles il a été identifié,  calibrating the digital images relative to one another by mapping each characteristic object to the different images on which it has been identified,
- construire et mémoriser un jeu de données de modélisation d'une enveloppe tridimensionnelle du bâtiment ou de ladite pièce en utilisant les caractéristiques géométriques et sémantiques des objets mis en correspondance, ladite enveloppe consistant en un assemblage organisé des éléments constitutifs du bâtiment.  constructing and storing a modeling data set of a three-dimensional envelope of the building or of said room by using the geometric and semantic characteristics of the objects mapped, said envelope consisting of an organized assembly of the constituent elements of the building.
Par « paroi » on entend ici un volume qui constitue une partie de l'enveloppe du bâtiment ou de la pièce, et non une surface correspondant à la partie apparente dudit volume. Selon les cas, on considère soit une paroi extérieure (ou façade) du bâtiment, soit une paroi intérieure du bâtiment (mur ou cloison). By "wall" is meant here a volume which constitutes a part of the envelope of the building or the room, and not a surface corresponding to the apparent part of said volume. Depending on the case, consider either an outer wall (or facade) of the building, or an inner wall of the building (wall or partition).
En d'autres termes, une paroi présente une certaine fonction (par exemple, un mur porteur), une certaine épaisseur, et un ou plusieurs matériaux constituant les éléments constitutifs d'un mur intérieur ou extérieur, à savoir une structure recouverte, le cas échéant, d'une couche d'isolation et/ou d'un revêtement.  In other words, a wall has a certain function (for example, a load-bearing wall), a certain thickness, and one or more materials constituting the constituent elements of an interior or exterior wall, namely a covered structure, the case optionally, an insulation layer and / or a coating.
En effet, le procédé permet soit de construire un modèle extérieur du bâtiment, à partir de prises de vues de chacune de ses façades, soit un modèle intérieur du bâtiment, à partir de prises de vues de chacune des parois intérieures des différentes pièces.  Indeed, the method allows either to build an external model of the building, from shots of each of its facades, or an interior model of the building, from shots of each of the interior walls of the various rooms.
Par « nombre limité » on entend dans le présent texte qu'il suffit que chaque paroi du bâtiment soit visible sur deux images correspondant à des angles de vues différents pour que la méthode puisse être mise en œuvre.  By "limited number" is meant in this text that it is sufficient that each wall of the building is visible on two images corresponding to different angles of view for the method can be implemented.
Par « objet caractéristique » on entend dans le présent texte une entité physique appartenant à une paroi du bâtiment, telle qu'une porte, une fenêtre, des volets, un balcon, etc., ou sa représentation dans une image numérique.  By "characteristic object" is meant in the present text a physical entity belonging to a wall of the building, such as a door, a window, shutters, a balcony, etc., or its representation in a digital image.
Il convient donc de distinguer un tel objet d'une primitive.  It is therefore necessary to distinguish such an object from a primitive.
En effet, alors que la primitive est un groupe de points associés à une zone d'intérêt de l'image, qui n'a pas de réalité physique, l'objet est une entité physique concrète.  Indeed, while the primitive is a group of points associated with an area of interest of the image, which has no physical reality, the object is a concrete physical entity.
En particulier, chaque objet est associé à au moins une contrainte géométrique, c'est-à- dire une condition relative à sa géométrie.  In particular, each object is associated with at least one geometric constraint, that is to say a condition relating to its geometry.
Par « contrainte géométrique », on entend donc par exemple, mais de manière non limitative, le fait que deux parois adjacentes soient inclinées de 90° l'une par rapport à l'autre, le fait qu'une porte ou une fenêtre présente une forme rectangulaire, etc.  By "geometrical stress" is meant, for example, but in a nonlimiting manner, the fact that two adjacent walls are inclined at 90 ° relative to one another, the fact that a door or a window has a rectangular shape, etc.
De préférence, au moins certains desdits objets caractéristiques correspondent à des ouvertures du bâtiment ou d'une pièce du bâtiment.  Preferably, at least some of said characteristic objects correspond to openings of the building or part of the building.
Par ailleurs, la modélisation comprend une phase itérative de détection et d'inférence comprenant la détection des primitives par analyse d'image, la classification des primitives selon leur probabilité d'appartenance à un objet caractéristique, et une étape d'inférence consistant à affecter à chaque objet les primitives qui composent son contour et, le cas échéant, à compléter ledit contour en utilisant au moins une contrainte géométrique ou une règle de relation ou de contrainte géométrique et/ou spatiale entre objets ou groupes d'objets d'une même paroi.  Furthermore, the modeling comprises an iterative phase of detection and inference comprising the detection of primitives by image analysis, the classification of the primitives according to their probability of belonging to a characteristic object, and an inference step consisting in assigning to each object the primitives that compose its contour and, if necessary, to complete said contour by using at least one geometric constraint or a geometrical and / or spatial relationship or constraint rule between objects or groups of objects of the same wall.
De manière particulièrement avantageuse, la phase d'inférence met en jeu les relations entre deux images consécutives. D'autre part, la classification des primitives peut mettre en jeu une base de modèles construite par apprentissage et mémorisée. In a particularly advantageous manner, the inference phase involves the relations between two consecutive images. On the other hand, the classification of primitives may involve a model base constructed by learning and stored.
Le procédé de l'invention comporte avantageusement une variante manuelle, applicable lorsqu'au moins une des images numériques ne peut être calibrée, et qui comprend la mise en place d'un gabarit sur ladite au moins une image numérique, ledit gabarit étant formé de deux parallélogrammes présentant un côté vertical commun, de sorte que ledit côté vertical commun coïncide avec une ligne verticale du bâtiment ou de ladite pièce du bâtiment et que les autres côtés des parallélogrammes soient alignés sur des lignes verticales ou horizontales du bâtiment ou de ladite pièce de bâtiment.  The method of the invention advantageously comprises a manual variant, applicable when at least one of the digital images can not be calibrated, and which comprises the implementation of a template on said at least one digital image, said template being formed of two parallelograms having a common vertical side, such that said common vertical side coincides with a vertical line of the building or said building part and that the other sides of the parallelograms are aligned with vertical or horizontal lines of the building or said room building.
Lorsqu'il existe au moins deux images ne pouvant être calibrées, la calibration des images les unes par rapport aux autres est effectuée par mise en correspondance des gabarits de deux images numériques consécutives.  When there are at least two images that can not be calibrated, the calibration of the images relative to each other is performed by matching the templates of two consecutive digital images.
De manière avantageuse, après ladite mise en correspondance des gabarits, on met en place sur chaque image les ouvertures du bâtiment ou de ladite pièce du bâtiment.  Advantageously, after said template matching, is placed on each image openings of the building or said building part.
Par ailleurs, après ladite mise en correspondance des gabarits, on étalonne les images, de préférence en saisissant une dimension d'une ouverture mise en place manuellement sur une image.  Furthermore, after said template matching, the images are calibrated, preferably by capturing a dimension of an aperture set manually on an image.
Dans ce procédé, on peut mettre en place le gabarit et/ou les ouvertures sur une image par une technique de glisser-déposer.  In this method, the template and / or the openings can be placed on an image by a drag-and-drop technique.
Selon un mode de réalisation, les parois sont des façades du bâtiment.  According to one embodiment, the walls are facades of the building.
De manière alternative ou complémentaire, les parois sont des parois intérieures du bâtiment, une enveloppe tridimensionnelle des pièces correspondantes du bâtiment étant alors reconstruite.  Alternatively or complementary, the walls are internal walls of the building, a three-dimensional envelope corresponding parts of the building being then reconstructed.
Le procédé peut en outre comprendre les étapes suivantes :  The method may further include the steps of:
- détermination, à partir d'au moins une image numérique et/ou à partir d'une base de données architecturale d'images numériques de référence, et en fonction d'au moins un critère choisi parmi la période de construction et la situation géographique du bâtiment, des données représentatives des matériaux constituant le bâtiment, notamment les murs et la toiture du bâtiment,  determining, from at least one digital image and / or from an architectural database of reference digital images, and according to at least one criterion selected from the construction period and the geographical location of the building, data representative of the materials constituting the building, including the walls and the roof of the building,
- détermination, à partir d'une base de données de matériaux mémorisée et desdites données de matériaux, de données mécaniques ou physiques desdits matériaux,  determining, from a stored materials database and said material data, mechanical or physical data of said materials,
- affectation, à chacun des éléments de l'enveloppe tridimensionnelle du bâtiment, desdites données mécaniques ou physiques, pour produire et mémoriser un modèle tridimensionnel caractérisé du bâtiment. L'invention concerne également un procédé de calcul du bilan énergétique d'un bâtiment, comprenant les étapes suivantes : assigning, to each element of the three-dimensional envelope of the building, said mechanical or physical data, to produce and memorize a three-dimensional model characterized by the building. The invention also relates to a method for calculating the energy balance of a building, comprising the following steps:
- lire dans des moyens de mémorisation le modèle tridimensionnel obtenu par le procédé décrit ci-dessus,  read in storage means the three-dimensional model obtained by the method described above,
- calculer à partir des données géométriques et d'isolation dudit modèle, un bilan énergétique du bâtiment.  - calculate from the geometric data and insulation of said model, an energy balance of the building.
BREVE DESCRIPTION DES DESSINS BRIEF DESCRIPTION OF THE DRAWINGS
D'autres caractéristiques et avantages de l'invention ressortiront de la description détaillée qui va suivre, en référence aux dessins annexés sur lesquels :  Other characteristics and advantages of the invention will emerge from the detailed description which follows, with reference to the appended drawings in which:
la figure 1 est un diagramme fonctionnel illustrant les différentes étapes du processus selon deux variantes d'exécution de l'invention,  FIG. 1 is a functional diagram illustrating the various steps of the process according to two variant embodiments of the invention,
la figure 2 illustre le principe de l'ordonnancement des images numériques, la figure 3 illustre une partie d'un graphe représentant la grammaire du bâtiment, - la figure 4 illustre un exemple de décomposition d'un volet en plusieurs structures puis la décomposition de chacune de ces structures en primitives,  FIG. 2 illustrates the principle of the scheduling of digital images, FIG. 3 illustrates a part of a graph representing the grammar of the building, FIG. 4 illustrates an example of decomposition of a shutter into several structures and then the decomposition of each of these primitive structures,
les figures 5A et 5B illustrent respectivement des exemples de contraintes spatiales et de contraintes géométriques employées pour modéliser une fenêtre avec volets, les figures 6A à 6C illustrent de manière schématique des étapes du procédé mis en œuvre de manière automatique,  FIGS. 5A and 5B respectively illustrate examples of spatial constraints and geometrical constraints used to model a window with flaps, FIGS. 6A to 6C schematically illustrate steps of the method implemented automatically,
les figures 7A à 7F illustrent de manière schématique des étapes du procédé mis en œuvre manuellement.  FIGS. 7A to 7F schematically illustrate steps of the method implemented manually.
DESCRIPTION DETAILLEE DE L'INVENTION DETAILED DESCRIPTION OF THE INVENTION
L'exemple de mise en œuvre du procédé de modélisation décrit en détail plus bas s'applique avantageusement à un habitat individuel, bien que l'invention s'applique plus généralement à tout type de bâtiment.  The example of implementation of the modeling method described in detail below applies advantageously to an individual habitat, although the invention applies more generally to any type of building.
Le procédé présente cependant un avantage particulier pour les maisons individuelles, par rapport aux immeubles d'habitation ou de bureaux, dans la mesure où l'utilisateur susceptible de modéliser le bâtiment n'est généralement pas un spécialiste du traitement d'images ni de la modélisation par ordinateur.  However, the process has a particular advantage for single-family homes, compared to residential or office buildings, since the user likely to model the building is generally not a specialist in image processing or computer modeling.
Pour les mêmes raisons, le procédé s'applique également avantageusement à un appartement individuel au sein d'un immeuble collectif. A cet égard, un avantage du procédé est qu'il ne nécessite pas un grand nombre de prises de vues ni la compréhension, par l'utilisateur, des caractéristiques géométriques des images. For the same reasons, the method also applies advantageously to an individual apartment in a building. In this respect, an advantage of the method is that it does not require a large number of shots nor the understanding, by the user, of the geometric characteristics of the images.
Par ailleurs, le procédé est moins dépendant que les méthodes existantes vis-à-vis des objets susceptibles d'occulter le bâtiment et des effets lumineux affectant la qualité des prises de vues.  Moreover, the method is less dependent than the existing methods vis-à-vis objects likely to obscure the building and lighting effects affecting the quality of shooting.
Le procédé n'exige donc pas de l'utilisateur que celui-ci fournisse des images d'une qualité particulière et peut être mis en œuvre pour autant que le bâtiment ne soit pas totalement occulté et qu'un contraste minimal soit respecté sur les prises de vues.  The method therefore does not require the user to provide images of a particular quality and can be implemented provided that the building is not completely obscured and a minimum contrast is respected on the outlets of views.
Selon une forme d'exécution de l'invention, la calibration des différentes images est réalisée de manière automatique, sans intervention substantielle de l'utilisateur. Comme expliqué en détail plus bas, cette calibration repose sur la détection automatique d'objets caractéristiques sur chaque image.  According to one embodiment of the invention, the calibration of the different images is performed automatically, without substantial intervention of the user. As explained in detail below, this calibration is based on the automatic detection of characteristic objects on each image.
Selon une autre forme d'exécution de l'invention, lorsqu'au moins une des images numérique ne peut être calibrée de manière automatique, le procédé permet néanmoins, moyennant une intervention manuelle minimale de l'utilisateur, de calibrer les images et de reconstruire l'enveloppe tridimensionnelle du bâtiment ou de la pièce intérieure considérée.  According to another embodiment of the invention, when at least one of the digital images can not be calibrated automatically, the method nevertheless makes it possible, with minimum manual intervention by the user, to calibrate the images and to reconstruct the three-dimensional envelope of the building or interior room considered.
Le diagramme fonctionnel de la figure 1 illustre différentes étapes du procédé selon ces deux formes d'exécution, chacune des étapes étant décrite en détail plus bas.  The functional diagram of FIG. 1 illustrates different steps of the method according to these two embodiments, each of the steps being described in detail below.
Une première étape S101 consiste à ordonner les images numériques par rapport à l'empreinte du bâtiment ou de la pièce intérieure considérée.  A first step S101 consists in ordering the digital images with respect to the footprint of the building or interior room considered.
Ladite empreinte peut être soit fournie de manière automatique (donnée d'entrée D101 ) par un système d'information géographique B101.  Said fingerprint can either be provided automatically (input data D101) by a geographic information system B101.
De manière alternative, l'empreinte peut être tracée manuellement par l'utilisateur (donnée d'entrée D102).  Alternatively, the imprint can be manually traced by the user (input data D102).
A partir des images numériques ordonnées, le procédé peut comprendre des étapes mises en œuvre de manière différente selon que toutes les images peuvent être calibrées de manière automatique ou non, une première série d'étapes impliquant une intervention manuelle de l'utilisateur (branche M du diagramme), une second série d'étapes étant mise en œuvre de manière automatique (branche A du diagramme).  From the ordered digital images, the method may comprise steps implemented differently depending on whether all the images can be calibrated automatically or not, a first series of steps involving manual intervention by the user (branch M of the diagram), a second series of steps being implemented automatically (branch A of the diagram).
Par défaut, c'est la variante automatique qui est mise en œuvre.  By default, it is the automatic variant that is implemented.
Cependant, il est possible de passer de la mise en œuvre automatique à la mise en œuvre manuelle si le processus détecte, lors d'une étape de la variante automatique, que la calibration d'au moins une image ne peut être réalisée, ou que la calibration obtenue présente une qualité insuffisante pour la reconstruction de l'enveloppe tridimensionnelle du bâtiment ou d'une pièce intérieure considérée. However, it is possible to switch from automatic implementation to manual implementation if the process detects, during a step of the automatic variant, that the calibration of at least one image can not be performed, or that the calibration obtained is of insufficient quality for the reconstruction of the three-dimensional envelope of the building or of an interior room considered.
Cette situation peut se produire par exemple lorsqu'aucun objet caractéristique ne peut être détecté sur une image numérique. En effet, comme cela sera expliqué en détail plus bas, le processus vise à éviter de fausses détections ; il est donc possible que trop de primitives d'une image numérique soient rejetées pour qu'un objet caractéristique puisse être détecté.  This situation can occur for example when no characteristic object can be detected on a digital image. Indeed, as will be explained in detail below, the process aims to avoid false detections; therefore, it is possible that too many primitives of a digital image are rejected so that a characteristic object can be detected.
Cette situation peut également se produire lorsque la calibration d'une image échoue, par exemple lorsqu'il existe des singularités, ou que la calibration obtenue est jugée de qualité insuffisante. Le processus est en effet en mesure d'évaluer la qualité d'une calibration en comparant, par exemple au niveau des angles, le résultat obtenu avec le parallélépipède réel auquel il est censé correspondre.  This situation can also occur when the calibration of an image fails, for example when there are singularities, or that the calibration obtained is considered of insufficient quality. The process is indeed able to evaluate the quality of a calibration by comparing, for example at the level of the angles, the result obtained with the real parallelepiped which it is supposed to correspond.
Ainsi, et bien que cela ne soit pas représenté sur le diagramme fonctionnel de la figure 1 , il peut exister des boucles de retour d'une étape (par exemple S102A ou S104) de la variante automatique vers la première étape de la variante manuelle.  Thus, and although this is not shown in the functional diagram of FIG. 1, there may be return loops of a step (for example S102A or S104) of the automatic variant to the first step of the manual variant.
Une première étape consiste à identifier, dans chaque image numérique, le contour d'au moins un élément susceptible d'être associé à une contrainte géométrique.  A first step consists in identifying, in each digital image, the contour of at least one element that can be associated with a geometric constraint.
Dans la variante automatique, ledit élément consiste en au moins un objet caractéristique du bâtiment qui est détecté automatiquement sur chaque image (étape S102A).  In the automatic variant, said element consists of at least one characteristic object of the building which is automatically detected on each image (step S102A).
Dans la variante manuelle, ledit élément consiste en un gabarit qui est placé manuellement par l'utilisateur sur chaque image (étape S102M).  In the manual variant, said element consists of a template that is placed manually by the user on each image (step S102M).
Ensuite, dans les deux cas, on applique à l'élément considéré (gabarit ou objet détecté) au moins une contrainte géométrique (étape S 103).  Then, in both cases, at least one geometric constraint (step S 103) is applied to the element considered (template or object detected).
Chaque image peut ainsi être calibrée (étape S104).  Each image can thus be calibrated (step S104).
Ensuite, on calibre les images les unes par rapport aux autres en mettant en correspondance chaque élément sur les différentes images sur lesquelles il a été identifié.  Then, the images are calibrated relative to each other by matching each element on the different images on which it has been identified.
Dans la version manuelle, c'est le gabarit d'une image qui est mis en correspondance avec le gabarit de l'image consécutive (étape S105M).  In the manual version, it is the template of an image that is mapped to the template of the consecutive image (step S105M).
Dans la version automatique, c'est chaque objet caractéristique détecté automatiquement dans une image qui est mis en correspondance avec le même objet détecté sur une image consécutive (étape S105A).  In the automatic version, it is each characteristic object detected automatically in an image that is mapped to the same object detected on a consecutive image (step S105A).
Dans la version manuelle, dans la mesure où les ouvertures n'ont pu être détectées, c'est l'utilisateur qui les met en place manuellement, par exemple par une technique de glisser-déposer. En outre, un étalonnage des images peut être effectué en saisissant une dimension d'une ouverture. In the manual version, insofar as the openings could not be detected, it is the user who sets them up manually, for example by a drag-and-drop technique. In addition, image calibration can be performed by entering a dimension of an aperture.
Cet étalonnage est mis en œuvre de préférence après la mise en correspondance des gabarits sur les images successives et avant la reconstruction de l'enveloppe tridimensionnelle du bâtiment ou d'une pièce intérieure considérée, de sorte que l'enveloppe tridimensionnelle ne soit pas seulement représentative des proportions mais également des dimensions du bâtiment ou de la pièce considérée ; cependant, on pourra effectuer l'étalonnage après la reconstruction de l'enveloppe sans pour autant sortir de la portée de la présente invention.  This calibration is preferably implemented after the matching of the templates on the successive images and before the reconstruction of the three-dimensional envelope of the building or of a considered interior part, so that the three-dimensional envelope is not only representative proportions but also dimensions of the building or room considered; however, it will be possible to perform the calibration after the reconstruction of the envelope without departing from the scope of the present invention.
A partir des caractéristiques géométriques et sémantiques des éléments mis en correspondance, on peut reconstruire un jeu de données représentatif d'une enveloppe tridimensionnelle du bâtiment ou de la pièce considérée (étape S106), qui peut être mémorisé en vue d'une utilisation ultérieure.  From the geometric and semantic features of the mapped elements, a data set representative of a three-dimensional envelope of the building or part considered (step S106) can be reconstructed, which can be stored for later use.
Une fois confrontée aux données constructives du bâtiment, ladite enveloppe tridimensionnelle fournit un modèle tridimensionnel complet du bâtiment ou des pièces le constituant.  Once confronted with the constructive data of the building, said three-dimensional envelope provides a complete three-dimensional model of the building or parts constituting it.
Ledit modèle n'est pas constitué uniquement d'une image tridimensionnelle représentant les limites externes du bâtiment, mais aussi des données constructives relatives aux éléments constitutifs du bâtiment.  This model does not consist solely of a three-dimensional image representing the external limits of the building, but also constructive data relating to the components of the building.
Par ailleurs, les éléments constitutifs du bâtiment sont décomposés, dans ledit modèle, en une ou plusieurs strates représentatives de leur structure.  Moreover, the constituent elements of the building are decomposed, in said model, into one or more strata representative of their structure.
Ainsi, pour un mur par exemple, le modèle comprend plusieurs strates correspondant successivement à un crépi extérieur, une couche de briques et une couche d'isolation intérieure.  Thus, for a wall for example, the model comprises several layers successively corresponding to an exterior plaster, a layer of bricks and an inner insulation layer.
En particulier, le procédé permet d'obtenir un modèle caractérisé du bâtiment.  In particular, the method makes it possible to obtain a characteristic model of the building.
Par « caractérisé » on entend le fait que le modèle est un ensemble cohérent des éléments constitutifs du bâtiment au regard de leurs caractéristiques et de leurs relations respectives, en fonction de la situation géographique et de l'implantation du bâtiment sur son terrain.  "Characterized" is understood to mean that the model is a coherent whole of the constituent elements of the building with regard to their characteristics and their respective relationships, depending on the geographical location and the location of the building on its land.
A cet effet, on utilise une base de données B107 de modèles constructifs et architecturaux, qui sera décrite en détail plus bas.  For this purpose, a database B107 of constructive and architectural models is used, which will be described in detail below.
A partir de la situation géographique et/ou la période de construction du bâtiment qui sont saisies par l'utilisateur (données D107), le processus identifie, dans la base de données B107, un modèle constructif du bâtiment (étape S107). Le processus adapte de manière automatique le modèle à la géométrie de l'enveloppe tridimensionnelle reconstruite (étape S108), et fournit un modèle caractérisé MC du bâtiment comprenant une représentation tridimensionnelle du bâtiment mais aussi les caractéristiques mécaniques (résistance des matériaux, etc.) et/ou physiques telles que les propriétés thermiques, acoustiques, etc. de celui-ci. From the geographical location and / or the construction period of the building that are entered by the user (data D107), the process identifies, in the database B107, a construction model of the building (step S107). The process automatically adapts the model to the geometry of the reconstructed three-dimensional envelope (step S108), and provides a characterized model MC of the building comprising a three-dimensional representation of the building but also the mechanical characteristics (strength of the materials, etc.) and / or physical properties such as thermal, acoustic, etc. of it.
Contrairement aux méthodes précitées, le procédé ne projette à aucun moment d'image du bâtiment sur l'enveloppe reconstruite.  Unlike the aforementioned methods, the process does not project at any time image of the building on the reconstructed envelope.
Ainsi, les images servent uniquement à une analyse et une interprétation en vue d'en extraire des informations permettant la reconstruction de l'enveloppe et du modèle, mais une fois ces informations extraites, les images ne sont plus utilisées.  Thus, the images are used only for analysis and interpretation in order to extract information enabling reconstruction of the envelope and the model, but once this information is extracted, the images are no longer used.
On va maintenant décrire en détail les différentes étapes du procédé dans le cadre d'une modélisation du bâtiment à partir de prises de vues de ses différentes façades.  We will now describe in detail the various steps of the process in the context of a modeling of the building from shots of its various facades.
Sauf mention spécifique, ces étapes s'appliquent de manière similaire à la modélisation de l'agencement intérieur du bâtiment à partir de prises de vues des différentes parois intérieures, pièce par pièce et, le cas échéant, niveau par niveau.  Unless specifically mentioned, these steps apply in a similar way to the modeling of the interior layout of the building from shots of the different interior walls, room by room and, where appropriate, level by level.
La modélisation extérieure et la modélisation intérieure du bâtiment peuvent être réalisées indépendamment l'une de l'autre ou combinées, une modélisation pouvant alors être utilisée pour compléter la seconde.  Exterior modeling and interior building modeling can be done independently of each other or combined, modeling can then be used to complete the second.
Ainsi, par exemple, dans le cas d'une maison individuelle, l'utilisateur peut effectuer une modélisation extérieure sur la base de prises de vues des façades, puis une modélisation intérieure d'une ou plusieurs pièces sur la base de prises de vues des parois intérieures desdites pièces.  Thus, for example, in the case of a single-family home, the user can perform external modeling on the basis of facade shots, and then an interior modeling of one or more rooms on the basis of shots of the houses. inner walls of said parts.
Lorsqu'une pièce possède une ouverture extérieure, présente dans l'enveloppe extérieure, la connaissance de cette ouverture dans le modèle intérieur permet de localiser la pièce par rapport au modèle extérieur du bâtiment.  When a room has an outer opening, present in the outer casing, the knowledge of this opening in the interior model can locate the room relative to the outside model of the building.
Dans le cas d'un appartement situé dans un immeuble collectif, l'utilisateur se focalisera généralement sur la modélisation intérieure de l'appartement et n'utilisera pas de prises de vues extérieures.  In the case of an apartment located in a multi-family building, the user will generally focus on the interior modeling of the apartment and will not use external shots.
Dans ce cas, un outil d'agencement décrit plus bas permettra de positionner les différentes pièces les unes par rapport aux autres une fois que leur enveloppe aura été reconstruite.  In this case, an arrangement tool described below will position the different parts relative to each other once their envelope has been reconstructed.
Enfin, dans le cas d'une maison mitoyenne, l'utilisateur peut procéder à une modélisation extérieure du bâtiment, mais, si celle-ci ne peut s'appuyer que sur des prises de vues de la façade avant et de la façade arrière, la modélisation pourra être incomplète en l'absence d'informations sur la profondeur. Cependant, dans ce cas, la modélisation de l'agencement intérieur, qui contient de telles informations, peut être utilisée pour compléter la modélisation extérieure. Finally, in the case of a terraced house, the user can proceed to an external modeling of the building, but, if it can only rely on images of the front and rear facade, modeling may be incomplete in the absence of depth information. However, in this case, the modeling of the interior layout, which contains such information, can be used to complement the external modeling.
Ordonnancement des images  Scheduling images
Une première étape du procédé consiste à mémoriser de manière ordonnée les images numériques d'un certain nombre de prises de vues essentiellement non redondantes.  A first step of the method is to store in an orderly manner the digital images of a number of essentially non-redundant shots.
Les prises de vues peuvent avoir été effectuées par l'utilisateur lui-même, par exemple au moyen d'un appareil photo numérique, ou bien être déjà enregistrées dans la mémoire d'un ordinateur, ou encore être téléchargeables à partir d'un serveur notamment via l'Internet.  The shots may have been made by the user himself, for example by means of a digital camera, or already stored in the memory of a computer, or be downloadable from a server especially via the Internet.
Par « essentiellement non redondantes », on entend d'une manière générale que l'on peut voir, sur chaque prise de vue, deux parois adjacentes, et qu'il suffit, pour la mise en œuvre du procédé, qu'une paroi soit visible sur deux prises de vues successives.  By "essentially non-redundant", it is generally understood that two adjacent walls can be seen on each shot, and that for the implementation of the method it is sufficient for one wall to be visible on two successive shots.
Avantageusement, ceci peut se traduire par le fait que, pour la mise en œuvre du procédé, il suffit de disposer d'une prise de vue au niveau de chaque angle du bâtiment, chaque prise de vue comprenant alors les deux façades formant entre elles l'angle considéré, en veillant qu'au moins une ligne verticale et une ligne horizontale, ou un objet caractéristique du bâtiment soient présents sur deux prises de vues consécutives.  Advantageously, this may result in the fact that, for the implementation of the method, it is sufficient to have a shot at each corner of the building, each shot then comprising the two facades forming between them. angle considered, ensuring that at least one vertical line and one horizontal line or a characteristic object of the building are present on two consecutive shots.
Dans la suite de la description, on se placera dans cette situation, même si l'invention n'est pas limitée à cette forme d'exécution.  In the remainder of the description, we will put ourselves in this situation, even if the invention is not limited to this embodiment.
L'utilisation des angles sur les prises de vues permet de bénéficier d'une perspective plus importante, qui permet d'améliorer la précision de la reconstruction.  The use of angles on the shots allows to benefit from a larger perspective, which improves the accuracy of the reconstruction.
Contrairement aux méthodes utilisant un grand nombre d'images, il n'est donc pas nécessaire de disposer de plusieurs vues, prises avec une faible différence (c'est-à-dire inférieure à environ 15°) d'angle de prise de vue, d'une même façade.  Contrary to methods using a large number of images, it is not necessary to have several views, taken with a small difference (that is to say less than about 15 °) angle of view , of the same facade.
Il n'est pas non plus nécessaire que les prises de vues aient été effectuées au moyen d'une caméra calibrée ou en respectant une procédure particulière.  It is also not necessary that the shots have been taken using a calibrated camera or by following a particular procedure.
Naturellement, dans le cas où le bâtiment présente une hauteur importante et où la position de prise de vue ne permet pas d'englober, sur une seule image, la totalité de la hauteur du bâtiment, il est possible d'effectuer, pour chaque angle du bâtiment, plusieurs prises de vues des différents niveaux d'altitude du bâtiment.  Naturally, in the case where the building has a high height and where the shooting position does not allow to encompass, in a single image, the entire height of the building, it is possible to perform, for each angle of the building, several shots of different levels of altitude of the building.
Pour permettre la calibration des images, l'utilisateur doit alors veiller à ce que les images de deux niveaux successifs présentent au moins une ligne verticale, une ligne horizontale et/ou un objet caractéristique en commun.  To allow the calibration of the images, the user must then ensure that the images of two successive levels have at least one vertical line, a horizontal line and / or a characteristic object in common.
Dans le cas d'une façade très longue, ou dans le cas d'un bâtiment mitoyen, avec un plan de joint séparant les deux parties de façade, on considère que ces deux parties constituent deux parois adjacentes faisant un angle de 180° entre elles. Pour ordonner les images, l'utilisateur trace manuellement l'empreinte au sol du bâtiment sur l'écran d'un ordinateur, à l'aide d'un dispositif d'entrée tel qu'une souris, une tablette graphique, etc., ou l'obtient auprès d'un système d'information géographique. In the case of a very long facade, or in the case of a joint building, with a joint plane separating the two facade parts, it is considered that these two parts constitute two adjacent walls forming an angle of 180 ° between them. . To order the images, the user manually traces the footprint of the building on the screen of a computer, using an input device such as a mouse, a graphics tablet, etc., or obtain it from a geographic information system.
L'empreinte ainsi définie est enregistrée dans la mémoire de l'ordinateur.  The fingerprint thus defined is saved in the memory of the computer.
Pour chaque angle du bâtiment, l'utilisateur affecte une image illustrant ledit angle à l'empreinte du bâtiment, et enregistre l'image correspondante avec son affectation.  For each corner of the building, the user assigns an image illustrating said angle to the building footprint, and records the corresponding image with its assignment.
Pour la modélisation intérieure, la procédure est la même que celle décrite ci-dessus, appliquée à chaque pièce individuellement.  For interior modeling, the procedure is the same as that described above, applied to each piece individually.
A cet effet, un outil permet de délimiter les différentes pièces à modéliser sur l'empreinte, en tenant compte de leur nombre d'angles, et, le cas échéant, de les nommer.  For this purpose, a tool makes it possible to delimit the different parts to be modeled on the impression, taking into account their number of angles, and, if necessary, to name them.
Lorsque le bâtiment dont on souhaite modéliser l'agencement intérieur comporte plusieurs étages, cette opération est effectuée niveau par niveau.  When the building of which we wish to model the interior layout has several floors, this operation is carried out level by level.
L'affectation des images peut être effectuée par exemple par une technique de glisser- déposer avec un dispositif d'entrée, en amenant des vignettes des différentes prises de vues sur les angles correspondants de l'empreinte du bâtiment ou des pièces correspondantes.  The assignment of the images can be performed for example by a drag-and-drop technique with an input device, by bringing thumbnails of the different shots to the corresponding angles of the footprint of the building or corresponding parts.
Cette affectation est réalisée de manière ordonnée, c'est-à-dire en tournant dans un sens donné (par exemple, le sens des aiguilles d'une montre) et en sélectionnant successivement pour chaque angle la vignette correspondante.  This assignment is performed in an orderly manner, that is to say by turning in a given direction (for example, clockwise) and selecting successively for each angle the corresponding thumbnail.
La figure 2 illustre le principe de cet ordonnancement des images numériques.  Figure 2 illustrates the principle of this sequencing of digital images.
Chaque angle A1 à A6 de l'empreinte 1 du bâtiment est repéré.  Each angle A1 to A6 of the footprint 1 of the building is located.
L'utilisateur se place successivement sur chaque angle, positionne approximativement la position P1 à P6 de l'appareil photo pour chaque prise de vue, télécharge la prise de vue correspondante à partir de l'emplacement dans lequel elle est enregistrée et mémorise chaque image 11 à 16 correspondant audit angle.  The user places himself at each angle, approximately positions the camera's P1 to P6 position for each shot, downloads the corresponding shot from the location in which it is recorded, and stores each image 11 at 16 corresponding to said angle.
Les différentes images 11 à 16 utilisées sont ainsi ordonnées.  The different images 11 to 16 used are thus ordered.
Dans un premier temps, on décrit ci-dessous la mise en œuvre automatique du processus.  First, the following describes the automatic implementation of the process.
Définition de la « grammaire » du bâtiment  Definition of the "grammar" of the building
La modélisation du bâtiment repose sur la décomposition dudit bâtiment en différentes parois (murs ou cloisons), chacune étant visible sur deux images, chaque paroi étant elle- même décomposée en objets (fenêtres, portes, etc.) qui lui appartiennent ; enfin, chaque objet peut être décomposé en primitives détectables sur les images.  The modeling of the building is based on the decomposition of the building into different walls (walls or partitions), each being visible on two images, each wall being itself decomposed into objects (windows, doors, etc.) that belong to it; finally, each object can be decomposed into detectable primitives on the images.
On modélise ainsi le bâtiment à l'aide d'un ensemble de règles de relations et de contraintes s'appliquant à ces différentes entités.  The building is modeled using a set of relationship rules and constraints applying to these different entities.
Ces règles dépendent des attributs géométriques et spatiaux des objets et des parois. A titre d'exemple non limitatif, ces règles peuvent être du type : les volets sont associés aux fenêtres, les bords hauts et bas des volets sont alignés avec ceux des fenêtres, la taille des volets est inférieure ou égale à celle de la fenêtre, etc. These rules depend on the geometric and spatial attributes of objects and walls. By way of non-limiting example, these rules can be of the type: the shutters are associated with the windows, the upper and lower edges of the shutters are aligned with those of the windows, the size of the shutters is less than or equal to that of the window, etc.
Cette modélisation se traduit par un graphe comprenant des sommets ET et OU reliés par les différentes règles.  This modeling results in a graph comprising AND and OR vertices connected by the different rules.
Un exemple d'une partie d'un tel graphe est illustré à la figure 3.  An example of a part of such a graph is illustrated in Figure 3.
Les groupes d'objets (c'est-à-dire l'ensemble des objets du même type, par exemple l'ensemble des fenêtres, l'ensemble des portes, etc.) et les règles les reliant sont modélisés mathématiquement par un champ aléatoire de Markov.  Groups of objects (that is to say all the objects of the same type, for example all the windows, the set of doors, etc.) and the rules linking them are modeled mathematically by a field Random Markov.
Dans le graphe, les groupes sont modélisés par des sommets ET.  In the graph, the groups are modeled by AND vertices.
Les objets (par exemple, fenêtres, portes, etc.) sont quant à eux décrits par des points de contours vectoriels ou primitives décrivant leur apparence dans l'image au niveau du pixel.  Objects (for example, windows, doors, etc.) are described by vectorial or primitive contour points describing their appearance in the image at the pixel level.
Dans la mesure où il existe plusieurs représentations possibles d'un objet dans l'image, les objets sont modélisés dans le graphe par des sommets OU.  Since there are several possible representations of an object in the image, the objects are modeled in the graph by OR vertices.
En effet, un objet peut généralement être défini par différentes combinaisons de primitives ; par exemple, le cadre d'une fenêtre peut être défini par un rectangle ou par quatre jonctions en forme de L.  Indeed, an object can generally be defined by different combinations of primitives; for example, the frame of a window can be defined by a rectangle or by four L-shaped junctions.
Les sommets ET et OU forment le graphe g définissant la grammaire du bâtiment.  The vertices ET and OR form the graph g defining the grammar of the building.
Le graphe g est donc défini par un ensemble S de sommets et un ensemble R de règles.  The graph g is thus defined by a set S of vertices and a set R of rules.
Chaque sommet S, de l'ensemble S est défini par un ensemble A d'attributs défini par A(Si) = {Xi, θί, σ,}, où Xi, θί, σ, sont, par exemple, respectivement le centre de gravité, l'orientation et l'échelle du sommet considéré. Each vertex S of the set S is defined by a set A of attributes defined by A (Si) = {Xi, θί, σ,}, where Xi, θί, σ, are, for example, respectively the center of gravity, orientation and scale of the considered vertex.
Les relations η de l'ensemble R sont fonction des attributs géométriques d'un ou plusieurs sommets. Leur valeur est notée φ,=η(Α(8)).  The relations η of the set R depend on the geometric attributes of one or more vertices. Their value is noted φ, = η (Α (8)).
Les principales catégories de relations sont les suivantes : échelle relative, position relative, inclusion, alignement, pourcentage de recouvrement, proportion, orientation relative (liste non exhaustive).  The main categories of relationships are: relative scale, relative position, inclusion, alignment, percent recovery, proportion, relative orientation (non-exhaustive list).
A titre d'exemple non limitatif, les relations entre groupes d'objets peuvent être du type : - les bords hauts des fenêtres et des portes d'un même niveau sont alignés ;  By way of non-limiting example, the relationships between groups of objects may be of the type: the upper edges of the windows and doors of the same level are aligned;
- les volets de type dauphinois sont situés de part et d'autre de la fenêtre ;  - Dauphine type shutters are located on either side of the window;
- la hauteur des fenêtres est inférieure ou égale à celle des portes ;  - the height of the windows is less than or equal to that of the doors;
- une fenêtre ne chevauche pas une porte ;  - a window does not overlap a door;
- les fenêtres et les portes sont incluses dans une façade.  - windows and doors are included in a facade.
A titre d'exemple non limitatif, les relations entre objets peuvent être du type : - les fenêtres d'un même niveau sont alignées ; By way of non-limiting example, the relationships between objects can be of the type: - the windows of the same level are aligned;
- les volets d'un même niveau sont alignés.  - the flaps of the same level are aligned.
Comme on peut le voir à la figure 3, le graphe g (dont seule une partie est représentée) comporte plusieurs niveaux.  As can be seen in Figure 3, the graph g (only part of which is represented) has several levels.
Les sommets ET sont représentés par une ellipse en trait plein, les sommets OU sont quant à eux représentés par une ellipse en pointillés, les relations entre objets ou entre groupes sont représentées par un arc de cercle en pointillés, et les rapports de hiérarchie sont schématisées par les flèches.  The AND vertices are represented by a solid ellipse, the OR vertices are represented by a dashed ellipse, the relations between objects or between groups are represented by a dashed arc, and the hierarchy relations are schematized by the arrows.
Le niveau supérieur (I) est celui du bâtiment, qui est illustré par un ensemble E| d'images comprenant les images ordonnées à partir desquelles la modélisation du bâtiment doit être effectuée.  The upper level (I) is that of the building, which is illustrated by a set E | of images comprising the ordered images from which building modeling is to be performed.
Sur la figure 3, seule une image numérique 11 est schématisée.  In Figure 3, only a digital image 11 is schematized.
Le niveau inférieur (II) comprend les groupes d'objets de chaque façade visible sur chacune des images ordonnées, par exemple, les groupes d'objets G1 à G5 des façades F1 et F2 visibles sur l'image 11 , etc.  The lower level (II) comprises the groups of objects of each facade visible on each of the ordered images, for example, the groups of objects G1 to G5 of the facades F1 and F2 visible on the image 11, etc.
Par exemple, le groupe G1 est celui des volets, le groupe G2 est celui des fenêtres, le groupe G3 est celui des portes, le groupe G4 est celui des balcons, etc. ; cette liste étant naturellement non exhaustive.  For example, the group G1 is that of the shutters, the group G2 is that of the windows, the group G3 is that of the doors, the group G4 is that of the balconies, etc. ; this list is naturally not exhaustive.
Sous le niveau II, se trouve le niveau III des objets appartenant à chacun des groupes. Naturellement, pour une même façade, un groupe peut comprendre plusieurs objets. Below level II, there is level III of objects belonging to each group. Naturally, for the same facade, a group can include several objects.
Sous le niveau III, se trouve le niveau IV des structures des objets, c'est-à-dire les différentes formes que peut présenter un objet déterminé. Below level III, there is level IV of the structures of objects, that is to say the different forms that a specific object can present.
A titre purement illustratif, un objet de type volet peut ainsi présenter une structure SOI de type volet battant plein avec écharpes, une structure S02 de type volet battant plein, une structure S03 de type volet dauphinois, etc.  For purely illustrative purposes, an object of the shutter type may thus have a SOI structure of the full swing shutter type with scarves, a S02 structure of full swing shutter type, a S03 structure of Dauphine shutter type, etc.
Enfin, le niveau le plus bas du graphe (V) est celui des primitives qui composent les différentes structures et qui constituent les extrémités du graphe.  Finally, the lowest level of the graph (V) is that of the primitives that make up the different structures and which constitute the ends of the graph.
Les primitives comprennent des points d'intérêt, tels que des jonctions en forme de T, de L, de Y, ainsi que des formes géométriques simples, telles que des segments, des rectangles, etc.  The primitives include points of interest, such as T-shaped, L-shaped, Y-shaped junctions, as well as simple geometric shapes, such as segments, rectangles, and so on.
La figure 4 illustre plus précisément la décomposition d'un objet en structures puis en primitives.  Figure 4 illustrates more precisely the decomposition of an object in structures then in primitives.
Dans l'exemple illustré à la figure 4, l'objet est un volet. Les trois exemples de structures SOI à S03 illustrées sont, de la gauche vers la droite de la figure : un volet battant plein avec écharpes, un volet battant plein et un volet dauphinois. In the example shown in Figure 4, the object is a shutter. The three examples of structures SOI to S03 illustrated are, from the left to the right of the figure: a flap full shut with scarves, a shutter full shutter and a shutter Dauphinois.
Chaque structure du niveau IV du graphe g peut être décomposée en une combinaison de primitives (niveau Va).  Each structure of level IV of the graph g can be decomposed into a combination of primitives (level Va).
Par exemple, le contour du volet peut être décomposé en deux jonctions en forme de L, chaque jonction pouvant être dissociée de l'autre et décomposée elle-même en primitives de type segments (niveau Vb).  For example, the outline of the flap can be decomposed into two L-shaped junctions, each junction being dissociable from the other and decomposed itself into segment type primitives (level Vb).
Les modèles de structures sont essentiellement définis par des contraintes géométriques, c'est-à-dire par des jonctions et des liaisons, plutôt que par des dimensions particulières.  Structure models are essentially defined by geometric constraints, that is, by junctions and connections, rather than by particular dimensions.
La figure 5A illustre ainsi un exemple de contraintes géométriques s'appliquant à une fenêtre 10 encadrée de volets 1 1 a, 1 1 b.  FIG. 5A thus illustrates an example of geometrical constraints applying to a framed window 10 of shutters 11a, 11b.
Chaque élément de la fenêtre (volet, cadre et carreaux), qui est de forme rectangulaire, est défini par quatre coins (jonctions J en forme de L) et par quatre liaisons L en forme de segments.  Each element of the window (shutter, frame and tiles), which is rectangular in shape, is defined by four corners (L-shaped J-junctions) and four segment-shaped L-links.
Dans l'exemple illustré ici, le modèle est représenté de face, mais il est également possible que les modèles de structures incluent une notion de perspective.  In the example illustrated here, the model is represented from the front, but it is also possible that the structure models include a notion of perspective.
D'autre part, les modèles de structures sont également définis par des contraintes spatiales, c'est-à-dire le positionnement relatif des différents éléments.  On the other hand, the models of structures are also defined by spatial constraints, that is to say the relative positioning of the different elements.
Dans l'exemple de la figure 5B, qui illustre également une fenêtre encadrée de volets, les contraintes spatiales sont que la fenêtre 10 présente à sa gauche un volet gauche 1 1 a et à sa droite un volet droit 1 1 b.  In the example of FIG. 5B, which also illustrates a flanked window of flaps, the spatial constraints are that the window 10 has on its left a left flap 11a and on its right a right flap 11b.
Les contraintes spatiales de la fenêtre elle-même sont que la fenêtre est composée d'un carreau gauche 10a et d'un carreau droit 10b.  The spatial constraints of the window itself are that the window is composed of a left tile 10a and a right tile 10b.
La grammaire du bâtiment prend en outre en compte le fait qu'une même façade est visible sur au moins deux images.  The grammar of the building also takes into account the fact that the same facade is visible on at least two images.
Des relations inter-images permettent alors de confronter le contenu détecté des façades communes de deux images consécutives.  Inter-image relations then make it possible to confront the detected content of the common facades of two consecutive images.
Ces relations supplémentaires peuvent être utilisées dès le processus d'inférence décrit ci-dessous - et non uniquement pour la reconstruction finale de l'enveloppe - pour compléter ou éliminer des sommets du graphe.  These additional relationships can be used as early as the inference process described below - and not just for the final reconstruction of the envelope - to complete or eliminate vertices of the graph.
La mise en correspondance des objets d'une même façade est ensuite déduite du graphe. A partir de la description qui précède des graphes d'objets et de leurs contraintes, l'homme du métier saura sans difficulté organiser la manière dont ces graphes, ces objets et ces contraintes sont encodés et mémorisés dans un système de traitement informatique. The matching of the objects of the same facade is then deduced from the graph. From the foregoing description of object graphs and their constraints, those skilled in the art will readily understand how these graphs, objects and constraints are encoded and stored in a computer processing system.
Apprentissage  Learning
De manière particulièrement avantageuse mais non impérative, le procédé comprend un processus d'apprentissage permettant de rendre de plus en plus robuste la détection des objets.  In a particularly advantageous but not imperative manner, the method comprises a learning process making it possible to make the detection of objects more and more robust.
Cet apprentissage génère une grammaire conditionnée par la situation géographique et la période de construction du bâtiment.  This learning generates a grammar conditioned by the location and construction period of the building.
Cet apprentissage est réalisé à partir d'images numériques sélectionnées d'un certain nombre de bâtiments représentatifs d'une région et/ou d'une période de construction.  This learning is done from selected digital images of a number of buildings representative of a region and / or a construction period.
Ces images sont segmentées manuellement par un développeur, puis les primitives sont détectées et classifiées à l'aide de la grammaire du bâtiment, avec l'affectation d'un coefficient de pondération traduisant leur pertinence et leur fréquence.  These images are segmented manually by a developer, then the primitives are detected and classified using the building's grammar, with the assignment of a weighting coefficient reflecting their relevance and frequency.
On construit ainsi une base de modèles de structures associés à des primitives données, base qui peut être utilisée pour rendre plus précise la détection des objets.  This builds a database of structure models associated with data primitives, which can be used to make the detection of objects more accurate.
Le processus d'apprentissage est par exemple du type de celui décrit dans (Wu & Xia, 2007) auquel on pourra se référer.  The learning process is, for example, of the type described in (Wu & Xia, 2007) to which reference can be made.
Soit un ensemble de n réalisations de graphes de bâtiments notée goôs={g1 oôs,,g2oôs, ... , gnobs) pour une région et une période de construction données du bâtiment.  Let a set of n realizations of graphs of buildings noted goôs = {g1 oôs ,, g2oôs, ..., gnobs) for a given region and a construction period of the building.
Le modèle recherché doit approximer la vraie distribution f(g,6) de ces réalisations. Le modèle doit donc correspondre avec :  The model sought must approximate the true distribution f (g, 6) of these realizations. The model must therefore correspond with:
- la distribution du nombre de structures et de groupes de la maison,  - the distribution of the number of structures and groups of the house,
- la fréquence avec laquelle les sommets OU se décomposent en telles ou telles structures,  - the frequency with which the OR vertices decompose into such and such structures,
- la distribution des relations entre les sommets.  - the distribution of relations between the vertices.
Le problème revient à estimer la densité de probabilité par maximum d'entropie à l'aide d'une distribution de Gibbs donnée par :  The problem is to estimate the probability density by maximum entropy using a Gibbs distribution given by:
P(g, Θ) = -^- exp(-£0 (g) + E, (g)) P (g, Θ) = - ^ - exp (- £ 0 (g) + E, (g))
z(0)  z (0)
où :  or :
- E0(g) est l'énergie associée à la hiérarchie des groupes et des objets du modèle de la maison, définie par la relation : Εϋ (g) )|- E 0 (g) is the energy associated with the hierarchy of groups and objects of the house model, defined by the relation: Ε ϋ (g)) |
Figure imgf000020_0001
Figure imgf000020_0001
- E (g) est l'énergie des nr relations de contraintes du modèle, définie par la formule :
Figure imgf000020_0002
- E (g) is the energy of the nr constraint relations of the model, defined by the formula:
Figure imgf000020_0002
- Z est la fonction de partition.  - Z is the partition function.
Des critères empiriques issus d'une base de modèles constructifs et architecturaux sont utilisés pour seuiller les fonctions d'énergie pendant l'étape d'inférence pour déterminer si des sommets doivent être fusionnés.  Empirical criteria derived from a base of constructive and architectural models are used to threshold energy functions during the inference step to determine whether vertices need to be merged.
Ainsi, par exemple, le nombre moyen de fenêtres par façade dans une certaine région peut être utilisé pour limiter le nombre de sommets de type « fenêtre » du modèle.  Thus, for example, the average number of windows per facade in a certain region can be used to limit the number of "window" peaks of the model.
Ici encore, l'homme du métier saura encoder de façon appropriée la base de modèles dans la mémoire d'un système de traitement de données.  Here again, those skilled in the art will be able to appropriately encode the template database into the memory of a data processing system.
Détection des objets et inférence  Detection of objects and inference
La détection est réalisée selon deux phases successives, dans lesquelles un processus parcourt le graphe de manière itérative de bas en haut puis de haut en bas.  The detection is carried out according to two successive phases, in which a process travels the graph iteratively from bottom to top and then from top to bottom.
Dans la première phase (dite « de bas en haut »), le processus parcourt le graphe du niveau le plus bas, c'est-à-dire celui des primitives (niveau V sur le graphe de la figure 3), vers celui des objets (niveau III sur le graphe de la figure 3).  In the first phase (so-called "from bottom to top"), the process traverses the graph of the lowest level, that is to say that of the primitives (level V on the graph of Figure 3), to that of the objects (level III on the graph of figure 3).
Lors de cette première phase, le processus associe à chaque sommet du graphe un ensemble de primitives compatibles avec la structure dudit sommet.  During this first phase, the process associates with each vertex of the graph a set of primitives compatible with the structure of said vertex.
Ainsi, par exemple, à un rectangle peuvent être associées deux jonctions en L opposées.  Thus, for example, a rectangle may be associated two opposite L-shaped junctions.
Chaque ensemble de primitives est ensuite pondéré avec un coefficient de probabilité a posteriori, qui traduit la précision avec laquelle est décrite la structure du sommet considéré.  Each set of primitives is then weighted with a posterior probability coefficient, which expresses the precision with which the structure of the considered vertex is described.
Cette première phase de détection peut être mise en œuvre par un programme implémentant la méthode dite « compositional boosting » (Wu & Xia, 2007), appliquée aux cartes de contours obtenues pour chaque image.  This first detection phase can be implemented by a program implementing the so-called "compositional boosting" method (Wu & Xia, 2007), applied to the contour maps obtained for each image.
Lesdites cartes de contours, qui consistent en l'ensemble des coins, bords et jonctions détectés dans l'image, peuvent être obtenues par un programme implémentant la méthode dite « primai sketch » (Guo, Zhu, & Wu, 2003).  The edge maps, which consist of the set of corners, edges and junctions detected in the image, can be obtained by a program implementing the so-called "primal sketch" method (Guo, Zhu, & Wu, 2003).
D'une manière générale, cette première phase de détection consiste à grouper les primitives en structures à l'aide d'instructions de classification ou classifieurs analysant leurs caractéristiques géométriques et photométriques. Le résultat de cette opération est un ensemble de structures (telles que des rectangles, des jonctions en T, en L, en Y, etc.) vectorisées dérivées des primitives et définies par un centre de gravité χ,, une orientation θ,, une échelle a, et deux points de fuite. In general, this first detection phase consists of grouping the primitives into structures using classification instructions or classifiers analyzing their geometrical and photometric characteristics. The result of this operation is a set of vectorized structures (such as rectangles, T-junctions, L, Y, etc.) derived from the primitives and defined by a center of gravity χ, an orientation θ, a a scale, and two vanishing points.
Parmi les autres méthodes de détection des primitives pouvant être mises en œuvre, on peut citer également la méthode SIFT (Lowe, 1999), la transformée de Hough (Duda & Hart, 1972), et la transformée de Haar.  Other methods for detecting primitives that can be implemented include the SIFT method (Lowe, 1999), the Hough transform (Duda & Hart, 1972), and the Haar transform.
Cependant, cette étape de détection fournit un grand nombre de candidats pour chaque sommet possible.  However, this detection step provides a large number of candidates for each possible vertex.
Il est donc nécessaire de filtrer les primitives et de déterminer, parmi les candidats possibles, celui qui présente la plus forte probabilité d'être exact.  It is therefore necessary to filter the primitives and to determine which of the possible candidates has the highest probability of being exact.
A cet effet, la deuxième phase d'inférence (dite « de haut en bas ») consiste à mettre en œuvre un processus qui parcourt le graphe du haut, c'est-à-dire de chaque objet (niveau IV sur le graphe de la figure 3), vers le niveau le plus bas, c'est-à-dire celui des primitives (niveau V sur le graphe de la figure 3), de manière à éliminer les fausses détections et compléter les sommets manquants.  For this purpose, the second inference phase (called "from top to bottom") consists in implementing a process that traverses the top graph, that is to say of each object (level IV on the graph of Figure 3), towards the lowest level, that is to say that of the primitives (level V on the graph of Figure 3), so as to eliminate false detections and complete the missing vertices.
Dans cette étape d'inférence, le processus cherche une réalisation du graphe à partir d'une image numérique I qui maximise la probabilité a posteriori p(l,g) :  In this inference step, the process looks for a realization of the graph from a digital image I that maximizes the posterior probability p (l, g):
g* = argmaxgp(l|g,6)p(g,e) g * = argmax g p (l | g, 6) p (g, e)
Pour la description détaillée d'une telle méthode, on pourra se référer par exemple à (Porway, Wang, & Zhu, 2010).  For the detailed description of such a method, one can refer for example to (Porway, Wang, & Zhu, 2010).
Dans cette seconde phase d'inférence, le processus vérifie en maximisant les fonctions d'énergie du graphe si les primitives utilisées appartiennent bien à un objet caractéristique du bâtiment, et non à un objet faisant partie de l'avant-plan du bâtiment (par exemple, une barrière, un véhicule, un autre bâtiment, etc.).  In this second inference phase, the process checks by maximizing the energy functions of the graph if the primitives used belong to a characteristic object of the building, and not to an object forming part of the foreground of the building (for example: example, a barrier, a vehicle, another building, etc.).
Le processus est ainsi capable d'éliminer les primitives qui ne sont pas utiles pour la modélisation pour ne conserver que les primitives pertinentes.  The process is thus able to eliminate primitives that are not useful for modeling to keep only the relevant primitives.
Lorsqu'un objet a été détecté de manière incomplète (par exemple, s'il est partiellement masqué par de la végétation, ou par un autre objet du fait de la perspective), le processus fait une hypothèse sur la structure dudit objet et en déduit les éléments manquants de l'objet.  When an object has been incompletely detected (for example, if it is partially obscured by vegetation, or by some other object due to perspective), the process makes an assumption about the structure of the object and deduces from it the missing elements of the object.
Par exemple, si le processus a détecté deux volets mais qu'il manque des informations quant à la zone qui les sépare, il peut faire l'hypothèse qu'une fenêtre est intercalée entre ces deux volets.  For example, if the process has detected two panes but there is missing information about the area that separates them, it can be assumed that a window is inserted between these two panes.
Le processus peut ainsi compléter l'objet avec les caractéristiques manquantes, par exemple en traçant une jonction entre deux coins, de manière à obtenir un contour fermé. De manière avantageuse, le processus est apte à renforcer l'inférence en appliquant à l'objet les contraintes inter-groupes ou inter-objets associées. The process can thus complete the object with the missing characteristics, for example by drawing a junction between two corners, so as to obtain a closed contour. Advantageously, the process is capable of reinforcing the inference by applying to the object the associated intergroup or inter-object constraints.
Par exemple, si l'objet détecté semble être une fenêtre, le processus vérifie si son bord supérieur est aligné avec celui des autres fenêtres détectées sur la façade ; il peut également vérifier qu'il n'interfère pas avec un autre objet avec lequel il serait incompatible, par exemple une porte, etc.  For example, if the detected object appears to be a window, the process checks to see if its top edge is aligned with the other windows detected on the facade; it can also verify that it does not interfere with another object with which it would be incompatible, for example a door, etc.
Par ailleurs, comme mentionné plus haut, le processus peut mettre à profit dans cette phase d'inférence les relations inter-images.  Moreover, as mentioned above, the process can make use of inter-image relations in this inference phase.
Les relations inter-images fournissent en effet des relations supplémentaires qui permettent, pour l'inférence des objets d'une image, de tenir compte du résultat de l'inférence réalisée sur l'image adjacente.  Inter-image relationships provide additional relationships that allow, for the inference of the objects of an image, to take into account the result of the inference performed on the adjacent image.
Elles permettent également de confirmer ou d'infirmer des hypothèses effectuées sur un objet d'une image, en vue d'éviter des détections erronées.  They also make it possible to confirm or invalidate hypotheses made on an object of an image, in order to avoid erroneous detections.
Cette phase de détection et d'inférence est réalisée de manière itérative, jusqu'à l'obtention de la probabilité maximale pour le graphe.  This detection and inference phase is performed iteratively, until the maximum probability for the graph is obtained.
Les figures 6A à 6C illustrent de manière schématique des étapes de ce processus. Figures 6A-6C schematically illustrate steps of this process.
En référence à la figure 6A, le processus détecte, par analyse d'une image numérique 11 sur laquelle sont visibles deux façades F1 , F2 du bâtiment, les primitives des objets caractéristiques de ces deux façades. With reference to FIG. 6A, the process detects, by analysis of a digital image 11 on which are visible two facades F1, F2 of the building, the primitives of the characteristic objects of these two facades.
Dans cet exemple, seules les primitives de type jonction ont été représentées en traits épais.  In this example, only junction primitives have been shown in thick lines.
La figure 6B illustre le résultat de l'inférence réalisée sur l'image 11.  FIG. 6B illustrates the result of the inference performed on the image 11.
Le contour de certains objets caractéristiques des façades a été reconstitué à partir de certaines des primitives détectées, et le fichier image modifié en conséquence.  The outline of some characteristic objects of the facades has been reconstructed from some of the primitives detected, and the image file modified accordingly.
En l'occurrence, les objets détectés sur la façade F2 sont deux fenêtres 12, 13 sans volets, ainsi qu'une fenêtre 10 entourée de volets 1 1 a, 1 1 b.  In this case, the objects detected on the facade F2 are two windows 12, 13 without shutters, and a window 10 surrounded by shutters 1 1 a, 1 1 b.
Du fait de la perspective, seul le carreau gauche 10a est entièrement visible ; le carreau droit étant partiellement masqué par le renfoncement.  Due to the perspective, only the left tile 10a is fully visible; the right tile being partially obscured by the recess.
Cependant, malgré cette absence de visibilité du carreau droit, la fenêtre a pu être reconstruite complètement en utilisant les contraintes spatiales et géométriques décrites plus haut.  However, despite this lack of visibility of the right tile, the window could be completely rebuilt using the spatial and geometric constraints described above.
Une telle reconstruction n'aurait pas été possible avec les méthodes décrites en préambule, l'occultation d'un élément empêchant sa reconstruction.  Such a reconstruction would not have been possible with the methods described in the preamble, the concealment of an element preventing its reconstruction.
Le processus présente donc l'avantage, sans qu'il soit nécessaire de procéder à un nettoyage des images, de s'affranchir des perturbations, quelle que soit leur nature. Sur la façade F1 , une fenêtre 14 sans volets a été détectée. The process therefore has the advantage, without the need to clean the images, to overcome disturbances, whatever their nature. On the F1 facade, a window 14 without shutters has been detected.
La figure 6C illustre le résultat de l'inférence réalisée sur une image 12 consécutive à l'image 11.  FIG. 6C illustrates the result of the inference performed on an image 12 consecutive to the image 11.
La fenêtre 14 de la façade F1 est visible sur les images 11 et 12, ce qui permet de mettre en correspondance lesdites images.  The window 14 of the facade F1 is visible on the images 11 and 12, which allows to match the said images.
En outre, l'image 13 montre une façade F3 du bâtiment, sur laquelle ont été détectées une porte-fenêtre 15 et une fenêtre 16.  In addition, the image 13 shows a facade F3 of the building, on which have been detected a French window 15 and a window 16.
Calibration de chaque image numérique  Calibration of each digital image
La calibration de chaque image repose sur l'existence d'une dualité entre :  The calibration of each image is based on the existence of a duality between:
- d'une part, des paramètres extrinsèques (par exemple, les angles et/ou les proportions) de parallélépipèdes détectés dans l'image ; ces parallélépipèdes correspondent à des objets détectés dans l'image et auxquels on a associé une ou des contraintes géométriques,  on the one hand, extrinsic parameters (for example, angles and / or proportions) of parallelepipeds detected in the image; these parallelepipeds correspond to objects detected in the image and to which one or more geometric constraints have been associated,
- d'autre part, des paramètres intrinsèques de la caméra dont certains sont connus (par exemple, son centre optique, la proportion des pixels, etc.).  - on the other hand, intrinsic parameters of the camera some of which are known (for example, its optical center, the proportion of pixels, etc.).
Cette dualité implique un système d'équations qui, si suffisamment de variables sont connues, peut être résolu pour fournir la calibration de l'image.  This duality implies a system of equations which, if enough variables are known, can be solved to provide the calibration of the image.
On pourra à cet égard se référer à la méthode décrite à la partie II de la thèse (Wilczkowiak, 3D Modelling from Images Using Géométrie Constraints, 2004).  In this respect reference can be made to the method described in Part II of the thesis (Wilczkowiak, 3D Modeling from Images Using Geometry Constraints, 2004).
Mise en correspondance des objets détectés sur deux images numériques consécutives  Matching objects detected on two consecutive digital images
Une fois la phase de détection et d'inférence effectuée, le processus met en correspondance les images consécutives grâce à au moins un objet caractéristique qu'elles ont en commun.  Once the detection and inference phase has been performed, the process matches the consecutive images by at least one characteristic object that they have in common.
Le processus est alors à même de calculer, pour chaque façade, la position et l'orientation de l'axe de visée des deux caméras grâce auxquelles ont été effectuées les prises de vues.  The process is then able to calculate, for each facade, the position and the orientation of the line of sight of the two cameras through which the shots were taken.
On va maintenant décrire la mise en œuvre manuelle du procédé.  We will now describe the manual implementation of the process.
Positionnement manuel du gabarit  Manual positioning of the template
Comme illustré aux figures 7A et 7B, l'utilisateur positionne manuellement, sur chaque image numérique ne pouvant être calibrée automatiquement, un gabarit permettant de calibrer ladite image.  As illustrated in FIGS. 7A and 7B, the user manually positions, on each digital image that can not be calibrated automatically, a template for calibrating said image.
Dans un premier temps, le processus fait apparaître ledit gabarit G en un endroit quelconque de l'image (figure 7A). Selon un mode de réalisation préféré, le gabarit G se présente sous la forme de deux parallélogrammes G', G" présentant un bord vertical commun G'". In a first step, the process makes said template G appear at any point in the image (FIG. 7A). According to a preferred embodiment, the template G is in the form of two parallelograms G ', G "having a common vertical edge G'".
L'utilisateur fait alors glisser ledit gabarit G' sur l'image numérique de sorte à amener le bord vertical G'" le long de l'arête de l'angle du bâtiment vers lequel est dirigée la prise de vue, puis déforme les parallélogrammes G', G" pour que leur autre bord vertical coïncide avec une ligne verticale du bâtiment (par exemple, une autre arête verticale d'une paroi) et/ou qu'au moins un des bords horizontaux des parallélogrammes coïncide avec une ligne horizontale du bâtiment (par exemple, le sol, un balcon, le sommet du fenêtre ou d'une porte, etc.).  The user then slides said template G 'on the digital image so as to bring the vertical edge G' "along the edge of the corner of the building towards which the shot is directed, then deforms the parallelograms G ', G "so that their other vertical edge coincides with a vertical line of the building (for example, another vertical edge of a wall) and / or that at least one of the horizontal edges of the parallelograms coincides with a horizontal line of the building (for example, the floor, a balcony, the top of the window or door, etc.).
Naturellement, l'utilisateur peut également positionner le bord vertical du gabarit sur une ligne verticale autre que l'arête de l'angle du bâtiment.  Naturally, the user can also position the vertical edge of the template on a vertical line other than the edge of the corner of the building.
Par exemple, le gabarit peut être positionné dans un encadrement, extérieur ou intérieur, de fenêtre ou de porte.  For example, the template can be positioned in a frame, exterior or interior, window or door.
La figure 7B illustre le gabarit G mis en place sur l'image.  Figure 7B illustrates the template G placed on the image.
On procède de même pour chacune des images, en faisant en sorte que le parallélogramme commun à deux gabarits mis en place sur des images adjacentes soit sensiblement le même, afin de permettre ultérieurement une mise en correspondance des différents gabarits.  The same procedure is followed for each of the images, so that the parallelogram common to two templates placed on adjacent images is substantially the same, in order to allow subsequent matching of the different templates.
L'avantage de ces gabarits, par rapport aux méthodes décrites en introduction, est qu'il permet de s'affranchir des effets de lumière ou des objets occultant le bâtiment, sans nécessiter aucun nettoyage des images.  The advantage of these templates, compared to the methods described in the introduction, is that it eliminates the effects of light or objects obscuring the building, without requiring any cleaning images.
Il suffit en effet de visualiser sur chaque image au moins une ligne horizontale et une ligne verticale (qu'elle appartienne à une arête de la façade ou à un élément de celle-ci (porte, fenêtre, balcon, etc.) pour pouvoir positionner un gabarit et que le processus soit en mesure de construire le modèle du bâtiment.  It suffices to visualize on each image at least one horizontal line and one vertical line (whether it belongs to an edge of the facade or to an element thereof (door, window, balcony, etc.) to be able to position a template and that the process is able to build the building model.
Il convient de souligner que le procédé peut être mis en œuvre avec un gabarit présentant d'autres formes que des parallélogrammes, bien que ce dernier mode de réalisation soit particulièrement préféré en raison du grand nombre de lignes horizontales et verticales dans un bâtiment.  It should be emphasized that the method can be implemented with a template having other shapes than parallelograms, although the latter embodiment is particularly preferred because of the large number of horizontal and vertical lines in a building.
Calibration de chaque image numérique  Calibration of each digital image
Le gabarit de chaque image est associé à une contrainte géométrique, à savoir que chaque parallélogramme représente en réalité un rectangle du bâtiment réel dans l'image.  The template of each image is associated with a geometric constraint, namely that each parallelogram actually represents a rectangle of the actual building in the image.
Grâce à cette contrainte géométrique connue, le processus calibre chaque image à l'aide du gabarit correspondant.  Thanks to this known geometric constraint, the process calibrates each image using the corresponding template.
Mise en correspondance des gabarits de deux images numériques consécutives Une mise à l'échelle des gabarits est réalisée entre deux gabarits successifs. Matching templates of two consecutive digital images A scaling of the templates is performed between two successive templates.
Elle est calculée en comparant les dimensions des côtés verticaux desdits gabarits deux à deux et celles des côtés horizontaux des gabarits deux à deux, pour le parallélogramme commun à chacun des deux gabarits.  It is calculated by comparing the dimensions of the vertical sides of said jigs two by two and those of the horizontal sides of the jigs two by two, for the parallelogram common to each of the two jigs.
La figure 7C illustre le principe de cette mise à l'échelle du gabarit N et du gabarit N+1 (N étant un entier compris entre 1 et M, M étant un entier compris entre le nombre d'images numériques moins 2 et le nombre d'images numériques).  FIG. 7C illustrates the principle of this scaling of the template N and the template N + 1 (where N is an integer between 1 and M, M being an integer between the number of digital images minus 2 and the number digital images).
Le parallélogramme commun aux deux gabarits présente des bords verticaux de longueur V-ι , V2 et des bords horizontaux H-i , H2 dans le référentiel RN du gabarit N et des bords verticaux de longueur V'-i , V2 et horizontaux de longueur ΗΊ, H'2 dans le référentiel RN+i du gabarit GN+i . The parallelogram common to both templates has vertical edges of length V-ι, V 2 and horizontal edges Hi, H 2 in the reference frame R N of the template N and vertical edges of length V'-i, V 2 and horizontal of length ΗΊ, H ' 2 in the reference frame R N + i of the template G N + i.
Les référentiels RN et RN+1 sont construits à partir des gabarits GN et GN+i ; les vecteurs de ces repères sont donnés par les vecteurs directeurs des bords des parallélogrammes et Le ratio R de mise à l'échelle est donc donné par la relation suivante :
Figure imgf000025_0001
The standards R N and R N + 1 are constructed from the templates G N and G N + 1; the vectors of these marks are given by the direction vectors of the edges of the parallelograms and the ratio R of scaling is thus given by the following relation:
Figure imgf000025_0001
Où i est un entier égal à 1 ou 2 et λ, et a, sont dans l'intervalle [0, 1]. Where i is an integer equal to 1 or 2 and λ, and a, are in the interval [0, 1].
Les coefficients λ et a permettent de choisir l'un ou l'autre des côtés (par exemple, un côté vertical ou un côté horizontal), voire une combinaison pondérée des différents côtés.  The coefficients λ and a make it possible to choose one or the other of the sides (for example, a vertical side or a horizontal side), or even a weighted combination of the different sides.
Par défaut, on peut choisir en = 1 et en = = λ2 = 0 By default, we can choose in = 1 and in = = λ 2 = 0
Comme illustré à la figure 7D, à l'issue de la mise en correspondance, le parallélogramme AN+1BN+1CN+i DN+1 du gabarit GN+i qui n'était pas commun avec le gabarit GN est positionné par rapport au gabarit GN dans le repère RN du gabarit GN, et noté ABCD, le bord AN+1BN+1 du gabarit GN+i (AB dans le repère RN) étant confondu avec le bord ANBN du parallélogramme commun du gabarit GN. As illustrated in FIG. 7D, at the end of the mapping, the parallelogram A N + 1 B N + 1 C N + 1 D N + 1 of the template G N + i which was not common with the template G N is positioned relative to the template G N in the reference R N of the template G N , and noted ABCD, the edge A N + 1 B N + 1 of the template G N + i (AB in the reference R N ) coinciding with the edge A N B N of the common parallelogram of the template G N.
Par construction, on assimile le repère RN+i au repère RN. By construction, we assimilate the reference mark R N + i to the mark R N.
Les coordonnées du point A dans le repère RN sont soit celles du point AN, soit la moyenne des coordonnées de AN et AN+1 , soit toute autre combinaison permettant de privilégier un des gabarits. The coordinates of the point A in the reference mark R N are either those of the point A N , the average of the coordinates of A N and A N + 1 , or any other combination making it possible to favor one of the templates.
Les coordonnées du point B dans le repère RN sont soit celles du point BN, soit la moyenne des coordonnées de BN et BN+1 , soit toute autre combinaison permettant de privilégier un des gabarits. Les coordonnées des points C et D dans RN sont respectivement égales à celles des points CN+i et DN+1 (dans RN+1) qui sont exprimées dans le repère RN. The coordinates of the point B in the reference mark R N are either those of the point B N , the average of the coordinates of B N and B N + 1 , or any other combination making it possible to favor one of the templates. The coordinates of the points C and D in R N are respectively equal to those of the points C N + i and D N + 1 (in R N + 1 ) which are expressed in the reference R N.
Etalonnage du modèle  Calibration of the model
Une fois les gabarits mis en correspondance entre les différentes images numériques, l'utilisateur peut placer les ouvertures (portes, fenêtres) sur chaque image.  Once the templates are mapped to the different digital images, the user can place the openings (doors, windows) on each image.
Pour chacune des ouvertures, il peut utiliser à cet effet une technique de glisser- déposer un parallélogramme et déformer le parallélogramme pour qu'il se superpose avec une fenêtre (figure 7E) ou à une porte (figure 7F).  For each opening, it can use for this purpose a technique of drag and drop a parallelogram and deform the parallelogram so that it is superimposed with a window (Figure 7E) or a door (Figure 7F).
Pour placer chaque ouverture, l'utilisateur peut utiliser l'image numérique la plus appropriée parmi les images sur lesquelles cette ouverture apparaît.  To place each aperture, the user can use the most appropriate digital image among the images on which this aperture appears.
Une fois qu'au moins une ouverture a été placée, le processus demande à l'utilisateur de renseigner une dimension (par exemple hauteur ou largeur) de cette ouverture.  Once at least one opening has been placed, the process asks the user to enter a dimension (for example, height or width) of this opening.
Dans la mesure où toutes les images sont calibrées et mises en correspondance les unes par rapport aux autres, la connaissance de cette dimension permet de connaître toutes les dimensions des éléments visibles sur les images.  Since all images are calibrated and mapped to each other, knowledge of this dimension makes it possible to know all the dimensions of the elements visible on the images.
Le processus procède ainsi de manière simple à l'étalonnage des images.  The process thus proceeds in a simple way to the calibration of the images.
La description qui va suivre s'applique aux deux variantes du processus décrites ci- dessus.  The following description applies to the two process variants described above.
Reconstruction de l'enveloppe tridimensionnelle du bâtiment et des pièces intérieures A partir des données issues de la mise en correspondance des objets ou des gabarits sur des images consécutives, le processus est à même de déterminer la position dans l'espace des différents objets ou gabarits, ce qui permet de reconstituer les plans des parois.  Reconstruction of the three-dimensional envelope of the building and the interior parts From the data resulting from the matching of the objects or templates on consecutive images, the process is able to determine the position in the space of the different objects or templates , which allows to reconstruct the plans of the walls.
Par intersection des plans des parois, le processus est à même de localiser les angles du bâtiment.  By intersecting the planes of the walls, the process is able to locate the corners of the building.
Le modèle constitué des contours des parois et, le cas échéant, des objets qu'elles contiennent peut alors être affiché par le système de traitement pour une vérification et d'éventuelles modifications par l'utilisateur à l'aide d'un dispositif d'entrée.  The model consisting of the contours of the walls and, if appropriate, the objects they contain can then be displayed by the processing system for verification and possible modifications by the user using a device. Entrance.
L'utilisateur peut ainsi commander une rotation du modèle pour visualiser les différentes parois et, si nécessaire, y ajouter à l'aide du dispositif d'entrée des objets qui n'auraient pas été détectés (par exemple un auvent), ou corriger la forme d'objets complexes (par exemple un renfoncement).  The user can thus control a rotation of the model to visualize the different walls and, if necessary, add therewith the input device objects that have not been detected (for example an awning), or correct the form of complex objects (eg a recess).
Comme indiqué plus haut, cette enveloppe n'est pas limitée à la géométrie extérieure du bâtiment ; au contraire, du fait de l'utilisation d'une grammaire du bâtiment qui permet de donner du sens aux images, elle est constituée de l'assemblage organisé des éléments constitutifs du bâtiment. En d'autres termes, chaque partie de l'enveloppe reconstruite est un volume doté d'une signification en termes constructifs (par exemple un mur, un toit, etc.). As indicated above, this envelope is not limited to the external geometry of the building; on the contrary, because of the use of a grammar of the building which makes it possible to give meaning to the images, it consists of the organized assembly of the constituent elements of the building. In other words, each part of the reconstructed envelope is a volume with a meaning in constructive terms (for example a wall, a roof, etc.).
Dans le cas d'une modélisation intérieure, le positionnement de l'enveloppe des pièces les unes par rapport aux autres peut être obtenu de différentes manières.  In the case of interior modeling, the positioning of the envelope of the parts relative to each other can be obtained in different ways.
Si l'enveloppe tridimensionnelle extérieure a préalablement été reconstruite, et si chacune des pièces possède une ouverture dans ladite enveloppe, l'identification de l'ouverture permet la localisation de la pièce.  If the outer three-dimensional envelope has been previously reconstructed, and if each of the parts has an opening in said envelope, the identification of the opening allows the location of the part.
Dans ce cas, l'épaisseur des cloisons intérieures correspond directement à la distance entre les enveloppes de deux pièces adjacentes.  In this case, the thickness of the interior partitions corresponds directly to the distance between the envelopes of two adjacent rooms.
Si ce n'est pas le cas, par exemple pour des pièces borgnes, un outil d'agencement travaillant en vue de dessus et par niveau permet le placement des enveloppes des pièces à l'aide d'un dispositif d'entrée tel qu'une souris.  If this is not the case, for example for blind pieces, an arrangement tool working in plan view and level allows the placement of the envelopes of the pieces using an input device such as a mouse.
L'épaisseur des cloisons des pièces borgnes peut être considérée arbitrairement comme égale à l'épaisseur moyenne des autres cloisons intérieures du bâtiment.  The thickness of the partitions of the blind parts can arbitrarily be considered as equal to the average thickness of the other internal partitions of the building.
De manière alternative, l'outil d'agencement mentionné plus haut peut être utilisé pour ajuster l'épaisseur des différentes cloisons en fonction de valeurs entrées par l'utilisateur.  Alternatively, the above-mentioned layout tool can be used to adjust the thickness of the different partitions based on values entered by the user.
Par ailleurs, ledit outil d'agencement peut être utilisé pour affiner des détails de l'agencement, par exemple la présence d'un placard, etc.  Furthermore, said layout tool can be used to refine details of the arrangement, for example the presence of a closet, etc.
On obtient ainsi un jeu de données représentatif d'une enveloppe tridimensionnelle du bâtiment qui, de plus, peut être représentée dans son environnement réel.  This provides a data set representative of a three-dimensional envelope of the building which, moreover, can be represented in its real environment.
Cette enveloppe est éditable par l'utilisateur, notamment en vue d'une modélisation complète de l'intérieur du bâtiment : positionnement des différents niveaux, plan des pièces, situation des escaliers.  This envelope is editable by the user, in particular for a complete modeling of the interior of the building: positioning of the different levels, plan of parts, situation of the stairs.
Pour l'affichage en 3D, le modèle extérieur du bâtiment est de préférence représenté dans son environnement, c'est-à-dire en positionnant le modèle sur l'empreinte au sol du bâtiment, qui peut être par exemple une image numérique obtenue au préalable auprès d'un système d'information géographique.  For the 3D display, the external model of the building is preferably represented in its environment, that is to say by positioning the model on the footprint of the building, which can be for example a digital image obtained at prior to a geographic information system.
Il est également possible de modéliser, par une technique appropriée, l'environnement du bâtiment, notamment la végétation, d'autres bâtiments susceptibles de former une ombre sur le bâtiment, etc., avec des outils de modélisation connus.  It is also possible to model, by an appropriate technique, the building environment, including vegetation, other buildings likely to shadow the building, etc., with known modeling tools.
En ce qui concerne la toiture, c'est l'utilisateur qui, à l'aide d'un dispositif d'entrée, la dessine sur le modèle obtenu par la reconstruction.  With regard to the roof, it is the user who, using an input device, draws it on the model obtained by the reconstruction.
Utilisation du modèle tridimensionnel Le modèle tridimensionnel ainsi obtenu peut avantageusement être utilisé pour produire des calculs de performances dans l'espace du bâtiment ou pour modéliser l'agencement intérieur du bâtiment et y simuler toute transformation ou apport de mobilier et décoration. Using the three-dimensional model The three-dimensional model thus obtained can advantageously be used to produce performance calculations in the building space or to model the interior layout of the building and simulate any transformation or supply of furniture and decoration.
Les performances considérées peuvent être des performances thermiques, mais aussi et de manière non limitative des performances mécaniques, acoustiques, de perméabilité à l'air et à l'eau, de rayonnement (y compris lumineux, en absorption et en émission), etc.  The performances considered may be thermal performance, but also and without limitation mechanical performance, acoustics, air and water permeability, radiation (including light, absorption and emission), etc.
A cet effet, il s'agit de déterminer des données représentatives des matériaux constituant le bâtiment, notamment les murs et la toiture du bâtiment.  For this purpose, it is necessary to determine data representative of the materials constituting the building, in particular the walls and the roof of the building.
Cette détermination peut être réalisée à partir des images du bâtiment, en fonction du coloris, de la texture des façades et du toit, ainsi que d'au moins un critère choisi parmi la période de construction et la situation géographique du bâtiment.  This determination can be made from the images of the building, according to the color, the texture of the facades and the roof, as well as at least one criterion chosen from the construction period and the geographical location of the building.
Cette détermination peut également faire appel à une base de données de modèles constructifs et architecturaux, qui contient des images numériques de référence ainsi que des données de référence pour les matériaux employés dans une région donnée et pendant une période de construction donnée.  This determination can also use a database of constructive and architectural models, which contains reference digital images as well as reference data for materials used in a given region and during a given construction period.
Base de données de modèles constructifs et architecturaux  Database of constructive and architectural models
Une telle base de données est basée sur une typologie des bâtiments par leur période de construction et la région dans laquelle ils sont construits.  Such a database is based on a typology of buildings by their period of construction and the region in which they are built.
A cet effet, le parc de bâtiments - notamment, pour l'invention, de maisons individuelles - pour une zone géographique donnée (par exemple, le territoire national) a été segmenté en différents segments correspondant à différentes périodes d'achèvement de la construction, et à différentes régions de cette zone.  For this purpose, the building stock - including, for the invention, individual houses - for a given geographical area (for example, the national territory) has been segmented into different segments corresponding to different construction completion periods, and to different regions of this area.
Les connaissances collectées sur ces différents segments ont permis de définir des familles homogènes de bâtiments et de décrire chaque famille par au moins un bâtiment type.  The knowledge gathered on these different segments has made it possible to define homogeneous families of buildings and to describe each family by at least one typical building.
Un bâtiment type est constitué d'une pluralité de catégories (par exemple toiture, murs, cloisons, portes, fenêtres, etc.), elles-mêmes décomposées en une pluralité de paramètres.  A typical building consists of a plurality of categories (eg roof, walls, partitions, doors, windows, etc.), themselves broken down into a plurality of parameters.
Cette architecture de la base de données permet de décrire l'ensemble des systèmes constitutifs du bâtiment.  This architecture of the database makes it possible to describe all the constituent systems of the building.
A titre purement illustratif, la catégorie « toiture » est décomposée en les sous- catégories suivantes : nombre de toits ; pente de toit ; type de toit (par exemple, 2 ou 4 pans) ; matériaux de couverture ; type d'isolation ; matériau d'isolation ; présence d'un écran sous toiture).  For illustrative purposes, the category "roof" is broken down into the following subcategories: number of roofs; roof slope; type of roof (for example, 2 or 4 sides); roofing materials; type of insulation; insulation material; presence of a screen under roof).
Cette description du bâtiment est indépendante de la géométrie du bâtiment dont on cherche à obtenir un modèle, mais elle est utilisée pour le caractériser. Avant la reconstruction de l'enveloppe, l'utilisateur renseigne les informations dont il a connaissance sur le bâtiment (période de construction, lieu, finition, structure des murs, etc.). This description of the building is independent of the geometry of the building whose model is being sought, but it is used to characterize it. Before the reconstruction of the envelope, the user informs the information he knows about the building (construction period, location, finish, wall structure, etc.).
A chaque entrée d'information, le système affine le bâtiment type associé au bâtiment de l'utilisateur par comparaison des paramètres, le bâtiment type sélectionné étant celui qui présente la correspondance la plus élevée avec le bâtiment de l'utilisateur.  At each information input, the system refines the typical building associated with the user's building by comparing the parameters, the selected building being the one with the highest correspondence with the user's building.
De manière particulièrement avantageuse, la base de données est construite de telle sorte que chaque modèle constructif puisse être implémenté avec les données provenant de l'enveloppe tridimensionnelle reconstruite, ce qui permet d'obtenir un modèle caractérisé du bâtiment.  Particularly advantageously, the database is constructed in such a way that each construction model can be implemented with the data from the reconstructed three-dimensional envelope, thereby obtaining a characterized model of the building.
En effet, le modèle et la base de données utilisent les mêmes paramètres, de sorte qu'il est possible de dupliquer les informations de la base vers le modèle pour renseigner celui-ci.  In fact, the model and the database use the same parameters, so that it is possible to duplicate information from the database to the model to inform it.
Par ailleurs, ladite base de données de modèles constructifs et architecturaux peut être utilisée pendant la phase d'inférence du processus automatique.  Moreover, said database of constructive and architectural models can be used during the inference phase of the automatic process.
Cette base comprend en effet, pour les différents groupes d'objets, un ensemble de modèles de structures typiques d'une région et/ou d'une période de construction, encodés de façon appropriée, à la portée de l'homme du métier.  This base comprises indeed, for the different groups of objects, a set of patterns of structures typical of a region and / or a construction period, appropriately encoded, within the reach of the skilled person.
En fonction de la situation géographique et/ou de la période de construction du bâtiment, qui peuvent être saisies par l'utilisateur et mémorisées au démarrage du procédé, le processus est apte à sélectionner les modèles de structures associés à cette situation géographique et à cette période de construction pour pondérer les sommets du graphe et seuiller les fonctions d'énergie.  Depending on the geographical location and / or construction period of the building, which can be entered by the user and stored at the start of the process, the process is able to select the structural models associated with this geographical location and this build period to weight the vertices of the graph and threshold energy functions.
La base de données peut ainsi influer sur la grammaire du bâtiment définie pour la détection automatique d'objets.  The database can thus influence the grammar of the building defined for the automatic detection of objects.
Une fois l'enveloppe du bâtiment reconstruite, ses éléments constitutifs (notamment les murs et le toit) peuvent être associés à des caractéristiques mécaniques ou physiques, notamment thermiques, acoustiques, etc. provenant de la description du bâtiment type.  Once the building envelope is rebuilt, its constituent elements (in particular the walls and the roof) can be associated with mechanical or physical characteristics, in particular thermal, acoustic, etc. from the description of the typical building.
Pour compléter la modélisation, l'utilisateur peut être invité à confirmer ou à corriger les informations sur les matériaux, voire à les compléter, par exemple en indiquant la présence d'une isolation intérieure, etc.  To complete the modeling, the user may be asked to confirm or correct the information on the materials, or to complete them, for example by indicating the presence of interior insulation, etc.
Toujours suivant l'exemple, le processus fait alors appel à une base de données de matériaux et obtient, à partir des données de matériaux déterminées au préalable et mémorisées, les données d'isolation des différents matériaux constituant l'enveloppe du bâtiment. Le processus affecte alors, à chacune des facettes de l'enveloppe tridimensionnelle du bâtiment, lesdites données d'isolation, de sorte à produire un modèle tridimensionnel thermique du bâtiment. Again following the example, the process then uses a material database and obtains, from the previously determined and stored material data, the insulation data of the different materials constituting the building envelope. The process then affects, at each facet of the three-dimensional envelope of the building, said insulation data, so as to produce a three-dimensional thermal model of the building.
Ce modèle tridimensionnel thermique est mémorisé en vue d'une utilisation ultérieure, notamment un calcul du bilan énergétique du bâtiment et, le cas échéant, la simulation du remplacement d'une fenêtre, de l'ajout d'une couche d'isolation, etc.  This three-dimensional thermal model is stored for later use, including a calculation of the energy balance of the building and, if necessary, the simulation of the replacement of a window, the addition of an insulation layer, etc. .
Les procédés de calcul du bilan énergétique d'un bâtiment sont en soi connus de l'homme du métier et ne seront pas décrits en détail ici.  The methods for calculating the energy balance of a building are in themselves known to those skilled in the art and will not be described in detail here.
Par ailleurs, la représentation tridimensionnelle du modèle peut être enrichie par des strates supplémentaires traduisant les matériaux des systèmes constructifs (isolation, structure, finition) et/ou par des texturages reflétant le revêtement du bâtiment type.  In addition, the three-dimensional representation of the model can be enriched by additional layers reflecting the materials of the building systems (insulation, structure, finish) and / or by textures reflecting the typical building's cladding.
La représentation tridimensionnelle peut aussi être associée à des dimensions du bâtiment, rendant le modèle utilisable pour étudier l'agencement du bâtiment.  The three-dimensional representation can also be associated with building dimensions, making the model usable to study the layout of the building.
Contrairement aux méthodes décrites en préambule, la représentation du bâtiment ne s'appuie pas sur une projection des images sur un volume géométrique reconstruit, mais sur une modélisation de la structure de l'enveloppe du bâtiment.  Unlike the methods described in the preamble, the representation of the building does not rely on a projection of the images on a reconstructed geometric volume, but on a modeling of the structure of the building envelope.
Lors de l'édition en trois dimensions du modèle, les caractéristiques mécaniques et/ou physiques des éléments permettent de contrôler que les actions de l'utilisateur (par exemple, la création d'une nouvelle ouverture) sont viables.  When editing the model in three dimensions, the mechanical and / or physical characteristics of the elements make it possible to control that the actions of the user (for example, the creation of a new opening) are viable.
La caractérisation de l'enveloppe permet donc une représentation tridimensionnelle fidèle et une manipulation cohérente.  The characterization of the envelope thus allows a faithful three-dimensional representation and a coherent manipulation.
Il va de soi que les méthodes citées plus haut ne sont que des illustrations particulières en aucun cas limitatives quant aux modalités de mise en œuvre de l'invention. On pourra ainsi employer d'autres méthodes d'analyse d'image, de classification des primitives, de détection et d'inférence sans pour autant sortir du cadre de la présente invention.  It goes without saying that the methods mentioned above are only particular illustrations in no way limiting as to the implementation of the invention. It will thus be possible to use other methods of image analysis, classification of primitives, detection and inference without departing from the scope of the present invention.
REFERENCES REFERENCES
Dick, A., Torr, P., Ruffle, S., & Cipolla, R. (2001 ). Combining Single View Récognition and Multiple View Stereo for Architectual Scènes. ICCV, pp. 268-274.  Dick, A., Torr, P., Ruffle, S., & Cipolla, R. (2001). Combining Single View Recognition and Multiple View Stereo for Architectual Scenes. ICCV, pp. 268-274.
Duda, R., & Hart, P. (1972). Use of the Hough Transformation to Detect Lines and Duda, R., & Hart, P. (1972). Use of the Hough Transformation to Detect Lines
Curves in Pictures. Comm. ACM, 15, pp. 1 1-15. Curves in Pictures. Comm. ACM, 15, pp. 1 1-15.
Guo, C.-e., Zhu, S.-c, & Wu, Y. (2003). A Mathematical Theory of Primai Sketch and Sketchability. Proc. of International Conférence on Computer Vision. Nice.  Guo, C.E., Zhu, S.C., & Wu, Y. (2003). A Mathematical Theory of Primal Sketch and Sketchability. Proc. of International Conference on Computer Vision. Nice.
Lowe, D. (1999). Object récognition from local scale-invariant features. Proceedings of the International Conférence on Computer Vision, 2, pp. 1150-1 157. Porway, J., Wang, Q., & Zhu, S. (2010). A Hierarchical and Contextual Model for Aerial Image Parsing. Int. J. Comput. Vision, 88(2). Lowe, D. (1999). Object recognition from local scale-invariant features. Proceedings of the International Conference on Computer Vision, 2, pp. 1150-1 157. Porway, J., Wang, Q., & Zhu, S. (2010). A Hierarchical and Contextual Model for Aerial Image Parsing. Int. J. Comput. Vision, 88 (2).
Wilczkowiak, M. (2004). 3D Modelling from Images Using Géométrie Constraints. Thèse Institut Polytechnique de Grenoble.  Wilczkowiak, M. (2004). 3D Modeling from Images Using Geometry Constraints. Thesis Polytechnic Institute of Grenoble.
Wilczkowiak, M., Sturm, P., & Boyer, E. (2004). Using Géométrie Constraints for Wilczkowiak, M., Sturm, P., & Boyer, E. (2004). Using Geometry Constraints for
Caméra Calibration and Positioning and 3D Scène Modelling. Workshop on Vision Camera Calibration and Positioning and 3D Scene Modeling. Workshop on Vision
Techniques Applied to the Rehabilitation of City Centers. Lisbon. Techniques Applied to the Rehabilitation of City Centers. Lisbon.
Wu, T.-f., & Xia, G. -s. (2007). Compositional boosting for Computing hierarchical image procédures. IEEE Conférence on Computer Vision and Pattern Récognition.  Wu, Tf, & Xia, G.-s. (2007). Compositional boosting for hierarchical image computation procedures. IEEE Conference on Computer Vision and Pattern Recognition.

Claims

REVENDICATIONS
1. Procédé de modélisation d'un bâtiment ou d'au moins une pièce dudit bâtiment à partir de l'analyse d'un nombre limité de prises de vues de parois dudit bâtiment, mis en œuvre dans un environnement informatique comprenant des moyens de traitement et des moyens de mémorisation, ledit procédé étant caractérisé en ce que ladite modélisation repose sur une décomposition du bâtiment en murs et/ou cloisons, des murs et/ou cloisons en objets et des objets en primitives détectables par analyse d'image, impliquant une mémoire encodant une grammaire du bâtiment ou des pièces d'un bâtiment qui se présente sous la forme d'un graphe dont les sommets sont les groupes d'objets, les objets et les structures des objets appartenant à chaque mur ou cloison et dont les extrémités sont les primitives détectées par analyse d'image, lesdits sommets étant reliés par des règles de relations et de contraintes géométriques et/ou spatiales, 1. A method for modeling a building or at least one room of said building from the analysis of a limited number of shots of walls of said building, implemented in a computer environment comprising processing means and storage means, said method being characterized in that said modeling is based on a decomposition of the building into walls and / or partitions, walls and / or partitions into objects and primitive objects detectable by image analysis, involving a a memory encoding a grammar of the building or parts of a building that is in the form of a graph whose vertices are groups of objects, objects and structures of objects belonging to each wall or partition and whose ends are the primitives detected by image analysis, said vertices being linked by geometric and / or spatial relations and constraint rules,
ledit procédé comprenant les étapes consistant à : said method comprising the steps of:
- mémoriser de manière ordonnée les images numériques d'un certain nombre de prises de vues essentiellement non redondantes, chaque image numérique correspondant à une prise de vue sur laquelle deux murs ou cloisons adjacents dudit bâtiment ou de ladite pièce du bâtiment sont visibles, les murs ou cloisons possédant au moins un objet caractéristique au contour identifiable par analyse d'image,  storing in an orderly manner the digital images of a number of essentially non-redundant shots, each digital image corresponding to a shot on which two adjacent walls or partitions of said building or said room of the building are visible, the walls or partitions having at least one characteristic object with an identifiable contour by image analysis,
- détecter, par analyse d'image dans chaque image numérique, des contours d'objets caractéristiques présents dans des zones d'image identifiées comme des zones de mur ou de cloison,  detecting, by image analysis in each digital image, contours of characteristic objects present in image zones identified as wall or partition zones,
- appliquer à chaque contour une contrainte géométrique parmi un ensemble de contraintes,  - apply to each contour a geometric constraint among a set of constraints,
- calibrer chaque image numérique,  - calibrate each digital image,
- calibrer les images numériques les unes par rapport aux autres par mise en correspondance de chaque objet caractéristique sur les différentes images sur lesquelles il a été identifié,  calibrating the digital images relative to one another by mapping each characteristic object to the different images on which it has been identified,
- construire et mémoriser un jeu de données de modélisation d'une enveloppe tridimensionnelle du bâtiment ou de ladite pièce en utilisant les caractéristiques géométriques et sémantiques des objets mis en correspondance, ladite enveloppe consistant en un assemblage organisé des éléments constitutifs du bâtiment. constructing and storing a modeling data set of a three-dimensional envelope of the building or of said room by using the geometric and semantic characteristics of the objects mapped, said envelope consisting of an organized assembly of the constituent elements of the building.
2. Procédé selon la revendication 1 , caractérisé en ce qu'au moins certains desdits objets caractéristiques correspondent à des ouvertures du bâtiment ou d'une pièce du bâtiment. 2. Method according to claim 1, characterized in that at least some of said characteristic objects correspond to openings of the building or part of the building.
3. Procédé selon l'une des revendications 1 ou 2, caractérisé en ce que la modélisation comprend une phase itérative de détection et d'inférence comprenant la détection des primitives par analyse d'image, la classification des primitives selon leur probabilité d'appartenance à un objet caractéristique, et une étape d'inférence consistant à affecter à chaque objet les primitives qui composent son contour et, le cas échéant, à compléter ledit contour en utilisant au moins une contrainte géométrique ou une règle de relation ou de contrainte géométrique et/ou spatiale entre objets ou groupes d'objets d'une même paroi. 3. Method according to one of claims 1 or 2, characterized in that the modeling comprises an iterative phase of detection and inference comprising the detection of primitives by image analysis, the classification of primitives according to their probability of belonging to a characteristic object, and an inference step of assigning to each object the primitives that make up its contour and, where appropriate, to complete said contour using at least one geometric constraint or one rule of relation or geometric constraint and or spatial between objects or groups of objects of the same wall.
4. Procédé selon la revendication 3, caractérisé en ce que la phase d'inférence met en jeu les relations entre deux images consécutives. 4. Method according to claim 3, characterized in that the inference phase involves the relations between two consecutive images.
5. Procédé selon l'une des revendications 3 ou 4, caractérisé en ce que la classification des primitives met en jeu une base de modèles construite par apprentissage et mémorisée. 5. Method according to one of claims 3 or 4, characterized in that the classification of primitives involves a model base constructed by learning and stored.
6. Procédé selon l'une des revendications 1 à 5, caractérisé en ce que lorsqu'au moins une des images numériques ne peut être calibrée, le procédé comprend la mise en place d'un gabarit sur ladite au moins une image numérique, ledit gabarit étant formé de deux parallélogrammes présentant un côté vertical commun, de sorte que ledit côté vertical commun coïncide avec une ligne verticale du bâtiment ou de ladite pièce du bâtiment et que les autres côtés des parallélogrammes soient alignés sur des lignes verticales ou horizontales du bâtiment ou de ladite pièce de bâtiment. 6. Method according to one of claims 1 to 5, characterized in that when at least one of the digital images can not be calibrated, the method comprises the establishment of a template on said at least one digital image, said a template being formed of two parallelograms having a common vertical side so that said common vertical side coincides with a vertical line of the building or said building part and the other sides of the parallelograms are aligned with vertical or horizontal lines of the building or of said building room.
7. Procédé selon la revendication 6, caractérisé en ce que lorsqu'au moins deux des images numériques ne peuvent être calibrées, la calibration des images les unes par rapport aux autres est effectuée par mise en correspondance des gabarits de deux images numériques consécutives. 7. Method according to claim 6, characterized in that when at least two of the digital images can not be calibrated, the calibration of the images relative to each other is performed by matching the templates of two consecutive digital images.
8. Procédé selon la revendication 7, caractérisé en ce qu'après ladite mise en correspondance des gabarits, on met en place sur chaque image les ouvertures du bâtiment ou de ladite pièce du bâtiment. 8. A method according to claim 7, characterized in that after said matching templates, is placed on each image openings of the building or said building part.
9. Procédé selon l'une des revendications 7 ou 8, caractérisé en ce qu'après ladite mise en correspondance des gabarits on étalonne les images en saisissant une dimension d'une ouverture mise en place manuellement sur une image. 9. Method according to one of claims 7 or 8, characterized in that after said matching template is calibrated images by entering a dimension of an opening set up manually on an image.
10. Procédé selon l'une des revendications 7 à 9, caractérisé en ce que l'on met en place le gabarit et/ou les ouvertures sur une image par une technique de glisser-déposer. 10. Method according to one of claims 7 to 9, characterized in that one places the template and / or openings on an image by a drag-and-drop technique.
1 1 . Procédé selon l'une des revendications 1 à 10, caractérisé en ce qu'il comprend en outre les étapes suivantes : 1 1. Method according to one of claims 1 to 10, characterized in that it further comprises the following steps:
- détermination, à partir d'au moins une image numérique et/ou à partir d'une base de données architecturale d'images numériques de référence, et en fonction d'au moins un critère choisi parmi la période de construction et la situation géographique du bâtiment, des données représentatives des matériaux constituant le bâtiment, notamment les murs et la toiture du bâtiment,  determining, from at least one digital image and / or from an architectural database of reference digital images, and according to at least one criterion selected from the construction period and the geographical location of the building, data representative of the materials constituting the building, including the walls and the roof of the building,
- détermination, à partir d'une base de données de matériaux mémorisée et desdites données de matériaux, de données mécaniques ou physiques desdits matériaux, determining, from a stored materials database and said material data, mechanical or physical data of said materials,
- affectation, à chacun des éléments de l'enveloppe tridimensionnelle du bâtiment, desdites données mécaniques ou physiques, pour produire et mémoriser un modèle tridimensionnel caractérisé du bâtiment. assigning, to each element of the three-dimensional envelope of the building, said mechanical or physical data, to produce and memorize a three-dimensional model characterized by the building.
12. Procédé de calcul du bilan énergétique d'un bâtiment, comprenant les étapes suivantes : 12. Method for calculating the energy balance of a building, comprising the following steps:
- lire dans des moyens de mémorisation le modèle tridimensionnel obtenu par le procédé selon la revendication 11 ,  read in storage means the three-dimensional model obtained by the method according to claim 11,
- calculer à partir des données géométriques et d'isolation dudit modèle, un bilan énergétique du bâtiment.  - calculate from the geometric data and insulation of said model, an energy balance of the building.
PCT/EP2013/060509 2012-05-22 2013-05-22 Method for modeling a building or a room of same on the basis of a limited number of photographs of the walls thereof WO2013174867A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1254643 2012-05-22
FR1254643A FR2991088B1 (en) 2012-05-22 2012-05-22 METHOD FOR MODELING A BUILDING OR A PART THEREOF FROM A LIMITED NUMBER OF TAKING OF VIEWS OF ITS WALLS

Publications (1)

Publication Number Publication Date
WO2013174867A1 true WO2013174867A1 (en) 2013-11-28

Family

ID=48470985

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2013/060509 WO2013174867A1 (en) 2012-05-22 2013-05-22 Method for modeling a building or a room of same on the basis of a limited number of photographs of the walls thereof

Country Status (2)

Country Link
FR (1) FR2991088B1 (en)
WO (1) WO2013174867A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274335A (en) * 2017-05-23 2017-10-20 首汇焦点（北京）科技有限公司 A kind of method and device for quickly setting up high-precision mathematical model
US10354433B2 (en) 2017-07-11 2019-07-16 Here Global B.V. Method and apparatus for generating an abstract texture for a building facade or model
CN114727090A (en) * 2022-03-17 2022-07-08 阿里巴巴（中国）有限公司 Entity space scanning method, device, terminal equipment and storage medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040196282A1 (en) * 2003-02-14 2004-10-07 Oh Byong Mok Modeling and editing image panoramas

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040196282A1 (en) * 2003-02-14 2004-10-07 Oh Byong Mok Modeling and editing image panoramas

Non-Patent Citations (16)

* Cited by examiner, † Cited by third party
Title
ALIAGA D G ET AL: "Style Grammars for Interactive Visualization of Architecture", IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, IEEE SERVICE CENTER, LOS ALAMITOS, CA, US, vol. 13, no. 4, 1 July 2007 (2007-07-01), pages 786 - 797, XP011190849, ISSN: 1077-2626, DOI: 10.1109/TVCG.2007.1024 *
DICK A R ET AL: "Combining single view recognition and multiple view stereo for architectural scenes", PROCEEDINGS OF THE EIGHT IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION. (ICCV). VANCOUVER, BRITISH COLUMBIA, CANADA, JULY 7 - 14, 2001; [INTERNATIONAL CONFERENCE ON COMPUTER VISION], LOS ALAMITOS, CA : IEEE COMP. SOC, US, vol. 1, 7 July 2001 (2001-07-07), pages 268 - 274, XP010553992, ISBN: 978-0-7695-1143-6 *
DICK, A.; TORR, P.; RUFFLE, S.; CIPOLLA, R.: "Combining Single View Recognition and Multiple View Stereo for Architectual Scenes", ICCV, 2001, pages 268 - 274, XP010553992
DUDA, R.; HART, P.: "Comm.", vol. 15, 1972, ACM, article "Use of the Hough Transformation to Detect Lines and Curves in Pictures", pages: 11 - 15
GIBSON S ET AL: "Interactive reconstruction of virtual environments from video sequences", COMPUTERS AND GRAPHICS, ELSEVIER, GB, vol. 27, no. 2, 1 April 2003 (2003-04-01), pages 293 - 301, XP004412341, ISSN: 0097-8493, DOI: 10.1016/S0097-8493(02)00285-6 *
GUO, C.-E.; ZHU, S.-C.; WU, Y.: "A Mathematical Theory of Primai Sketch and Sketchability", PROC. OF INTERNATIONAL CONFERENCE ON COMPUTER VISION, 2003
JAKE PORWAY ET AL: "A Hierarchical and Contextual Model for Aerial Image Parsing", INTERNATIONAL JOURNAL OF COMPUTER VISION, KLUWER ACADEMIC PUBLISHERS, BO, vol. 88, no. 2, 3 November 2009 (2009-11-03), pages 254 - 283, XP019796011, ISSN: 1573-1405 *
KNUT EINAR LARSEN ET AL: "Surveying and digital workflow in energy performance retrofit projects using prefabricated elements", AUTOMATION IN CONSTRUCTION, ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM, NL, vol. 20, no. 8, 2 April 2011 (2011-04-02), pages 999 - 1011, XP028309137, ISSN: 0926-5805, [retrieved on 20110412], DOI: 10.1016/J.AUTCON.2011.04.001 *
LOWE, D.: "Object recognition from local scale-invariant features", PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON COMPUTER VISION, vol. 2, 1999, pages 1150 - 1157
MARTA WILCZKOWIAK: "3D Modelling From Images Using Geometric Constraints - PhD Thesis", 1 January 2004 (2004-01-01), Institut National Polytechnique de Grenoble - INPG, pages 1 - 201, XP055052078, Retrieved from the Internet <URL:http://perception.inrialpes.fr/Publications/2004/Wil04> [retrieved on 20130201] *
PARK ET AL: "Interactive 3D reconstruction from multiple images: A primitive-based approach", PATTERN RECOGNITION LETTERS, ELSEVIER, AMSTERDAM, NL, vol. 26, no. 16, 1 December 2005 (2005-12-01), pages 2558 - 2571, XP027779853, ISSN: 0167-8655, [retrieved on 20051201] *
PORWAY, J.; WANG, Q.; ZHU, S.: "A Hierarchical and Contextual Model for Aerial Image Parsing", INT. J. COMPUT. VISION, vol. 88, no. 2, 2010
TIAN-FU WU ET AL: "Compositional Boosting for Computing Hierarchical Image Structures", CVPR '07. IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION; 18-23 JUNE 2007; MINNEAPOLIS, MN, USA, IEEE, PISCATAWAY, NJ, USA, 1 June 2007 (2007-06-01), pages 1 - 8, XP031114291, ISBN: 978-1-4244-1179-5, DOI: 10.1109/CVPR.2007.383282 *
WILCZKOWIAK, M.: "3D Modelling from Images Using Geometric Constraints", THÈSE INSTITUT POLYTECHNIQUE DE GRENOBLE, 2004
WILCZKOWIAK, M.; STURM, P.; BOYER, E.: "Using Geometric Constraints for Camera Calibration and Positioning and 3D Scene Modelling", WORKSHOP ON VISION TECHNIQUES APPLIED TO THE REHABILITATION OF CITY CENTERS, 2004
WU, T.-F.; XIA, G.-S.: "Compositional boosting for computing hierarchical image procedures", IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2007

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274335A (en) * 2017-05-23 2017-10-20 首汇焦点（北京）科技有限公司 A kind of method and device for quickly setting up high-precision mathematical model
CN107274335B (en) * 2017-05-23 2020-11-10 首汇焦点（北京）科技有限公司 Method and device for quickly establishing high-precision digital model
US10354433B2 (en) 2017-07-11 2019-07-16 Here Global B.V. Method and apparatus for generating an abstract texture for a building facade or model
CN114727090A (en) * 2022-03-17 2022-07-08 阿里巴巴（中国）有限公司 Entity space scanning method, device, terminal equipment and storage medium
CN114727090B (en) * 2022-03-17 2024-01-26 阿里巴巴（中国）有限公司 Entity space scanning method, device, terminal equipment and storage medium

Also Published As

Publication number Publication date
FR2991088B1 (en) 2015-06-19
FR2991088A1 (en) 2013-11-29

Similar Documents

Publication Publication Date Title
Furukawa et al. Accurate, dense, and robust multiview stereopsis
Laffont et al. Rich intrinsic image decomposition of outdoor scenes from multiple views
Musialski et al. A survey of urban reconstruction
Guidi et al. 3D survey and virtual reconstruction of archeological sites
Stanco et al. Digital imaging for cultural heritage preservation
Dick et al. Modelling and interpretation of architecture from several images
Gallup et al. 3d reconstruction using an n-layer heightmap
Bentkowska-Kafel et al. Digital techniques for documenting and preserving cultural heritage
Apollonio et al. A reality integrated BIM for architectural heritage conservation
Murtiyoso et al. First assessments into the use of commercial-grade solid state lidar for low cost heritage documentation
Ceylan et al. Factored facade acquisition using symmetric line arrangements
WO2018104183A1 (en) Method for constructing a 3d digital model from a 2d plan
Rumpler et al. Probabilistic range image integration for DSM and true-orthophoto generation
Tsin et al. Stereo matching with linear superposition of layers
WO2013174867A1 (en) Method for modeling a building or a room of same on the basis of a limited number of photographs of the walls thereof
Tutzauer et al. Façade reconstruction using geometric and radiometric point cloud information
Rüther et al. Challenges in heritage documentation with terrestrial laser scanning
Condorelli et al. Integration of 3D modelling with photogrammetry applied on historical images for cultural heritage.
Quéau et al. Dense multi-view 3d-reconstruction without dense correspondences
Noor et al. Using terrestrial laser scanner for Malay heritage documentation: preliminary approach to Istana Balai Besar, Kelantan
Boulaassal et al. From laser data to parametric models: towards an automatic method for building façade modelling
El-Hakim et al. 3D reconstruction of complex architectures from multiple data
Hou et al. Procedure-based component and architecture modeling from a single image
Rüther et al. Laser Scanning in heritage documentation
Bertellini et al. 3D survey techniques for the conservation and the enhancement of a Venetian historical architecture

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13724268

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13724268

Country of ref document: EP

Kind code of ref document: A1