Method for infrastructure-assisted real-time HD mapping for autonomous driving

Abstract

A method and system for infrastructure-assisted real-time HD mapping are provided. The method includes performing a geometry construction for projecting data into bird-eye-view (BEV) space; performing trajectory-based topology estimation; and performing on-vehicle map fusion. The performing a geometry construction includes performing BEV projection, feature extraction, BEV instance segmentation, and map vectorization. The performing BEV projection includes obtaining accumulated point cloud and vehicle trajectories, projecting the point cloud and trajectories onto a ground plane in the BEV view, and rasterized points to generate two-dimensional (2D) grids. The performing feature extraction includes extracting one or more features for each cell and concatenating the extracted feature to form a feature map where a trajectory direction vector occupies two channels. The performing BEV instance segmentation includes configuring a two-dimensional convolutional neural network (2D CNN) with a UNet-like structure to perform semantic instance segmentation with the extracted feature map in BEV.

Description

METHOD FOR INFRASTRUCTURE-ASSISTED REAL-TIME HD MAPPING FOR AUTONOMOUS DRIVINGCROSS-REFERENCE TO RELATED APPLICATIONThe present application claims the benefit of U.S. Provisional Application Serial No. 63 / 586, 109, filed September 28, 2023, the disclosure of which is incorporated herein by reference in its entirety.BACKGROUND OF THE INVENTION1 INTRODUCTIONAutonomous driving systems are poised to revolutionize the transportation industry. Integral to the functionality of these systems is the High-Definition (HD) map, an indispensable component facilitating the perception and navigation of autonomous vehicles within their operational environment. The HD map comprises two core components: geometry and topology

[0028] . Geometry, in this context, encompasses the locations and semantics of stationary physical assets related to roadways, such as lanes, road boundaries, lane dividers, and crosswalks. It is pertinent to underscore that the HD map under consideration adopts a vectorized representation methodology. The vectorized approach leverages geometric primitives, including lines, curves, and polygons, to encode the road geometry, instead of utilizing raw point clouds. Topology, the second core component, describes lane connectivity, illustrating how lanes or groups of lanes interconnect, influenced by predetermined traffic rules and real-time road conditions. By providing a comprehensive and meticulous representation of the environment, HD map enables autonomous vehicles to comprehend scenes, chart optimal routes, and make context-aware decisions.Existing approaches to constructing HD maps can be categorized into two primary schemes: offline and online. Offline construction typically involves labor-intensive data collection using specialized survey vans (above $200,000 USD apiece) equipped with a combination of high-end sensors such as cameras, LiDAR, GPS, IMU, and radars [3, 42] . The use of SLAM technologies [43, 53] facilitates the creation of globally consistent maps, followed by either manual or semi-automatic annotation of the maps.Online HD Map Construction Methods. HDMapNet

[0027] is the first work that introduces the problem of HD semantic map learning. It encodes features from a single frame of LiDAR point cloud and / or images from surrounding cameras and predicts semantic map elements in the bird’s-eye view. STSU [9] proposes an end-to-end method that extracts local road network graphs and detects objects simultaneously, given only a front-facing camera image. VectorMapNet

[0029] uses transformer modules to predict a sparse set of polylines in the bird’s-eye view to model the geometry of HD maps. These works all take onboard sensor observations as inputs and thus are limited due to physical barriers such as obstacle occlusion and limited sensing range.Infrastructure-assisted Vehicle Perception. Recent works have shown the potential of infrastructure to enhance perception in autonomous driving. VI-Eye

[0021] proposes a semantic-based point cloud registration method for merging vehicle point cloud with infrastructure point cloud. VIPS

[0044] fuses the object detection results of the infrastructure and vehicle by leveraging a graph matching algorithm. Michael et al. [7] leverage the infrastructure to detect, track and predict the motion of vehicles to build an environment model, which is transmitted to the vehicle for motion planning. Among these works, infrastructures are primarily utilized for dynamic object perception. VI-Map stands apart from these endeavors, as its objective is to harness infrastructure to construct precise and current HD maps on the infrastructure side, thereby assisting the generation of on-vehicle HD maps.Major players in the autonomous driving industry, such as TomTom

[0047] , HERE

[0046] , and Baidu [3] , adopt this approach for its ability to generate highly detailed and comprehensive map information. However, this existing practice suffers from excessive costs. Moreover, the constructed maps are susceptible to obsolescence between successive mapping iterations [24, 38] . This predicament arises from the inherent impracticality of maintaining up-to-date HD maps covering large areas, given the sheer size of road networks and frequent changes of lane connectivity

[0037] . Consequently, most current offline HD maps focus on highways, leaving city roads significantly underserved [6] .To address the challenges inherently posed by the offline scheme, recent technological advancements [9, 22, 27, 29, 30] explore the concept of online HD map learning. This approach aims to estimate the local HD map on-the-fly based on onboard sensor observations such as point clouds obtained from LiDARs and / or images captured by the surrounding cameras. While this strategy reduces reliance on global offline HD maps and offers the potential for more cost-effective and scalable HD mapping, it is not without limitations. These methods encounter inherent limitations stemming from on-vehicle sensors and dynamic road conditions. These challenges encompass the constraint of limited sensor field-of-view and variations in sensor data quality, attributed to factors such as occlusion and swift movement. Additionally, online HD maps typically lack road topology due to the complexities of inferring such logical information in real time. Consequently, the existing online map construction schemes can be fragile and incomplete.BRIEF SUMMARY OF THE INVENTIONEmbodiments of the subject invention pertain to a method and systems of HD mapping for autonomous driving.According to an embodiment of the subject invention, a method for infrastructure-assisted real-time HD mapping is provided. The method comprises performing a geometry construction for projecting data into bird-eye-view (BEV) space; performing trajectory-based topology estimation; and performing on-vehicle map fusion. The performing a geometry construction comprises performing BEV projection, feature extraction, BEV instance segmentation, and map vectorization. Moreover, the performing BEV projection comprises obtaining accumulated point cloud and vehicle trajectories, projecting the point cloud and trajectories onto a ground plane in the BEV view, and rasterized points to generate two-dimensional (2D) grids. The performing feature extraction comprises extracting one or more features for each cell and concatenating the extracted feature to form a feature map where a trajectory direction vector occupies two channels. The performing BEV instance segmentation comprises configuring a two-dimensional convolutional neural network (2D CNN) with a UNet-like structure to perform semantic instance segmentation with the extracted feature map in BEV. The 2D CNN is configured to take the feature map as input and generate a pixel-wise mask for each individual road element for obtaining an instance mask as output. Further, the performing map vectorization comprises vectorizing the map to generating sparse and compact representations of the HD map. The performing trajectory-based topology estimation comprises building and updating map topology based on the precise vehicle trajectories and instance segmentation results of lanes obtained by the geometry construction. The performing on-vehicle map fusion comprises merging the HD map received from the geometry construction and the trajectory-based topology estimation with an on-vehicle HD map. Additional, the performing on-vehicle map fusion comprises performing map element correspondence, map alignment, and map element re-fitting.In another embodiment of the subject invention, a computer program product is provided, comprising a non-transitory computer-executable storage device having computer readable program instructions embodied thereon that when executed by a computer cause the computer to perform a method for infrastructure-assisted real-time HD mapping, the computer-executable program instruction comprising performing a geometry construction for projecting data into bird-eye-view (BEV) space; performing trajectory-based topology estimation; and performing on-vehicle map fusion. The performing a geometry construction comprises performing BEV projection, feature extraction, BEV instance segmentation, and map vectorization. Moreover, the performing BEV projection comprises obtaining accumulated point cloud and vehicle trajectories, projecting the point cloud and trajectories onto a ground plane in the BEV view, and rasterized points to generate two-dimensional (2D) grids. The performing feature extraction comprises extracting one or more features for each cell and concatenating the extracted feature to form a feature map where a trajectory direction vector occupies two channels. The performing BEV instance segmentation comprises configuring a two-dimensional convolutional neural network (2D CNN) with a UNet-like structure to perform semantic instance segmentation with the extracted feature map in BEV. The 2D CNN is configured to take the feature map as input and generate a pixel-wise mask for each individual road element for obtaining an instance mask as output. Further, the performing map vectorization comprises vectorizing the map to generating sparse and compact representations of the HD map. The performing trajectory-based topology estimation comprises building and updating map topology based on the precise vehicle trajectories and instance segmentation results of lanes obtained by the geometry construction. The performing on-vehicle map fusion comprises merging the HD map received from the geometry construction and the trajectory-based topology estimation with an on-vehicle HD map. Additional, the performing on-vehicle map fusion comprises performing map element correspondence, map alignment, and map element re-fitting.BRIEF DESCRIPTION OF THE DRAWINGSThe patent or application file contains at least one drawing executed in color. Copies of this patent or patent application publication with color drawing (s) will be provided by the Patent and Trademark Office upon request and payment of the necessary fee.FIG. 1 shows infrastructure-assisted HD mapping, according to an embodiment of the subject invention.FIGs. 2A and 2B show vehicle behaviors with the topology extracted from outdated HD map (FIG. 2A) and fresh HD map (FIG. 2B) , wherein FIG. 2A shows the topology of an outdated HD map cannot reflect the vehicle breakdown, in which the diagram on the right shows that vehicles fail to make the right steering decision and cause traffic congestion, wherein FIG. 2B shows The topology of a fresh HD map depicts the blocked and accessible lanes, in which the diagram on the right shows vehicles change to the accessible lane in advance, according to an embodiment of the subject invention.FIG. 3 is a schematic diagram showing infrastructure point cloud accumulation brings clearer perception, according to an embodiment of the subject invention.FIG. 4 is an illustration of objects extracted from vehicle trajectories (left to right: vehicle trajectories, trajectory attributes, and corresponding map elements) , according to an embodiment of the subject invention.FIG. 5 shows the system architecture of VI-Map, according to an embodiment of the subject invention.FIG. 6 shows design of the HD map geometry construction on roadside infrastructure, according to an embodiment of the subject invention.FIG. 7 shows design of HD map fusion on the vehicle, according to an embodiment of the subject invention.FIGs. 8A-8C show a real-world testbed deployed for VI-Map data collection and system evaluation, wherein FIG. 8A shows modified vehicle, FIG. 8B shows Mobile roadside infrastructure, and FIG. 8C shows 18 tested locations in two cities, according to an embodiment of the subject invention.FIGs. 9A and 9B show town 5 map used in CARLA dataset, wherein FIG. 9A shows locations of roadside infrastructure, and wherein FIG. 9B shows HD map parsed from OpenDRIVE file, according to an embodiment of the subject invention.FIG. 10 shows HD map IoU scores of a vehicle passing a road section where an infrastructure is located, according to an embodiment of the subject invention.FIG. 11 shows that the VI-Map extends online HD map range, according to an embodiment of the subject invention.FIG. 12 shows that the VI-Map improves ride comfort, according to an embodiment of the subject invention.FIG. 13 shows that the VI-Map improves traffic efficiency, according to an embodiment of the subject invention.FIG. 14 shows HD mapping results of different methods in a real-world scene, according to an embodiment of the subject invention.FIGs. 15A and 15B show topology estimation performance of different updated strategies at different road types, wherein FIG. 15A shows response &success time, and FIG. 15B shows success rate, according to an embodiment of the subject invention.FIG. 16 shows HD map IoU scores of fused maps generated by different map merging methods over vehicle localization errors, according to an embodiment of the subject invention.FIG. 17 shows run-time latency of each step of the VIMap on the vehicle at different road types, according to an embodiment of the subject invention.DETAILED DISCLOSURE OF THE INVENTIONEmbodiments of the subject invention are directed to a method and systems for infrastructure-assisted real-time HD mapping.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. As used herein, the term “and / or” includes any and all combinations of one or more of the associated listed items. As used herein, the singular forms “a, ” “an, ” and “the” are intended to include the plural forms as well as the singular forms, unless the context clearly indicates otherwise. It will be further understood that the terms “comprises” and / or “comprising, ” when used in this specification, specify the presence of stated features, steps, operations, elements, and / or components, but do not preclude the presence or addition of one or more other features, steps, operations, elements, components, and / or groups thereof.Unless otherwise defined, all terms (including technical and scientific terms) used herein have the same meaning as commonly understood by one having ordinary skill in the art to which this invention pertains. It will be further understood that terms, such as those defined in commonly used dictionaries, should be interpreted as having a meaning that is consistent with their meaning in the context of the relevant art and the present disclosure and will not be interpreted in an idealized or overly formal sense unless expressly so defined herein.When the term “about” is used herein, in conjunction with a numerical value, it is understood that the value can be in a range of 90%of the value to 110%of the value, i.e. the value can be + / -10%of the stated value. For example, “about 1 kg” means from 0.90 kg to 1.1 kg.Intelligent roadside infrastructure or roadside unit (RSU) , equipped with sensors and compute units provide a superior solution for HD map construction. Notably, a crucial attribute unique to roadside infrastructure is its ability for continuously observation of road sections while being stationary. This capability addresses the shortcomings of both offline and online methods. In the first instance, compared to offline approaches, uninterrupted and continuous observation enables infrastructure to promptly update the dynamically evolving HD map. Secondly, in contrast to online techniques, the broad field of view and static, accumulated observations empower infrastructure with comprehensive, unobstructed, and high-quality sensor data.According to embodiments of the subject invention, a system and methods for infrastructure-assisted real-time HD mapping, named VI-Map, are provided to harness roadside infrastructure to create and maintain HD maps for autonomous driving. In particular, the infrastructure employs its own sensors, such as Li-DARs or 2D / 3D cameras, to construct and refresh the HD map. The vehicle then integrates this map with its own HD map in real-time, enhancing / updating the vehicle’s scene understanding (as depicted in Fig. 1) . The core idea behind VI-Map is to capitalize on the distinct, stationary, and cumulative observations of roadside infrastructure to facilitate accurate and current HD mapping. Specifically, VI-Map first extracts a plurality of, for example, 5 carefully designed concise bird-eye-view (BEV) features, from the dense point clouds and accurate vehicle trajectories captured by infrastructure, and then employs them for efficient map geometry construction. The VI-Map then lever-ages the latest vehicle trajectories to estimate and update the current map topology. Finally, VI-Map adopts a new three-stage map fusion algorithm to merge the infrastructure’s HD map with the on-vehicle one. Notably, the VI-Map does not aim to replace the existing HD mapping methods. Instead, it offers a critical complementary HD mapping paradigm for autonomous driving by leveraging increasingly available intelligent roadside infrastructure.The VI-Map offers several key advantages: (i) It transforms massive and unstructured cumulative 3D data into structured, compact, and concise 2D bird-eye-view (BEV) features. These features can be processed with a highly efficient 2D CNN, greatly reducing the compute overhead and enabling its practical deployment on edge devices on infrastructure. (ii) VI-Map generates vectorized HD maps on the infrastructure. Such vectorized representation is highly lightweight, minimizing the communication overhead between infrastructure and vehicles. Additionally, the representation is also compatible with OpenDRIVE

[0036] , a widely adopted industry-standard HD Map data format. (iii) VI-Map does not require the precise location of roadside infrastructures or time synchronization between vehicles and infrastructure. This significantly lowers the barriers to the wider deployment of roadside infrastructure and the adoption of the solution. (iv) the VI-Map allows a simple, fast, and flexible deployment, as it allows roadside infrastructure nodes to build their own HD maps independently, which are then fused into the continuous global on-vehicle HD map. As a result, the VI-Map can work with mobile RSUs that are deployed on complex and rapidly changing road sections where there is a critical demand for fresh HD map updates. The VI-Map can thus offer patches for updating the global HD map at important road sections, complementary to the existing offline and online map construction schemes. This leads to a highly scalable architecture for infrastructure-assisted HD mapping for autonomous driving.The VI-Map is implemented on a real-world testbed, comprising a modified passenger vehicle, and a mobile RSU that is deployed at 18 different road sections in two cities, covering up to 5 types of roads. Two new datasets are collected using the testbed and a leading simulation platform for autonomous driving, respectively. The results demonstrate that compared with the online map construction approaches, the VI-Map can extend the local HD map range of a vehicle by 3 times and improve the map accuracy by 2.8 times, while only incurring 42 ms map fusion delay on the vehicle. At the application level, the VI-Map increases the traffic efficiency of problematic road sections by over 5 and improves the ride comfort index by 3.9 times. A video demo of the VI-Map on the real-world testbed is available at https:  / / youtu. be / p2RO65R5Ezg.The embodiments of the subject invention exploit roadside infrastructure to enhance real-time HD mapping for autonomous vehicles. It harnesses the unique cumulative observations made by roadside infrastructure to build and maintain an accurate and current HD map. This HD map is then fused with on-vehicle HD maps in real time, resulting in a more comprehensive and up-to-date HD map. The invention has broad applications in autonomous driving as well as intelligent transportation systems, spanning diverse fields such as smart city, infrastructure-assisted autonomous driving, cooperative sensing, and online HD map construction.According to the embodiments of the subject invention, the system and methods for infrastructure-assisted real-time HD mapping for autonomous driving comprise three key components. (1) Geometry Construction. This module first extracts 5 carefully designed concise bird-eye-view (BEV) features from the dense point clouds and accurate vehicle trajectories captured by infrastructure, and then employs them for efficient map geometry construction. (2) Topology Estimation. This module leverages the latest vehicle trajectories to estimate and update the current map topology. The resulting precise vectorized map geometry, along with the fresh topology, forms a concise infrastructure HD map. (3) Map Fusion. This module executes within the vehicle. It receives the infrastructure HD map and merges it with the on-vehicle HD map. This module adeptly employs the semantic, proximity, and direction attributes of the vectorized HD map, facilitating the swift integration of infrastructure and vehicle HD maps, thereby providing real-time HD map support for autonomous driving.The system and methods for infrastructure-assisted real-time HD mapping are tested in an autonomous driving simulator and 5 real-world road sections. Experiments show that the system and methods for infrastructure-assisted real-time HD mapping can construct decimeter-level (up to 0.3m) HD maps and achieve real-time (up to a delay of 42ms) map fusion between driving vehicles and roadside infrastructure. This represents a significant improvement of 2.8 times and 3 times in map accuracy and coverage compared to the state-of-the-art online HD mapping approaches. A prototype is validated in the experiment and tested in a simulator and 5 real-world road sections, and all achieve high map construction accuracy.A new HD map construction paradigm that leverages roadside infrastructure to enhance real-time HD mapping for autonomous driving is provided. The system and methods for infrastructure-assisted real-time HD mapping exploit the unique observations made by roadside infrastructure to build an accurate HD map at the infrastructure end, and then fuse it with on-vehicle HD maps in real time, resulting in a more comprehensive and up-to-date HD map.MATERIALS AND METHODS2 Motivation Case StudyThis section begins with a case study to understand the limitations of the existing HD maps on autonomous vehicles (Sec. 2.1) . Then, the key insights into the advantages offered by infrastructure in generating timely and high-quality HD maps are provided, underscoring the potential of infrastructure-assisted HD mapping (Sec. 2.2) .2.1 Limitations of Existing on-vehicle HD MapsOffline HD Maps. Autonomous vehicles rely on up-to-date HD maps for both global route planning as well as local behavior decisions and motion planning. However, various road situations such as road construction, congestion, and accidents make road geometry and topology (that is, lane connectivity) ever-changing, necessitating frequent HD map updates for safe and efficient autonomous driving [24, 38] .Vehicles with outdated HD maps may make wrong behavior and motion planning decisions that do not comply with current road conditions, leading to sub-optimal or even hazardous driving performance. An example using CARLA

[0016] , a popular driving simulator that has been used in developing industrial autonomous vehicle systems such as Apollo [2] and Autoware, is illustrated.In this case study, a broken-down vehicle blocks the right-most lane, leading to a change in road topology where the right lane is no longer connected to other lanes. Fig. 2A and Fig. 2B illustrate the behavior of vehicles with an obsolete HD map and a fresh HD map, respectively. With the outdated HD map, vehicles suffer from sudden braking and sharp turns, which results in a slower speed or even congestion. In contrast, a fresh HD map allows vehicles to be aware of the lane states in advance and make better decisions, such as choosing the unimpeded left lane, leading to smoother and faster passage through the impacted road section (average speed 1.6 m / svs. 8.1 m / s) . Note that the decisions made by CARLA’s autonomous driving agents in the case study may not be optimal. Nevertheless, considerable benefits of maintaining a real-time HD map, even with the off-the-shelf autonomous driving agent implementations, are observed.Online HD Maps. Online map construction methods use the onboard sensor to obtain up-to-date HD maps. However, such maps are susceptible to the vehicle’s limited sensor range and uncertain sensor data quality. For an intuitive illustration, the online map construction method

[0027] is run on the real vehicle LiDAR data collected from a city street. A detailed result / visualization can be found in the video in the abstract. In particular, the occlusion of LiDAR by surrounding vehicles makes the constructed map incomplete and fragmented. The evaluation reveals that the integrity of online-generated maps could fall below 25%when half of the road is occluded, which cannot meet the stringent safety requirements for autonomous driving.2.2 Benefits of Roadside InfrastructureAs discussed in Sec. 2.1, offline HD maps provide a complete but outdated perception, while up-to-date online HD maps constructed by the vehicle only can be inaccurate. This work addresses these issues by exploiting infrastructure-assisted HD map construction and update. Roadside infrastructure can achieve continuous observation of road sections at a standstill, which is ideal for local HD map construction as it offers two key advantages: higher perception quality and the ability to capture real-time topology changes. Roadside infrastructure, including off-the-shelf RSUs [12, 13, 20] , is increasingly available. This trend provides an opportunity to leverage roadside infrastructure to improve the HD mapping of autonomous vehicles.Complete and Clear Perception. The sensors installed on the infrastructure provide a broader field of view and a longer perception range and are less likely to be obstructed compared with sensors mounted on vehicles. Moreover, by accumulating the sensor data over time, a much more detailed and precise observation of the road can be obtained. The left and right images in Fig. 3 illustrate the point clouds of the infrastructure from one frame and from a 10-second superimposition, respectively. The accumulated point cloud from the infrastructure can provide much more details and accurate information such as lane lines and road boundaries, which are essential for autonomous driving.Precise Trajectory Observations. By using LiDAR for vehicle detection and tracking, infrastructure can obtain continuous and accurate trajectories (decimeter accuracy

[0033] ) , which is exclusive to infrastructure and cannot be obtained through alternative methods such as the vehicle’s GPS. The key observation is that these fresh and precise trajectories pro-vide valuable information for reasoning about the geometry and topology of the road. The findings are demonstrated using a typical real-world intersection as shown in Fig. 4. Trajectory density differentiates lanes and helps find lane dividers and road boundaries. Trajectory direction is consistent with map topology, indicating directed connectivity between lanes. Trajectory direction variance reflects differences in driving direction at the same location, which is high near intersections. Therefore, it can be used for inferring potential cross-walks. These observations can be incorporated together to achieve real-time yet highly lightweight map construction and update.3 Design of VI-MAP3.1 System OverviewThe system and methods for infrastructure-assisted real-time HD mapping, named VI-Map, exploit roadside infrastructure for real-time HD mapping for autonomous vehicles. Fig. 5 shows an overview of the VI-Map. Specifically, the VI-Map harnesses distinct data collected by roadside infrastructure, including the accumulated point cloud and precise vehicle trajectories, to build and maintain HD maps. Notably, these two types of data are unique to roadside infrastructure.The VI-Map comprises three key components. Firstly, to effectively handle the massive, unstructured, and heterogeneous 3D point cloud and trajectory data, a geometry construction (Sec. 3.2) module is configured to project these data types into the BEV space, yielding a streamlined, structured, and unified 2D BEV representation. Then, the geometry construction module extracts specific features from both data types, distilling valuable insights tailored for generating map geometry. The geometry construction module utilizes fewer fresh but massive point cloud and trajectory data for high-precision geometry prediction. In contrast, the topology estimation (Sec. 3.3) uses newly arriving trajectories for topology reasoning. An updated strategy is designed to identify trajectory changes and trigger the topology update. The resulting precise vectorized map geometry, along with the fresh topology, form a concise infrastructure HD map. Finally, the map fusion (Sec. 3.4) executed within the vehicle receives the infrastructure HD map and merges it with the on-vehicle HD map. The map fusion module adeptly employs the semantic, proximity, and direction attributes of the vectorized HD map, facilitating the swift integration of infrastructure and vehicle HD maps, thereby providing real-time HD map support for autonomous driving. Furthermore, the vectorized HD map itself is extremely lightweight, leading to minimal communication overhead and robust adaptability to vary communication conditions between infrastructure and vehicles.3.2 Geometry ConstructionThis module is designed to generate the geometry component of the HD map on the infrastructure, making use of two key data sources obtained from the infrastructure: accumulated point clouds and vehicle trajectories. In the design, the map geometry is defined as vectorized representations of four road element types: road boundary, lane divider, lane, and crosswalk. These elements cover the most common elements in HD maps and are consistent with the existing online map construction methods. Specifically, line-based elements such as road boundaries and lane dividers are represented as spline curves, while region-based elements such as lanes and crosswalks are represented as polygons.The geometry construction poses the following challenges: (i) Point cloud and trajectory are two heterogeneous data types and can be hard to deal with simultaneously. (ii) Processing the multi-frame accumulated 3D point clouds on the infrastructure edge device with limited computing resources is a challenge. These challenges are approached by projecting the two types of data to a bird-eye view (BEV) and rasterizing them. As a result, (i) unstructured LiDAR points and trajectories are both converted to a regular grid, enabling simultaneously learning features from both inputs to infer geometry; (ii) such image-like BEV representation can be efficiently processed by a highly lightweight 2D CNN, eliminating the need for resource-intensive 3D point cloud DNNs. This approach enables the construction of maps on a mobile GPU with high efficiency.Fig. 6 shows the pipeline of the geometry construction module, which includes four steps: BEV projection, feature extraction, instance segmentation, and vectorization. In the initial step, the two types of accumulated data are projected into the BEV space. From this projection, five meticulously crafted features are extracted, which are tailored for the inference of map geometry. These features are subsequently inputted into a 2D CNN for instance segmentation. This process yields map element instances represented as grid maps. Ultimately, the grid-based representation of map elements undergoes vectorization, culminating in the creation of a vectorized HD map.BEV Projection. First, the process of obtaining the accumulated point cloud and accurate vehicle trajectories is described. For each infrastructure point cloud frame, a 3D multi-object tracking method such as AB3DMOT is configured to detect and track vehicles. Frames with no vehicle detection or tracking are accumulated as a static point cloud, while trajectories are saved for tracked vehicles. Then, the point cloud and trajectories are projected onto the ground plane in the BEV view. Points in the point cloud with distances greater than 0.5m from the ground are filtered out, as they may include points of trees or buildings that are irrelevant for map construction. Both the LiDAR points and trajectories are projected onto the ground plane, resulting in a set of 2D points (x, ) , where (x, y) represents the coordinates of each point. Finally, the points to generate 2D grids are rasterized. In particular, the points are scattered into pixel location (u, v) with the grid size of (H, W) . The rasterization is denoted by u = [ (x -xmin)  / α] , v = [ (y -ymin)  / α] . The grid height and width are denoted by H = [ (xmax-xmin)  / α] , W = [ (ymax -ymin)  / α] , respectively, where [·] is the rounding operation and α indicates the resolution of the rasterization. For instance, when α = 10, the cell size is 0.1m ×0.1m. Following the previous step, BEV grid representations are obtained for the point cloud and trajectory, respectively, where each cell may contain varying numbers of points. Each point contains some features that are designed and extracted in the next step.Feature Extraction. A plurality of, such as five features, from the Li-DAR points and trajectory points for HD map construction are selected, including but not limited to, height, intensity, density, direction mean, and direction variance. For LiDAR points, the maximum distance to the ground plane in each cell is calculated as the height feature (∈ R1) , facilitating inferring the road boundaries since curbs are usually 0.2 ～ 0.3m higher than the ground. the average intensity (∈ R1) of points is also computed in each cell. High intensity indicates the existence of ground markings, such as lane dividers and crosswalks, because the paints used for ground marking printing are usually reflective. For the trajectory points, a plurality of, such as three features, are computed as motivated in Sec. 2.2, including but not limited to density (∈ R1) , direction mean (∈ R2) , and direction variance (∈ R1) . The density is computed by counting the number of trajectory points in each cell. A 2D direction vector instead of an angle to is used to represent the direction to improve the smoothness of the representation space. The direction variance is defined as σ2 = 1 -∥R∥2, where R = ∑i vi / n is the average of the n direction vectors {vi} and ∥·∥2 is the L2 norm of the average direction. To summarize, a total of five features are extracted for each cell and concatenated to form a feature map with shape (H, W, 6) , where the trajectory direction vector occupies two channels.BEV Instance Segmentation. A 2D CNN with a UNet-like structure is employed to perform semantic instance segmentation with the extracted feature map in BEV. The prediction is made for four road element types: lane, road boundary, lane divider, and crosswalk. The CNN is trained by combined weighted cross-entropy loss

[0039] and instance clustering loss

[0015] , which is denoted by L = αLsemantic + βLinstance. The CNN takes the feature map of shape (H,, 6) as input and generates a pixel-wise mask for each individual road element, resulting in an instance mask output. The instance segmentation results also serve as inputs for the topology estimation module.Map Vectorization. The instance segmentation maps for each category of road elements cannot be directly used by vehicles, as they are not compatible with most autonomous driving frameworks, which typically employ vectorized representation for HD maps. Therefore, the map is further vectorized, generating sparse and compact representations of the HD map, minimizing the map’s data volume and thereby decreasing the communication overhead during the transmission of the infrastructure HD map to vehicles.The standard HD map specifications in ASAM OpenDRIVE are adopted to model the road elements as splines (for boundaries and dividers) or polygons (for lanes and crosswalks) . Each instance is first extracted as a set of pixel locations { (ui, vi) ; i = 1, ..., n} on the segmentation map. To fit each boundary and divider, a cubic function (u) that minimizes the mean square error: 1 / n ∑i (g (ui) -vi) 2 is sought. The solution can be easily found by least squares regression. The minimum enclosing rectangle of { (ui, vi) } is fit as the geometry representation for lanes and crosswalks.3.3 Topology EstimationThis module builds and updates the map topology by leveraging the precise vehicle trajectories and instance segmentation results of lanes from Sec. 3.2. A graph is adopted to represent the topology, following the definition in OpenDRIVE. In this context, the graph’s nodes and edges correspond to lanes and the connections between them, respectively. The design of this module is based on the key observation that precise vehicle trajectories can be utilized for inferring map topology and identifying topology changes due to the strong correlation between lane connectivity and trajectory, allowing the inference of one from the other. Additionally, since trajectories are continuous, utilizing fresh trajectory data enables timely estimation and update of the map topology.The principle of topology construction is as follows: if two lanes are crossed by the same trajectory, they are considered to be connected. The connectivity is directed, which is described by the direction of the trajectory. As discussed in Sec. 2.1, the road topology is dynamic. Thus, an updated strategy is designed to decide when to trigger an update upon topology changes. The updated strategy detects topology changes from both temporal and spatial dimensions and cross-validates them to reduce erroneous updates. Specifically, for the temporal dimension, it is assumed that, for each lane i, the arrival time t for k vehicle trajectories follows a Poisson distribution. the continuous arrival time is discretized and defined as the number of time units. Each time unit has a duration of 1 second. The probability mass function for each lane i is defined as: The rate parameter λi for each lane i is dynamically updated based on the set of most recent historical observations on the arrival time for k trajectories within a predefined time interval. In the experiments, the time interval is set to be one-hour long, which is a common update interval in many traffic flow monitoring and forecasting works. A x2 test is then used with a significance level of 0.05 to determine for each lane i if the historical observations follow the current Poisson distribution. In the spatial dimension, the three trajectory features, namely, trajectory density, direction mean, and direction variance are computed for the most recent ktrajectories. Then, the cross-entropy loss l between the current trajectory features and those in the one-hour time interval are calculated. The map topology is updated only if p > 0.05 and lexceeds a specified threshold.3.4 Map FusionThis module runs on the vehicle and is configured to merge the received HD map from the infrastructure with the on-vehicle HD map. This step involves addressing the map fusion problem, that is, finding the coordinate transformation between the two maps and use this transformation to integrate them. The existing map fusion techniques are primarily developed for scenarios such as multi-robot cooperative SLAM, where the maps being fused are occupancy grid maps. However, the existing methods cannot be directly adapted to the context due to the distinction in map types -for fusing two vectorized HD maps.To this end, a three-stage map fusion algorithm is provided to merge the infrastructure HD map and the vehicle HD map. Fig. 7 shows a pipeline of this module. Firstly, the semantic attributes and spatial proximity of the map elements are utilized to establish their correspondence. Subsequently, the directional characteristics are utilized to determine the transformation between the two maps, relying on their established correspondences. This transformation is then employed to accurately align the two HD maps. Lastly, each pair of corresponding map elements is refit into a unified representation, culminating in the creation of the final merged HD map.Stage 1: Map element correspondence. To merge two HD maps, each having multiple road elements, it is required that first find element correspondence between the infrastructure and vehicle. First, the infrastructure HD map is started from its infrastructure coordinate to the vehicle coordinate using an initial transformation, which can be easily derived based on the infrastructure and vehicle poses obtained from GPS and IMU data. This preliminary transformation can be inaccurate due to GPS errors, which are to be refined in the next stage. Then, within the vehicle’s HD map, a straightforward approach is adopted whereby each map element is matched with its counterpart in the infrastructure HD map. This matching is established based on shared semantic label and proximity, with the corresponding element being the one in the infrastructure HD map that holds the same semantic label and exhibits the shortest distance. The distance between two elements is defined as the distance between their nearest endpoints. One fact is that an element in the infrastructure HD map might correspond to multiple elements within the vehicle HD map, particularly when occlusions in the vehicle’s perspective leads to the fragmentation of map elements. Notably, the semantic labels of map elements are leveraged to enhance matching accuracy and efficiency. Specifically, elements belonging to the same semantic category are exclusively selected as potential corresponding pairs. This simple yet effective approach has demonstrated commendable results in establishing correspondence, even in cases where the initial transformation is inaccurate.Stage 2: Map alignment. After all the corresponding element pairs are found, the errors in the initial transformation are eliminated by refining the alignment between all of the element pairs. It is noted that the alignment is performed only using line-type elements (splines) since it reveals more positional information. The optimal rigid transformation is found by minimizing a novel direction-aware chamfer distance between two spline curves. Specifically, the splines are first converted back to points by sampling with a fixed interval. Then the tangent directions (du, dv) of each point are computed. Together with position (u, v) , a tuple ψ = (u, v, du, dv) is assigned for each point, and two tuple sets are obtained from infrastructure and vehicle {ψi} , {ψv} . Next, in each iteration, tuple correspondences are first determined by searching for the closest tuple in {ψi} for each ψv. The distance is defined as the Euler distance between two tuples. Then, a rigid transformation is estimated using a weighted root mean square, w = cos (θv -θi) γ, where γ is a hyperparameter that controls how much bias the estimation should lean towards points that have similar directions. All the transformations estimated from each corresponding element pair are averaged and the mean value is used to transform the splines on the infrastructure. Then, the above process for several iterations is repeated. In one embodiment, it is found that five iterations can already result in convergence. Finally, a refined transformation that aligns the map element from the infrastructure to the vehicle is achieved.Stage 3: Map element re-fitting. Each corresponding pair is merged into one union map element. For line type element, sample points are densely taken on the two elements and the fitting process is repeated as illustrated in Sec. 3.2. For regional features, the union of a pair of corresponding elements is simply taken. An integrated HD map that is aligned with the vehicle perspective is obtained for potential downstream tasks.4 Testbed and DatasetIn this section, the testbeds of the VI-Map and datasets collected for evaluations are provided.Testbed. The VI-Map is implemented on both a real-world setup and CARLA simulator for extensive data collection and evaluation. Figs. 8A-8C show the real-world setup, which includes a modified vehicle and a customized mobile pole as the roadside infrastructure unit. Each pole is equipped with two Livox AVIA LiDARs

[0031] at a height of 5m.A Livox HAP LiDAR

[0032] is mounted on top of a vehicle at about 1.7m. The mobile pole is installed with an NVIDIA Jetson Orin and an 802.11ac WiFi router for wireless communication with vehicles. The test vehicle as shown in Figs. 8A-8C carries another Orin to run an online HD map construction baseline

[0027] and VI-Map’s map fusion code. Both vehicle and mobile pole are installed with a NEO-M8T GPS

[0049] and an HWT9052-485 IMU

[0052] to estimate the pose.Herein, a cost analysis for the mobile RSU is developed, providing valuable insights into its practical implementation in real-world scenarios. Table 1 presents comparisons between the hardware and costs of the RSUs used in the existing works [25, 48] and in the VI-Map. Each RSU primarily comprises several components such as sensors, compute units, and communication units. It is worth noting that the cost of RSUs can potentially be further curtailed, particularly as LiDAR prices continue to decrease over time. In order to ensure comprehensive road coverage, the recommended deployment distance between two adjacent RSUs is approximately 50 meters.Table 1. Comparisons between the hardware and costs of the RSUs in existing works [25, 48] and in VI-Map.The existing autonomous driving public datasets [8, 18] only provide vehicle-centric point cloud data, which cannot be used for the evaluation of the VI-Map. Therefore, two new datasets, one from the real-world testbed and one generated by the CARLA simulator

[0016] are collected. Both datasets contain a constant period of point clouds from both the infrastructure and the vehicle. The real-world dataset is collected from 18 road sections in two cities, covering a variety of road types (T-junctions, crossroads, bends, straight roads, etc. ) and varying lane numbers ranging from one to six lanes. Table 2 summarizes the two datasets.Table 2. Summary of two new datasets, where “infr. ” represents infrastructure and “veh. ” represents vehicle.Real-world Dataset. During the collection of the dataset, the average collection time of the infrastructure point cloud is 3 minutes (up to around 10 minutes) . The vehicle speed is 25 km / h on average (up to around 30 km / h) . To obtain the ground-truth HD maps, each point cloud pair of infrastructure and vehicle is first registered, and then the fused point clouds are projected to BEV and rasterized to images, with a resolution of 0.15 m / pixel. Next, the map geometry (polylines and polygons) is manually annotated in the images using the CVAT tool. An HD map is annotated for each pair of infrastructure-vehicle point clouds and individual vehicle point clouds if it has little overlap with the infrastructure point cloud. Separate ground-truth HD maps of infrastructure and vehicles are obtained by cropping the fused HD maps. The map topology for each road section is manually annotated as an n × n binary array, where n denotes the number of lanes in a road section, and values of 1 and 0 indicate the connection and disconnection of two lanes, respectively. As a result, one infrastructure HD map and multiple vehicle HD maps for each road section are obtained, which are used as the training data of the geometry construction module and the online map construction baseline, respectively. The vehicles in the infrastructure point cloud are also annotated for the training data of tracking algorithm AB3DMOT.CARLA Dataset. A dataset in CARLA

[0016] is also rendered. Roadside infrastructures at different locations of Town 5 in the CARLA ecosystem are configured. Each infrastructure and the ego vehicle are installed with a LiDAR with 32 channels and 360°field of view, which is consistent with mainstream autonomous driving datasets [8, 18] . 200 vehicles wandering around the whole town are employed to simulate traffic flow. The map file (in . xodr file format defined by OpenDRIVE) provided by CARLA is parsed to generate the ground-truth HD map of the whole town. Then, the local HD map of each infrastructure and each frame of the vehicle point cloud is obtained by cropping the town map according to the pose of each subject. Figs. 9A-9B show all the infrastructure locations and the global HD map. The CARLA dataset covers 50 road sections in a town of 439m × 509m. Moreover, CARLA enables the simulation of events that causes changes in road topology, such as vehicle breakdown or accidents, which can be dangerous to simulate in the real world. Vehicle breakdown in road sections with three different road types including T-junctions, intersections, and two-way two-lane straight roads, are simulated. Different degrees of road-marking blurriness including, but not limited to, mild (< 20%) , moderate (50%-60%) , and severe (> 90%) are also simulated.5 Evaluation5.1 Evaluation Setup and Metrics5.1.1 Evaluation setup. The height H and width W of the BEV grid (refer to Section 3.2) are set to 300, according to the road coverage of the infrastructure point cloud. The geometry construction model of the VI-Map, the vehicle tracking model

[0051] , and the baseline model

[0027] are trained or fine-tuned using the two datasets introduced in Sec. 4. The training is performed on a server equipped with Intel Xeon Silver 4210 CPU and one NVIDIA RTX 2080Ti GPU. The 10-fold validation method is adopted for the three models.5.1.2 IoU, CDP, CDL, CD, P, R. The evaluation methodologies in [19, 27, 29] are adhered to and these widely recognized evaluation metrics are employed to assess the precision of map geometry. Intersection-over-union (IoU) and Chamfer distance (CD) are used as metrics for evaluating line-type elements such as boundary and divider. For the regional element crosswalk, IoU, precision (P) , and recall (R) are used as metrics. Specifically, IoU is an Eulerian metric that measures the pixel semantic differences between the predicted map and the ground truth, which is denoted by IoUin which DP, are dense representations of map elements (curves and polygons rasterized on the BEV grid) , DP is the prediction and DG represents the ground truth, H and Ware the height and width of the BEV grid, D is the number of map element categories and |·| denotes the size of the set. CD is a Lagrangian metric that measures the spatial distances of vector geometric shapes (curves or splines) . CDDir is the directional Chamfer distance and CD is the bidirectional Chamfer distance. Specifically, CDDir is defined as CDDir where S1 and S2 are the two sets of points sampled on the predicted curve and the ground-truth curve. CDP denotes the CD from prediction to label (equivalent to precision) , while CDL denotes the CD from label to prediction (equivalent to recall) . CD is defined as CD (S1, S2) = CDDir (S1, S2) + CDDir (S2, S1) . The precision and recall metrics used for regional elements are defined asandrespectively. CDP and CDL reflect the accuracy and completeness of the predicted map, respectively.5.1.3 Ride comfort, average passing time, traffic throughput. The benefits of the VI-Map are evaluated using these three metrics related to user experience. The ride comfort is quantified using longitudinal acceleration ax and lateral acceleration ay of vehicles, which are widely acknowledged as key indicators for evaluating ride comfort [23, 35] . The lower acceleration value corresponds to better ride comfort; the average passing time is the average time for a vehicle to traverse a road section; and the traffic throughput is the number of vehicles passing through a road section during a fixed period.5.1.4 Response time, success time, success rate. These three metrics are used to evaluate the performance of the map topology of the updated strategy. Response time is defined as tr -tc, where tc and tr are the moment when the road topology changes and the moment the infrastructure map topology is updated, respectively. Success time is given by ts-tc, where ts is the moment when the map topology is updated correctly. ts can be different from tr as the update can be wrong. The success rate is the number of correct topology updates divided by the number of all updates.5.2 End-to-end EvaluationThe end-to-end system performance of theVI-Map is evaluated on a real-world road with four road types including two-way single crossroad, T junction, four-lane straight road, and bend. Fig. 10 shows the trace that the vehicle enters and exits a crossroad with a mobile pole on the side. The gray dots represent the vehicle point clouds along the trace. The colored dots denote the vehicle’s GPS positions, where different colors represent the IoU of the constructed HD map. At the beginning and the end of the trace, the IoU is 40%with only the on-vehicle HD map available. When the vehicle enters the coverage of the infrastructure, the IoU increases to 80%with the fused HD map. The result shows that the VI-Map can benefit the vehicle with the precise infrastructure map and thus assist the vehicle in going through complicated road sections safely. The end-to-end latency of the VI-Map is also measured. The VI-Map achieves an end-to-end latency of 37ms on average and 42 ms maximum, indicating that the VI-Map can work in real-time since most autonomous vehicles have a sensor frame rate of 10 Hz. Additionally, gaps between the IoU at the beginning and end of the trace are observed, even though there are both vehicle HD maps only. This is because the road markings at the start place are badly worn, resulting in a very low IoU of the online map. The influence of the road marking incompleteness in Section 5.6 is evaluated.5.3 Benefits of VI-MapIn this section, the benefits of VI-Map for autonomous vehicles are evaluated. The key observations from this section are: (i) The precise map geometry of the VI-Map complements and extends the vehicle’s online HD map beyond the limitations of single-vehicle perception. (ii) The fresh map topology of the VI-Map enables vehicles to make better behavior decisions under the current road conditions, benefiting passengers, vehicles, and transportation systems.5.3.1 Extend online HD Map Range. The extended range brought by the VI-Map when the distance between the vehicle and infrastructure changes is evaluated. Fig. 11 shows that the fused HD map by the VI-Map can double the range compared with the online HD map only, even when the vehicles are very close to the infrastructure (for example, < 10 m) . This is because the infrastructure can provide a wider field of view thanks to its high altitude and is less prone to occlusions than vehicles. The extended range of HD map is the basis that the VI-Map can benefit many downstream tasks and improve safety in autonomous driving.5.3.2 Improve Ride Experience and Traffic Efficiency. The VI-Map provides vehicles with up-to-date map topology to support downstream tasks such as decision making and motion planning. How the map freshness affects the behavior of autonomous vehicles, and what impacts and outcomes these behaviors lead to are evaluated. A crossroad is constructed in CARLA, in which vehicles with hard-coded AI use HD map and surrounding information for autonomous driving. Following steps are performed. First, all autopilot vehicles driving in the town are equipped with offline HD maps provided by CARLA. Second, a vehicle is set to stop suddenly to simulate a lane-blocking scenario, which causes the road topology to change and the offline HD map to become obsolete. The data traces of the road section before and after the topology change are recorded, including the infrastructure point clouds and the timestamps, accelerations, and positions of all vehicles passing through the road section. Third, the infrastructure point cloud is fed into the VI-Map to generate an updated HD map. The topology of the corresponding road section in the CARLA map is manually updated and the new map is loaded to all autopilot vehicles. Lastly, vehicles are driven with the new map and record the new data traces.The ride comfort, average passing time, and traffic throughput are calculated. Fig. 12 shows the average ride comfort under the three situations. It shows that driving with an obsolete map can lead to a bad ride experience due to frequent stop-and-go and sharp turns. The VI-Map significantly improves ride comfort by 3.9 times compared with obsolete map, which even matches the comfort level in non-accident scenarios. This is due to the VI-Map’s ability to update the map in a timely manner, allowing vehicles to make better decisions and result in a smoother and more comfortable ride experience. Fig. 13 demonstrates the average vehicle passing time and traffic throughput of the road section. Compared with the outdated map, the VI-Map reduces the time for vehicles passing through problematic road sections to one-fifth and improves traffic throughput by 2 times.5.4 Performance of VI-Map5.4.1 Geometry Construction. The geometry construction of the VI-Map on the real-world testbed is evaluated. The VI-Map is compared with two baselines: (i) a state-of-the-art online HD map construction method called HDMapNet with vehicle data only

[0027] ; (ii) a modified method based on HDMapNet, in which the raw point cloud of the infrastructure is fused to the vehicle. Fig. 14 shows an example of map construction results of an intersection using two baselines and the VI-Map. The blue and red splines as well as the green rectangles directly stem from the output of the VI-Map. The orange arrows are manually annotated to display the system’s generated map topology, whose original form is a graph (Sec. 3.3) . It is determined that the HD map generated by the VI-Map provides a wider range compared to vehicles only. Moreover, VI-Map provides topology and a more accurate HD map than the two baselines.Then, the VI-Map is evaluated on the real-world dataset. Table 3 shows the results using the metrics defined in Sec. 5.1.2. The VI-Map outperforms the baselines in all metrics. In particular, the VI-Map delivers 16%-35%higher IoU compared with HDMapNet. The VI-Map achieves decimeter-level map precision (that is, CD) with an average error of 0.3m. The results also show that HDMapNet can be benefited from the infrastructure’s point cloud (20%improvement in IoU) , thanks to its unobscured field of view. However, the VI-Map exhibit much better performance than HDMapNet with infrastructure data, generating around 60%improvement in CD. This is because the overlay of two single-frame point clouds from the infrastructure and vehicle is still too sparse to precisely predict the location of map elements. The VI-Map exploits accumulated point clouds and precise trajectories, revealing more details and clues to precisely locate map elements.Table 3. HD map geometry accuracy on the real-world dataset. A higher ioU (%) is better. A lower CD (m) is better.It is observed that the infrastructure point cloud contributes more significantly to the improvement of HDMap-Net for lane dividers compared to road boundaries and crosswalks. This is because the lane divider occupies a smaller area and is mainly inferred by point intensity and overlaying infrastructure point cloud makes the intensity more pronounced in the particular small area. Further, it is determined that the gap between CDP and CDL of the VI-Map is much smaller (～ 13%) than the baselines. This is because the HD maps generated by the two baselines can be incomplete due to sparse point clouds and potential occlusions, while the complete HD map of the VI-Map can ensure consistency between the two metrics. Additionally, it is determined that compared with Euclidean metric IoU, the VI-Map further improves the two baselines on Lagrangian metric CD (35%-26%improvement vs. 65%-60%improvement) . This is because the VI-Map generates continuous map elements and fits them into vectorized shapes. In addition, an ablation study is conducted to evaluate the effectiveness of trajectories in map geometry construction. Table 3 also shows the VI-Map without the trajectory input, in which it exhibits 7%less in IoU and 50%increase in CD. The result supports the design that the accurate trajectories imply features for inferring map geometry and combining it with point cloud features leads to better performance.5.4.2 Topology Estimation. The performance of the updated strategy of HD map topology by examining response time, success time, and success rate as defined in Sec. 5.1.4 is evaluated. The updated strategy in Sec. 3.3 is compared with two baselines: (i) fixed period of time: the topology is updated with a fixed time period T, (ii) fixed number of trajectories: the topology is updated after observing a fixed number of additional trajectories n. For the former method, T is set to the traffic light cycle duration for intersections and 60 seconds for straight roads. For the fixed number of trajectories method, n is set to 3× Number of Lanes. It is important to note that these values are chosen after an extensive search to identify the best-performing parameters for each baseline approach. As the performance of the map update can vary with different road types and traffic conditions, three different road conditions are evaluated: a town center crossroad, a T-junction on the outskirts of town, and a four-lane straight road. Specifically, the same situation is simulated as described in Sec. 5.3.2 under these three different road conditions, five times each. Figs. 15A-15B show the performance of the VI-Map and the two baselines. In particular, Fig. 15A shows the response time and the success time of the three update approaches. The VI-Map delivers the shortest success time under all road conditions, though its response is not the fastest. The two baselines respond quickly but take a much longer time to get a correct topology update. The VI-Map considers the topology update per lane level, while the two baselines do not. Thus, the trajectories collected under the two baseline strategies can be unevenly distributed among lanes, with some lanes not having any trajectories, which can result in update failure. Fig. 15B shows the success rate. The VI-Map achieves an average success rate of 84%, surpassing the two baselines by a large extent of 30%-44%. The updated strategy integrates both temporal and spatial changes to detect the change in topology and inhibit false updates with cross-validation.5.4.3 Map Fusion. Then, experiment on the map fusion method is conducted using the real-world dataset. This module runs on the vehicle and is responsible for merging the infrastructure map with the vehicle map. Two baseline methods are implemented by adapting the ideas of typical map merging methods in collaborative SLAM to the scenario: the probability method [5, 26, 54] and the optimization method [4, 10, 34] . The vectorized map is rasterized to a grid map and follow the implementation of these methods. Fig. 16 shows the performance of the fused map obtained by applying these fusion methods. The curves in Fig. 16 show the map IoU of the three fusion methods under different vehicle localization errors, respectively. The green bars in Fig. 16 present the distribution of GPS localization errors. The result shows that the VI-Map achieves more than 40%IoU improvement over the baselines when the localization error is greater than 8 m. As the localization error increases, the performance of the two baselines decreases sharply, whereas the VI-Map maintains a map IoU of over 78%for all tested localization errors. This is attributed to the fact that VI-Map views the map as individual map elements and leverages instance-level correspondence of these elements to accurately align and merge the two maps. In contrast, the two baseline approaches view the map as a whole and rely solely on the initial transformation to align the two maps.5.5 System Overhead5.5.1 Each step Delay on Vehicle. The run-time latency of VI-Map’s individual steps on the vehicle and the whole map fusion process are measured. Since the runtime of map fusion may be affected by the road complexity, that is, the number of map elements, three different road types in the real world are tested. Fig. 17 shows the runtime of each step, where the error bars indicate the lowest 5%and 95%of the runtime across all frames with the same setting. The results indicate that the overall on-vehicle compute time of VI-Map is less than 50 ms under all road types, which can meet the stringent real-time requirement of autonomous driving applications (prediction

[0017] , decision making

[0011] , and motion planning

[0050] ) . Therefore, VI-Map enables real-time HD mapping on vehicles with the assistance of the roadside infrastructure. The matching step takes half of the total compute time, as it involves distance calculation between pairs of map elements. It is noted that this runtime can be further accelerated by computing on GPU. The runtime of the transform and align steps do not grow with the road complexity, as they are independent of the number of map elements.5.5.2 Communication Overhead. The communication overhead of VI-Map is compared with approaches that transmit raw point cloud data (for example, HDMapNet with infrastructure) or rasterized map data [4, 10, 26, 54] . The data transmission time traces are measured using the real-world testbed in Sec. 4, in which the vehicle and infrastructure communicate using an 802.11ac Wi-FI network with 80 MHz bandwidth. The average data volume and the transmission time are shown in Table 4. The VI-Map transmits 71.2 KB of vectorized map representation (control points of splines, vertices of polygons, and topology graph) in an average period of 13.6 ms. The VI-Map reduces the data transmission volume and time by about 42 times and 40 times compared with transmitting raw point cloud data, and 22 times compared with transmitting rasterized map data. Therefore, the VI-Map can be deployed with a wide range of V2X networks that even have low communication bandwidth.Table 4. The average size of shared data and the transmission time via an 802.11ac network.5.6 System RobustnessAs observed in Sec. 5.2, online HD maps can be significantly affected by worn ground markings. In this section, the VI-Map are evaluated under different incompleteness of road markings. Specifically, different ratios of ground marking points in the point cloud are masked using CARLA. Table 5 shows that as the incompleteness of ground markings increases, all metrics of VI-Map decreases slightly and steadily, maintaining an acceptable performance even under the most severe occlusion, which still outperforms the baselines in Table 3 that are without severe occlusion. Different from online map construction methods that rely solely on sensor data (point clouds) , VI-Map additionally leverages the precise trajectory observations of infrastructure and extracts unique features valuable to map construction. Such a design makes VI-Map resilient to various ground marking conditions as they do not affect trajectory features.Table 5. Accuracy of VI-Map’s HD map geometry with different degrees of ground marking incompleteness.6 DiscussionScalability of VI-Map. VI-Map’s adaptability extends to a diverse range of road types and traffic scenarios. First, the BEV features used for inferring HD maps are low-level features derived directly from raw data, without any assumptions made regarding road structures or lane numbers. Second, heavy or light traffic condition primarily affects the accumulation time of static point clouds and vehicle trajectories. However, it does not harm the accuracy of the constructed HD map. However, the scalability of VI-Map is limited for inferring complex-shaped 3D map elements such as traffic lights, fire hydrants, or bus stops. This limitation is primarily attributed to the projection of 3D data onto the 2D BEV space and the subsequent processing within that domain, which results in the loss of information during the dimensionality reduction process. Consequently, this approach may not yield optimal performance when dealing with intricate 3D map elements, as the finer details of their 3D geometry are lost during the projection.Limitations and Failure Cases. VI-Map can achieve unsatisfactory performance in adverse weather conditions, such as rain, snow, and fog, due to the significant noises of data from LiDARs. Furthermore, the VI-Map may also encounter challenges in high-speed driving scenarios, as the increased velocity leads to a significant drop in the quality of the point cloud, thereby affecting the performance of the VI-Map. Nevertheless, the Geometry Construction, Topology Estimation, and Map Fusion can be modified and applied to other sensing modalities such as 3D cameras.The VI-Map that utilizes the roadside infrastructure to enhance on-vehicle HD maps by providing accurate and timely infrastructure HD maps is developed. The VI-Map is implemented end-to-end and the experimental results show that the VI-Map enhances the existing HD mapping methods in terms of map geometry accuracy, map topology freshness, system robustness, and efficiency. The system and methods for infrastructure-assisted real-time HD mapping can be applied to the industries of autonomous driving and intelligent transportation systems and smart city.Embodiment 1. A method for infrastructure-assisted real-time HD mapping, comprising:performing a geometry construction for projecting data into bird-eye-view (BEV) space;performing trajectory-based topology estimation; andperforming on-vehicle map fusion.Embodiment 2. The method of embodiment 1, wherein the performing a geometry construction comprises performing BEV projection, feature extraction, BEV instance segmentation, and map vectorization.Embodiment 3. The method of any preceding embodiment, wherein the performing BEV projection comprises obtaining accumulated point cloud and vehicle trajectories, projecting the point cloud and trajectories onto a ground plane in the BEV view, and rasterized points to generate two-dimensional (2D) grids.Embodiment 4. The method of any preceding embodiment, wherein the performing feature extraction comprises extracting one or more features for each cell and concatenating the extracted feature to form a feature map where a trajectory direction vector occupies two channels.Embodiment 5. The method of any preceding embodiment, wherein the performing BEV instance segmentation comprises configuring a two-dimensional convolutional neural network (2D CNN) with a UNet-like structure to perform semantic instance segmentation with the extracted feature map in BEV.Embodiment 6. The method of any preceding embodiment, wherein the 2D CNN is configured to take the feature map as input and generate a pixel-wise mask for each individual road element for obtaining an instance mask as output.Embodiment 7. The method of any preceding embodiment, wherein the performing map vectorization comprises vectorizing the map to generating sparse and compact representations of the HD map.Embodiment 8. The method of any preceding embodiment, wherein the performing trajectory-based topology estimation comprises building and updating map topology based on the precise vehicle trajectories and instance segmentation results of lanes obtained by the geometry construction.Embodiment 9. The method of any preceding embodiment, wherein the performing on-vehicle map fusion comprises merging the HD map received from the geometry construction and the trajectory-based topology estimation with an on-vehicle HD map.Embodiment 10. The method of any preceding embodiment, wherein the performing on-vehicle map fusion comprises performing map element correspondence, map alignment, and map element re-fitting.Embodiment 11. A computer program product, comprising:a non-transitory computer-executable storage device having computer readable program instructions embodied thereon that when executed by a computer cause the computer to perform a method for infrastructure-assisted real-time HD mapping, the computer-executable program instruction comprising:performing a geometry construction for projecting data into bird-eye-view (BEV) space;performing trajectory-based topology estimation; andperforming on-vehicle map fusion.Embodiment 12. The computer program product of embodiment 11, wherein the performing a geometry construction comprises performing BEV projection, feature extraction, BEV instance segmentation, and map vectorization.Embodiment 13. The computer program product of any preceding embodiment, wherein the performing BEV projection comprises obtaining accumulated point cloud and vehicle trajectories, projecting the point cloud and trajectories onto a ground plane in the BEV view, and rasterized points to generate two-dimensional (2D) grids.Embodiment 14. The computer program product of any preceding embodiment, wherein the performing feature extraction comprises extracting one or more features for each cell and concatenating the extracted feature to form a feature map where a trajectory direction vector occupies two channels.Embodiment 15. The computer program product of any preceding embodiment, wherein the performing BEV instance segmentation comprises configuring a two-dimensional convolutional neural network (2D CNN) with a UNet-like structure to perform semantic instance segmentation with the extracted feature map in BEV.Embodiment 16. The computer program product of any preceding embodiment, wherein the 2D CNN is configured to take the feature map as input and generate a pixel-wise mask for each individual road element for obtaining an instance mask as output.Embodiment 17. The computer program product of any preceding embodiment, wherein the performing map vectorization comprises vectorizing the map to generating sparse and compact representations of the HD map.Embodiment 18. The computer program product of any preceding embodiment, wherein the performing trajectory-based topology estimation comprises building and updating map topology based on the precise vehicle trajectories and instance segmentation results of lanes obtained by the geometry construction.Embodiment 19. The computer program product of any preceding embodiment, wherein the performing on-vehicle map fusion comprises merging the HD map received from the geometry construction and the trajectory-based topology estimation with an on-vehicle HD map.Embodiment 20. The computer program product of any preceding embodiment, wherein the performing on-vehicle map fusion comprises performing map element correspondence, map alignment, and map element re-fitting.All patents, patent applications, provisional applications, and publications referred to or cited herein are incorporated by reference in their entirety, including all figures and tables, to the extent they are not inconsistent with the explicit teachings of this specification.It should be understood that the examples and embodiments described herein are for illustrative purposes only and that various modifications or changes in light thereof will be suggested to persons skilled in the art and are to be included within the spirit and purview of this application. In addition, any elements or limitations of any invention or embodiment thereof disclosed herein can be combined with any and / or all other elements or limitations (individually or in any combination) or any other invention or embodiment thereof disclosed herein, and all such combinations are contemplated with the scope of the invention without limitation thereto.REFERENCES[1] Autoware. 2023. The Autoware Foundation -open source for autonomous driving. https:  / / www. autoware. org / . (2023) .[2] Baidu. 2023. Apollo. https:  / / apollo. auto / . (2023) .[3] Zhibin Bao, Sabir Hossain, Haoxiang Lang, and Xianke Lin. 2022. High-definition map generation technologies for autonomous driving: a review. arXiv preprint arXiv: 2206.05400 (2022) .[4] Andreas Birk and Stefano Carpin. 2006. Merging occupancy grid maps from multiple robots. Proc. IEEE 94, 7 (2006) , 1384–1397.[5] Jose-Luis Blanco, Javier González-Jiménez, and Juan-Antonio Fernández-Madrigal. 2013. A robust, multi-hypothesis approach to matching occupancy grid maps. Robotica 31, 5 (2013) , 687–701.[6] The Lidar News Blog. 2022. HD Map Database Coverage Doubled. https:  / / blog. lidarnews. com / hd-map-database-coverage-doubled / . (2022) .[7] Michael Buchholz, Johannes Müller, Martin Herrmann, Jan Strohbeck, Benjamin Matthias Maier, Jonas Paczia, Oliver Stein, Hubert Rehborn, and Rüdiger-Walter Henn. 2021. Handling occlusions in automated driving using a multiaccess edge computing server-based environment model from infrastructure sensors. IEEE Intelligent Transportation Systems Magazine 14, 3 (2021) , 106–120.[8] Holger Caesar, Varun Bankiti, Alex H Lang, Sourabh Vora, Venice Erin Liong, Qiang Xu, Anush Krishnan, Yu Pan, Giancarlo Baldan, and Oscar Beijbom. 2020. nuscenes: A multimodal dataset for autonomous driving. In Proceedings of the IEEE / CVF conference on computer vision and pattern recognition. 11621–11631.[9] Yigit Baran Can, Alexander Liniger, Danda Pani Paudel, and Luc Van Gool. 2021. Structured bird’s-eye-view traffic scene understanding from onboard images. In Proceedings of the IEEE / CVF International Conference on Computer Vision. 15661–15670.

[0010] Stefano Carpin. 2008. Fast and accurate map merging for multi-robot systems. Autonomous robots 25 (2008) , 305–316.

[0011] Xue-Mei Chen, Min Jin, Yi-song Miao, and Qiang Zhang. 2017. Driving decision-making analysis of car-following for autonomous vehicle under complex urban environment. Journal of central south university 24 (2017) , 1476–1482.

[0012] Cohda. 2023. Cohda Wireless MK6C EVK RSU. https:  / / www. cohdawireless. com / solutions / hardware / mk6c-evk / . (2023) .

[0013] Commsignia. 2023. Commsignia Roadside Unit. https:  / / www. commsignia. com / products / . (2023) .

[0014] CVAT. 2023. CVAT Annotation tool. https:  / / www. cvat. ai / . (2023) .

[0015] Bert De Brabandere, Davy Neven, and Luc Van Gool. 2017. Semantic instance segmentation for autonomous driving. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. 7–9.

[0016] Alexey Dosovitskiy, German Ros, Felipe Codevilla, Antonio Lopez, and Vladlen Koltun. 2017. CARLA: An open urban driving simulator. In Conference on robot learning. PMLR, 1–16.

[0017] Scott Ettinger, Shuyang Cheng, Benjamin Caine, Chenxi Liu, Hang Zhao, Sabeek Pradhan, Yuning Chai, Ben Sapp, Charles R Qi, Yin Zhou, et al. 2021. Large scale interactive motion forecasting for autonomous driving: The waymo open motion dataset. In Proceedings of the IEEE / CVF International Conference on Computer Vision. 9710–9719.

[0018] Andreas Geiger, Philip Lenz, and Raquel Urtasun. 2012. Are we ready for autonomous driving? the kitti vision benchmark suite. In 2012 IEEE conference on computer vision and pattern recognition. IEEE, 3354–3361.

[0019] Nikhil Gosala, Kürsat Petek, Paulo L. J. Drews-Jr, Wolfram Burgard, and Abhinav Valada. 2023. SkyEye: Self-Supervised Bird’s-Eye-View Semantic Mapping Using Monocular Frontal View Images. In Proceedings of the IEEE / CVF Conference on Computer Vision and Pattern Recognition (CVPR) . 14901–14910.

[0020] HARMAN. 2023. HARMAN Savari StreetWAVE RSU. https:  / / car. harman. com / solutions / connectivity / harman-savari-streetwave. (2023) .

[0021] Yuze He, Li Ma, Zhehao Jiang, Yi Tang, and Guoliang Xing. 2021. VI-eye: semantic-based 3D point cloud registration for infrastructure-assisted autonomous driving. In Proceedings of the 27th Annual International Conference on Mobile Computing and Networking. 573–586.

[0022] Namdar Homayounfar, Wei-Chiu Ma, Justin Liang, Xinyu Wu, Jack Fan, and Raquel Urtasun. 2019. Dagmapper: Learning to map by discovering lane topology. In Proceedings of the IEEE / CVF International Conference on Computer Vision. 2911–2920.

[0023] Zhiyu Huang, Jingda Wu, and Chen Lv. 2021. Driving behavior modeling using naturalistic human driving data with inverse reinforcement learning. IEEE Transactions on Intelligent Transportation Systems 23, 8 (2021) , 10239–10251.

[0024] Kitae Kim, Soohyun Cho, and Woojin Chung. 2021. Hd map update for autonomous driving with crowdsourced data. IEEE Robotics and Automation Letters 6, 2 (2021) , 1895–1901.

[0025] Annkathrin Christoph Dhiraj Gulati, Venkatnarayanan Lakshminarasimhan, Franz Kurz, Dominik Rosenbaum, Claus Lenz, and Alois Knoll. 2019. Providentia–ALarge-Scale Sensor System for the Assistance of Autonomous Vehicles and Its Evaluation. arXiv preprint arXiv: 1906.06789 (2019) .

[0026] Heon-Cheol Lee, Seung-Hwan Lee, Myoung Hwan Choi, and Beom-Hee Lee. 2012. Probabilistic map merging for multi-robot RBPF-SLAM with unknown initial poses. Robotica 30, 2 (2012) , 205–220.

[0027] Qi Li, Yue Wang, Yilun Wang, and Hang Zhao. 2022. Hdmapnet: An online hd map construction and evaluation framework. In 2022 International Conference on Robotics and Automation (ICRA) . IEEE, 4628–4634.

[0028] Rong Liu, Jinling Wang, and Bingqi Zhang. 2020. High definition map for automated driving: Overview and analysis. The Journal of Navigation 73, 2 (2020) , 324–341.

[0029] Yicheng Liu, Yue Wang, Yilun Wang, and Hang Zhao. 2022. Vectormapnet: End-to-end vectorized hd map learning. arXiv preprint arXiv: 2206.08920 (2022) .

[0030] Zhijian Liu, Haotian Tang, Alexander Amini, Xinyu Yang, Huizi Mao, Daniela Rus, and Song Han. 2022. BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation. arXiv preprint arXiv: 2205.13542 (2022) .

[0031] Livox. 2023. Livox AVIA. https:  / / www. livoxtech. com / avia. (2023) .

[0032] Livox. 2023. Livox HAP. https:  / / www. livoxtech. com / hap. (2023) .

[0033] Jonathon Luiten, Aljosa Osep, Patrick Dendorfer, Philip Torr, Andreas Geiger, Laura Leal-Taixé, and Bastian Leibe. 2021. Hota: A higher order metric for evaluating multi-object tracking. International journal of computer vision 129 (2021) , 548–578.

[0034] Xin Ma, Rui Guo, Yibin Li, and Weidong Chen. 2008. Adaptive genetic algorithm for occupancy grid maps merging. In 2008 7thWorld Congress on Intelligent Control and Automation. IEEE, 5716–5720.

[0035] Maximilian Naumann, Liting Sun, Wei Zhan, and Masayoshi Tomizuka. 2020. Analyzing the Suitability of Cost Functions for Explaining and Imitating Human Driving Behavior based on Inverse Reinforcement Learning. In 2020 IEEE International Conference on Robotics and Automation (ICRA) . 5481–5487. https:  / / doi. org / 10.1109 / ICRA40945.2020.9196795

[0036] ASAM OpenDRIVE. 2023. OpenDRIVE Format Specification. https:  / / www. asam. net / standards / detail / opendrive / . (2023) .

[0037] Teddy Ort, Liam Paull, and Daniela Rus. 2018. Autonomous vehicle navigation in rural environments without detailed prior maps. In 2018 IEEE international conference on robotics and automation (ICRA) . IEEE, 2040–2047.

[0038] David Pannen, Martin Liebner, Wolfgang Hempel, and Wolfram Burgard. 2020. How to keep HD maps for automated driving up to date. In 2020 IEEE International Conference on Robotics and Automation (ICRA) . IEEE, 2288–2294.

[0039] Vasyl Pihur, Susmita Datta, and Somnath Datta. 2007. Weighted rank aggregation of cluster validation measures: a monte carlo cross-entropy approach. Bioinformatics 23, 13 (2007) , 1607–1615.

[0040] Nicholas G Polson and Vadim O Sokolov. 2017. Deep learning for short-term traffic flow prediction. Transportation Research Part C: Emerging Technologies 79 (2017) , 1–17.

[0041] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. 2015. U-net: Convolutional networks for biomedical image segmentation. In Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015: 18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings, Part III 18. Springer, 234–241.

[0042] Heiko G Seif and Xiaolong Hu. 2016. Autonomous driving in the iCity-HD maps as a key challenge of the automotive industry. Engineering 2, 2 (2016) , 159–162.

[0043] Tixiao Shan and Brendan Englot. 2018. Lego-loam: Lightweight and ground-optimized lidar odometry and mapping on variable terrain. In 2018 IEEE / RSJ International Conference on Intelligent Robots and Systems (IROS) . IEEE, 4758–4765.

[0044] Shuyao Shi, Jiahe Cui, Zhehao Jiang, Zhenyu Yan, Guoliang Xing, Jianwei Niu, and Zhenchao Ouyang. 2022. VIPS: real-time perception fusion for infrastructure-assisted autonomous driving. In Proceedings of the 28th Annual International Conference on Mobile Computing And Networking. 133–146.

[0045] Brian L Smith and Michael J Demetsky. 1994. Short-term traffic flow prediction models-acomparison of neural network and nonparametric regression approaches. In Proceedings of IEEE international conference on systems, man and cybernetics, Vol. 2. IEEE, 1706–1709.

[0046] HERE Technologies. 2018. HERE HD LiveMap, The Most Intelligent Sensor for Autonomous Driving. https:  / / bit. ly / 2Woss4K. (2018) .

[0047] TomTom. 2018. HD Maps -Highly Accurate Border-to-border Model of the Road. https:  / / bit. ly / 2WrI1sd. (2018) .

[0048] Manabu Tsukada, Takaharu Oi, Masahiro Kitazawa, and Hiroshi Esaki. 2020. Networked roadside perception units for autonomous driving. Sensors 20, 18 (2020) , 5320.

[0049] U-BLOX. 2023. NEO-M8T GPS. https:  / / www. u-blox. com / en / product / neolea-m8t-series. (2023) .

[0050] Jingke Wang, Yue Wang, Dongkun Zhang, Yezhou Yang, and Rong Xiong. 2020. Learning hierarchical behavior and motion planning for autonomous driving. In 2020 IEEE / RSJ International Conference on Intelligent Robots and Systems (IROS) . IEEE, 2235–2242.

[0051] Xinshuo Weng, Jianren Wang, David Held, and Kris Kitani. 2020. Ab3dmot: A baseline for 3d multi-object tracking and new evaluation metrics. arXiv preprint arXiv: 2008.08063 (2020) .

[0052] WIT-MOTION. 2023. HWT9052-485 IMU. https:  / / www. wit-motion. cn / # / witmotion / product / detail? id=0e24e2a59ac94b14b3034a92e4338b2c. (2023) .

[0053] Ji Zhang and Sanjiv Singh. 2014. LOAM: Lidar odometry and mapping in real-time. In Robotics: Science and Systems, Vol. 2. Berkeley, CA, 1–9.

[0054] Xun S Zhou and Stergios I Roumeliotis. 2006. Multi-robot SLAM with unknown initial correspondence: The robot rendezvous case. In 2006 IEEE / RSJ international conference on intelligent robots and systems.IEEE, 1785–1792.

Claims

1.A method for infrastructure-assisted real-time HD mapping, comprising:performing a geometry construction for projecting data into bird-eye-view (BEV) space;performing trajectory-based topology estimation; andperforming on-vehicle map fusion.2.The method of claim 1, wherein the performing a geometry construction comprises performing BEV projection, feature extraction, BEV instance segmentation, and map vectorization.3.The method of claim 2, wherein the performing BEV projection comprises obtaining accumulated point cloud and vehicle trajectories, projecting the point cloud and trajectories onto a ground plane in the BEV view, and rasterized points to generate two-dimensional (2D) grids.4.The method of claim 2, wherein the performing feature extraction comprises extracting one or more features for each cell and concatenating the extracted feature to form a feature map where a trajectory direction vector occupies two channels.5.The method of claim 2, wherein the performing BEV instance segmentation comprises configuring a two-dimensional convolutional neural network (2D CNN) with a UNet-like structure to perform semantic instance segmentation with the extracted feature map in BEV.6.The method of claim 5, wherein the 2D CNN is configured to take the feature map as input and generate a pixel-wise mask for each individual road element for obtaining an instance mask as output.7.The method of claim 2, wherein the performing map vectorization comprises vectorizing the map to generating sparse and compact representations of the HD map.8.The method of claim 1, wherein the performing trajectory-based topology estimation comprises building and updating map topology based on the precise vehicle trajectories and instance segmentation results of lanes obtained by the geometry construction.9.The method of claim 1, wherein the performing on-vehicle map fusion comprises merging the HD map received from the geometry construction and the trajectory-based topology estimation with an on-vehicle HD map.10.The method of claim 9, wherein the performing on-vehicle map fusion comprises performing map element correspondence, map alignment, and map element re-fitting.11.A computer program product, comprising:a non-transitory computer-executable storage device having computer readable program instructions embodied thereon that when executed by a computer cause the computer to perform a method for infrastructure-assisted real-time HD mapping, the computer-executable program instruction comprising:performing a geometry construction for projecting data into bird-eye-view (BEV) space;performing trajectory-based topology estimation; andperforming on-vehicle map fusion.12.The computer program product of claim 11, wherein the performing a geometry construction comprises performing BEV projection, feature extraction, BEV instance segmentation, and map vectorization.13.The computer program product of claim 12, wherein the performing BEV projection comprises obtaining accumulated point cloud and vehicle trajectories, projecting the point cloud and trajectories onto a ground plane in the BEV view, and rasterized points to generate two-dimensional (2D) grids.14.The computer program product of claim 12, wherein the performing feature extraction comprises extracting one or more features for each cell and concatenating the extracted feature to form a feature map where a trajectory direction vector occupies two channels.15.The computer program product of claim 12, wherein the performing BEV instance segmentation comprises configuring a two-dimensional convolutional neural network (2D CNN) with a UNet-like structure to perform semantic instance segmentation with the extracted feature map in BEV.16.The computer program product of claim 15, wherein the 2D CNN is configured to take the feature map as input and generate a pixel-wise mask for each individual road element for obtaining an instance mask as output.17.The computer program product of claim 12, wherein the performing map vectorization comprises vectorizing the map to generating sparse and compact representations of the HD map.18.The computer program product of claim 11, wherein the performing trajectory-based topology estimation comprises building and updating map topology based on the precise vehicle trajectories and instance segmentation results of lanes obtained by the geometry construction.19.The computer program product of claim 11, wherein the performing on-vehicle map fusion comprises merging the HD map received from the geometry construction and the trajectory-based topology estimation with an on-vehicle HD map.20.The computer program product of claim 19, wherein the performing on-vehicle map fusion comprises performing map element correspondence, map alignment, and map element re-fitting.

Images