High-definition maps motion models layer for obstacle tracking and future trajectory prediction

Abstract

An example trajectory predicting method for a high-definition (HD) mapping platform, performed by a mobile device, the method may include obtaining a real-time set of multimodal data associated with one or more neighboring agents around an ego vehicle in a map segment of an HD map. The method may also include obtaining a trajectory prediction of the one or more neighboring agents, the trajectory prediction determined based on the real-time set of multimodal data using a motion model of the HD mapping platform. The method may further include navigating the ego vehicle based on the trajectory prediction of the one or more neighboring agents.

Description

HIGH-DEFINITION MAPS MOTION MODELS LAYER FOR OBSTACLE TRACKING AND FUTURE TRAJECTORY PREDICTIONTECHNICAL FIELD

[0001] Aspects of the present disclosure generally relate to map generation and, more specifically, to techniques for trajectory prediction for high-definition (HD) mapping platforms.BACKGROUND

[0002] An HD mapping platform can provide a robust framework for use by an autonomous vehicle to make driving control and navigation decisions. An overall coverage area of an HD map provided by an HD mapping platform can be logically divided into a plurality of map segments. With respect to each map segment, the HD mapping platform can describe the presence and characteristics of roadways, intersections, and other features, can indicate aspects of current or expected driving conditions along such roadways or in other regions within the map segment, and can specify rules for, or constraints upon, vehicle movement or navigation within the map segment. The HD mapping platform can use perception data (such as radar, lidar, or image data) and global navigation satellite system (GNSS) data (such as Global Positioning System (GPS) data) provided by a given autonomous vehicle to determine and provide driving control and navigation instructions for that autonomous vehicle.

[0003] BRIEF SUMMARY

[0004] An example trajectory predicting method for a high-definition (HD) mapping platform, performed by mobile device, the method may include obtaining a real-time set of multimodal data associated with one or more neighboring agents around an ego vehicle in a map segment of an HD map. The method may also include obtaining a trajectory prediction of the one or more neighboring agents, the trajectory prediction determined based on the real-time set of multimodal data using a motion model of the HD mapping platform. The method may further include navigating the ego vehicle based on the trajectory prediction of the one or more neighboring agents.

[0005] An example mobile device for an HD mapping platform may comprise one or more transceivers, one or more memories, and one or more processors communicatively coupled with the one or more transceivers and the one or more  memories. The one or more processors may be configured to obtain a real-time set of multimodal data associated with one or more neighboring agents around an ego vehicle in a map segment of an HD map. The one or more processors may also be configured to obtain a trajectory prediction of the one or more neighboring agents, the trajectory prediction determined based on the real-time set of multimodal data using a motion model of the HD mapping platform. The one or more processors may further be configured to navigate the ego vehicle based on the trajectory prediction of the one or more neighboring agents.

[0006] An example apparatus for an HD mapping platform, the apparatus may include means for obtaining a real-time set of multimodal data associated with one or more neighboring agents around an ego vehicle in a map segment of an HD map. The apparatus may also include means for obtaining a trajectory prediction of the one or more neighboring agents, the trajectory prediction determined based on the real-time set of multimodal data using a motion model of the HD mapping platform. The apparatus may further include means for navigating the ego vehicle based on the trajectory prediction of the one or more neighboring agents.

[0007] This summary is neither intended to identify key or essential features of the claimed subject matter nor is it intended to be used in isolation to determine the scope of the claimed subject matter. The subject matter should be understood by reference to appropriate portions of the entire specification of this disclosure, any or all drawings, and each claim. The foregoing, together with other features and examples, will be described in more detail below in the following specification, claims, and accompanying drawings.BRIEF DESCRIPTION OF THE DRAWINGS

[0008] FIG. 1 is a diagram of a positioning system, according to an embodiment.

[0009] FIG. 2 is a diagram of a 5th Generation (5G) New Radio (NR) positioning system, illustrating an embodiment of a positioning system (e.g., the positioning system of FIG. 1) implemented within a 5G NR communication network.

[0010] FIG. 3A is a block diagram illustrating an example layering scheme for an HD mapping platform and FIG. 3B shows an example environment of an ego vehicle.

[0011] FIG. 4 is a block diagram illustrating an example procedure for configuring a motion model layer for an HD mapping platform, according to some embodiments as described herein.

[0012] FIG. 5 shows an example process for training a machine learning model, according to some embodiments as described herein.

[0013] FIG. 6 is a block diagram illustrating an example operating environment in which techniques for trajectory prediction for an HD mapping platform may be applied, according to some embodiments as described herein.

[0014] FIG. 7 is a flow diagram illustrating an example method for trajectory predicting for an HD mapping platform performed by a server, according to some embodiments as described herein.

[0015] FIG. 8 is a flow diagram illustrating an example method for trajectory predicting for an HD mapping platform performed by a mobile device, according to some embodiments as described herein.

[0016] FIG. 9 is a block diagram of an embodiment of a UE, which can be utilized in embodiments as described herein.

[0017] FIG. 10 is a block diagram of an embodiment of a computer system, which can be utilized in embodiments as described herein.

[0018] Like reference symbols in the various drawings indicate like elements, in accordance with certain example implementations. In addition, multiple instances of an element may be indicated by following a first number for the element with a letter or a hyphen and a second number. For example, multiple instances of an element 110 may be indicated as 110-1, 110-2, 110-3 etc. or as 110a, 110b, 110c, etc. When referring to such an element using only the first number, any instance of the element is to be understood (e.g., element 110 in the previous example would refer to elements 110-1, 110-2, and 110-3 or to elements 110a, 110b, and 110c) .DETAILED DESCRIPTION

[0019] The following description is directed to certain implementations for the purposes of describing innovative aspects of various embodiments. However, a person  having ordinary skill in the art will readily recognize that the teachings herein can be applied in a multitude of different ways. The described implementations may be implemented in any device, system, or network that is capable of transmitting and receiving radio frequency (RF) signals according to any communication standard, such as any of the Institute of Electrical and Electronics Engineers (IEEE) 802.15.4 standards for ultra-wideband (UWB) , IEEE 802.11 standards (including those identified as technologies) , the standard, code division multiple access (CDMA) , frequency division multiple access (FDMA) , time division multiple access (TDMA) , Global System for Mobile communications (GSM) , GSM / General Packet Radio Service (GPRS) , Enhanced Data GSM Environment (EDGE) , Terrestrial Trunked Radio (TETRA) , Wideband-CDMA (W-CDMA) , Evolution Data Optimized (EV-DO) , 1xEV-DO, EV-DO Rev A, EV-DO Rev B, High Rate Packet Data (HRPD) , High Speed Packet Access (HSPA) , High Speed Downlink Packet Access (HSDPA) , High Speed Uplink Packet Access (HSUPA) , Evolved High Speed Packet Access (HSPA+) , Long Term Evolution (LTE) , Advanced Mobile Phone System (AMPS) , or other known signals that are used to communicate within a wireless, cellular or internet of things (IoT) network, such as a system utilizing 3G, 4G, 5G, 6G, or further implementations thereof, technology.

[0020] As used herein, an “RF signal” comprises an electromagnetic wave that transports information through the space between a transmitter (or transmitting device) and a receiver (or receiving device) . As used herein, a transmitter may transmit a single “RF signal” or multiple “RF signals” to a receiver. However, the receiver may receive multiple “RF signals” corresponding to each transmitted RF signal due to the propagation characteristics of RF signals through multiple channels or paths.

[0021] Additionally, unless otherwise specified, references to “reference signals, ” “positioning reference signals, ” “reference signals for positioning, ” and the like may be used to refer to signals used for positioning of a User Equipment (UE) . As described in more detail herein, such signals may comprise any of a variety of signal types but may not necessarily be limited to a Positioning Reference Signal (PRS) as defined in relevant wireless standards.

[0022] Further, unless otherwise specified, the term “positioning” as used herein may absolute location determination, relative location determination, ranging, or a combination thereof. Such positioning may include and / or be based on timing, angular,  phase, or power measurements, or a combination thereof (which may include RF sensing measurements) for the purpose of location or sensing services.

[0023] As used herein, the terms "map, " "HD map, " "map data, " "HD map data, " and derivatives thereof may refer to an electronic representation of a physical location or geographical area. As noted, map data may include different "layers" of different data types, such as radar, camera, etc. As a person of ordinary skill in the art will understand, this electronic representation may be stored in a database or other data structure (in any of a variety of storage mediums) as one or more electronic files, data objects, or the like.

[0024] As used herein, the terms “trajectory estimation, ” “trajectory prediction, ” “motion prediction, ” “pose prediction, ” and derivatives thereof may refer to predicting a next or a sequence of future pose (s) . Such estimation and / or prediction may be based on one or more features that may influence the further pose, such as current pose, speed, direction, acceleration, relative position to other objects, road curvature, lane information, proximity to traffic signs or signals, etc. The trajectory prediction may be presented with a confidence level (e.g., a confidence level of 75%, 80%, 85%, 98%etc. ) .

[0025] Unless otherwise noted, the Global Positioning System (GPS) data and derivatives thereof may also be referred to as GPS / inertial navigation system (INS) integration data. Therefore, the GPS data used herein may also include INS data that is used to provide navigation information in environments where GPS signals are unavailable or unreliable.

[0026] Various aspects generally relate to a trajectory predicting method for an HD mapping platform. Some aspects more specifically relate to a method for generating and using a neural network for predicting the trajectory of a neighboring agent (e.g., other vehicles, pedestrians, cyclists, etc. ) in a map segment based on a real-time set of multimodal data associated with the neighboring agent. In some examples, a training set of multimodal trajectory data associated with a map segment of an HD map may be obtained. The training set of multimodal trajectory data may include GNSS navigation data associated with a plurality of driven trajectories in the map segment and corresponding perception data. The training set of multimodal trajectory data may be used to train a motion model (e.g., a deep neural network) for predicting a trajectory of the neighboring agent (e.g., other vehicles, pedestrians, cyclists, etc. ) in the map segment based on a real-time set of multimodal data associated with the neighboring agent. In  some embodiments, the real-time set of multimodal data of the neighboring agent may include GNSS navigation data of an ego vehicle located in the map segment and perception data of the neighboring agent obtained by one or more perception sensors associated with the ego vehicle. In some embodiments, the trained motion model may be embedded in a motion model layer of the HD map.

[0027] Tracking and predicting the future trajectories of obstacles within a scene is widely performed in autonomous driving, particularly for making driving control and / or navigation decisions. Current motion models are analytical, with a functional representation. For example, the Interacting Multiple Model (IMM) Filter, which combines priors of constant velocity, constant acceleration, and constant rotation, is utilized to predict obstacle movement. However, the complex real-world movements of neighboring agents (e.g., other vehicles, pedestrians, cyclists) often exhibit behaviors-such as sudden braking for a pedestrian or lane changes on highways-that simplistic analytical models do not adequately capture.

[0028] This disclosure describes particular aspects of the subject matter implements (e.g., trains and / or use) a more accurate, data-driven motion model. This model incorporates spatial location and semantic attributes available in HD maps, overcoming the limitations of traditional motion models by providing a more accurate representation of neighboring agent trajectory predictions. The trained motion model discussed herein may also be integrated into a motion model layer of the HD map.

[0029] When applied, the motion model layer enables the prediction of neighboring agents' trajectories based on the ego vehicle's location information (e.g., the global positioning system (GPS) navigation data) . Furthermore, the HD mapping platform, through the disclosed motion model layer, offers a method to anticipate the future trajectories of obstacles / neighboring agents in a given spatial location, without relying on explicit perception data (e.g., radar, lidar, or image data specifically obtained for obstacle tracking) . Additionally, the motion model may be updated in a crowdsourced manner (e.g., obtaining data from actors in the map segment) using readily available GPS information and perception data, and allows for modular updates (e.g., individual updates for the motion model corresponding to each map segment) .

[0030] FIG. 1 is a simplified illustration of a positioning system 100 in which a UE 105, location server 160, and / or other components of the positioning system 100 can use  the techniques provided herein for trajectory predicting for an HD mapping platform, according to an embodiment. The techniques described herein may be implemented by one or more components of the positioning system 100. The positioning system 100 can include: a UE 105; one or more satellites 110 (also referred to as space vehicles (SVs) ) , which may include Global Navigation Satellite System (GNSS) satellites (e.g., satellites of the Global Positioning System (GPS) , GLONASS, Galileo, Beidou, etc. ) and / or Non-Terrestrial Network (NTN) satellites; base stations 120; access points (APs) 130; location server 160; network 170; and external client 180. Generally put, the positioning system 100 can estimate a location of the UE 105 based on RF signals received by and / or sent from the UE 105 and known locations of other components (e.g., GNSS satellites 110, base stations 120, APs 130) transmitting and / or receiving the RF signals. Additional details regarding particular location estimation techniques are discussed in more detail with regard to FIG. 2.

[0031] It should be noted that FIG. 1 provides only a generalized illustration of various components, any or all of which may be utilized as appropriate, and each of which may be duplicated as necessary. Specifically, although only one UE 105 is illustrated, it will be understood that many UEs (e.g., hundreds, thousands, millions, etc. ) may utilize the positioning system 100. Similarly, the positioning system 100 may include a larger or smaller number of base stations 120 and / or APs 130 than illustrated in FIG. 1. The illustrated connections that connect the various components in the positioning system 100 comprise data and signaling connections which may include additional (intermediary) components, direct or indirect physical and / or wireless connections, and / or additional networks. Furthermore, components may be rearranged, combined, separated, substituted, and / or omitted, depending on desired functionality. In some embodiments, for example, the external client 180 may be directly connected to location server 160. A person of ordinary skill in the art will recognize many modifications to the components illustrated.

[0032] Depending on desired functionality, the network 170 may comprise any of a variety of wireless and / or wireline networks. The network 170 can, for example, comprise any combination of public and / or private networks, local and / or wide-area networks, and the like. Furthermore, the network 170 may utilize one or more wired and / or wireless communication technologies. In some embodiments, the network 170 may comprise a cellular or other mobile network, a wireless local area network (WLAN) , a wireless wide-area network (WWAN) , and / or the Internet, for example. Examples of network 170  include a Long-Term Evolution (LTE) wireless network, a Fifth Generation (5G) wireless network (also referred to as New Radio (NR) wireless network or 5G NR wireless network) , a Wi-Fi WLAN, and the Internet. LTE, 5G and NR are wireless technologies defined, or being defined, by the 3rd Generation Partnership Project (3GPP) . Network 170 may also include more than one network and / or more than one type of network.

[0033] The base stations 120 and access points (APs) 130 may be communicatively coupled to the network 170. In some embodiments, the base station 120s may be owned, maintained, and / or operated by a cellular network provider, and may employ any of a variety of wireless technologies, as described herein below. Depending on the technology of the network 170, a base station 120 may comprise a node B, an Evolved Node B (eNodeB or eNB) , a base transceiver station (BTS) , a radio base station (RBS) , an NR NodeB (gNB) , a Next Generation eNB (ng-eNB) , or the like. A base station 120 that is a gNB or ng-eNB may be part of a Next Generation Radio Access Network (NG-RAN) which may connect to a 5G Core Network (5GC) in the case that Network 170 is a 5G network. The functionality performed by a base station 120 in earlier-generation networks (e.g., 3G and 4G) may be separated into different functional components (e.g., radio units (RUs) , distributed units (DUs) , and central units (CUs) ) and layers (e.g., L1 / L2 / L3) in view Open Radio Access Networks (O-RAN) and / or Virtualized Radio Access Network (V-RAN or vRAN) in 5G or later networks, which may be executed on different devices at different locations connected, for example, via fronthaul, midhaul, and backhaul connections. As referred to herein, a “base station” (or ng-eNB, gNB, etc. ) may include any or all of these functional components. An AP 130 may comprise a Wi-Fi AP or a  AP or an AP having cellular capabilities (e.g., 4G LTE and / or 5G NR) , for example. Thus, UE 105 can send and receive information with network-connected devices, such as location server 160, by accessing the network 170 via a base station 120 using a first communication link 133. Additionally or alternatively, because APs 130 also may be communicatively coupled with the network 170, UE 105 may communicate with network-connected and Internet-connected devices, including location server 160, using a second communication link 135, or via one or more other mobile devices 145.

[0034] As used herein, the term “base station” may generically refer to a single physical transmission point, or multiple co-located physical transmission points, which may be located at a base station 120. A Transmission Reception Point (TRP) (also known as transmit / receive point) corresponds to this type of transmission point, and the term  “TRP” may be used interchangeably herein with the terms “gNB, ” “ng-eNB, ” and “base station. ” In some cases, a base station 120 may comprise multiple TRPs –e.g. with each TRP associated with a different antenna or a different antenna array for the base station 120. As used herein, the transmission functionality of a TRP may be performed with a transmission point (TP) and / or the reception functionality of a TRP may be performed by a reception point (RP) , which may be physically separate or distinct from a TP. That said, a TRP may comprise both a TP and an RP. Physical transmission points may comprise an array of antennas of a base station 120 (e.g., as in a Multiple Input-Multiple Output (MIMO) system and / or where the base station employs beamforming) . The term “base station” may additionally refer to multiple non-co-located physical transmission points, the physical transmission points may be a Distributed Antenna System (DAS) (anetwork of spatially separated antennas connected to a common source via a transport medium) or a Remote Radio Head (RRH) (aremote base station connected to a serving base station) .

[0035] As used herein, the term “cell” may generically refer to a logical communication entity used for communication with a base station 120, and may be associated with an identifier for distinguishing neighboring cells (e.g., a Physical Cell Identifier (PCID) , a Virtual Cell Identifier (VCID) ) operating via the same or a different carrier. In some examples, a carrier may support multiple cells, and different cells may be configured according to different protocol types (e.g., Machine-Type Communication (MTC) , Narrowband Internet-of-Things (NB-IoT) , Enhanced Mobile Broadband (eMBB) , or others) that may provide access for different types of devices. In some cases, the term “cell” may refer to a portion of a geographic coverage area (e.g., a sector) over which the logical entity operates.

[0036] Satellites 110 may be utilized for positioning of the UE 105 in one or more ways. For example, satellites 110 (also referred to as space vehicles (SVs) ) may be part of a Global Navigation Satellite System (GNSS) such as the Global Positioning System (GPS) , GLONASS, Galileo or Beidou. Positioning using RF signals from GNSS satellites may comprise measuring multiple GNSS signals at a GNSS receiver of the UE 105 to perform code-based and / or carrier-based positioning, which can be highly accurate. Additionally or alternatively, satellites 110 may be utilized for NTN-based positioning, in which satellites 110 may functionally operate as TRPs (or TPs) of a network (e.g., LTE and / or NR network) and may be communicatively coupled with network 170. In particular, reference signals (e.g., PRS) transmitted by satellites 110 NTN-based  positioning may be similar to those transmitted by base stations 120, and may be coordinated by a location server 160. In some embodiments, satellites 110 used for NTN-based positioning may be different than those used for GNSS-based positioning. In some embodiments NTN nodes may include non-terrestrial vehicles such as airplanes, balloons, drones, etc., which may be in addition or as an alternative to NTN satellites.

[0037] The location server 160 may comprise a server and / or other computing device configured to determine an estimated location of UE 105 and / or provide data (e.g., “assistance data” ) to UE 105 to facilitate location measurement and / or location determination by UE 105. According to some embodiments, location server 160 may comprise a Home Secure User Plane Location (SUPL) Location Platform (H-SLP) , which may support the SUPL user plane (UP) location solution defined by the Open Mobile Alliance (OMA) and may support location services for UE 105 based on subscription information for UE 105 stored in location server 160. In some embodiments, the location server 160 may comprise, a Discovered SLP (D-SLP) or an Emergency SLP (E-SLP) . The location server 160 may also comprise an Enhanced Serving Mobile Location Center (E-SMLC) that supports location of UE 105 using a control plane (CP) location solution for LTE radio access by UE 105. The location server 160 may further comprise a Location Management Function (LMF) that supports location of UE 105 using a control plane (CP) location solution for NR or LTE radio access by UE 105.

[0038] In a CP location solution, signaling to control and manage the location of UE 105 may be exchanged between elements of network 170 and with UE 105 using existing network interfaces and protocols and as signaling from the perspective of network 170. In a UP location solution, signaling to control and manage the location of UE 105 may be exchanged between location server 160 and UE 105 as data (e.g. data transported using the Internet Protocol (IP) and / or Transmission Control Protocol (TCP) ) from the perspective of network 170.

[0039] As previously noted (and discussed in more detail below) , the estimated location of UE 105 may be based on measurements of RF signals sent from and / or received by the UE 105. In particular, these measurements can provide information regarding the relative distance and / or angle of the UE 105 from one or more components in the positioning system 100 (e.g., GNSS satellites 110, APs 130, base stations 120) . The estimated location of the UE 105 can be estimated geometrically (e.g., using  multiangulation and / or multilateration) , based on the distance and / or angle measurements, along with known position of the one or more components.

[0040] Although terrestrial components such as APs 130 and base stations 120 may be fixed, embodiments are not so limited. Mobile components may be used. For example, in some embodiments, a location of the UE 105 may be estimated at least in part based on measurements of RF signals 140 communicated between the UE 105 and one or more other mobile devices 145, which may be mobile or fixed. As illustrated, other mobile devices may include, for example, a mobile phone 145-1, vehicle 145-2, static communication / positioning device 145-3, or other static and / or mobile device capable of providing wireless signals used for positioning the UE 105, or a combination thereof. Wireless signals from mobile devices 145 used for positioning of the UE 105 may comprise RF signals using, for example,   (including Bluetooth Low Energy (BLE) ) , IEEE 802.11x (e.g.,  ) , Ultra Wideband (UWB) , IEEE 802.15x, or a combination thereof. Mobile devices 145 may additionally or alternatively use non-RF wireless signals for positioning of the UE 105, such as infrared signals or other optical technologies.

[0041] Mobile devices 145 may comprise other UEs communicatively coupled with a cellular or other mobile network (e.g., network 170) . When one or more other mobile devices 145 comprising UEs are used in the position determination of a particular UE 105, the UE 105 for which the position is to be determined may be referred to as the “target UE,” and each of the other mobile devices 145 used may be referred to as an “anchor UE. ” For position determination of a target UE, the respective positions of the one or more anchor UEs may be known and / or jointly determined with the target UE. Direct communication between the one or more other mobile devices 145 and UE 105 may comprise sidelink and / or similar Device-to-Device (D2D) communication technologies. Sidelink, which is defined by 3GPP, is a form of D2D communication under the cellular-based LTE and NR standards. UWB may be one such technology by which the positioning of a target device (e.g., UE 105) may be facilitated using measurements from one or more anchor devices (e.g., mobile devices 145) .

[0042] According to some embodiments, such as when the UE 105 comprises and / or is incorporated into a vehicle, a form of D2D communication used by the mobile device 105 may comprise vehicle-to-everything (V2X) communication. V2X is a  communication standard for vehicles and related entities to exchange information regarding a traffic environment. V2X can include vehicle-to-vehicle (V2V) communication between V2X-capable vehicles, vehicle-to-infrastructure (V2I) communication between the vehicle and infrastructure-based devices (commonly termed roadside units (RSUs) ) , vehicle-to-person (V2P) communication between vehicles and nearby people (pedestrians, cyclists, and other road users) , and the like. Further, V2X can use any of a variety of wireless RF communication technologies. Cellular V2X (CV2X) , for example, is a form of V2X that uses cellular-based communication such as LTE (4G) , NR (5G) and / or other cellular technologies in a direct-communication mode as defined by 3GPP. The UE 105 illustrated in FIG. 1 may correspond to a component or device on a vehicle, RSU, or other V2X entity that is used to communicate V2X messages. In embodiments in which V2X is used, the static communication / positioning device 145-3 (which may correspond with an RSU) and / or the vehicle 145-2, therefore, may communicate with the UE 105 and may be used to determine the position of the UE 105 using techniques similar to those used by base stations 120 and / or APs 130 (e.g., using multiangulation and / or multilateration) . It can be further noted that mobile devices 145 (which may include V2X devices) , base stations 120, and / or APs 130 may be used together (e.g., in a WWAN positioning solution) to determine the position of the UE 105, according to some embodiments.

[0043] An estimated location of UE 105 can be used in a variety of applications –e.g. to assist direction finding or navigation for a user of UE 105 or to assist another user (e.g. associated with external client 180) to locate UE 105. A “location” is also referred to herein as a “location estimate” , “estimated location” , “location” , “position” , “position estimate” , “position fix” , “estimated position” , “location fix” or “fix” . The process of determining a location may be referred to as “positioning, ” “position determination, ” “location determination, ” or the like. A location of UE 105 may comprise an absolute location of UE 105 (e.g. a latitude and longitude and possibly altitude) or a relative location of UE 105 (e.g. a location expressed as distances north or south, east or west and possibly above or below some other known fixed location (including, e.g., the location of a base station 120 or AP 130) or some other location such as a location for UE 105 at some known previous time, or a location of a mobile device 145 (e.g., another UE) at some known previous time) . A location may be specified as a geodetic location comprising coordinates which may be absolute (e.g. latitude, longitude and optionally  altitude) , relative (e.g. relative to some known absolute location) or local (e.g. X, Y and optionally Z coordinates according to a coordinate system defined relative to a local area such a factory, warehouse, college campus, shopping mall, sports stadium or convention center) . A location may instead be a civic location and may then comprise one or more of a street address (e.g. including names or labels for a country, state, county, city, road and / or street, and / or a road or street number) , and / or a label or name for a place, building, portion of a building, floor of a building, and / or room inside a building etc. A location may further include an uncertainty or error indication, such as a horizontal and possibly vertical distance by which the location is expected to be in error or an indication of an area or volume (e.g. a circle or ellipse) within which UE 105 is expected to be located with some level of confidence (e.g. 95%confidence) .

[0044] The external client 180 may be a web server or remote application that may have some association with UE 105 (e.g. may be accessed by a user of UE 105) or may be a server, application, or computer system providing a location service to some other user or users which may include obtaining and providing the location of UE 105 (e.g. to enable a service such as friend or relative finder, or child or pet location) . Additionally or alternatively, the external client 180 may obtain and provide the location of UE 105 to an emergency services provider, government agency, etc.

[0045] As previously noted, the example positioning system 100 can be implemented using a wireless communication network, such as an LTE-based or 5G NR-based network. FIG. 2 shows a diagram of a 5G NR positioning system 200, illustrating an embodiment of a positioning system (e.g., positioning system 100) implementing 5G NR. The 5G NR positioning system 200 may be configured to determine the location of a UE 105 by using access nodes, which may include NR NodeB (gNB) 210-1 and 210-2 (collectively and generically referred to herein as gNBs 210) , ng-eNB 214, and / or WLAN 216 to implement one or more positioning methods. The gNBs 210 and / or the ng-eNB 214 may correspond with base stations 120 of FIG. 1, and the WLAN 216 may correspond with one or more access points 130 of FIG. 1. Optionally, the 5G NR positioning system 200 additionally may be configured to determine the location of a UE 105 by using an LMF 220 (which may correspond with location server 160) to implement the one or more positioning methods. Here, the 5G NR positioning system 200 comprises a UE 105, and components of a 5G NR network comprising a Next Generation (NG) Radio Access Network (RAN) (NG-RAN) 235 and a 5G Core Network (5G CN) 240. A 5G network  may also be referred to as an NR network; NG-RAN 235 may be referred to as a 5G RAN or as an NR RAN; and 5G CN 240 may be referred to as an NG Core network.

[0046] The 5G NR positioning system 200 may further utilize information from satellites 110. As previously indicated, satellites 110 may comprise GNSS satellites from a GNSS system like Global Positioning System (GPS) or similar system (e.g. GLONASS, Galileo, Beidou, Indian Regional Navigational Satellite System (IRNSS) ) . Additionally or alternatively, satellites 110 may comprise NTN satellites that may be communicatively coupled with the LMF 220 and may operatively function as a TRP (or TP) in the NG-RAN 235. As such, satellites 110 may be in communication with one or more gNB 210.

[0047] It should be noted that FIG. 2 provides only a generalized illustration of various components, any or all of which may be utilized as appropriate, and each of which may be duplicated or omitted as necessary. Specifically, although only one UE 105 is illustrated, it will be understood that many UEs (e.g., hundreds, thousands, millions, etc. ) may utilize the 5G NR positioning system 200. Similarly, the 5G NR positioning system 200 may include a larger (or smaller) number of satellites 110, gNBs 210, ng-eNBs 214, Wireless Local Area Networks (WLANs) 216, Access and mobility Management Functions (AMF) s215, external clients 230, and / or other components. The illustrated connections that connect the various components in the 5G NR positioning system 200 include data and signaling connections which may include additional (intermediary) components, direct or indirect physical and / or wireless connections, and / or additional networks. Furthermore, components may be rearranged, combined, separated, substituted, and / or omitted, depending on desired functionality.

[0048] The UE 105 may comprise and / or be referred to as a device, a mobile device, a wireless device, a mobile terminal, a terminal, a mobile station (MS) , a Secure User Plane Location (SUPL) -Enabled Terminal (SET) , or by some other name. Moreover, UE 105 may correspond to a cellphone, smartphone, laptop, tablet, personal data assistant (PDA) , navigation device, Internet of Things (IoT) device, or some other portable or moveable device. Typically, though not necessarily, the UE 105 may support wireless communication using one or more Radio Access Technologies (RATs) such as using GSM, CDMA, W-CDMA, LTE, High Rate Packet Data (HRPD) , IEEE 802.11 Bluetooth, Worldwide Interoperability for Microwave Access (WiMAXTM) , 5G NR (e.g., using the NG-RAN 235 and 5G CN 240) , etc. The UE 105 may also support wireless  communication using a WLAN 216 which (like the one or more RATs, and as previously noted with respect to FIG. 1) may connect to other networks, such as the Internet. The use of one or more of these RATs may allow the UE 105 to communicate with an external client 230 (e.g., via elements of 5G CN 240 not shown in FIG. 2, or possibly via a Gateway Mobile Location Center (GMLC) 225) and / or allow the external client 230 to receive location information regarding the UE 105 (e.g., via the GMLC 225) . The external client 230 of FIG. 2 may correspond to external client 180 of FIG. 1, as implemented in or communicatively coupled with a 5G NR network.

[0049] The UE 105 may include a single entity or may include multiple entities, such as in a personal area network where a user may employ audio, video and / or data I / O devices, and / or body sensors and a separate wireline or wireless modem. An estimate of a location of the UE 105 may be referred to as a location, location estimate, location fix, fix, position, position estimate, or position fix, and may be geodetic, thus providing location coordinates for the UE 105 (e.g., latitude and longitude) , which may or may not include an altitude component (e.g., height above sea level, height above or depth below ground level, floor level or basement level) . Alternatively, a location of the UE 105 may be expressed as a civic location (e.g., as a postal address or the designation of some point or small area in a building such as a particular room or floor) . A location of the UE 105 may also be expressed as an area or volume (defined either geodetically or in civic form) within which the UE 105 is expected to be located with some probability or confidence level (e.g., 67%, 95%, etc. ) . A location of the UE 105 may further be a relative location comprising, for example, a distance and direction or relative X, Y (and Z) coordinates defined relative to some origin at a known location which may be defined geodetically, in civic terms, or by reference to a point, area, or volume indicated on a map, floor plan or building plan. In the description contained herein, the use of the term location may comprise any of these variants unless indicated otherwise. When computing the location of a UE, it is common to solve for local X, Y, and possibly Z coordinates and then, if needed, convert the local coordinates into absolute ones (e.g. for latitude, longitude and altitude above or below mean sea level) .

[0050] Base stations in the NG-RAN 235 shown in FIG. 2 may correspond to base stations 120 in FIG. 1 and may include gNBs 210. Pairs of gNBs 210 in NG-RAN 235 may be connected to one another (e.g., directly as shown in FIG. 2 or indirectly via other gNBs 210) . The communication interface between base stations (gNBs 210 and / or ng- eNB 214) may be referred to as an Xn interface 237. Access to the 5G network is provided to UE 105 via wireless communication between the UE 105 and one or more of the gNBs 210, which may provide wireless communications access to the 5G CN 240 on behalf of the UE 105 using 5G NR. The wireless interface between base stations (gNBs 210 and / or ng-eNB 214) and the UE 105 may be referred to as a Uu interface 239.5G NR radio access may also be referred to as NR radio access or as 5G radio access. In FIG. 2, the serving gNB for UE 105 is assumed to be gNB 210-1, although other gNBs (e.g. gNB 210-2) may act as a serving gNB if UE 105 moves to another location or may act as a secondary gNB to provide additional throughput and bandwidth to UE 105.

[0051] Base stations in the NG-RAN 235 shown in FIG. 2 may also or instead include a next generation evolved Node B, also referred to as an ng-eNB, 214. Ng-eNB 214 may be connected to one or more gNBs 210 in NG-RAN 235–e.g. directly or indirectly via other gNBs 210 and / or other ng-eNBs. An ng-eNB 214 may provide LTE wireless access and / or evolved LTE (eLTE) wireless access to UE 105. Some gNBs 210 (e.g. gNB 210-2) and / or ng-eNB 214 in FIG. 2 may be configured to function as positioning-only beacons which may transmit signals (e.g., Positioning Reference Signal (PRS) ) and / or may broadcast assistance data to assist positioning of UE 105 but may not receive signals from UE 105 or from other UEs. Some gNBs 210 (e.g., gNB 210-2 and / or another gNB not shown) and / or ng-eNB 214 may be configured to function as detecting-only nodes may scan for signals containing, e.g., PRS data, assistance data, or other location data. Such detecting-only nodes may not transmit signals or data to UEs but may transmit signals or data (relating to, e.g., PRS, assistance data, or other location data) to other network entities (e.g., one or more components of 5G CN 240, external client 230, or a controller) which may receive and store or use the data for positioning of at least UE 105. It is noted that while only one ng-eNB 214 is shown in FIG. 2, some embodiments may include multiple ng-eNBs 214. Base stations (e.g., gNBs 210 and / or ng-eNB 214) may communicate directly with one another via an Xn communication interface. Additionally or alternatively, base stations may communicate directly or indirectly with other components of the 5G NR positioning system 200, such as the LMF 220 and AMF 215.

[0052] 5G NR positioning system 200 may also include one or more WLANs 216 which may connect to a Non-3GPP InterWorking Function (N3IWF) 250 in the 5G CN 240 (e.g., in the case of an untrusted WLAN 216) . For example, the WLAN 216 may support IEEE 802.11 Wi-Fi access for UE 105 and may comprise one or more Wi-Fi APs  (e.g., APs 130 of FIG. 1) . Here, the N3IWF 250 may connect to other elements in the 5G CN 240 such as AMF 215. In some embodiments, WLAN 216 may support another RAT such as Bluetooth. The N3IWF 250 may provide support for secure access by UE 105 to other elements in 5G CN 240 and / or may support interworking of one or more protocols used by WLAN 216 and UE 105 to one or more protocols used by other elements of 5G CN 240 such as AMF 215. For example, N3IWF 250 may support IPSec tunnel establishment with UE 105, termination of IKEv2 / IPSec protocols with UE 105, termination of N2 and N3 interfaces to 5G CN 240 for control plane and user plane, respectively, relaying of uplink (UL) and downlink (DL) control plane Non-Access Stratum (NAS) signaling between UE 105 and AMF 215 across an N1 interface. In some other embodiments, WLAN 216 may connect directly to elements in 5G CN 240 (e.g. AMF 215 as shown by the dashed line in FIG. 2) and not via N3IWF 250. For example, direct connection of WLAN 216 to 5GCN 240 may occur if WLAN 216 is a trusted WLAN for 5GCN 240 and may be enabled using a Trusted WLAN Interworking Function (TWIF) (not shown in FIG. 2) which may be an element inside WLAN 216. It is noted that while only one WLAN 216 is shown in FIG. 2, some embodiments may include multiple WLANs 216.

[0053] Access nodes may comprise any of a variety of network entities enabling communication between the UE 105 and the AMF 215. As noted, this can include gNBs 210, ng-eNB 214, WLAN 216, and / or other types of cellular base stations. However, access nodes providing the functionality described herein may additionally or alternatively include entities enabling communications to any of a variety of RATs not illustrated in FIG. 2, which may include non-cellular technologies. Thus, the term “access node, ” as used in the embodiments described herein below, may include but is not necessarily limited to a gNB 210, ng-eNB 214 or WLAN 216.

[0054] In some embodiments, an access node, such as a gNB 210, ng-eNB 214, and / or WLAN 216 (alone or in combination with other components of the 5G NR positioning system 200) , may be configured to, in response to receiving a request for location information from the LMF 220, obtain location measurements of uplink (UL) signals received from the UE 105) and / or obtain downlink (DL) location measurements from the UE 105 that were obtained by UE 105 for DL signals received by UE 105 from one or more access nodes. As noted, while FIG. 2 depicts access nodes (gNB 210, ng-eNB 214, and WLAN 216) configured to communicate according to 5G NR, LTE, and Wi-Fi  communication protocols, respectively, access nodes configured to communicate according to other communication protocols may be used, such as, for example, a Node B using a Wideband Code Division Multiple Access (WCDMA) protocol for a Universal Mobile Telecommunications Service (UMTS) Terrestrial Radio Access Network (UTRAN) , an eNB using an LTE protocol for an Evolved UTRAN (E-UTRAN) , or a  beacon using a Bluetooth protocol for a WLAN. For example, in a 4G Evolved Packet System (EPS) providing LTE wireless access to UE 105, a RAN may comprise an E-UTRAN, which may comprise base stations comprising eNBs supporting LTE wireless access. A core network for EPS may comprise an Evolved Packet Core (EPC) . An EPS may then comprise an E-UTRAN plus an EPC, where the E-UTRAN corresponds to NG-RAN 235 and the EPC corresponds to 5GCN 240 in FIG. 2. The methods and techniques described herein for obtaining a civic location for UE 105 may be applicable to such other networks.

[0055] The gNBs 210 and ng-eNB 214 can communicate with an AMF 215, which, for positioning functionality, communicates with an LMF 220. The AMF 215 may support mobility of the UE 105, including cell change and handover of UE 105 from an access node (e.g., gNB 210, ng-eNB 214, or WLAN 216) of a first RAT to an access node of a second RAT. The AMF 215 may also participate in supporting a signaling connection to the UE 105 and possibly data and voice bearers for the UE 105. The LMF 220 may support positioning of the UE 105 using a CP location solution when UE 105 accesses the NG-RAN 235 or WLAN 216 and may support position procedures and methods, including UE assisted / UE based and / or network based procedures / methods, such as Assisted GNSS (A-GNSS) , Observed Time Difference Of Arrival (OTDOA) (which may be referred to in NR as Time Difference Of Arrival (TDOA) ) , Frequency Difference Of Arrival (FDOA) , Real-time Kinematic (RTK) , Precise Point Positioning (PPP) , Differential GNSS (DGNSS) , Enhance Cell ID (ECID) , angle of arrival (AoA) , angle of departure (AoD) , WLAN positioning, round trip signal propagation delay (RTT) , multi-cell RTT, and / or other positioning procedures and methods. The LMF 220 may also process location service requests for the UE 105, e.g., received from the AMF 215 or from the GMLC 225. The LMF 220 may be connected to AMF 215 and / or to GMLC 225. In some embodiments, a network such as 5GCN 240 may additionally or alternatively implement other types of location-support modules, such as an Evolved Serving Mobile Location Center (E-SMLC) or a SUPL Location Platform (SLP) . It is noted that in some  embodiments, at least part of the positioning functionality (including determination of a UE 105’s location) may be performed at the UE 105 (e.g., by measuring downlink PRS (DL-PRS) signals transmitted by wireless nodes such as gNBs 210, ng-eNB 214 and / or WLAN 216, and / or using assistance data provided to the UE 105, e.g., by LMF 220) .

[0056] The Gateway Mobile Location Center (GMLC) 225 may support a location request for the UE 105 received from an external client 230 and may forward such a location request to the AMF 215 for forwarding by the AMF 215 to the LMF 220. A location response from the LMF 220 (e.g., containing a location estimate for the UE 105) may be similarly returned to the GMLC 225 either directly or via the AMF 215, and the GMLC 225 may then return the location response (e.g., containing the location estimate) to the external client 230.

[0057] A Network Exposure Function (NEF) 245 may be included in 5GCN 240. The NEF 245 may support secure exposure of capabilities and events concerning 5GCN 240 and UE 105 to the external client 230, which may then be referred to as an Access Function (AF) and may enable secure provision of information from external client 230 to 5GCN 240. NEF 245 may be connected to AMF 215 and / or to GMLC 225 for the purposes of obtaining a location (e.g. a civic location) of UE 105 and providing the location to external client 230.

[0058] As further illustrated in FIG. 2, the LMF 220 may communicate with the gNBs 210 and / or with the ng-eNB 214 using an NR Positioning Protocol annex (NRPPa) as defined in 3GPP Technical Specification (TS) 38.455. NRPPa messages may be transferred between a gNB 210 and the LMF 220, and / or between an ng-eNB 214 and the LMF 220, via the AMF 215. As further illustrated in FIG. 2, LMF 220 and UE 105 may communicate using an LTE Positioning Protocol (LPP) as defined in 3GPP TS 37.355. Here, LPP messages may be transferred between the UE 105 and the LMF 220 via the AMF 215 and a serving gNB 210-1 or serving ng-eNB 214 for UE 105. For example, LPP messages may be transferred between the LMF 220 and the AMF 215 using messages for service-based operations (e.g., based on the Hypertext Transfer Protocol (HTTP) ) and may be transferred between the AMF 215 and the UE 105 using a 5G NAS protocol. The LPP protocol may be used to support positioning of UE 105 using UE assisted and / or UE based position methods such as A-GNSS, RTK, TDOA, multi-cell RTT, AoD, and / or ECID. The NRPPa protocol may be used to support positioning of UE  105 using network based position methods such as ECID, AoA, uplink TDOA (UL-TDOA) and / or may be used by LMF 220 to obtain location related information from gNBs 210 and / or ng-eNB 214, such as parameters defining DL-PRS transmission from gNBs 210 and / or ng-eNB 214.

[0059] In the case of UE 105 access to WLAN 216, LMF 220 may use NRPPa and / or LPP to obtain a location of UE 105 in a similar manner to that just described for UE 105 access to a gNB 210 or ng-eNB 214. Thus, NRPPa messages may be transferred between a WLAN 216 and the LMF 220, via the AMF 215 and N3IWF 250 to support network-based positioning of UE 105 and / or transfer of other location information from WLAN 216 to LMF 220. Alternatively, NRPPa messages may be transferred between N3IWF 250 and the LMF 220, via the AMF 215, to support network-based positioning of UE 105 based on location related information and / or location measurements known to or accessible to N3IWF 250 and transferred from N3IWF 250 to LMF 220 using NRPPa. Similarly, LPP and / or LPP messages may be transferred between the UE 105 and the LMF 220 via the AMF 215, N3IWF 250, and serving WLAN 216 for UE 105 to support UE assisted or UE based positioning of UE 105 by LMF 220, described in more detail hereafter.

[0060] Positioning of the UE 205 in a 5G NR positioning system 200 further may utilize measurements between the UE 205 and one or more other UEs 255 via a sidelink connection SL 260. As shown in FIG. 2, the one or more other UEs 255 may comprise any of a variety of different device types, including mobile phones, vehicles, roadside units (RSUs) , other device types, or any combination thereof. One or more position measurement signals sent via SL 260 to the UE 205 from the one or more other UEs 255, to the one or more other UEs 255 from the UE 205, or both. Various signals may be used for position measurement, including sidelink PRS (SL-PRS) . In some instances, the position of at least one of the one or more of the other UEs 255 may be determined at the same time (e.g., in the same positioning session) as the position of the UE 205. In some embodiments, the LMF 220 may coordinate the transmission of positioning signals via SL 260 between the UE 205 and the one or more other UEs 255. Additionally or alternatively, the UE 205 and the one or more other UEs 255 may coordinate a positioning session between themselves, without an LMF 220 or even a Uu connection 239 to an access node of the NG-RAN 235. To do so, the UE 205 and the one or more other UEs 255 may communicate messages via the SL 260 using sidelink positioning protocol  (SLPP) . In some scenarios, the one or more other UEs 255 may have a Uu connection 239 with an access node of the NG-RAN 235 and / or Wi-Fi connection with WLAN 216 when the UE 205 does not. In such instances, the one or more other UEs 255 may operate as relay devices, relaying communications to the network (e.g., LMF 220) from the UE 205. In such instances, a plurality of other UEs 255 may form a chain between the UE 205 and the access node.

[0061] In a 5G NR positioning system 200, positioning methods can be categorized as being “UE assisted” or “UE based. ” This may depend on where the request for determining the position of the UE 105 originated. If, for example, the request originated at the UE (e.g., from an application, or “app, ” executed by the UE) , the positioning method may be categorized as being UE based. If, on the other hand, the request originates from an external client 230, LMF 220, or other device or service within the 5G network, the positioning method may be categorized as being UE assisted (or “network-based” ) .

[0062] With a UE-assisted position method, UE 105 may obtain location measurements and send the measurements to a location server (e.g., LMF 220) for computation of a location estimate for UE 105. For RAT-dependent position methods location measurements may include one or more of a Received Signal Strength Indicator (RSSI) , Round Trip signal propagation Time (RTT) , Reference Signal Received Power (RSRP) , Reference Signal Received Quality (RSRQ) , Reference Signal Time Difference (RSTD) , Time of Arrival (TOA) , AoA, Receive Time-Transmission Time Difference (Rx-Tx) , Differential AoA (DAoA) , AoD, or Timing Advance (TA) for gNBs 210, ng-eNB 214, and / or one or more access points for WLAN 216. Additionally or alternatively, similar measurements may be made of sidelink signals transmitted by other UEs, which may serve as anchor points for positioning of the UE 105 if the positions of the other UEs are known. The location measurements may also or instead include measurements for RAT-independent positioning methods such as GNSS (e.g., GNSS pseudorange, GNSS code phase, and / or GNSS carrier phase for satellites 110) , WLAN, etc.

[0063] With a UE-based position method, UE 105 may obtain location measurements (e.g., which may be the same as or similar to location measurements for a UE assisted position method) and may further compute a location of UE 105 (e.g., with the help of assistance data received from a location server such as LMF 220, an SLP, or broadcast by gNBs 210, ng-eNB 214, or WLAN 216) .

[0064] With a network based position method, one or more base stations (e.g., gNBs 210 and / or ng-eNB 214) , one or more APs (e.g., in WLAN 216) , or N3IWF 250 may obtain location measurements (e.g., measurements of RSSI, RTT, RSRP, RSRQ, AoA, or TOA) for signals transmitted by UE 105, and / or may receive measurements obtained by UE 105 or by an AP in WLAN 216 in the case of N3IWF 250, and may send the measurements to a location server (e.g., LMF 220) for computation of a location estimate for UE 105.

[0065] Positioning of the UE 105 also may be categorized as UL, DL, or DL-UL based, depending on the types of signals used for positioning. If, for example, positioning is based solely on signals received at the UE 105 (e.g., from a base station or other UE) , the positioning may be categorized as DL based. On the other hand, if positioning is based solely on signals transmitted by the UE 105 (which may be received by a base station or other UE, for example) , the positioning may be categorized as UL based. Positioning that is DL-UL based includes positioning, such as RTT-based positioning, that is based on signals that are both transmitted and received by the UE 105. Sidelink (SL) -assisted positioning comprises signals communicated between the UE 105 and one or more other UEs. According to some embodiments, UL, DL, or DL-UL positioning as described herein may be capable of using SL signaling as a complement or replacement of SL, DL, or DL-UL signaling.

[0066] Depending on the type of positioning (e.g., UL, DL, or DL-UL based) the types of reference signals used can vary. For DL-based positioning, for example, these signals may comprise PRS (e.g., DL-PRS transmitted by base stations or SL-PRS transmitted by other UEs) , which can be used for TDOA, AoD, and RTT measurements. Other reference signals that can be used for positioning (UL, DL, or DL-UL) may include Sounding Reference Signal (SRS) , Channel State Information Reference Signal (CSI-RS) , synchronization signals (e.g., synchronization signal block (SSB) Synchronizations Signal (SS) ) , Physical Uplink Control Channel (PUCCH) , Physical Uplink Shared Channel (PUSCH) , Physical Sidelink Shared Channel (PSSCH) , Demodulation Reference Signal (DMRS) , etc. Moreover, reference signals may be transmitted in a Tx beam and / or received in an Rx beam (e.g., using beamforming techniques) , which may impact angular measurements, such as AoD and / or AoA.

[0067] FIG. 3A is a block diagram illustrating an example layering scheme 300 for an HD mapping platform. Layering scheme 300 may be performed by existing HD mapping platforms. The HD mapping implementing layering scheme 300 may communicate the HD map with the layering scheme 300 with an ego vehicle (e.g., a user device, a mobile device, and / or a vehicle system that associates with the ego vehicle) based on the systems disclosed in FIGS. 1 and 2. Layering scheme 300 includes a geometric layer 301, a semantic layer 303, a road / lane network layer 305, an experiential layer 307, and a real-time layer 309. Each layer of layering scheme 300 can generally represent a framework for conceptualizing, recognizing, and analyzing various characteristics of regions mapped using an HD mapping platform. Such characteristics can describe, for instance, attributes of roadways, obstacles, terrain, structures, and vehicles in the mapped regions.

[0068] Geometric layer 301 can describe physical dimensions and geometry of roadways and other traversable regions (or portions thereof) within HD map segments. For instance, geometric layer 301 can describe roadways in terms of geometric shapes, such as lines, strings, and polygons. Geometric layer 301 can specify point coordinates representing vertices of such shapes to define how they fit together to form a roadway or other traversable region (such as a driveway or parking lot, for instance) in a map segment.

[0069] Semantic layer 303 can designate, for various portions of (or locations in) roadways or other traversable regions in a map segment, various types of semantic classifications of significance in the context of vehicular navigation within the map segment. The significance of some such semantic classifications can take the form of rules or constraints upon driving behavior within or at the associated regions or locations. Semantic layer 303 can, for instance, classify particular portions of roadways as being subject to particular speed limits, indicate the directions of travel within various lanes of a roadway, and specify positions at which vehicles must stop (due to the presence of stop signs, for example) .

[0070] Road / lane network layer 305 can generally define how roadways in an HD map fit together and, in that context, can describe characteristics of roadways (or portions thereof) based on their relationships with other roadways (or portions thereof) . Some characteristics that road / lane network layer 305 describes can relate to roadway regions in the vicinity of intersections. For example, with respect to an intersection between multi- lane roads, road / lane network layer 305 can specify which lanes of the two roads merge into, mesh with, or conflict with each other (and how) .

[0071] Experiential layer 307 can describe expectations regarding various portions of roadways or other traversable regions in a map segment based on previous observations of conditions therein. For example, experiential layer 307 can specify an expectation of reduced traffic flow along a particular portion of a roadway during a particular time period (during rush hour, for instance) based on prior observations of reduced traffic flow along that portion of the roadway during comparable time periods (during previous rush hours, for instance) . In another example, experiential layer 307 can specify an expected likelihood of an accident occurring within a particular region based on a previously-observed accident rate within that region.

[0072] Real-time layer 309 can describe various aspects of current conditions within various portions of roadways or other traversable regions in a map segment. For example, real-time layer 309 can indicate a current rate of traffic flow along a particular portion of a roadway, the closure of a lane or other region of a roadway (such as for construction or due to an accident, for instance) , or other relevant transient conditions within a map segment.

[0073] To provide effective driving control and navigation instructions, an ego vehicle may need a certain level of knowledge of trajectories of neighboring agents around the ego vehicle (e.g., other vehicles, pedestrians, cyclists, etc. within a predetermined range of the ego vehicle 312) . FIG. 3B shows an example environment 310 of an ego vehicle 312 configured for autonomous driving, which includes trajectory predictions 323 of the one or more neighboring agents 322 around the ego vehicle 312. It is understood that the technical solution disclosed herein may also be applied to the example environment 310 according to some embodiments. As shown in FIG. 3B, the ego vehicle 312 may include more than one perception sensor (e.g., radar, lidar, camera, etc. ) with different FOVs 313. It is appreciated that depending on the performance requirements and the capability of the ego vehicle 312, the scope of the predetermined range may vary.

[0074] As noted above, in existing technical solutions, an HD mapping platform that implements the layering scheme 300 may rely on the GNSS data and the perception data (data collected by the perception sensors associated with ego vehicle 312 such as radar,  lidar, or image data) in the field and an analytical model with a functional representation to predict the trajectories of neighboring agents. For example, a combination of priors-constant velocity, constant acceleration, and constant rotation-is utilized for this prediction. However, simplistic analytical models often fail to capture the complex real-world movements of neighboring agents 322, such as sudden braking for a pedestrian or lane changes on highways.

[0075] Disclosed herein are techniques for predicting trajectories on HD mapping platforms designed to address the potential shortcomings associated with the layering scheme 300. According to aspects of this disclosure, the layering scheme 300 may be enhanced with a motion model layer (discussed in detail below) . The motion model layer may be embedded with a motion model that incorporates spatial location and semantic attributes available in HD maps, thus overcoming the limitations of existing motion models by providing a more accurate representation of neighboring agent 322 trajectory predictions based on readily available real-time data (e.g., GPS information and / or non-explicit perception data, such as lidar, radar, or image of the sense, acquired by an ego vehicle) . By leveraging the motion model layer for trajectory prediction, an HD mapping platform can offer improved levels of safety and efficiency in driving control and navigation decision-making.

[0076] FIG. 4 is a block diagram illustrating an example procedure 400 for configuring such a motion model layer for an HD mapping platform, according to some embodiment as described herein. In some embodiments, the motion model layer discussed herein may be integrated into the layering scheme 300. In some embodiments, the procedure 400 may be performed by an HD mapping platform training node 401, such as a location server 160, a LMF 220, a sensing server, a proprietary server, or any suitable computing device, such as a roadside unit within or near the given map segment. According to procedure 400, based on GPS data 402 and perception data 404, at trajectory estimation 410 (e.g., including a real-world observation generator, will be discussed in detail below) , a training set of multimodal trajectory data 412 may be determined. GPS data 402 can include GNSS navigation data, such as GPS data, consisting of coordinates traversed by driven trajectories in a map segment of an HD map. Perception data 404 can include sensor data, such as radar, lidar, or image data, captured by perception sensors in the map segment of interest (e.g., sensors associated with vehicles, a roadside unit, traffic lights, etc. ) in conjunction with traversing driven trajectories in the map segment.

[0077] In some embodiments, GPS data 402 and / or perception data 404 may be collected by a service vehicle specifically deployed for gathering training data (e.g., the training set of multimodal trajectory data 412) . Alternatively or additionally, GPS data 402 and / or perception data 404 could be crowdsourced from sensors located within the map segment, including those associated with agents (such as vehicles) , buildings, and traffic facilities (e.g., traffic lights) .

[0078] In some examples, neighboring agents within a given map segment can be identified using perception data 404, GPS data 402, or both. The training set of multimodal trajectory data 412 may include trajectory data for these neighboring agents, representing the paths they have traversed within the map segment, as defined by GNSS (e.g., GPS) coordinates from the GPS data 402.

[0079] For example, at trajectory estimation 410, a real-world observation generator may utilize GPS data 402 and perception data 404 to create an extensive database of trajectories, which may serve as the training set of multimodal trajectory data 412 for training the motion prediction model for each map segment in later operations. The training set of multimodal trajectory data 412 may include GNSS navigation data, such as GPS data 402, associated with a variety of driven trajectories within the map segment, along with the corresponding perception data 404. Specifically, GPS data 402 may provide location information, enabling the determination of the corresponding map segment and / or the relative position of the corresponding traffic participants (also referred to as neighboring agents) within that segment. Meanwhile, perception data 404, collected from sensors like lidar, radar, and cameras, may provide comprehensive insights into the movements of the various traffic participants, including those who may not be equipped with GPS devices (e.g., pedestrians) . In some embodiments, the training set of multimodal trajectory data 412 may also include timestamps and data indicating other motion information that may influence the next pose prediction, such as data on current speed, direction, acceleration, relative position to other objects, road curvature, lane information, and proximity to traffic signs or signals, among others.

[0080] At the trajectory estimation 410, the GNSS navigation data associated with a plurality of driven trajectories may be pre-processed, for instance, using smoothing techniques, to correct anomalies (such as trajectories that significantly diverge from their associated neighboring agent trajectories, as might be quantified by one or more rules or  criteria) and discontinuities (e.g., sudden changes in GPS coordinates, more significant than a predetermined value) in the GNSS navigation data. In some embodiments, the driven trajectories data in the training set of multimodal trajectory data 412 may include sequences of time-stamped GNSS coordinates.

[0081] In some embodiments, the training set of multimodal trajectory data 412 may be compiled offline –determined at a location server 160, a LMF 220, a sensing server, a proprietary server, or any suitable computing device, such as a roadside unit within or near the given map segment, as noted above. Thus, after processing at the trajectory estimation 410, the driven trajectories included in the training set of multimodal trajectory data 412 may exhibit high accuracy, reflecting the actual movements of the associated neighboring agents.

[0082] At the motion prediction model training 420, the training set of multimodal trajectory data 412 may be utilized to train a machine learning system, such as the motion model 422, for the corresponding map segment. The motion model 422 may be designed to predict the trajectory of neighboring agents within a map segment -to predict the most likely next pose based on a given input pose for a neighboring agent located at a specific GPS position within that map segment. Upon completion of the motion prediction model training 420, the motion model 422 may be refined to include one or more updated model configuration parameters, such as trajectory prediction parameters, tailored to the attributes of specific map segments.

[0083] Because the motion model 422 is trained considering the spatial location and semantic attributes of the map segment, the accuracy of the motion model 422's predictions may be significantly enhanced. In some embodiments, when predicting based on the set of real-time multimodal data (discussed in detail below) , each element or lane segment of the map segment may contain a multimodal prediction of the future paths of the neighboring agent with different probabilities or confidence levels, based on its proximity to merges, exits, splits, and other semantic attributes. For example, as the neighboring agent (e.g., a vehicle) gets closer to an exit (e.g., when the neighboring agent 322 approaches an exit area 330 in FIG. 3B) , the probability of turning right increases and drops as the distance increases.

[0084] As noted above, in some embodiments, the machine learning model system (e.g., the motion model 422) may include one or more neural networks or other machine  learning models. For example, neural networks may be based on a large collection of neural units (or artificial neurons) . Neural networks may loosely mimic the manner in which a biological brain works (e.g., via large clusters of biological neurons connected by axons) . Each neural unit of a neural network may be connected with many other neural units of the neural network. Such connections can be enforcing or inhibitory in their effect on the activation state of connected neural units. In some embodiments, each individual neural unit may have a summation function that combines the values of all its inputs together. In some embodiments, each connection (or the neural unit itself) may have a threshold function such that the signal must surpass the threshold before it propagates to other neural units. These neural network systems may be self-learning and trained rather than explicitly programmed and can perform significantly better in certain areas of problem-solving than traditional computer programs. In some embodiments, neural networks may include multiple layers (e.g., where a signal path traverses from front layers to back layers) . In some embodiments, back propagation techniques may be utilized by the neural networks, where forward stimulation is used to reset weights on the "front" neural units. In some embodiments, stimulation and inhibition for neural networks may be more free-flowing, with connections interacting in a more chaotic and complex fashion.

[0085] In some embodiments, the machine learning model system may update its configurations (e.g., weights, biases, or other parameters) based on its assessment of the predictions. A memory may store training data (e.g., the training set of multimodal trajectory data 412) and one or more trained machine learning models (e.g., motion models 422) .

[0086] For example, FIG. 5 shows an example process for training a machine learning model 500, according to some embodiments as described herein. The machine learning model 500 may take inputs 502 (e.g., GPS data 402, perception data 404, timestamps, and / or any available motion information included in the training set of multimodal trajectory data 412) and provide outputs 504 (e.g., driven trajectories included in the training set of multimodal trajectory data 412) . In some embodiments, the motion model 422 may be trained in the same or a similar manner disclosed in FIG. 5 at the model training 420.

[0087] In some embodiments, outputs 504 may be fed back (e.g., active feedback) to machine learning model 500 as input to train machine learning model 500 (e.g., alone or  in conjunction with user indications of the accuracy of outputs 504, labels associated with the inputs 502, or with other reference feedback information) . In some embodiments, machine learning model 500 may update its configuration parameters (e.g., weights, biases, or other parameters) based on its assessment of its prediction (e.g., outputs 504) and reference feedback information (e.g., user indication of accuracy, reference labels, or other information) . Additionally or alternatively, where machine learning model 500 is a neural network, connection weights may be adjusted to reconcile differences between the neural network's prediction and the reference feedback. In some further embodiments, one or more neurons (or nodes) of the neural network may require that their respective errors be sent backward through the neural network to facilitate the update process (e.g., backpropagation of error) . Updates to the connection weights may, for example, be reflective of the magnitude of error propagated backward after a forward pass has been completed. In some embodiments, a dense trajectory flow field, with a corresponding cost or value function that specifies costs or values associated with various possible trajectories in a trajectory space, may be used to identify the most likely trajectory (e.g., the trajectory with the highest confidence level) for prediction. In this way, the machine learning model 500 may be trained to generate more accurate trajectory predictions.

[0088] While machine learning model 500 is described in relation to the foregoing examples, it should be understood that machine learning model 500 may be trained to make predictions for trajectories of neighboring agents in a map segment according to other criteria or based on other inputs. In some embodiments, the outputs at the motion prediction model training 420 may include the motion model 422, represented by one or more updated model configuration parameters (e.g., weights, biases, and / or trajectory predicting parameters) , tailored to the characteristics of specific map segments.

[0089] In some embodiment, at a motion model layer update 430, the motion model 422 with the updated configuration parameters may be embedded into a motion model layer of the HD mapping platform. As noted above, an HD map with the motion model layer disclosed herein may be updated in a modular manner (e.g., each map segment being updated individually) and / or periodically at a predetermined interval (e.g., bi-weekly, monthly, quarterly, etc. ) . In some embodiments, the HD map may also be updated based on data crowdsourced by vehicles or other agents at the corresponding map segment.

[0090] It should be appreciated by a person skilled in the art that although the motion model 422, as disclosed herein, is embedded in the HD map, the motion model 422 may also be run separately from the HD map. For example, the motion model 422 may be implemented as an application and / or a function, in addition to being part of the HD map.

[0091] FIG. 6 is a block diagram illustrating an example operating environment 600 in which techniques for trajectory prediction for an HD mapping platform may be applied, according to some embodiments as described herein. In operating environment 600, the motion model layer may be implemented by an HD mapping platform applying node 601. In some embodiments, the HD mapping platform applying node 601 may be the same as or different from the HD mapping platform training node 401.

[0092] For instance, in some online settings, the motion model layer could be implemented by the same HD mapping platform node that performs procedure 400, meaning the HD mapping platform applying node 601 is the same entity as HD mapping platform training node 401. In some embodiments, along with or prior to receiving real-time multimodal data 612 as discussed below, the HD mapping platform applying node 601 may also receive, from the ego vehicle 645, a request for neighboring agent trajectory prediction. Following the motion model layer update 430 illustrated in FIG. 4, the HD mapping platform applying node 601 can configure the motion model within the motion model layer based on the determined or updated model configuration parameters.

[0093] Alternatively, the motion model layer might be implemented by an HD mapping platform node that is different from the one executing procedure 400, with HD mapping platform applying node 601 being a different entity than HD mapping platform the HD mapping platform training node 401. For example, HD mapping platform applying node 601 could be a roadside unit near or in the map segment or a user device, mobile device, or vehicle system associated with the ego vehicle 645. The HD mapping platform applying node 601 may then receive the determined or updated model configuration parameters from the HD mapping platform training node 401 (e.g., the motion prediction model training 420) and configure the motion model in the motion model layer accordingly.

[0094] When implementing the motion model layer, the HD mapping platform applying node 601 may provide an HD map 608 to one or more ego vehicles 645. This HD map 608 may include various map segments 610. As ego vehicle (s) 645 navigate  within or through these map segments, they can supply the real-time multimodal data 612 regarding neighboring agents to HD mapping platform applying node 601. In some embodiments, the real-time multimodal data 612 data may consist of GPS data 602 and / or perception data 604. GPS data 602, which may include GNSS navigation data, including GPS coordinates of paths taken by ego vehicle (s) 645 within map segment 610, may also record the timestamps of these traversals. Perception data 604, comprising sensor data such as radar, lidar, or image data from ego vehicle (s) 645 while moving through the map segment, does not necessarily need to explicitly capture neighboring agents for trajectory prediction. Perception data 604 may also come with timestamps marking the capture times of the sensor data.

[0095] In some embodiments, as noted above, GPS data 602 and / or perception data 604 may be collected by ego vehicle (s) 645. Alternatively or additionally, GPS data 602 and / or perception data 604 could be crowdsourced from sensors located within the map segment, including those associated with agents (such as vehicles) , buildings, and traffic facilities (e.g., traffic lights) . In some embodiments, the GPS data 602 and / or perception data 604 may be pre-processed at the obtaining device (e.g., ego vehicle (s) 645 and / or any device obtaining the data) before being transmitted for prediction.

[0096] Additionally or alternatively, the HD map 608 may be shared among vehicle (s) 645 and / or other V2X entities within the traffic environment. For example, the HD map 608 may be share using vehicle-to-everything (V2X) , a communication standard for vehicles and related entities to exchange information regarding a traffic environment. V2X can include vehicle-to-vehicle (V2V) communication between V2X-capable vehicles, vehicle-toinfrastructure (V2I) communication between the vehicle and infrastructure-based devices (commonly-termed road-side units (RSUs) ) , vehicle-to-person (V2P) communication between vehicles and nearby people (pedestrians, cyclists, and other road users) , and the like. Further, V2X can use any of a variety of wireless radio frequency (RF) communication technologies. Cellular V2X (CV2X) , for example, is a form of V2X that uses cellular-based communication such as long-term evolution (LTE) , fifth generation new radio (5G NR) , and / or other cellular technologies in a direct-communication mode as defined by the 3rd Generation Partnership Project (3GPP) . A component or device on a vehicle, RSU, or other V2X entity that is used to communicate V2X messages is generically referred to as a V2X device or V2X UE.

[0097] In some embodiments, the HD mapping platform applying node 601 can predict the trajectory of the neighboring agent based on the real-time set of multimodal data 612 of the neighboring agent using the updated motion model layer embedded with the motion model 622 (e.g., a machine learning model configured with the model configuration parameters determined at motion prediction model training 420) . As noted above, in some embodiments, the trajectory prediction may include a multimodal prediction of the future paths of the neighboring agent with different probabilities or confidence levels based on its proximity to merges, splits, and other semantic attributes for each element or lane segment of the map segment. For example, as the neighboring agent (e.g., a vehicle) gets closer to a merge, the probability of turning right increases and drops as the distance increases. Therefore, based on the trajectory prediction of the neighboring agents, driving control and navigation decisions may be made for the ego vehicle with improved levels of safety and efficiency.

[0098] FIG. 7 is a flow diagram of a method 700 of a trajectory predicting method for an HD mapping platform performed by a server, according to some embodiments. As noted above, the server may correspond to a location server 160, a LMF 220, a sensing server, a proprietary server, or any suitable computing device, such as a roadside unit within or near the given map segment. The server may correspond to the HD mapping platform training node 401 and / or the HD mapping platform applying node 601. Example components of a server are illustrated in FIG. 10, which is described in more detail below.

[0099] At block 710, the method may comprise obtaining a training set of multimodal trajectory data associated with a map segment of an HD map. In some embodiments, the training set of multimodal trajectory data may be obtained by a service vehicle specifically deployed for gathering training data (e.g., the training set of multimodal trajectory data 412 as disclosed in FIG. 4) . Alternatively or additionally, the training set of multimodal trajectory data may also be crowdsourced from sensors located within the map segment, including those associated with agents (such as vehicles) , buildings, and traffic facilities (e.g., traffic lights) .

[0100] Means for performing functionality at block 710 may comprise bus 1005, processor (s) 1010, communication subsystem 1030, memory 1035, and / or other components of a sensing device, such as those as illustrated in FIG. 10 and described hereafter.

[0101] At block 720, the method may comprise determining, using a neural network, trajectory predicting parameters of a motion model of the HD mapping platform based on the training set of multimodal trajectory data, wherein the motion model is configured for predicting a trajectory of a neighboring agent in the map segment based on a real-time set of multimodal data associated with the neighboring agent. In some embodiments, the motion model may be trained as discussed in the description of FIGS. 4 and 5 and thus will not be repeated.

[0102] Means for performing functionality at block 720 may comprise bus 1005, processor (s) 1010, communication subsystem 1030, memory 1035, and / or other components of a sensing device, such as those as illustrated in FIG. 10 and described hereafter.

[0103] At block 730, the method may include configuring the motion model based on trajectory predicting parameters. As discussed in the description of FIG. 6, when the HD mapping platform node that implements the motion model layer is the same entity as the one training the motion model, it configures the motion model within the motion model layer using the determined or updated model configuration parameters, following the motion model layer update 430 shown in FIG. 4. Additionally or alternatively, when the HD mapping platform node implementing the motion model layer is different from the one training the motion model, the implementing node may receive the determined or updated model configuration parameters from the HD mapping platform training the motion model and may configure the motion model in the motion model layer based on these parameters.

[0104] Means for performing functionality at block 730 may comprise bus 1005, processor (s) 1010, communication subsystem 1030, memory 1035, and / or other components of a sensing device, such as those as illustrated in FIG. 10 and described hereafter.

[0105] In some embodiments, the method 700 may further comprise embedding the motion model in a motion model layer of the HD map.

[0106] In some embodiments, the real-time set of multimodal data of the neighboring agent comprises global navigation satellite system (GNSS) navigation data of an ego vehicle located in the map segment and perception data of the neighboring agent obtained by one or more perception sensors associated with the ego vehicle.

[0107] In some embodiments, the GNSS navigation data may include global positioning system (GPS) navigation data.

[0108] In some embodiments, the method 700 further may comprise receiving, from the ego vehicle, a request for neighboring agent trajectory prediction, receiving, from the ego vehicle, the real-time set of multimodal data associated with the neighboring agent, and determining a trajectory prediction for the neighboring agent based on the real-time set of multimodal data using the configured motion model.

[0109] In some embodiments, the training set of multimodal trajectory data includes GNSS navigation data associated with a plurality of driven trajectories in the map segment and corresponding perception data.

[0110] In some embodiments, the method 700 further may comprise pre-processing the GNSS navigation data associated with the plurality of driven trajectories to correct for anomalies and discontinuities in the GNSS navigation data.

[0111] In some embodiments, the method 700 further may comprise determining, using the neural network, the trajectory predicting parameters of the motion model of the HD mapping platform based on the pre-processed GNSS navigation data.

[0112] In some embodiments, the training set of multimodal trajectory data includes GNSS navigation data crowdsourced from sensors associated with agents in the HD map segment.

[0113] In some embodiments, configuring the motion model in accordance with the trajectory predicting parameters further comprises transmitting the trajectory predicting parameters of the motion model.

[0114] FIG. 8 is a flow diagram of a method 800 of a trajectory predicting method for an HD mapping platform performed by a mobile device, according to some embodiments. As noted above, the mobile device may correspond to a UE 105, a mobile device 145, or a vehicle system associated with an ego vehicle. The mobile device may also correspond to HD mapping platform applying node 601. Example components of a sensing device are illustrated in FIG. 9, which is described in more detail below.

[0115] At block 810, the method may comprise obtaining a real-time set of multimodal data associated with one or more neighboring agents in a map segment of an HD map. In some embodiments, the real-time set of multimodal data of the neighboring  agent may include GNSS navigation data of an ego vehicle located in the map segment and perception data of the neighboring agent obtained by one or more perception sensors associated with the ego vehicle.

[0116] Means for performing functionality at block 810 may comprise bus 905, processor (s) 910, wireless communication interface 930, sensors 940, memory 960, GNSS receiver 980, and / or other components of a sensing device, such as those as illustrated in FIG. 9 and described hereafter.

[0117] At block 820, the method may comprise obtaining a trajectory prediction of the one or more neighboring agents, the trajectory prediction is determined based on the real-time set of multimodal data using a motion model of the HD mapping platform. In some embodiments, trajectory predicting parameters of the motion model may be determined using a neural network based on a training set of multimodal trajectory data associated with the map segment of the HD map.

[0118] Means for performing functionality at block 820 may comprise bus 905, processor (s) 910, wireless communication interface 930, sensors 940, memory 960, GNSS receiver 980, and / or other components of a sensing device, such as those as illustrated in FIG. 9 and described hereafter.

[0119] At block 830, the method may comprise navigating the ego vehicle based on the trajectory predictions. In some embodiments, as noted above, navigating the ego vehicle may include making driving control and navigation decisions for the ego vehicle based on the trajectory predictions.

[0120] Means for performing functionality at block 830 may comprise bus 905, processor (s) 910, wireless communication interface 930, sensors 940, memory 960, GNSS receiver 980, and / or other components of a sensing device, such as those as illustrated in FIG. 9 and described hereafter.

[0121] In some embodiments, the motion model is embedded in a motion model layer of the HD map.

[0122] In some embodiments, the real-time set of multimodal data of the one or more neighboring agents may comprises global navigation satellite system (GNSS) navigation data of an ego vehicle associated with the mobile device, located in the map segment, and  perception data of the one or more neighboring agents obtained by one or more perception sensors associated with the ego vehicle.

[0123] In some embodiments, the GNSS navigation data includes global positioning system (GPS) navigation data.

[0124] In some embodiments, the method 800 may further comprise receiving, from a server, the trajectory predicting parameters of the motion model.

[0125] In some embodiments, the training set of multimodal trajectory data includes GNSS navigation data associated with a plurality of driven trajectories in the map segment and corresponding perception data.

[0126] In some embodiments, the method 800 may further comprise obtaining at least a portion of the training set of multimodal trajectory data; and transmitting the at least a portion of the training set of multimodal trajectory data for training the motion model of the HD mapping platform.

[0127] FIG. 9 is a block diagram of an embodiment of a UE 105, which can be utilized as described herein above (e.g., in association with FIGS. 1, 2, 3, 6, 7, and 8) . For example, the UE 105 can perform one or more of the functions of the method shown in FIG. 8. It should be noted that FIG. 9 is meant only to provide a generalized illustration of various components, any or all of which may be utilized as appropriate. It can be noted that, in some instances, components illustrated by FIG. 9 can be localized to a single physical device and / or distributed among various networked devices, which may be disposed at different physical locations. Furthermore, as previously noted, the functionality of the UE discussed in the previously described embodiments may be executed by one or more of the hardware and / or software components illustrated in FIG. 9.

[0128] The UE 105 is shown comprising hardware elements that can be electrically coupled via a bus 905 (or may otherwise be in communication, as appropriate) . The hardware elements may include a processor (s) 910 which can include without limitation one or more general-purpose processors (e.g., an application processor) , one or more special-purpose processors (such as digital signal processor (DSP) chips, graphics acceleration processors, application specific integrated circuits (ASICs) , and / or the like) , and / or other processing structures or means. Processor (s) 910 may comprise one or more processing units, which may be housed in a single integrated circuit (IC) or multiple ICs.  As shown in FIG. 9, some embodiments may have a separate DSP 920, depending on desired functionality. Location determination and / or other determinations based on wireless communication may be provided in the processor (s) 910 and / or wireless communication interface 930 (discussed below) . The UE 105 also can include one or more input devices 970, which can include without limitation one or more keyboards, touch screens, touch pads, microphones, buttons, dials, switches, and / or the like; and one or more output devices 915, which can include without limitation one or more displays (e.g., touch screens) , light emitting diodes (LEDs) , speakers, and / or the like.

[0129] The UE 105 may also include a wireless communication interface 930, which may comprise without limitation a modem, a network card, an infrared communication device, a wireless communication device, and / or a chipset (such as a device, an IEEE 802.11 device, an IEEE 802.15.4 device, a Wi-Fi device, a WiMAX device, a WAN device, and / or various cellular devices, etc. ) , and / or the like, which may enable the UE 105 to communicate with other devices as described in the embodiments above. The wireless communication interface 930 may permit data and signaling to be communicated (e.g., transmitted and received) with TRPs of a network, for example, via eNBs, gNBs, ng-eNBs, access points, various base stations and / or other access node types, and / or other network components, computer systems, and / or any other electronic devices communicatively coupled with TRPs, as described herein. The communication can be carried out via one or more wireless communication antenna (s) 932 that send and / or receive wireless signals 934. According to some embodiments, the wireless communication antenna (s) 932 may comprise a plurality of discrete antennas, antenna arrays, or any combination thereof. The antenna (s) 932 may be capable of transmitting and receiving wireless signals using beams (e.g., Tx beams and Rx beams) . Beam formation may be performed using digital and / or analog beam formation techniques, with respective digital and / or analog circuitry. The wireless communication interface 930 may include such circuitry.

[0130] Depending on desired functionality, the wireless communication interface 930 may comprise a separate receiver and transmitter, or any combination of transceivers, transmitters, and / or receivers to communicate with base stations (e.g., ng-eNBs and gNBs) and other terrestrial transceivers, such as wireless devices and access points. The UE 105 may communicate with different data networks that may comprise various network types. For example, a WWAN may be a CDMA network, a Time Division Multiple Access  (TDMA) network, a Frequency Division Multiple Access (FDMA) network, an Orthogonal Frequency Division Multiple Access (OFDMA) network, a Single-Carrier Frequency Division Multiple Access (SC-FDMA) network, a WiMAX (IEEE 802.16) network, and so on. A CDMA network may implement one or more RATs such as  WCDMA, and so on.  includes IS-95, IS-2000 and / or IS-856 standards. A TDMA network may implement GSM, Digital Advanced Mobile Phone System (D-AMPS) , or some other RAT. An OFDMA network may employ LTE, LTE Advanced, 5G NR, and so on. 5G NR, LTE, LTE Advanced, GSM, and WCDMA are described in documents from 3GPP.  is described in documents from a consortium named “3rd Generation Partnership Project 2” (3GPP2) . 3GPP and 3GPP2 documents are publicly available. A wireless local area network (WLAN) may also be an IEEE 802.11x network, and a wireless personal area network (WPAN) may be a Bluetooth network, an IEEE 802.15x, or some other type of network. The techniques described herein may also be used for any combination of WWAN, WLAN and / or WPAN.

[0131] The UE 105 can further include sensor (s) 940. Sensor (s) 940 may comprise, without limitation, one or more inertial sensors and / or other sensors (e.g., accelerometer (s) , gyroscope (s) , camera (s) , magnetometer (s) , altimeter (s) , microphone (s) , proximity sensor (s) , light sensor (s) , barometer (s) , and the like) , some of which may be used to obtain position-related measurements and / or other information.

[0132] Embodiments of the UE 105 may also include a Global Navigation Satellite System (GNSS) receiver 980 capable of receiving signals 984 from one or more GNSS satellites using an antenna 982 (which could be the same as antenna 932) . Positioning based on GNSS signal measurement can be utilized to complement and / or incorporate the techniques described herein. The GNSS receiver 980 can extract a position of the UE 105, using conventional techniques, from GNSS satellites of a GNSS system, such as Global Positioning System (GPS) , Galileo, GLONASS, Quasi-Zenith Satellite System (QZSS) over Japan, IRNSS over India, BeiDou Navigation Satellite System (BDS) over China, and / or the like. Moreover, the GNSS receiver 980 can be used with various augmentation systems (e.g., a Satellite Based Augmentation System (SBAS) ) that may be associated with or otherwise enabled for use with one or more global and / or regional navigation satellite systems, such as, e.g., Wide Area Augmentation System (WAAS) , European Geostationary Navigation Overlay Service (EGNOS) , Multi-functional Satellite  Augmentation System (MSAS) , and Geo Augmented Navigation system (GAGAN) , and / or the like.

[0133] It can be noted that, although GNSS receiver 980 is illustrated in FIG. 9 as a distinct component, embodiments are not so limited. As used herein, the term “GNSS receiver” may comprise hardware and / or software components configured to obtain GNSS measurements (measurements from GNSS satellites) . In some embodiments, therefore, the GNSS receiver may comprise a measurement engine executed (as software) by one or more processors, such as processor (s) 910, DSP 920, and / or a processor within the wireless communication interface 930 (e.g., in a modem) . A GNSS receiver may optionally also include a positioning engine, which can use GNSS measurements from the measurement engine to determine a position of the GNSS receiver using an Extended Kalman Filter (EKF) , Weighted Least Squares (WLS) , particle filter, or the like. The positioning engine may also be executed by one or more processors, such as processor (s) 910 or DSP 920.

[0134] The UE 105 may further include and / or be in communication with a memory 960. The memory 960 can include, without limitation, local and / or network accessible storage, a disk drive, a drive array, an optical storage device, a solid-state storage device, such as a random access memory (RAM) , and / or a read-only memory (ROM) , which can be programmable, flash-updateable, and / or the like. Such storage devices may be configured to implement any appropriate data stores, including without limitation, various file systems, database structures, and / or the like.

[0135] The memory 960 of the UE 105 also can comprise software elements (not shown in FIG. 9) , including an operating system, device drivers, executable libraries, and / or other code, such as one or more application programs, which may comprise computer programs provided by various embodiments, and / or may be designed to implement methods, and / or configure systems, provided by other embodiments, as described herein. Merely by way of example, one or more procedures described with respect to the method (s) discussed above may be implemented as code and / or instructions in memory 960 that are executable by the UE 105 (and / or processor (s) 910 or DSP 920 within UE 105) . In some embodiments, then, such code and / or instructions can be used to configure and / or adapt a general-purpose computer (or other device) to perform one or more operations in accordance with the described methods.

[0136] FIG. 10 is a block diagram of an embodiment of a computer system 1000, which may be used, in whole or in part, to provide the functions of one or more network components as described in the embodiments herein (e.g., location server 160 FIGS. 1 or 2, or computing device of FIGS. 4, 6, 7 and 8) . It should be noted that FIG. 10 is meant only to provide a generalized illustration of various components, any or all of which may be utilized as appropriate. FIG. 10, therefore, broadly illustrates how individual system elements may be implemented in a relatively separated or relatively more integrated manner. In addition, it can be noted that components illustrated by FIG. 10 can be localized to a single device and / or distributed among various networked devices, which may be disposed at different geographical locations.

[0137] The computer system 1000 is shown comprising hardware elements that can be electrically coupled via a bus 1005 (or may otherwise be in communication, as appropriate) . The hardware elements may include processor (s) 1010, which may comprise without limitation one or more general-purpose processors, one or more special-purpose processors (such as digital signal processing chips, graphics acceleration processors, and / or the like) , and / or other processing structure, which can be configured to perform one or more of the methods described herein. The computer system 1000 also may comprise one or more input devices 1015, which may comprise without limitation a mouse, a keyboard, a camera, a microphone, and / or the like; and one or more output devices 1020, which may comprise without limitation a display device, a printer, and / or the like.

[0138] The computer system 1000 may further include (and / or be in communication with) one or more non-transitory storage devices 1025, which can comprise, without limitation, local and / or network accessible storage, and / or may comprise, without limitation, a disk drive, a drive array, an optical storage device, a solid-state storage device, such as a RAM and / or ROM, which can be programmable, flash-updateable, and / or the like. Such storage devices may be configured to implement any appropriate data stores, including without limitation, various file systems, database structures, and / or the like. Such data stores may include database (s) and / or other data structures used store and administer messages and / or other information to be sent to one or more devices via hubs, as described herein.

[0139] The computer system 1000 may also include a communications subsystem 1030, which may comprise wireless communication technologies managed and controlled by a wireless communication interface 1033, as well as wired technologies (such as Ethernet, coaxial communications, universal serial bus (USB) , and the like) . The wireless communication interface 1033 may comprise one or more wireless transceivers that may send and receive wireless signals 1055 (e.g., signals according to 5G NR or LTE) via wireless antenna (s) 1050. Thus the communications subsystem 1030 may comprise a modem, a network card (wireless or wired) , an infrared communication device, a wireless communication device, and / or a chipset, and / or the like, which may enable the computer system 1000 to communicate on any or all of the communication networks described herein to any device on the respective network, including a User Equipment (UE) , base stations and / or other TRPs, and / or any other electronic devices described herein. Hence, the communications subsystem 1030 may be used to receive and send data as described in the embodiments herein.

[0140] In many embodiments, the computer system 1000 will further comprise a working memory 1035, which may comprise a RAM or ROM device, as described above. Software elements, shown as being located within the working memory 1035, may comprise an operating system 1040, device drivers, executable libraries, and / or other code, such as one or more applications 1045, which may comprise computer programs provided by various embodiments, and / or may be designed to implement methods, and / or configure systems, provided by other embodiments, as described herein. Merely by way of example, one or more procedures described with respect to the method (s) discussed above might be implemented as code and / or instructions executable by a computer (and / or a processor within a computer) ; in an aspect, then, such code and / or instructions can be used to configure and / or adapt a general purpose computer (or other device) to perform one or more operations in accordance with the described methods.

[0141] A set of these instructions and / or code might be stored on a non-transitory computer-readable storage medium, such as the storage device (s) 1025 described above. In some cases, the storage medium might be incorporated within a computer system, such as computer system 1000. In other embodiments, the storage medium might be separate from a computer system (e.g., a removable medium, such as an optical disc) , and / or provided in an installation package, such that the storage medium can be used to program, configure, and / or adapt a general purpose computer with the instructions / code stored  thereon. These instructions might take the form of executable code, which is executable by the computer system 1000 and / or might take the form of source and / or installable code, which, upon compilation and / or installation on the computer system 1000 (e.g., using any of a variety of generally available compilers, installation programs, compression / decompression utilities, etc. ) , then takes the form of executable code.

[0142] It will be apparent to those skilled in the art that substantial variations may be made in accordance with specific requirements. For example, customized hardware might also be used and / or particular elements might be implemented in hardware, software (including portable software, such as applets, etc. ) , or both. Further, connection to other computing devices such as network input / output devices may be employed.

[0143] With reference to the appended figures, components that can include memory can include non-transitory machine-readable media. The term “machine-readable medium” and “computer-readable medium” as used herein, refer to any storage medium that participates in providing data that causes a machine to operate in a specific fashion. In embodiments provided hereinabove, various machine-readable media might be involved in providing instructions / code to processors and / or other device (s) for execution. Additionally or alternatively, the machine-readable media might be used to store and / or carry such instructions / code. In many implementations, a computer-readable medium is a physical and / or tangible storage medium. Such a medium may take many forms, including but not limited to, non-volatile media and volatile media. Common forms of computer-readable media include, for example, magnetic and / or optical media, any other physical medium with patterns of holes, a RAM, a programmable ROM (PROM) , erasable PROM (EPROM) , a FLASH-EPROM, any other memory chip or cartridge, or any other medium from which a computer can read instructions and / or code.

[0144] The methods, systems, and devices discussed herein are examples. Various embodiments may omit, substitute, or add various procedures or components as appropriate. For instance, features described with respect to certain embodiments may be combined in various other embodiments. Different aspects and elements of the embodiments may be combined in a similar manner. The various components of the figures provided herein can be embodied in hardware and / or software. Also, technology evolves and, thus many of the elements are examples that do not limit the scope of the disclosure to those specific examples.

[0145] It has proven convenient at times, principally for reasons of common usage, to refer to such signals as bits, information, values, elements, symbols, characters, variables, terms, numbers, numerals, or the like. It should be understood, however, that all of these or similar terms are to be associated with appropriate physical quantities and are merely convenient labels. Unless specifically stated otherwise, as is apparent from the discussion above, it is appreciated that throughout this Specification discussion utilizing terms such as “processing, ” “computing, ” “calculating, ” “determining, ” “ascertaining, ” “identifying, ” “associating, ” “measuring, ” “performing, ” or the like refer to actions or processes of a specific apparatus, such as a special purpose computer or a similar special purpose electronic computing device. In the context of this Specification, therefore, a special purpose computer or a similar special purpose electronic computing device is capable of manipulating or transforming signals, typically represented as physical electronic, electrical, or magnetic quantities within memories, registers, or other information storage devices, transmission devices, or display devices of the special purpose computer or similar special purpose electronic computing device.

[0146] Terms, “and” and “or” as used herein, may include a variety of meanings that also is expected to depend, at least in part, upon the context in which such terms are used. Typically, “or” if used to associate a list, such as A, B, or C, is intended to mean A, B, and C, here used in the inclusive sense, as well as A, B, or C, here used in the exclusive sense. In addition, the term “one or more” as used herein may be used to describe any feature, structure, or characteristic in the singular or may be used to describe some combination of features, structures, or characteristics. However, it should be noted that this is merely an illustrative example and claimed subject matter is not limited to this example. Furthermore, the term “at least one of” if used to associate a list, such as A, B, or C, can be interpreted to mean any combination of A, B, and / or C, such as A, AB, AA, AAB, AABBCCC, etc.

[0147] Having described several embodiments, various modifications, alternative constructions, and equivalents may be used without departing from the scope of the disclosure. For example, the above elements may merely be a component of a larger system, wherein other rules may take precedence over or otherwise modify the application of the various embodiments. Also, a number of steps may be undertaken before, during, or after the above elements are considered. Accordingly, the above description does not limit the scope of the disclosure.

[0148] In view of this description embodiments may include different combinations of features. Implementation examples are described in the following numbered clauses:

[0149] Clause 1. An example trajectory predicting method for a high-definition (HD) mapping platform, performed by a mobile device, the method may include obtaining a real-time set of multimodal data associated with one or more neighboring agents around an ego vehicle in a map segment of an HD map. The method may also include obtaining a trajectory prediction of the one or more neighboring agents, the trajectory prediction determined based on the real-time set of multimodal data using a motion model of the HD mapping platform. The method may further include navigating the ego vehicle based on the trajectory prediction of the one or more neighboring agents.

[0150] Clause 2. The method of clause 1, wherein the motion model is embedded in a motion model layer of the HD map, and wherein the method further comprises: receiving, from a server, the HD map with the motion model layer.

[0151] Clause 3. The method of clause 1 or 2, wherein the real-time set of multimodal data of the one or more neighboring agents comprises: global navigation satellite system (GNSS) navigation data of the ego vehicle associated with the mobile device, located in the map segment; and perception data of the one or more neighboring agents obtained by one or more perception sensors associated with the ego vehicle.

[0152] Clause 4. The method of any of clauses 1-3, wherein the GNSS navigation data includes global positioning system (GPS) navigation data.

[0153] Clause 5. The method of any of clauses 1-4, further comprising: receiving, from a server, the trajectory predicting parameters of the motion model.

[0154] Clause 6. The method of any of clauses 1-5, wherein trajectory predicting parameters of the motion model are determined using a neural network based on a training set of multimodal trajectory data associated with the map segment of the HD map, and wherein the training set of multimodal trajectory data includes GNSS navigation data associated with a plurality of driven trajectories in the map segment and corresponding perception data.

[0155] Clause 7. The method of any clauses 1-6, further comprising: obtaining at least a portion of the training set of multimodal trajectory data; and transmitting the at least a portion of the training set of multimodal trajectory data for training the motion model of the HD mapping platform.

[0156] Clause 8. An example mobile device for an HD mapping platform may comprise one or more transceivers, one or more memories, and one or more processors communicatively coupled with the one or more transceivers and the one or more memories. The one or more processors may be configured to obtain a real-time set of multimodal data associated with one or more neighboring agents around an ego vehicle in a map segment of an HD map. The one or more processors may also be configured to obtain a trajectory prediction of the one or more neighboring agents, the trajectory prediction determined based on the real-time set of multimodal data using a motion model of the HD mapping platform. The one or more processors may further be configured to navigate the ego vehicle based on the trajectory prediction of the one or more neighboring agents. Clause 9. The mobile device of clause 8, wherein the motion model is embedded in a motion model layer of the HD map, and wherein the one or more processors are further configured to: receive, from a server, the HD map with the motion model layer.

[0157] Clause 10. The mobile device of clause 8 or 9, wherein the real-time set of multimodal data of the one or more neighboring agents comprises: global navigation satellite system (GNSS) navigation data of the ego vehicle associated with the mobile device, located in the map segment; and perception data of the one or more neighboring agents obtained by one or more perception sensors associated with the ego vehicle.

[0158] Clause 11. The mobile device of any of clauses 8-10, wherein the GNSS navigation data includes global positioning system (GPS) navigation data.

[0159] Clause 12. The mobile device of any of clauses 8-11, wherein the one or more processors are further configured to: receive, from a server, the trajectory predicting parameters of the motion model.

[0160] Clause 13. The mobile device of any of clauses 8-12, wherein trajectory predicting parameters of the motion model are determined using a neural network based on a training set of multimodal trajectory data associated with the map segment of the HD map, and wherein the training set of multimodal trajectory data includes GNSS navigation data associated with a plurality of driven trajectories in the map segment and corresponding perception data.

[0161] Clause 14. The mobile device of any of clauses 8-13, wherein the one or more processors are further configured to: obtain at least a portion of the training set of multimodal trajectory data; and transmit the at least a portion of the training set of multimodal trajectory data for training the motion model of the HD mapping platform.

[0162] Clause 15. An example apparatus for an HD mapping platform, the apparatus may include means for obtaining a real-time set of multimodal data associated with one or more neighboring agents around an ego vehicle in a map segment of an HD map. The apparatus may also include means for obtaining a trajectory prediction of the one or more neighboring agents, the trajectory prediction determined based on the real-time set of multimodal data using a motion model of the HD mapping platform. The apparatus may further include means for navigating the ego vehicle based on the trajectory prediction of the one or more neighboring agents.

[0163] Clause 16. The apparatus of clause 15, wherein the motion model is embedded in a motion model layer of the HD map, and wherein the apparatus further comprises: means for receiving, from a server, the HD map with the motion model layer.

[0164] Clause 17. The apparatus of clause 15 or 16, wherein the real-time set of multimodal data of the one or more neighboring agents comprises: global navigation satellite system (GNSS) navigation data of the ego vehicle associated with the apparatus, located in the map segment; and perception data of the one or more neighboring agents obtained by one or more perception sensors associated with the ego vehicle.

[0165] Clause 18. The apparatus of any of clauses 15-17, wherein the GNSS navigation data includes global positioning system (GPS) navigation data.

[0166] Clause 19. The apparatus of any of clauses 15-18, further comprising: means for receiving, from a server, the trajectory predicting parameters of the motion model.

[0167] Clause 20. The apparatus of any of clauses 15-19, wherein trajectory predicting parameters of the motion model are determined using a neural network based on a training set of multimodal trajectory data associated with the map segment of the HD map, and wherein the training set of multimodal trajectory data includes GNSS navigation data associated with a plurality of driven trajectories in the map segment and corresponding perception data.

Claims

1.A trajectory predicting method for a high-definition (HD) mapping platform, performed by a mobile device, comprising:obtaining a real-time set of multimodal data associated with one or more neighboring agents around an ego vehicle in a map segment of an HD map;obtaining a trajectory prediction of the one or more neighboring agents, the trajectory prediction determined based on the real-time set of multimodal data using a motion model of the HD mapping platform; andnavigating the ego vehicle based on the trajectory prediction of the one or more neighboring agents.2.The trajectory predicting method of claim 1, wherein the motion model is embedded in a motion model layer of the HD map, and wherein the method further comprises:receiving, from a server, the HD map with the motion model layer.3.The trajectory predicting method of claim 1, wherein the real-time set of multimodal data of the one or more neighboring agents comprises:global navigation satellite system (GNSS) navigation data of the ego vehicle associated with the mobile device, located in the map segment; andperception data of the one or more neighboring agents obtained by one or more perception sensors associated with the ego vehicle.4.The trajectory predicting method of claim 3, wherein the GNSS navigation data includes global positioning system (GPS) navigation data.5.The trajectory predicting method of claim 1, further comprising:receiving, from a server, the trajectory predicting parameters of the motion model.6.The trajectory predicting method of claim 1, wherein trajectory predicting parameters of the motion model are determined using a neural network based on a training set of multimodal trajectory data associated with the map segment of the HD  map, and wherein the training set of multimodal trajectory data includes GNSS navigation data associated with a plurality of driven trajectories in the map segment and corresponding perception data.7.The trajectory predicting method of claim 6, further comprising:obtaining at least a portion of the training set of multimodal trajectory data; andtransmitting the at least a portion of the training set of multimodal trajectory data for training the motion model of the HD mapping platform.8.A mobile device for a high-definition (HD) mapping platform, comprising:one or more transceivers;one or more memories; andone or more processors communicatively coupled with the one or more transceivers and the one or more memories, wherein the one or more processors are configured to:obtain a real-time set of multimodal data associated with one or more neighboring agents around an ego vehicle in a map segment of an HD map;obtain a trajectory prediction of the one or more neighboring agents, the trajectory prediction determined based on the real-time set of multimodal data using a motion model of the HD mapping platform; andnavigate the ego vehicle based on the trajectory prediction of the one or more neighboring agents.9.The mobile device of claim 8, wherein the motion model is embedded in a motion model layer of the HD map, and wherein the one or more processors are further configured to:receive, from a server, the HD map with the motion model layer.10.The mobile device of claim 8, wherein the real-time set of multimodal data of the one or more neighboring agents comprises:global navigation satellite system (GNSS) navigation data of the ego vehicle associated with the mobile device, located in the map segment; andperception data of the one or more neighboring agents obtained by one or more perception sensors associated with the ego vehicle.11.The mobile device of claim 10, wherein the GNSS navigation data includes global positioning system (GPS) navigation data.12.The mobile device of claim 8, wherein the one or more processors are further configured to:receive, from a server, the trajectory predicting parameters of the motion model.13.The mobile device of claim 8, wherein trajectory predicting parameters of the motion model are determined using a neural network based on a training set of multimodal trajectory data associated with the map segment of the HD map, and wherein the training set of multimodal trajectory data includes GNSS navigation data associated with a plurality of driven trajectories in the map segment and corresponding perception data.14.The mobile device of claim 8, wherein the one or more processors are further configured to:obtain at least a portion of the training set of multimodal trajectory data; andtransmit the at least a portion of the training set of multimodal trajectory data for training the motion model of the HD mapping platform.15.An apparatus for a high-definition (HD) mapping platform, comprising:means for obtaining a real-time set of multimodal data associated with one or more neighboring agents around an ego vehicle in a map segment of an HD map;means for obtaining a trajectory prediction of the one or more neighboring agents, the trajectory prediction determined based on the real-time set of multimodal data using a motion model of the HD mapping platform; andmeans for navigating the ego vehicle based on the trajectory prediction of the one or more neighboring agents.16.The apparatus of claim 15, wherein the motion model is embedded in a motion model layer of the HD map, and wherein the apparatus further comprises:means for receiving, from a server, the HD map with the motion model layer.17.The apparatus of claim 15, wherein the real-time set of multimodal data of the one or more neighboring agents comprises:global navigation satellite system (GNSS) navigation data of the ego vehicle associated with the apparatus, located in the map segment; andperception data of the one or more neighboring agents obtained by one or more perception sensors associated with the ego vehicle.18.The apparatus of claim 17, wherein the GNSS navigation data includes global positioning system (GPS) navigation data.19.The apparatus of claim 15, further comprising:means for receiving, from a server, the trajectory predicting parameters of the motion model.20.The apparatus of claim 15, wherein trajectory predicting parameters of the motion model are determined using a neural network based on a training set of multimodal trajectory data associated with the map segment of the HD map, and wherein the training set of multimodal trajectory data includes GNSS navigation data associated with a plurality of driven trajectories in the map segment and corresponding perception data.

Images