Device and method for predicting trajectories of traffic participants

Abstract

According to various embodiments, a method for predicting trajectories of traffic participants is provided, comprising representing a traffic scene as a knowledge graph, processing the knowledge graph by means of a neural graph encoding network to determine encodings of nodes of the knowledge graph and predicting at least one trajectory of the target vehicle from the encodings.

Description

Device and Method for Predicting Trajectories of Traffic Participants

[0001] The present disclosure relates to devices and methods for predicting trajectories of traffic participants.

[0002] In the field of autonomous systems, predicting the behavior of moving objects in the environment of a controlled agent (such as a vehicle) is an important task in order to reliably control the agent and avoid collisions, for example.

[0003] For example, in order to enable high-performance and safe automated driving, an autonomous vehicle must be able to anticipate the future development of a driv-ing situation, which includes in particular the behavior of other vehicles in the vi-cinity of the autonomous vehicle. Determining the control of the autonomous ve-hicle e.g. represented by a future trajectory that the autonomous vehicle should follow, must therefore take into account the behavior of other autonomous vehi-cles.

[0004] Accordingly, reliable approaches for predicting the behavior of agents, i.e. for de-termining (expected) trajectories in a multi-agent scenario, are desirable.

[0005] The publication Mlodzian, L. et al. “nuScenes Knowledge Graph-A comprehen-sive semantic representation of traffic scenes for trajectory prediction “, December 2023, arXiv: 2312.09676, referred to as reference [1] in the following, describes a semantic representation of a traffic scene as a knowledge graph and in particular an ontology for building such a knowledge graph.

[0006] According to various embodiments, a method for predicting trajectories of traffic participants is provided, comprising

[0007] ● representing a traffic scene as a knowledge graph, which comprises

[0008] ○ for each of a traffic participant which is a target vehicle and one or more further traffic participants a respective first node and multiple first edges between the first nodes, wherein each edge between two of the first nodes specifies a type of movement of the traffic participants relative to each other in a respective traffic environ-ment and

[0009] ○ for each of a plurality of lane snippets a respective second node and multiple second edges between the second nodes, wherein a second edge between two of the second nodes specifies that a traffic participant may move from of the lane snippets represented by the one of the two second nodes to the lane snippet represent-ed by the other one of the two second nodes;

[0010] wherein each of the second nodes has features specifying geo-graphical coordinates of the lane snippet it represents;

[0011] ● processing the knowledge graph by means of a neural graph encoding network to determine encodings of the first nodes and the second nodes; and

[0012] ● predicting at least one trajectory of the target vehicle from the encodings.

[0013] The method described above allows considering extensive context information of the driving scene and inter agent relations. It can therefore provide highly accu-rate trajectory prediction results.

[0014] In particular, it allows explicitly considering all relevant scene information such as, road type, lane boarders, lane dividers (solid, dashed, solid-dashed, double solid, etc. ) , pedestrian crossings, road signs and others. Further, it allows considering semantic information between road users, e.g.

[0015] ● whether they might intersect

[0016] ● whether the drive beh ind each other

[0017] ● whether they drive on a direct neighbor lane.

[0018] According to various embodiments, this is achieved by

[0019] ● representing and modeling relevant entities of the driving scene using an ontology (according to which the knowledge graph is built)

[0020] ● relating such driving scene entities by semantic relations (by edges of the knowledge graph)

[0021] ● representing the road network with nodes (of the knowledge graph) that describe road elements and edges that define drivable paths depending on the relation type

[0022] ● representing traffic participants via different entity types (e.g. car, bus, bi-cycle, truck) and their semantic relation to each other with dedicated rela-tionships (in the knowledge graph)

[0023] ● enriching these relationships by including relevant driving information in form of relationship’s attributes like time-to-collision, Euclidean distance, and driving path distance

[0024] ● linking each traffic participant (i.e. road user) to the driving scene entities on which they are currently driving.

[0025] ● using, to predict the trajectory of a target vehicle, a driving history of the road user, information of surrounding relevant road users and the possi-ble paths the target vehicle can follow, based on the road layout. The de-pendence of the different elements is learned using different attention mechanisms.

[0026] In the following, various examples are given.

[0027] Example 1 is a method for a method for predicting trajectories of traffic partici-pants is provided as described above.

[0028] Example 2 is the method of example 1, wherein the knowledge graph further comprises third edges, each third edge being an edge between one of the first nodes and one of the second nodes and specifying that the traffic participant rep-resented by the first node is located on the lane snipped represented by the sec-ond node.

[0029] In other words, the information about the relation between traffic participants and the information about the map (i.e. the geographical situation) are linked in the knowledge graph. This allows a more reliable trajectory prediction.

[0030] Example 3 is the method of example 1 or 2, wherein the knowledge graph further comprises third nodes representing map elements specifying traffic rules (e.g. traffic lights and traffic signs) and fourth edges, each fourth edge being between one of the third nodes and one of the second nodes and specifying that the traffic rule specified by the map element represented by the third node applies to the lane snippet represented by the second node.

[0031] This allows taking traffic rules efficiently into account in the trajectory prediction.

[0032] Example 4 is the method of any one of examples 1 to 3, wherein the neural graph encoding network comprises a graph transformer.

[0033] A graph transformer in particular comprises attention mechanisms which allows the neural graph encoding network to learn (in training) which participants and map elements are important for the behavior of the target vehicle so that it may then accurately predict the trajectory of the target vehicle.

[0034] Example 5 is the method of any one of examples 1 to 4, wherein the type of movement is one of lateral (i.e. next to each other) , longitudinal (i.e. one after the other) , and intersecting.

[0035] Which of these movement types of traffic participants relatively to each other oc-curs has typically a high impact on how the traffic participants continue to move (when they are sufficiently close to each other) . The movement type intersecting may be used in two versions: intersecting (other vehicle) and pedestrian-intersecting.

[0036] Example 6 is the method of any one of examples 1 to 5, further comprising con-trolling a (ego) vehicle taking the at least one predicted trajectory into account.

[0037] Example 7 is the method of example 6, comprising controlling the vehicle to fol-low a trajectory given by the at least one predicted trajectory (i.e. to follow (a se-lected) one of the predicted trajectories in case multiple ones are predicted or to follow the predicted trajectory in case a single trajectory is predicted) .

[0038] Example 8 is a vehicle controller, configured to perform a method of any one of examples 1 to 7.

[0039] Example 9 is a computer program comprising instructions which, when executed by a computer, makes the computer perform a method according to any one of examples 1 to 7.

[0040] Example 10 is a computer-readable medium comprising instructions which, when executed by a computer, makes the computer perform a method according to any one of examples 1 to 7.

[0041] In the drawings, similar reference characters generally refer to the same parts throughout the different views. The drawings are not necessarily to scale, em-phasis instead generally being placed upon illustrating the principles of the inven-tion. In the following description, various aspects are described with reference to the following drawings, in which:

[0042] Figure 1 shows a vehicle.

[0043] Figure 2 illustrates a trajectory prediction pipeline according to an embodi-ment.

[0044] Figure 3 illustrates the relation types between agents.

[0045] Figure 4 illustrates meta-path generation for target vehicles.

[0046] Figure 5 illustrates an agent motion and lane encoder.

[0047] Figure 6 shows a flow diagram illustrating a method for predicting a trajec-tory of a traffic participant according to an embodiment.

[0048] The following detailed description refers to the accompanying drawings that show, by way of illustration, specific details and aspects of this disclosure in which the invention may be practiced. Other aspects may be utilized and structural, logical, and electrical changes may be made without departing from the scope of the in-vention. The various aspects of this disclosure are not necessarily mutually ex-clusive, as some aspects of this disclosure can be combined with one or more other aspects of this disclosure to form new aspects.

[0049] In the following, various examples will be described in more detail.

[0050] Figure 1 shows a vehicle 101.

[0051] In the example of Figure 1, a vehicle 101, for example a car or truck, is provided with a vehicle control device 102.

[0052] The vehicle control device 102 has data processing components, such as a pro-cessor (e.g., a CPU (central processing unit) ) 103 and a memory 104 for storing control software according to which the vehicle control device 102 operates and for storing data processed by the processor 103.

[0053] For example, the stored control software (computer program) has instructions which, when executed by the processor, cause the processor 103 to implement a machine learning (ML) model 107.

[0054] The data stored in the memory 104 may include, for example, image data cap-tured by one or more cameras 105. The one or more cameras 105 may, for ex-ample, capture one or more grayscale or color images of the environment of the vehicle 101. Using the image data (or data from other sources of information, such as other types of sensors or vehicle-to-vehicle communication) , the vehicle control unit 102 can detect objects in the environment of the vehicle 101, in par-ticular other vehicles 108, and determine their previous trajectories, and thus de-tect a traffic scene.

[0055] The vehicle control device 102 may examine the sensor data and control the ve-hicle 101 according to the results, i.e., determine control actions for the vehicle and signal them to respective actuators of the vehicle. For example, the vehicle control device 102 may control an actuator 106 (e.g., a brake) to control the speed of the vehicle, e.g., to decrease the vehicle speed by braking.

[0056] The control device 102 needs to take the behavior of the other vehicles 108, i.e. their future trajectories, into account when determining a future trajectory 101 for the vehicle 101. The control device 106 must therefore predict the (future) trajec-tories of the other vehicles 108 (generally "agents" ) , i.e., in other words, needs to predict traffic movements (i.e. determining a set of spatial coordinates that repre-sent the predicted movement of a given agent within a future time window) . The vehicle 101 for which the prediction is made (i.e. which controls or is controlled based on the prediction, for example) is also referred to below as the ego vehicle target agent or target vehicle.

[0057] Trajectory prediction in autonomous driving relies on accurate representation of all relevant contexts of the driving scene including traffic participants, road topol-ogy, traffic signs as well as their semantic relations to each other. Despite in-creased attention to this issue, most approaches in trajectory prediction do not consider all of these factors sufficiently. According to various embodiments, amethod to predict multimodal trajectories by reasoning over a semantic knowledge graph using a neural-symbolic approach. According to various em-bodiments, as described below in detail, the method includes the extraction of high-level information in the form of semantic meta-paths from a knowledge graph which is then processed by a (trajectory prediction) pipeline based on mul-tiple attention mechanisms to predict accurate trajectories.

[0058] Figure 2 illustrates a trajectory prediction pipeline 200 according to an embodi-ment.

[0059] As mentioned above, a knowledge graph 204 is first formed from information about a traffic scene (i.e. a captured traffic scene) 201, which may also include map information, and agent history (i.e. information about past trajectories of traf-fic participants, i.e. agents) according to an ontology 203 (which can be seen as a representation of domain knowledge by entities and their relations and speci-fies how the knowledge graph 204 is to be built from the information about the traffic scene 201 and (optionally) agent history 202) .

[0060] The knowledge graph 204 is then processed by a hierarchical heterogeneous graph encoder 205, which can capture spatio-temporal and relational information across agents and between agents and road elements, and a (multimodal trajec-tory) predictor 206 that fuses the different encodings and decodes trajectories with probabilities. Finally, a refinement module 207 reasons over permitted meta-paths of trajectories and speed profiles (considering anchor paths 208 and speed profiles 209 to avoid failure cases. ) to obtain final predicted trajectories 210.

[0061] The trajectory prediction pipeline 200 operating on the knowledge graph 204 can be seen as implementing a neural-symbolic (trajectory prediction) approach that is able to represent heterogeneous information of static and dynamic elements of a traffic scene together with their semantic relationships. The pipeline 200 com-prises (in the graph encoder 205) an attention mechanism for leveraging the se-mantic relationships and dependencies between traffic agents and road elements for accurate multimodal trajectory prediction.

[0062] The knowledge graph 204 allows explicitly modeling the various map (and thus traffic scene) elements like lanes, lane dividers, etc, and their semantic relations. It also allows modeling of diverse traffic agent types like cars, buses, bicycles, etc., and their relations in driving situations (occurring in traffic scenes) such as whether two agents might interact, drive behind one another, or next to each oth-er.

[0063] The knowledge graph 204 is constructed according to an ontology 203, e.g. the ontology of reference [1] . Thus, an ontology is used to explicitly represent the  abundance of information from a traffic scene by using domain knowledge and modeling relationships between entities considered important for the task of tra-jectory prediction. The ontology 203 for example comprises an agent ontology (describing relations such as a car being a vehicle, a vehicle being a participant, a participant having a size etc. ) and a map ontology (describing relations such as a lane having a left lane divider and a right lane divider, a lane divider having a lane divider segment and a lane divider segment having a next divider segment or that a traffic light has a traffic light stop area which is a subclass of a stop area etc. )

[0064] In particular, according to various embodiments, the ontology 203 specifies vari-ous entity and relation types for nodes and edges, respectively, of the knowledge graph. The entity types (corresponding to nodes of the knowledge graph) are categorized into two groups: the first one (map ontology) , contains static map en-tities like lane types, boundaries, center lines and stop areas, whereas the sec-ond group (agent ontology) contains dynamic agent entities like agent types, states, and bounding boxes.

[0065] As for relation types (corresponding to edges of the knowledge graph) , they fall into three groups:

[0066] 1) between agents, which construct the semantic model through associations such as lateral, longitudinal, and intersecting. These can be seen as each edge between two nodes in the knowledge graph representing traffic participants (or scene participants, see below) specifies a type of movement of the traffic partici-pants relative to each other in a respective traffic environment.

[0067] 2) between map elements, establishing lane connectivity and relationships be-tween lanes and road infrastructure elements like stop areas, traffic lights, pedes-trian crossings; and

[0068] 3) relations between map elements and agents, utilizing probability projection to map agents onto road infrastructure.

[0069] Figure 3 illustrates the relation types between agents 301-305: intersecting 306, longitudinal 307 and lateral 308.

[0070] It is assumed that the perception part (e.g. of the control device 102) can, when capturing the traffic scene 201, in particular sensing the ego vehicle’s environ-ment, provide detailed information about agent positions and past motion as well as (high definition) map information. From this information about the traffic scene 201, it builds the knowledge graph 204 according to the ontology 203. According to one embodiment, this is done for a sequence of traffic scenes 201 resulting in a scene graph (knowledge graph) 204 for each traffic scene 201, i.e. a sequence of scene graphs 203.

[0071] The collection of this scene graphs 204 forms a directed heterogeneous graph  which is denoted as scene sequence graph or traffic situation graph (if a sequence of scenes is considered as situation) . The graph G has nodes v∈ V, with node types τ (v) , and edges (u, v) ∈E, with edge types and contains a traffic scene graph gt∈G for each traffic scene which covers the information for a certain time index within a given time horizon {-th+1, …, 0, 1…, tf} , e.g. up to time 0 which is the current (i. e. the pre-diction) time. The edges are directed since they are based on “directed “proper-ties represented by the knowledge graphs such as a traffic participant being on a lane snippet and crossing from one lane snippet to another is only allowed in one direction etc. A lane consists of lane snippets.

[0072] A sample of the training dataset (i.e. a training data element) is a pair of a train-ing input element with trajectory information, local map, and a target vehicle iden-tifier and a ground truth future trajectory of the target vehicle. The training data may for example be generated from the nuScenes dataset.

[0073] Both agent past trajectories and map information are represented hierarchically as follows.

[0074] For each traffic participant, there is a participant node in G represented by

[0075] which contains a scene participant node for each time (up to the prediction time, i.e. for each scene graph) .

[0076] Each scene participant node is represented as where  and stand for previous and current time stamp scene participant loca-tions, respectively, and ai represents other attributes related to the participant (for the current scene, i.e. time) like velocity, acceleration, heading change rate and object type.

[0077] For map information,  is used to represent a lane snippet, where each represents a lane slice and N represents the length of the given lane snippet. Each lane slice vector adds to indicate the predecessor of the start point. To build the connec-tion between lane snippets,  is used to represent a lane connector, where each encodes an ordered pose and N represents the length of lane connector.

[0078] Coordinates in the graph G are initially in a global coordinate system. These are transformed separately for each scene graph 204 into local, scene graph-specific coordinates, with the origin at the location of the target agent and the positive y-axis pointing along the facing direction of the target.

[0079] Table 1 gives examples for node types and their features.

[0080] Table 1

[0081] Table 2 gives examples for relation types (i.e. types of knowledge graph edges) and their features.

[0082] Table 2

[0083] Notably, the,, isOn “relation of an agent node (i.e. scene participant node) and a map element node specifies that the respective participant is located (in the re-spective traffic scene, i.e. at the respective time) on the respective map element. The knowledge graph has then an edge from the agent node to the map element node (e.g. lane snipped node) .

[0084] The graph encoder 205 performs meta-path generation 212 and agent and lane encoding 213.

[0085] Figure 4 illustrates meta-path generation for target vehicles 401-404.

[0086] This means that the graph encoder 205 extracts meta-paths that describe permit-ted and possible driving directions to navigate the target participant. Different me-ta-paths that model permitted lane changes and turns can be divided into three groups, which are the lane-changing situation, the entering lane connector situa-tion, and the leaving lane connector situation.

[0087] The following expressions (1) to (3) illustrate sample meta-paths, specifically lane changing (1) , leaving connector (2) , and entering connector (3) , where Φn repre-sents the respective meta-path.

[0088] For the agent and lane encoding 213, the graph encoder 205 comprises a spatio-temporal encoder. It processes participants Pi, lane snippets and lane connectors in a sequential manner using both a Graph Neural Network (GNN) and a Gated Recurrent Unit (GRU) layer.

[0089] Figure 5 illustrates an agent motion and lane encoder 500. For each of partici-pants, lane snippets and lane connectors a respective GNN 501 and a respective GRU 502extract spatio-temporal information. The resulting encodings pi, sj and cz, are merged (fused) by attention mechanisms503according to the fol-lowing equations: pi=pi+CrossAtt{pi, [sj,cz] }    (4) sj=sj+CrossAtt {sj, pi}    (5) cz=cz+CrossAtt {cz, pi}    (6)

[0090] resulting in updated encodings pi, sj and cz where

[0091] i∈{1, ..., NP} , j∈ {1, ..., NLS} , z∈ {1, ..., NLC} .

[0092] The resulting encodings are assigned to node attributes in the respective scene graph gt.

[0093] Equation (4) merges the lane information to the related agents while equation (5) and equation (6) merge lane information to the related agents.

[0094] The graph encoder 205 further comprises a semantic scene graph encoder 211 which uses a heterogeneous graph operator to reason over the given scene graph gt. To better incorporate the generated meta-paths, a principle is followed which has a hierarchical attention structure from node-level attention to semantic-level attention. Algorithm 1 is an example how this may be applied to learn rela-tional information.

[0095] Algorithm 1

[0096] So, the output of the meta-path generation 212 and agent and lane encoding 213 is processed by the semantic scene graph encoder 211 whose output is in turn used by the predictor 206. Three distinct node types are used by the semantic scene graph encoder 211 for the probability predictor 206 to encode participants, lane snippets, and lane connectors. Specifically, p’i, s’i, c’i are used to represent these three types respectively, where p’i∈Z, s’i∈Z, c’i∈Z.

[0097] This means that as a result of the scene graph encoder 205, nodes of lane snip-pets si and lane connectors ci are projected to the same dimension Z. These two types of nodes are treated as the same type and li is used to represent them.

[0098] The target agent motion and lane information are aligned at each future time step t∈ {1, ..., tf} . To achieve this, a lane score head and an attention mecha-nism are used to predict lane encoding probabilities. In the attention mechanism, key (K) and value (V) vectors are MLP (pi) and query (Q) is MLP (li) , where MLP denotes a respective multi-layer perceptron. Then attention encodings are determined.

[0099] The predicted score of the jth lane encoding at time t is given by

[0100] Where Φ denotes MLP layers. The top-k lane encodings (i.e. with the top scores) are selected to maintain uncertainty and the candidate lane snippets and associ-ated scores are concatenated over the future time steps to obtain

[0101] A binary cross-entropy loss

[0102] is used to optimize the probability estimation. Here, ground truth lane snippet st relies on the “isOn“ relationship in the knowledge graph.

[0103] Next, the predictor 206 performs cross-attention to further fuse agent and lane in-formation. Key and value vectors are L, query vector is pi. The lane information updated in this manner is denoted by li, att.

[0104] The predictor 206 samples a latent vector z from a multivariate normal distribu-tion and add it to the fusion result. Then, it uses a Palladian mixture density net-work (MDN) decoder to output a set of trajectories denotes the probability of each mode and The location and scale parameters of each Laplace component are represented byμand b, re-spectively. The predictor 206 uses an MLP to predict a GRU to recover the time dimension tf of the predictions, and two MLPs to predict μ and b.

[0105] The predictor 206 may be trained by minimizing a regression loss and a classifi-cation loss. Regression loss is computed using Winner-Takes-All strategy ac-cording to

[0106] where Y is the ground truth position and m*represents the best mode which has minimum L2 error among the M predictions. Cross-entropy loss is used to opti-mize the mode classification according to

[0107] Several metrics may be used to evaluate the deviation to the ground truth, like velocity loss and angle loss, and the influence of different measurements to the predictions may be investigated. For the velocity loss, the ground truth velocity traces Vt=||Yt-Yt-1||2

[0108] and prediction velocity traces

[0109] give a velocity loss according to

[0110] For the angle loss, X0 is used to denote the initial position and the ground truth angle θt=arctan2 (Yt-X0) and the predicted angle  are calculated. The angle loss is calculated accord-ing to

[0111] The total loss for the motion prediction is given as

[0112] To filter out unreasonable predictions, the predicted trajectories are analyzed by the refinement module 207 using anchor paths 208. Anchor paths provide possi-ble and permitted trajectories for an agent at a given position in the road network. The refinement module 207 uses these to filter out trajectory candidates far from these anchor paths. Then the remaining trajectory candidates are clustered with respect to their speed profiles 209 and the top candidates closest to the cluster centers are kept as predictions 210. Details are given by the following exemplary algorithm (algorithm 2) .

[0113] Algorithm 2

[0114] In summary, according to various embodiments, a method is provided as illus-trated in figure 6.

[0115] Figure 6 shows a flow diagram 600 illustrating a method for predicting trajectories of traffic participants according to an embodiment.

[0116] In 601, a traffic scene is represented as a knowledge graph, which comprises

[0117] ● for each of a traffic participant which is a target vehicle and one or more further traffic participants a respective first node (in the above examples denoted as scene participant nodes) and multiple first edges between the first nodes, wherein each edge between two of the first nodes specifies a type of movement of the traffic participants relative to each other in a re-spective traffic environment and

[0118] ● for each of a plurality of lane snippets a respective second node and mul-tiple second edges between the second nodes, wherein a second edge between two of the second nodes specifies that a traffic participant may move from of the lane snippets represented by the one of the two second nodes to the lane snippet represented by the other one of the two second nodes (e.g. may specify whether two lane snippets are separated by a double line, single line or dashed line) .

[0119] Each of the second nodes has features specifying geographical coordinates of the lane snippet it represents (in the (geographical) traffic environment, the loca-tion of a lane snippet is for example given by a specification of both boundaries of the lane snippet, each boundary e.g. being specified by the specification of a se-quence of straight lines) .

[0120] In 602, the knowledge graph is processed by means of a neural graph encoding network (e.g. a graph neural network, e.g. also comprising a GRU and an atten-tion mechanism, i.e. e.g. a graph transformer) to determine encodings of the first nodes and the second nodes. Each encoding (also referred to as “embedding” ) is for example a representation of higher-dimensional data (e.g. node features in form of a high-dimensional vector) in a lower-dimensional space (i.e. as a vector of lower dimension) .

[0121] In 603, at least one trajectory of the target vehicle is predicted from the encod-ings (by a neural network, e.g. a transformer network, receiving the encodings or the knowledge graph with node features updated to the encodings) .

[0122] The method of Figure 6 may be performed by one or more data processing de-vices (e.g. computers or microcontrollers) having one or more data processing units. The term "data processing unit" may be understood to mean any type of entity that enables the processing of data or signals. For example, the data or signals may be handled according to at least one (i.e., one or more than one) specific function performed by the data processing unit. A data processing unit may include or be formed from an analog circuit, a digital circuit, a logic circuit, a microprocessor, a microcontroller, a central processing unit (CPU) , a graphics processing unit (GPU) , a digital signal processor (DSP) , a field programmable gate array (FPGA) , or any combination thereof. Any other means for implement-ing the respective functions described in more detail herein may also be under-stood to include a data processing unit or logic circuitry. One or more of the method steps described in more detail herein may be performed (e.g., imple-mented) by a data processing unit through one or more specific functions per-formed by the data processing unit.

[0123] Accordingly, according to one embodiment, the method is computer-implemented.

[0124] Various embodiments may receive and use image data (i.e. digital images) from various visual sensors (cameras) such as video, radar, LiDAR, ultrasonic, ther-mal imaging, motion, sonar etc., for example as a basis for capturing (i.e. deter-mining) the traffic situation. The method further processes additional specific data, namely for example prior domain knowledge about driving (human driving behav-ior, traffic rules, vehicle types and behavior, etc. ) . By processing this data (sensor data and domain knowledge) , the method may determine like possible driving paths, allowed driving paths, semantic relations between vehicles etc. )

[0125] The predicted trajectories can be used to control an ego vehicle (i.e. taking into account, e.g. planning a trajectory of the ego vehicle in such a way that, if the predicted trajectories are assumed to be correct, no collision should occur) . The graph neural network can be part of a larger machine learning model (e.g. the ML model 107) that is trained end-to-end, e.g. using example scenarios with future trajectories as ground truth for supervised learning.

Claims

1.A method for predicting trajectories of traffic participants, comprising: Representing (601) atraffic scene (201) as a knowledge graph (204) , which comprisesfor each of a traffic participant (108) which is a target vehicle and one or more further traffic participants (108) arespective first node and multiple first edges between the first nodes, wherein each edge between two of the first nodes specifies a type of movement of the traffic participants (108) relative to each other in a respective traffic environment;for each of a plurality of lane snippets a respective second node and multiple second edges between the second nodes, wherein a second edge between two of the second nodes specifies that a traffic participant (108) may move from of the lane snippets rep-resented by the one of the two second nodes to the lane snippet represented by the other one of the two second nodes;wherein each of the second nodes has features specifying geographical coordinates of the lane snippet it represents;processing (602) the knowledge graph by means of a neural graph en-coding network (500) to determine encodings of the first nodes and the second nodes; andpredicting (603) at least one trajectory of the target vehicle from the en-codings.2.The method of claim 1, wherein the knowledge graph (204) further com-prises third edges, each third edge being an edge between one of the first nodes and one of the second nodes and specifying that the traffic participant (108) represented by the first node is located on the lane snipped represented by the second node.3.The method of claim 1 or 2, wherein the knowledge graph (204) further comprises third nodes representing map elements specifying traffic rules  and fourth edges, each fourth edge being between one of the third nodes and one of the second nodes and specifying that the traffic rule specified by the map element represented by the third node applies to the lane snippet represented by the second node.4.The method of any one of claims 1 to 3, wherein the neural graph en-coding network (500) comprises a graph transformer.5.The method of any one of claims 1 to 4, wherein the type of movement is one of lateral, longitudinal, and intersecting.6.The method of any one of claims 1 to 5, further comprising controlling a vehicle (101) taking the at least one predicted trajectory into account.7.The method of claim 6, comprising controlling the vehicle (101) to follow a trajectory given by the at least one predicted trajectory.8.A vehicle controller (102) , configured to perform a method of any one of claims 1 to 7.9.A computer program comprising instructions which, when executed by a computer, makes the computer perform a method according to any one of claims 1 to 7.10.A computer-readable medium comprising instructions which, when exe-cuted by a computer, makes the computer perform a method according to any one of claims 1 to 7.

Images