Apparatus and method of sensor fusion based object detection

By determining traversability of detected objects and omitting them from sensor fusion sessions, the processing device reduces false interpretations of traversable structures as static, enhancing the accuracy and safety of ADAS/ADS systems.

WO2026044444A1PCT designated stage Publication Date: 2026-03-05QUALCOMM INC +4
View PDF 3 Cites 0 Cited by

Patent Information

Application Number
PCT/CN2024/114458
Authority / Receiving Office
WO · WO
Patent Type
Applications
Current Assignee / Owner
Filing Date
2024-08-26
Publication Date
2026-03-05

AI Technical Summary

Technical Problem

Existing sensor fusion systems in vehicles may falsely identify traversable structures like overpasses or expansion joints as static objects, leading to inappropriate reactions from ADAS or ADS systems, such as unnecessary braking, due to limitations in detection technologies.

Method used

A processing device on the vehicle determines whether a detected object is traversable by considering its static status and displacement relative to previous frames, omitting it from the sensor fusion session if it is marked as traversable, thereby reducing false interpretations.

Benefits of technology

This approach enhances the accuracy of sensor fusion-based object detection, improving driving safety by preventing inappropriate vehicle reactions to falsely detected objects.

✦ Generated by Eureka AI based on patent content.

Smart Images

  • Figure CN2024114458_05032026_PF_FP_ABST
    Figure CN2024114458_05032026_PF_FP_ABST
Patent Text Reader

Abstract

Disclosed are techniques for sensor fusion. In an aspect, a processing device may obtain a first set of detection information for a current detection frame based on a first sensing technology, the first set of detection information indicating a first detected object. The processing device may obtain a second set of detection information for the current detection frame based on a second sensing technology. The processing device may determine whether the first detected object is omitted in a current sensor fusion based object detection session for the current detection frame based on: a static status of the first detected object, a previously detected traversable status of the first detected object, a displacement of the first detected object with respect to a previous detection frame, a currently detected traversable status of the first detected object, or any combination thereof.
Need to check novelty before this filing date? Find Prior Art

Description

APPARATUS AND METHOD OF SENSOR FUSION BASED OBJECT DETECTION

[0001] BACKGROUND OF THE DISCLOSURE

[0002] 1. Field of the Disclosure

[0003] Aspects of the disclosure relate generally to driver assistance or automated driving technologies.2. Description of the Related Art

[0004] Modern motor vehicles are increasingly incorporating technology that helps drivers to obtain a planned route for navigation from a current location to a destination (e.g., an automotive navigation system) , to avoid drifting into adjacent lanes or making unsafe lane changes (e.g., lane departure warning (LDW) ) , to be warned about the presence of another vehicle behind a current vehicle when backing up, or to be assisted with automatic braking if another vehicle ahead of the current vehicle stops or slows suddenly (e.g., forward collision warning (FCW) ) , among other things. The continuing evolution of automotive technology aims to deliver even greater safety benefits, and ultimately deliver automated driving systems (ADS) that can handle the entire task of driving without the need for user intervention.

[0005] There are six levels of driving automation that have been defined to achieve full automation. At Level 0, the human driver does all the driving. At Level 1, an advanced driver assistance system (ADAS) on the vehicle can sometimes assist the human driver with either steering or braking / accelerating, but not both simultaneously. At Level 2, an ADAS on the vehicle can itself actually control both steering and braking / accelerating simultaneously under some circumstances. The human driver must continue to pay full attention at all times and perform the remainder of the driving tasks. At Level 3, an ADS on the vehicle can itself perform all aspects of the driving task under some circumstances. In those circumstances, the human driver must be ready to take back control at any time when the ADS requests the human driver to do so. In all other circumstances, the human driver performs the driving task. At Level 4, an ADS on the vehicle can itself perform all driving tasks and monitor the driving environment, essentially doing all of the driving, in certain circumstances. The human driver or occupants need not pay attention in those  circumstances. At Level 5, an ADS on the vehicle can do all the driving in all circumstances. The human occupants are just passengers and need never be involved in driving.

[0006] In some aspects, the ADS or the ADAS on a vehicle may make decision regarding steering, acceleration, deceleration, and / or braking based on detecting objects in the surrounding area. In some aspects, to increase the accuracy of object detection, the detected objects based on various sensing technologies may be fused according to a data fusion process. In some aspects, such object detection may be referred to as a sensor fusion based object detection. In some aspects, the driver, the ADAS, and / or the ADS on a vehicle may operate based on the outcome of the sensor fusion based object detection.SUMMARY

[0007] The following presents a simplified summary relating to one or more aspects disclosed herein. Thus, the following summary should not be considered an extensive overview relating to all contemplated aspects, nor should the following summary be considered to identify key or critical elements relating to all contemplated aspects or to delineate the scope associated with any particular aspect. Accordingly, the following summary has the sole purpose to present certain concepts relating to one or more aspects relating to the mechanisms disclosed herein in a simplified form to precede the detailed description presented below.

[0008] In an aspect, a method of sensor fusion based object detection performed by a processing device includes obtaining a first set of detection information for a current detection frame based on a first sensing technology, the first set of detection information indicating a first detected object; obtaining a second set of detection information for the current detection frame based on a second sensing technology; determining whether the first detected object is omitted in a current sensor fusion based object detection session for the current detection frame based on: a static status of the first detected object, a previously detected traversable status of the first detected object, a displacement of the first detected object with respect to a previous detection frame, a currently detected traversable status of the first detected object, or any combination thereof; and including or omitting the first set of detection information and including or omitting the second set of detection information in the current sensor fusion based object detection session for the current detection frame  based on a determination of whether the first detected object is omitted in the current sensor fusion based object detection session.

[0009] In an aspect, a processing device for sensor fusion based object detection includes one or more memories; and one or more processors communicatively coupled to the one or more memories, the one or more processors, either alone or in combination, configured to: obtain a first set of detection information for a current detection frame based on a first sensing technology, the first set of detection information indicating a first detected object; obtain a second set of detection information for the current detection frame based on a second sensing technology; determine whether the first detected object is omitted in a current sensor fusion based object detection session for the current detection frame based on:a static status of the first detected object, a previously detected traversable status of the first detected object, a displacement of the first detected object with respect to a previous detection frame, a currently detected traversable status of the first detected object, or any combination thereof; and include or omitting the first set of detection information and including or omitting the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on a determination of whether the first detected object is omitted in the current sensor fusion based object detection session.

[0010] In an aspect, a processing device for sensor fusion based object detection includes means for obtaining a first set of detection information for a current detection frame based on a first sensing technology, the first set of detection information indicating a first detected object; means for obtaining a second set of detection information for the current detection frame based on a second sensing technology; means for determining whether the first detected object is omitted in a current sensor fusion based object detection session for the current detection frame based on: a static status of the first detected object, a previously detected traversable status of the first detected object, a displacement of the first detected object with respect to a previous detection frame, a currently detected traversable status of the first detected object, or any combination thereof; and means for including or omitting the first set of detection information and including or omitting the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on a determination of whether the first detected object is omitted in the current sensor fusion based object detection session.

[0011] In an aspect, a non-transitory computer-readable medium stores computer-executable instructions that, when executed by a processing device for sensor fusion based object detection, cause the processing device to: obtain a first set of detection information for a current detection frame based on a first sensing technology, the first set of detection information indicating a first detected object; obtain a second set of detection information for the current detection frame based on a second sensing technology; determine whether the first detected object is omitted in a current sensor fusion based object detection session for the current detection frame based on: a static status of the first detected object, a previously detected traversable status of the first detected object, a displacement of the first detected object with respect to a previous detection frame, a currently detected traversable status of the first detected object, or any combination thereof; and include or omitting the first set of detection information and including or omitting the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on a determination of whether the first detected object is omitted in the current sensor fusion based object detection session.

[0012] Other objects and advantages associated with the aspects disclosed herein will be apparent to those skilled in the art based on the accompanying drawings and detailed description.BRIEF DESCRIPTION OF THE DRAWINGS

[0013] The accompanying drawings are presented to aid in the description of various aspects of the disclosure and are provided solely for illustration of the aspects and not limitation thereof.

[0014] FIG. 1 illustrates an example vehicle, according to aspects of the disclosure.

[0015] FIG. 2 is a simplified block diagram of an example processing device and various other components onboard a vehicle, according to aspects of the disclosure.

[0016] FIG. 3A illustrates a first example scenario with an overpassing structure, according to aspects of the disclosure.

[0017] FIG. 3B illustrates a second example scenario with an expansion joint structure, according to aspects of the disclosure.

[0018] FIG. 4A is a side view of an example scenario corresponding to the first example scenario in FIG. 3A or the second example scenario in FIG. 3B, according to aspects of the disclosure.

[0019] FIG. 4B is a top view illustrating various detected objects based on the example of FIG. 4A, according to aspects of the disclosure.

[0020] FIGS. 4C and 4D are top views illustrating example results of sensor fusion based on the detected objects in FIG. 4B, according to aspects of the disclosure.

[0021] FIG. 5A is a top view illustrating managing various detected objects based on the detected objects in FIG. 4B, according to aspects of the disclosure.

[0022] FIG. 5B is a top view illustrating an example results of sensor fusion based on the detected objects in FIG. 5A, according to aspects of the disclosure.

[0023] FIG. 6 is a functional block diagram illustrating an example architecture for sensor fusion based object detection, according to aspects of the disclosure.

[0024] FIGS. 7A-7D illustrate various stages of determining whether a detected object is traversed over by a fused object, according to aspects of the disclosure.

[0025] FIG. 8 is a flowchart illustrating an example method of sensor fusion based object detection performed by a processing device, according to aspects of the disclosure.DETAILED DESCRIPTION

[0026] Aspects of the disclosure are provided in the following description and related drawings directed to various examples provided for illustration purposes. Alternate aspects may be devised without departing from the scope of the disclosure. Additionally, well-known elements of the disclosure will not be described in detail or will be omitted so as not to obscure the relevant details of the disclosure.

[0027] Various aspects relate generally to driver assistance or automated driving technologies. In some applications, a sensor fusion based object detection session based on at least detection information from a radio detecting and ranging (or also known as radar) system sometimes may falsely identify an overpassing structure or an expansion joint structure as a static object on the road (e.g., falsely interpreted as a stopped vehicle) . In some aspects, an advanced driver assistance system (ADAS) or an automated driving system (ADS) on a vehicle may react inappropriately to the falsely detected object. To address at least the aforementioned issue, a processing device onboard the vehicle may avoid applying the detection information that may likely lead to a falsely detected object in a sensor fusion based object detection session. In some aspects, whether a detected object is omitted from a sensor fusion based object detection session may be based on whether  the detected object is static and is marked as “traversable. ” In some aspects, whether the detected object is traversable may be determined based on an overlap detection signal of the detected object and a sliding detection window.

[0028] Particular aspects of the subject matter described in this disclosure can be implemented to realize one or more of the following potential advantages. In some examples, by omitting a traversable object from a sensor fusion based object detection session, a chance of the traversable object being falsely interpreted as a non-traversable object (e.g., a static vehicle or a static obstacle) by the sensor fusion based object detection session can be reduced. Accordingly, the ADAS or the ADS on a vehicle may perform various operations regarding steering, acceleration, deceleration, and / or braking based on more accurate information of the surrounding, and thus improve the driving safety and driving experiences.

[0029] The words “exemplary” and / or “example” are used herein to mean “serving as an example, instance, or illustration. ” Any aspect described herein as “exemplary” and / or “example” is not necessarily to be construed as preferred or advantageous over other aspects. Likewise, the term “aspects of the disclosure” does not require that all aspects of the disclosure include the discussed feature, advantage or mode of operation.

[0030] Those of skill in the art will appreciate that the information and signals described below may be represented using any of a variety of different technologies and techniques. For example, data, instructions, commands, information, signals, bits, symbols, and chips that may be referenced throughout the description below may be represented by voltages, currents, electromagnetic waves, magnetic fields or particles, optical fields or particles, or any combination thereof, depending in part on the particular application, in part on the desired design, in part on the corresponding technology, etc.

[0031] Further, many aspects are described in terms of sequences of actions to be performed by, for example, elements of a computing device. It will be recognized that various actions described herein can be performed by specific circuits (e.g., application specific integrated circuits (ASICs) ) , by program instructions being executed by one or more processors, or by a combination of both. Additionally, the sequence (s) of actions described herein can be considered to be embodied entirely within any form of non-transitory computer-readable storage medium having stored therein a corresponding set of computer instructions that, upon execution, would cause or instruct an associated  processor of a device to perform the functionality described herein. Thus, the various aspects of the disclosure may be embodied in a number of different forms, all of which have been contemplated to be within the scope of the claimed subject matter. In addition, for each of the aspects described herein, the corresponding form of any such aspects may be described herein as, for example, “logic configured to” perform the described action.

[0032] FIG. 1 illustrates an example vehicle 100, according to aspects of the disclosure. The vehicle 100 depicted in FIG. 1 is a simplified illustration of a vehicle. While the vehicle 100 is depicted as a passenger car, possible variations of the vehicle 100 may also include an electrical-powered bicycle, a motorcycle, a van, a bus, a two-axle truck, a multi-axle truck, or the like.

[0033] As shown in FIG. 1, the vehicle 100 may include a headlight device 110 installed at a front side of the vehicle 100. In FIG. 1, the headlight device 110 is depicted as including two headlight assemblies as a non-limiting example: a left headlight assembly 112 and a right headlight assembly 114. As shown in FIG. 1, the vehicle 100 may further include a processing device 120 and one or more sensing devices 130. In some aspects, as a non-limiting example, the one or more sensing devices 130 may include an imaging component 132 based on vision detection (e.g., including graphical recognition and processing) ; one or more radio wave sensing components 134 based on radio detection (e.g., including radio ranging and detection using radio waves, or known as radar) ; an ultrasonic sensing component 136 based on ultrasonic detection (e.g., including ultrasonic ranging and detection using ultrasonic waves) ; and a laser sensing component 138 based on laser detection (e.g., including laser ranging and detection using laser beams) . In some aspects, the processing device 120 may be communicatively coupled to the one or more sensing devices 130. In some aspects, the processing device 120 may receive signals from at least the one or more sensing devices 130 and / or other sensors.

[0034] FIG. 2 is a simplified block diagram of an example processing device 200 and various other components onboard a vehicle, according to various aspects of the disclosure. In an aspect, the processing device 200 may correspond to the processing device 120 of the vehicle 100 in FIG. 1. In some aspects, the processing device 200 may be part of an advanced driver assistance system (ADAS) or an automated driving system (ADS) of the vehicle (e.g., the vehicle 100 in FIG. 1) . For simplicity, various operations, acts, and / or  functions are described herein as being performed “by a processing device onboard a vehicle” may also be referred to as performed “by a vehicle, ” or the like in this disclosure.

[0035] The processing device 200 includes a non-transitory computer-readable storage medium, i.e., memory 204, and one or more processors 206 in communication with the memory 204 via a data bus 208. The memory 204 includes one or more storage modules storing computer-readable instructions executable by the one or more processors 206 to perform the functions of the processing device 200 described herein. For example, the one or more processors 206 in conjunction with the memory 204 may implement the various operations described herein.

[0036] One or more sensing devices 220 are coupled to the processing device 200. In some aspects, the one or more sensing devices 220 may include an imaging component 222 (e.g., a camera, which may correspond to the imaging component 132 in FIG. 1) , a radio wave sensing component 224 (e.g., a radio detection and ranging device, which may correspond to the one or more radio wave sensing components 134 in FIG. 1) , an ultrasonic sensing component 226 (which may correspond to the ultrasonic sensing component 136 in FIG. 1) , and a laser sensing component 228 (which may correspond to the laser sensing component 138 in FIG. 1) . The processing device 200 also includes one or more system interfaces 210 connecting the one or more processors 206, by way of the data bus 208, to the one or more sensing devices 220 and, optionally, other vehicle sub-systems (not shown) .

[0037] In an aspect, the imaging component 222 may capture image frames (also referred to herein as camera frames) of the scene within the viewing area of the imaging component 222 at some periodic rate. Likewise, the radio wave sensing component 224 may capture radio detection frames of the scene within the viewing area of the radio wave sensing component 224 at some periodic rate. In some aspects, the ultrasonic sensing component 226 and the laser sensing component 228 may capture respective sensing frames at various periodic rates. In some aspects, the periodic rates at which the imaging component 222, the radio wave sensing component 224, the ultrasonic sensing component 226, and / or the laser sensing component 228 capture their respective sensing frames may be the same or different.

[0038] In some aspects, each one of the sensing frames may be timestamped. Thus, where the periodic rates are different, the timestamps can be used to select simultaneously, or nearly  simultaneously, sensing frames for further processing (e.g., fusion) . In some aspects, the processing device 200 may arrange the sensing frames from various sensing components as corresponding to respective detection frames, and perform a sensor fusion based object detection on each detection frames to obtain fused objects in the respective detection frames. In some aspects, the processing device may perform various driving or driving-assisting operations based on at least the fused objects.

[0039] The processing device 200 also includes, at least in some cases, one or more wide area network (WWAN) transceivers 230 configured to communicate via one or more wireless communication networks (not shown) , such as a New Radio (NR) network, a Long Term Evolution (LTE) network, a Global System for Mobile communication (GSM) network, and / or the like. The one or more WWAN transceivers 230 may be connected to one or more antennas (not shown) for communicating with other network nodes, such as other processing devices onboard other vehicles, pedestrian user equipments (UEs) , infrastructure access points, roadside units (RSUs) , base stations (e.g., eNBs, gNBs) , etc., via at least one designated radio access technology (RAT, e.g., NR, LTE, GSM, etc. ) over a wireless communication medium of interest (e.g., some set of time / frequency resources in a particular frequency spectrum) . The one or more WWAN transceivers 230 may be variously configured for transmitting and encoding signals (e.g., messages, indications, information, and so on) , and, conversely, for receiving and decoding signals (e.g., messages, indications, information, pilots, and so on) in accordance with the designated RAT.

[0040] The processing device 200 also includes, at least in some cases, one or more short-range wireless transceivers 240 (e.g., a Wi-Fi transceiver, a  transceiver, etc. ) . The one or more short-range wireless transceivers 240 may be connected to one or more antennas (not shown) for communicating with other network nodes, such as other processing devices onboard other vehicles, pedestrian UEs, infrastructure access points, RSUs, etc., via at least one designated RAT (e.g., cellular vehicle-to-everything (C-V2X) , Institute of Electrical and Electronics Engineers (IEEE) 802.11p (also known as wireless access for vehicular environments (WAVE) ) , dedicated short-range communication (DSRC) , etc. ) over a wireless communication medium of interest. The one or more short-range wireless transceivers 240 may be variously configured for transmitting and encoding signals (e.g., messages, indications, information, and so on) , and, conversely,  for receiving and decoding signals (e.g., messages, indications, information, pilots, and so on) in accordance with the designated RAT.

[0041] As used herein, a “transceiver” may include transmitter circuitry, receiver circuitry, or a combination thereof. A transceiver may be an integrated device (e.g., embodying transmitter circuitry and receiver circuitry in a single device) in some implementations, may comprise separate transmitter circuitry and separate receiver circuitry in some implementations, or may be embodied in other ways in other implementations. Wireless transmitter circuitry may include or be coupled to a plurality of antennas, such as an antenna array, that permits the respective apparatus (e.g., processing device 200) to perform transmit “beamforming, ” as described herein. Similarly, wireless receiver circuitry may include or be coupled to a plurality of antennas, such as an antenna array, that permits the respective apparatus (e.g., processing device 200) to perform receive beamforming, as described herein. In an aspect, the transmitter circuitry and receiver circuitry may share the same plurality of antennas, such that the respective apparatus can only receive or transmit at a given time, not both at the same time. A transceiver need not provide both transmit and receive functionalities in all designs. For example, a low functionality receiver circuit may be employed in some designs to reduce costs when providing full communication is not necessary (e.g., a receiver chip or similar circuitry simply providing low-level sniffing) . A wireless transceiver (e.g., the one or more WWAN transceivers 230) may also include a network listen module (NLM) or the like for performing various measurements.

[0042] The processing device 200 also includes, at least in some cases, a global navigation satellite system (GNSS) receiver 250. The GNSS receiver 250 may be connected to one or more antennas (not shown) for receiving satellite signals. The GNSS receiver 250 may comprise any suitable hardware and / or software for receiving and processing GNSS signals. The GNSS receiver 250 requests information and operations as appropriate from the other systems, and performs the calculations necessary to determine the vehicle’s position using measurements obtained by any suitable GNSS algorithm.

[0043] In an aspect, the processing device 200 may utilize the one or more WWAN transceivers 230 and / or the one or more short-range wireless transceivers 240 to download map information (e.g., one or more maps) 205 that can then be stored in memory 204 and used to obtain navigational map data for vehicle navigation. Map information 205 may include  one or more high-definition (HD) maps, which may provide accuracy in the 7-10 centimeters (cm) absolute ranges, highly detailed inventories of all stationary physical assets related to roadways, such as road lanes, road edges, shoulders, dividers, traffic signals, signage, paint markings, poles, and other data useful for the safe navigation of roadways and intersections by the vehicle. Map information 205 may also provide electronic horizon predictive awareness, which enables the vehicle to know what lies ahead. The information about the road lanes may include the number, width, type (e.g., high-occupancy vehicle (HOV) or non-HOV) , traffic direction, etc. of the lanes. In some aspects, the map information 205 may be more generic, or compressed, with roadways represented as linear segments and / or road headings. Thus, the navigational map data obtainable from the map information 205 may range from the locations and dimensions of stationary physical assets related to roadways and pathways to only road headings.

[0044] One or more sensors 260 of the vehicle may be coupled to the one or more processors 206 via the one or more system interfaces 210. In some aspects, the one or more sensors 260 may provide means for sensing or detecting information related to the state and / or environment of the vehicle, such as speed, heading (e.g., compass heading) , headlight status, gas mileage, etc. In some aspects, the one or more sensors 260 may provide means for sensing or detecting information related to the state and / or environment of the operator or the driver of the vehicle, such as the driver’s engagement type or level (e.g., alertness or drowsiness, facial expressions, eye-blinking rates, eyes-on-the-road rates, eye-sight direction) or the like. By way of example, the one or more sensors 260 may include an odometer, a speedometer, a tachometer, an accelerometer (e.g., a micro-electrical mechanical system (MEMS) device) , a gyroscope, a geomagnetic sensor (e.g., a compass) , an altimeter (e.g., a barometric pressure altimeter) , an in-cabin camera (for visible and / or infrared spectrum) , a driver eye-tracking sensing device, etc. Although shown as located outside the processing device 200, some of these sensors 260 may be located in the processing device 200 and some may be located elsewhere in the vehicle.

[0045] The processing device 200 may further include a data fusion component 218. The data fusion component 218may be a hardware circuit that is part of or coupled to the one or more processors 206 that, when operated, causes the processing device 200 to perform the functionality described herein. In other aspects, the data fusion component 218 may be external to the one or more processors 206 (e.g., part of a positioning processing  system, integrated with another processing system, etc. ) . Alternatively, the data fusion component 218 may be one or more program modules (e.g., executable instructions) stored in the memory 204 that, when executed by the one or more processors 206 (or positioning processing system, another processing system, etc. ) , cause the processing device 200 to perform the functionality described herein. FIG. 2 illustrates possible locations of the data fusion component 218, which may be, for example, part of the memory 204, the one or more processors 206, or any combination thereof, or may be a standalone component.

[0046] Although not shown, the processing device 200 may include or be coupled to a user interface (e.g., a touchscreen) for providing indications (e.g., audible and / or visual indications) to a user and / or for receiving user input (e.g., upon user actuation of a sensing device such a keypad, a touch screen, a microphone, and so on) .

[0047] FIG. 3A illustrates a first example scenario 300A with an overpassing structure 310, according to aspects of the disclosure. In this example, the overpassing structure 310 is disposed above and across a road segment 320. As shown in FIG. 3A, the overpassing structure 310 may correspond to a frame for road signs. In some aspects, an overpassing structure may correspond to a bridge or other similar structures above and across a road segment.

[0048] In some aspects, the overpassing structure 310 may include numerous metal components and / or rigid surfaces. In some aspects, a detection process performed by a host vehicle 330 based on a first sensing technology, such as based on radio detection or laser detection, may mistakenly interpret the overpassing structure 310 as a ghost vehicle 340 (detected but not corresponding to a real vehicle, depicted in dotted lines) that is static at the location of the overpassing structure 310. In some aspects, a detection process performed by the host vehicle 330 based on a second sensing technology, such as based on vision detection, may detect a leading vehicle 350 at about the same location as the ghost vehicle 340. In some aspects, the leading vehicle 350 may be moving and thus not static.

[0049] FIG. 3B illustrates a second example scenario 300B with an expansion joint structure 360, according to aspects of the disclosure. Components in FIG. 3B that are the same or similar to those in FIG. 3A are given the same reference numbers, and detailed description thereof  may be simplified or omitted. As shown in FIG. 3B, the expansion joint structure 360 may be installed on and across the road segment 320 (e.g., on a bridge) .

[0050] In some aspects, the expansion joint structure 360 may include numerous metal components and / or rigid surfaces. In some aspects, a detection process performed by the host vehicle 330 based on the first sensing technology, such as based on radio detection or laser detection, may also mistakenly interpret the expansion joint structure 360 as a ghost vehicle 340 (depicted in dotted lines) that is static at the location of the expansion joint structure 360. In some aspects, the expansion joint structure 360 may be more likely to be interpreted as the ghost vehicle 340 based on the first sensing technology when the road segment 320 with the expansion joint structure 360 is at a slope of a bridge or a ramp that moving upwards along a travel direction of the host vehicle 330. In some aspects, a detection process performed by the host vehicle 330 based on a second sensing technology, such as based on vision detection, may still detect a leading vehicle 350 at about the same location as the ghost vehicle 340. In some aspects, the leading vehicle 350 may be moving and thus not static.

[0051] In some aspects, based on the first example scenario 300A in FIG. 3A and the second example scenario 300B in FIG. 3B, from a sensor fusion based object detection performed by a processing device of the host vehicle 330, the ghost vehicle 340 (representing, e.g., a falsely detected vehicle or a falsely detected obstacle) and the leading vehicle 350 may be fused as a fused static object and misinterpreted as a detected vehicle that is static. In some aspects, an ADAS on the host vehicle 330 or an ADS on the host vehicle 330 may react inappropriately to the falsely detected vehicle (as a fused static object) . For example, an automatic emergency braking system may be falsely activated, causing unnecessary braking and significantly affecting driving safety and driving experiences.

[0052] FIG. 4A is a side view of an example scenario 400 corresponding to the first example scenario 300A in FIG. 3A or the second example scenario 300B in FIG. 3B, according to aspects of the disclosure. As shown in FIG. 4B, the example scenario 400 may include a host vehicle 402 and a leading vehicle 404 on a road segment 406. In some aspects, the road segment 406 is designed for a travelling direction from left to right in FIG. 4A. In some aspects, the host vehicle 402 may correspond to the host vehicle 330 in FIGS. 3A and 3B; the leading vehicle 404 may correspond to the leading vehicle 350 in FIGS. 3A  and 3B; and the road segment 406 may correspond to the road segment 320 in FIGS. 3A and 3B.

[0053] In some aspects, for illustration purposes, one or more imaginary objects 408 may be deemed as on the road segment 406. The one or more imaginary objects 408 may represent one or more detected objects as a result of detecting the overpassing structure 310 in FIG. 3A or the expansion joint structure 360 in FIG. 3B based on a first sensing technology (e.g., based on radio detection or laser detection) .

[0054] FIG. 4B is a top view 410 illustrating various detected objects based on the example of FIG. 4A, according to aspects of the disclosure. As shown in FIG. 4B, a block 412 may represent the position of the host vehicle 402 on the road segment 406. In some aspects, the top view 410 shows a detected object 414 on the road segment 406 that corresponds to detecting the leading vehicle 404 based on the first sensing technology. In some aspects, the top view 410 also shows one or more detected object 416 on the road segment 406 that corresponds to detecting the overpassing structure 310 or the expansion joint structure 360 based on the first sensing technology. In some aspects, the detected object 414 may be detected as a moving object with a first moving speed. In some aspects, the one or more detected object 416 may be detected as one or more static objects.

[0055] As shown in FIG. 4A and 4B, due to the limitations and / or vertical resolution of the first sensing technology, the overpassing structure 310 or the expansion joint structure 360 may be interrupted based on the first sensing technology as one or more imaginary objects 408 on the road segment 406.

[0056] Moreover, the top view 410 shows a detected object 418 on the road segment 406 that corresponds to detecting the leading vehicle 404 based on a second sensing technology. In some aspects, the second sensing technology may be based on vision detection. In some aspects, the detected object 418 may be detected as a moving object with a second moving speed. In some aspects, due to the nature of the second sensing technology, the overpassing structure 310 or the expansion joint structure 360 may be ignored or correctly identified as not on the road segment 406 based on the second sensing technology.

[0057] FIG. 4C is a top view 420 illustrating a first example result of sensor fusion based on the detected objects in FIG. 4B, according to aspects of the disclosure. In some aspects, when the first moving speed of the detected object 414 and the second moving speed of the detected object 418 satisfying certain conditions (e.g., with an error less than a threshold) ,  the detected object 414 and the detected object 418 may be considered as a same fused object 422 according to the data fusion process. In some aspects, the one or more detected object 416 may be considered by the data fusion process as unreliable or ignorable, because the one or more detected object 416 are not collaborated by the sensing information of one or more other sensing technologies.

[0058] FIG. 4D is a top view 430 illustrating a second example result of sensor fusion based on the detected objects in FIG. 4B, according to aspects of the disclosure. In some aspects, when there are significant errors in the first moving speed of the detected object 414 and / or the second moving speed of the detected object 418, and / or the first moving speed and / or the second moving speed are too slow, there might be a case where the detected object 414 is interpreted as moving at a faster speed and the detected object 418 is interpreted as moving at a slower speed. In some aspects, the detected object 418 and the one or more detected objects 416 may be considered as a same fused object 432 (that is static or moving at a low speed) according to the data fusion process. In some aspects, the detected object 414 may be considered by the data fusion process as unreliable, or may be fused based on other sensing data as another fused object 434. In some aspects, the fused object 432 may not correspond to any real vehicle on the road segment 406, but may still cause the ADAS or ADS of the host vehicle to unnecessarily decelerate or engage the emergency brake.

[0059] FIG. 5A is a top view 510 illustrating managing various detected objects based on the detected objects in FIG. 4B, according to aspects of the disclosure. The components in FIG. 5A that are the same or similar to those in FIG. 4B are given the same reference number, and detailed description thereof may be simplified or omitted. FIG. 5B is a top view 520 illustrating an example results of sensor fusion based on the detected objects in FIG. 5A, according to aspects of the disclosure.

[0060] In some aspects, to address the issue as illustrated in FIG. 4D, a possible solution is to avoid including the one or more detected objects 416 in the data fusion process (as depicted by the “X” in FIGS. 5A and 5B) . In some aspects, the detected object 414 and the detected object 418, without the interference of the one or more detected objects 416, may be considered as a same fused object 522 according to the data fusion process. In some aspects, as the one or more detected object 416 are not considered by the data fusion  process, erroneously fusing the detected object 418 and the one or more detected object 416 as discussed in FIG. 4D may be prevented.

[0061] In some aspects, whether the one or more detected objects 416 are subject to be omitted from a sensor fusion based object detection session may be based on whether the one or more detected objects 416 are static and are marked as “traversable. ” In some aspects, this approach may be based on a rationale that, as one or more other vehicles having traversed over one or more real-world objects represented by the one or more detected objects 416, the host vehicle 402 (in FIG. 4A and correspond to block 412) can traverse over the one or more real-world objects as well. In other words, the one or more real-world objects represented by the one or more detected objects 416 may cause no or little concerns to the ADAS or ADS on the host vehicle, and thus may be omitted in a sensor fusion based object detection session that obtains fused objects for the ADAS or ADS.

[0062] In general, a detected object may be excluded from a sensor fusion based object detection session if the detected object is determined as “traversable” by other detected object (s) (e.g., other vehicles) . In some aspects, to determine if a detected object is “traversable, ” one or more highly reliable objects (e.g., typically those detected as fused objects from multiple sensor sources with high confidence level) may be first identified. If the detected object is detected as traversed over by the one or more highly reliable objects, the detected object may be considered as “traversable” and may by omitted in the sensor fusion based object detection session. In some aspects, if a detected object that has been marked as “traversable” shows a displacement over time as indicated by measurement updates, and if the displacement exceeds a certain reference value, the “traversable” status of the detected object may be discard, and the “traversable” status may be regain after the detected object is once again detected to be traversed over by another highly reliable object.

[0063] FIG. 6 is a functional block diagram illustrating an example architecture 600 for sensor fusion based object detection, according to aspects of the disclosure. In some aspects, the architecture 600 may correspond to one or more operations performed by various components onboard a vehicle. In some aspects, as a non-limiting example, the architecture 600 may include a first sensing component 610 and a second sensing component 620 that may correspond to one or more sensing devices 220 or one or more sensing components 222, 224, 226, and 228 in FIG. 2. In some aspects, as a non-limiting  example, the architecture 600 may include a data fusion component 630 and one or more other processing components (e.g., other than the first sensing component 610 and the second sensing component 620) , which may correspond to one or more operations performed by the processing device 200 in FIG. 2.

[0064] In some aspects, the processing device may obtain a first set of detection information 612 for a current detection frame that is from the first sensing component 610 based on a first sensing technology. In some aspects, the first set of detection information 612 may indicate a first detected object (e.g., one of the one or more detected object 416 in FIG. 4B-5B) . In some aspects, the first set of detection information 612 may include information associated with the first detected object, such as measurements, kinematic characteristics, and / or confidence level of the first detected object. In some aspects, the first detected object may be identifiable based on a first object identifier included in the first set of detection information. In some aspects, due to the limitations and / or vertical resolution of the first sensing technology, the first set of detection information (indicating the first detected object) may be subject to further examination (e.g., one or more of components 642-650) before it is provided to the data fusion component 630.

[0065] In some aspects, the processing device may obtain a second set of detection information 622 for the current detection frame that is from the second sensing component 620 based on a second sensing technology. In some aspects, the second set of detection information 622 may indicate a second detected object (e.g., the detected object 418 in FIG. 4B-5B) . In some aspects, the second set of detection information 622 may include information associated with the second detected object, such as measurements, kinematic characteristics, and / or confidence level of the second detected object. In some aspects, the second detected object may also be identifiable based on a second object identifier included in the second set of detection information. In some aspects, due to the nature of the second sensing technology, the second set of detection may be provided to the data fusion component 630 without examination (e.g., without going through components 642-650) .

[0066] In some aspects, at component 642, the processing device may determine a static status of the first detected object. In a case that the first detected object is not static (the “NO” path at component 642) , the first set of detection information may be provided to the data fusion component 630. In a case that the first detected object is static (the “YES” path at  component 642) , the processing device may at component 644 identify a previously detected traversable status of the first detected object. In a case that the previously detected traversable status of the first detected object indicates that the first detected object is not traversable (e.g., without a traversable flag, the “NO” path at component 644) , the processing device may further determine if the first detected object is traversable at component 646. In a case that the previously detected traversable status of the first detected object indicates that the first detected object is traversable (e.g., with a traversable flag, the “YES” path at component 644) , the processing device may further determine if a displacement of the first detected object with respect to a previous detection frame is greater than a reference value at component 648.

[0067] In some aspects, at component 646, the processing device may determine if the first detected object is traversed over by a fused object (or any other type of a reliable object) . In a case that the first detected object is not determined as traversed over by a fused object (the “NO” path at component 644) , the first set of detection information may be provided to the data fusion component 630. In a case that the first detected object is determined as traversed over by a fused object (the “YES” path at component 644) , the first detected object may be marked as traversable (e.g., updating, activating, or maintaining a traversable flag associated with the first detected object) at component 650. At component 650, the process may proceed to a next detection frame for collecting updated detection information, and the first detected object may be omitted in a current sensor fusion based object detection session for the current detection frame.

[0068] In some aspects, at component 648, the processing device may determine if a displacement of the first detected object with respect to a previous detection frame is greater than a reference value. In a case that the displacement is greater than the reference value (the “YES” path at component 648) , the first detected object may lose its “Traversable” status, and the first set of detection information may be provided to the data fusion component 630. In a case that the displacement is equal to or less than the reference value (the “NO” path at component 648) , the processing device may further determine if the first detected object is still traversable at component 646. In some aspects, in a case that the displacement is equal to or less than the reference value, the processing device may alternatively proceed to a next detection frame for collecting updated detection information (without going to component 646) , and the first detected  object may be omitted in the current sensor fusion based object detection session for the current detection frame.

[0069] In some aspects, the first sensing component 610 and the second sensing component 620 are depicted in FIG. 6 as a non-limiting example. In some examples, the architecture 600 may be implemented based on one or more additional sensing components with detection information being provided to the data fusion component 630 directly and / or one or more additional sensing components each with detection information being subject to an examination process as illustrated based on components 642-650 in order to determine if such detection information is to be provided to the data fusion component 630. In at least one example, the architecture 600 may be implemented with all sensing components (including the first sensing component 610) subject to a respective examination process as illustrated based on components 642-650, and the second sensing component 620 may be omitted.

[0070] In some aspects, the data fusion component 630 may process the detection information provided to the data fusion component 630 and output one or more fused objects 632. In some aspects, an ADS or an ADAS on a vehicle may control steering, acceleration, deceleration, and / or braking based on the one or more fused objects 632.

[0071] FIGS. 7A-7D illustrate various stages of determining whether a detected object is traversed over by a fused object (or any other type of a reliable object) , according to aspects of the disclosure. In some aspects, the method as illustrated in FIGS. 7A-7D is a non-limiting example that may correspond to the operations performed at component 646 in FIG. 6.

[0072] FIG. 7A shows a top view 700A and a corresponding signal diagram 750A of an overlap detection signal during a time duration T-2. In the top view 700A, one or more detected objects 702, 704, and 706 on a road segment 708 may be detected based on a first sensing technology (e.g., radio detection or laser detection) . In the top view 700A, a fused object 712 (i.e., a highly reliable object) is on the road segment 708 and may correspond to a real vehicle. The signal diagram 750A may record the overlap detection signal 762 with respect to each one of the one or more detected objects 702, 704, and 706 (e.g., for the detected object 704 in this example) . As shown in FIG. 7A, based on the detection information corresponding to the time duration T-2, the detected object 704 and the fused object 712 do not overlap each other. Accordingly, the overlap detection signal 762 may  record that a relationship between the detected object 704 and the fused object 712 demonstrates a non-overlapping phase (e.g., having a value 0) during the time duration T-2.

[0073] FIG. 7B shows a top view 700B and a corresponding signal diagram 750B of an overlap detection signal during a time duration T-1. As shown in FIG. 7B, based on the detection information corresponding to the time duration T-1, the detected object 704 and the fused object 712 may overlap each other. Accordingly, the overlap detection signal 764 may record that a relationship between the detected object 704 and the fused object 712 demonstrates an overlapping phase (e.g., having a value 1) during the time duration T-1.

[0074] FIG. 7C shows a top view 700C and a corresponding signal diagram 750C of an overlap detection signal during a time duration T. As shown in FIG. 7C, based on the detection information corresponding to the time duration T, the detected object 704 and the fused object 712 do not overlap each other. Accordingly, the overlap detection signal 766 may further record that a relationship between the detected object 704 and the fused object 712 demonstrates a non-overlapping phase (e.g., having a value 0) during the time duration T.

[0075] In some aspects, the time duration T-2, the time duration T-1, and the time duration T may be any length of time, and thus may correspond to same or different lengths of time.

[0076] FIG. 7D shows a signal diagram 750D of an overlap detection signal 768 over time. In some aspects, the overlap detection signal 768 may correspond to a combination of the signals 762, 764, and 768 in FIGS. 7A-7C. In some aspects, to determine whether an detected object (e.g., the detected object 704) is traversed over by a fused object (e.g., the fused object 712) , the processing device may apply a sliding detection window 770 to check if a portion of the overlap detection signal 768 within the sliding detection window 770 demonstrate, consecutively in a chronological order, a non-overlapping phase, followed by an overlapping phase, and followed by another non-overlapping phase. In some aspects, if the consecutive transition of phases as discussed above is detected within the sliding detection window 770, the detected object (e.g., the detected object 704) is considered traversed over by the fused object 712, and the detected object may be marked as “traversable” (e.g., at component 650) .

[0077] In some aspects, the processing device of the host vehicle may identify various detected objects based on the corresponding object identifiers provided by various sensing  components. In some aspects, for a new object identifier indicating a newly detected object that has no prior traversable detection result thereof, the processing device may perform a traversal detection for the newly detected object (e.g., according to the architecture 600 in FIG. 6 and / or the overlap detection signal and the sliding detection window 770 in FIGS. 7A-7D) . However, in some aspects, a sensing component may reuse object identifiers that may have been previously assigned to other objects that are no longer detectable. As such, the processing device may mistakenly apply the traversal status of a now obsolete object to a newly detected object. To address this issue, the processing device may further check a life cycle of an object identifier in order to confirm if an object identifier is used to identify a previously detected object or a newly detected object. In some aspects, as long as the age of the object identifier is continuous, the corresponding detected object may be deemed as not a newly detected object. As a non-limiting example, a detected object is not deemed as a newly detected object based on an age of the object identifier being continuous over a number of consecutive frames that includes the current detection frame and one or more previous detection frames.

[0078] FIG. 8 is a flowchart illustrating an example method 800 of sensor fusion based object detection performed by a processing device, according to aspects of the disclosure. In some aspects, the processing device in the method 800 may correspond to the processing device 200 in FIG. 2, which may be onboard a vehicle (e.g., the vehicle 100 in FIG. 1 or the host vehicle 330 in FIGS. 3A and 3B) . In some aspects, the method 800 may correspond to various operations performed based on the architecture 600 for sensor fusion based object detection in FIG. 6.

[0079] In some aspects, the method 800 may be performed by the one or more WWAN transceivers 230, the one or more short-range transceivers 240, the one or more processors 206, the memory 204, and / or the data fusion component 218, any or all of which may be considered means for performing one or more of the following operations of method 800.

[0080] At operation 810, the processing device on board a vehicle may obtain a first set of detection information (e.g., the first set of detection information 612 in FIG. 6) for a current detection frame based on a first sensing technology. In some aspects, the first set of detection information may indicate a first detected object. In some aspects, operation 810 may be performed by the one or more WWAN transceivers 230, the one or more short-range transceivers 240, the one or more processors 206, the memory 204, and / or the  data fusion component 218, any or all of which may be considered means for performing operation 810.

[0081] At operation 820, the processing device may obtain a second set of detection information (e.g., the second set of detection information 622 in FIG. 6) for the current detection frame based on a second sensing technology. In some aspects, operation 820 may be performed by the one or more WWAN transceivers 230, the one or more short-range transceivers 240, the one or more processors 206, the memory 204, and / or the data fusion component 218, any or all of which may be considered means for performing operation 820.

[0082] In some aspects, the first sensing technology may be based on radio detection or laser detection. In some aspects, the second sensing technology may be based on vision detection.

[0083] At operation 830, the processing device may determine whether the first detected object is omitted in a current sensor fusion based object detection session for the current detection frame. In some aspects, such determination may be based on a static status of the first detected object, a previously detected traversable status of the first detected object, a displacement of the first detected object with respect to a previous detection frame, a currently detected traversable status of the first detected object, or any combination thereof; and. In some aspects, operation 830 may be performed by the one or more WWAN transceivers 230, the one or more short-range transceivers 240, the one or more processors 206, the memory 204, and / or the data fusion component 218, any or all of which may be considered means for performing operation 830.

[0084] In some aspects, the determining whether the first detected object is omitted in the current sensor fusion based object detection session may include determining the first detected object is not omitted based on the static status of the first detected object indicating that the first detected object is static (e.g., the “NO” path at component 642 in FIG. 6) . In some aspects, the determining whether the first detected object is omitted in the current sensor fusion based object detection session may include determining the first detected object is not omitted based on the static status of the first detected object indicating that the first detected object is static, the previously detected traversable status of the first detected object indicating that the first detected object is traversable, and the displacement of the first detected object with respect to the previous detection frame is greater than a  reference value (e.g., the “YES” path at component 642, then the “YES” path at component 644, and then the “YES” path at component 648 in FIG. 6) .

[0085] In some aspects, the determining whether the first detected object is omitted in the current sensor fusion based object detection session may include determining if the first detected object is traversed over by a fused object during a detection window (e.g., component 646 in FIG. 6) based on the static status of the first detected object indicating that the first detected object is static, the previously detected traversable status of the first detected object indicating that the first detected object is traversable, and the displacement of the first detected object with respect to the previous detection frame is equal to or less than the reference value (e.g., the “YES” path at component 642, then the “YES” path at component 644, and then the “NO” path at component 648 in FIG. 6) . In some aspects, the detection window may include a number of consecutive frames that include the current detection frame and one or more previous detection frames. In some aspects, the method may further include determining the first detected object is not omitted based on the first detected object is determined as not traversed over by the fused object (e.g., the “NO” path at component 646 in FIG. 6) . In some aspects, the method may further include determining the first detected object is omitted based on the first detected object is determined as traversed over by the fused object (e.g., the “YES” path at component 646 in FIG. 6) .

[0086] In some aspects, the determining whether the first detected object is omitted in the current sensor fusion based object detection session may include determining if the first detected object is traversed over by a fused object during a detection window (e.g., component 646 in FIG. 6) based on the static status of the first detected object indicating that the first detected object is static and the previously detected traversable status of the first detected object indicating that the first detected object is not traversable (e.g., the “YES” path at component 642, then the “NO” path at component 644 in FIG. 6) . In some aspects, the detection window may include a number of consecutive frames that include the current detection frame and one or more previous detection frames. In some aspects, the method may include determining the first detected object is not omitted based on the first detected object is determined as not traversed over by the fused object (e.g., the “NO” path at component 646 in FIG. 6) . In some aspects, the method may include determining the first detected object is omitted based on the first detected object is determined as traversed  over by the fused object (e.g., the “YES” path at component 646 in FIG. 6) . In some aspects, the first detected object may be determined as traversed over by the fused object during the detection window in a case that a relationship between the first detected object and the fused object demonstrates, consecutively in a chronological order, a non-overlapping phase, followed by an overlapping phase, and followed by another non-overlapping phase.

[0087] In some aspects, the first detected object may be identifiable based on an object identifier included in the first set of detection information, and the first detected object may not be a newly detected object based on an age of the object identifier being continuous over a number of consecutive frames that includes the current detection frame and one or more previous detection frames.

[0088] At operation 840, the processing device may include or omit the first set of detection information and include or omit the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on the determination. In some aspects, the first set of detection information may indicate a first detected object. In some aspects, operation 840 may be performed by the one or more WWAN transceivers 230, the one or more short-range transceivers 240, the one or more processors 206, the memory 204, and / or the data fusion component 218, any or all of which may be considered means for performing operation 840.

[0089] In some aspects, the method may include including the first set of detection information and including the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on the first detected object being determined as not omitted. In some aspects, the method may include omitting the first set of detection information and including the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on the first detected object being determined as omitted.

[0090] As will be appreciated, a technical advantage of the method 800 is avoiding applying the detection information that may likely lead to a falsely detected object in a sensor fusion based object detection session. In some aspects, by omitting a traversable object from a sensor fusion based object detection session, a chance of the traversable object being falsely interpreted as a non-traversable object (e.g., a static vehicle or a static obstacle) by the sensor fusion based object detection session can be reduced. Accordingly, the  ADAS or the ADS on a vehicle may perform various operations regarding steering, acceleration, deceleration, and / or braking based on more accurate information of the surrounding, and thus improve the driving safety and driving experiences.

[0091] In the detailed description above it can be seen that different features are grouped together in examples. This manner of disclosure should not be understood as an intention that the example clauses have more features than are explicitly mentioned in each clause. Rather, the various aspects of the disclosure may include fewer than all features of an individual example clause disclosed. Therefore, the following clauses should hereby be deemed to be incorporated in the description, wherein each clause by itself can stand as a separate example. Although each dependent clause can refer in the clauses to a specific combination with one of the other clauses, the aspect (s) of that dependent clause are not limited to the specific combination. It will be appreciated that other example clauses can also include a combination of the dependent clause aspect (s) with the subject matter of any other dependent clause or independent clause or a combination of any feature with other dependent and independent clauses. The various aspects disclosed herein expressly include these combinations, unless it is explicitly expressed or can be readily inferred that a specific combination is not intended (e.g., contradictory aspects, such as defining an element as both an electrical insulator and an electrical conductor) . Furthermore, it is also intended that aspects of a clause can be included in any other independent clause, even if the clause is not directly dependent on the independent clause.

[0092] Implementation examples are described in the following numbered clauses:

[0093] Clause 1. A method of sensor fusion based object detection performed by a processing device, the method comprising: obtaining a first set of detection information for a current detection frame based on a first sensing technology, the first set of detection information indicating a first detected object; obtaining a second set of detection information for the current detection frame based on a second sensing technology; determining whether the first detected object is omitted in a current sensor fusion based object detection session for the current detection frame based on: a static status of the first detected object, a previously detected traversable status of the first detected object, a displacement of the first detected object with respect to a previous detection frame, a currently detected traversable status of the first detected object, or any combination thereof; and including or omitting the first set of detection information and including or omitting the second set  of detection information in the current sensor fusion based object detection session for the current detection frame based on a determination of whether the first detected object is omitted in the current sensor fusion based object detection session.

[0094] Clause 2. The method of clause 1, further comprising: including the first set of detection information and including the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on the first detected object being determined as not omitted.

[0095] Clause 3. The method of any of clauses 1 to 2, further comprising: omitting the first set of detection information and including the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on the first detected object being determined as omitted.

[0096] Clause 4. The method of any of clauses 1 to 3, wherein: the first sensing technology is based on radio detection or laser detection, and the second sensing technology is based on vision detection.

[0097] Clause 5. The method of any of clauses 1 to 4, wherein the determining whether the first detected object is omitted in the current sensor fusion based object detection session comprises: determining the first detected object is not omitted based on the static status of the first detected object indicating that the first detected object is not static.

[0098] Clause 6. The method of any of clauses 1 to 4, wherein the determining whether the first detected object is omitted in the current sensor fusion based object detection session comprises: determining the first detected object is not omitted based on the static status of the first detected object indicating that the first detected object is static, the previously detected traversable status of the first detected object indicating that the first detected object is traversable, and the displacement of the first detected object with respect to the previous detection frame is greater than a reference value.

[0099] Clause 7. The method of clause 6, wherein the determining whether the first detected object is omitted in the current sensor fusion based object detection session comprises: determining if the first detected object is traversed over by a fused object during a detection window based on the static status of the first detected object indicating that the first detected object is static, the previously detected traversable status of the first detected object indicating that the first detected object is traversable, and the displacement of the first detected object with respect to the previous detection frame is equal to or less than  the reference value, wherein the detection window includes a number of consecutive frames that include the current detection frame and one or more previous detection frames; determining the first detected object is not omitted based on the first detected object is determined as not traversed over by the fused object; and determining the first detected object is omitted based on the first detected object is determined as traversed over by the fused object.

[0100] Clause 8. The method of any of clauses 1 to 4, wherein the determining whether the first detected object is omitted in the current sensor fusion based object detection session comprises: determining if the first detected object is traversed over by a fused object during a detection window based on the static status of the first detected object indicating that the first detected object is static and the previously detected traversable status of the first detected object indicating that the first detected object is not traversable, wherein the detection window includes a number of consecutive frames that include the current detection frame and one or more previous detection frames; determining the first detected object is not omitted based on the first detected object is determined as not traversed over by the fused object; and determining the first detected object is omitted based on the first detected object is determined as traversed over by the fused object.

[0101] Clause 9. The method of clause 8, wherein: the first detected object is determined as traversed over by the fused object during the detection window in a case that a relationship between the first detected object and the fused object demonstrates, consecutively in a chronological order, a non-overlapping phase, followed by an overlapping phase, and followed by another non-overlapping phase.

[0102] Clause 10. The method of any of clauses 1 to 9, wherein: the first detected object is identifiable based on an object identifier included in the first set of detection information, and the first detected object is not a newly detected object based on an age of the object identifier being continuous over a number of consecutive frames that includes the current detection frame and one or more previous detection frames.

[0103] Clause 11. A processing device for sensor fusion based object detection, comprising: one or more memories; and one or more processors communicatively coupled to the one or more memories, the one or more processors, either alone or in combination, configured to:obtain a first set of detection information for a current detection frame based on a first sensing technology, the first set of detection information indicating a first detected object;  obtain a second set of detection information for the current detection frame based on a second sensing technology; determine whether the first detected object is omitted in a current sensor fusion based object detection session for the current detection frame based on:a static status of the first detected object, a previously detected traversable status of the first detected object, a displacement of the first detected object with respect to a previous detection frame, a currently detected traversable status of the first detected object, or any combination thereof; and include or omitting the first set of detection information and including or omitting the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on a determination of whether the first detected object is omitted in the current sensor fusion based object detection session.

[0104] Clause 12. The processing device of clause 11, wherein the one or more processors, either alone or in combination, are further configured to: include the first set of detection information and including the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on the first detected object being determined as not omitted.

[0105] Clause 13. The processing device of any of clauses 11 to 12, wherein the one or more processors, either alone or in combination, are further configured to: omit the first set of detection information and including the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on the first detected object being determined as omitted.

[0106] Clause 14. The processing device of any of clauses 11 to 13, wherein: the first sensing technology is based on radio detection or laser detection, and the second sensing technology is based on vision detection.

[0107] Clause 15. The processing device of any of clauses 11 to 14, wherein the one or more processors, either alone or in combination, are further configured to: determine the first detected object is not omitted based on the static status of the first detected object indicating that the first detected object is not static.

[0108] Clause 16. The processing device of any of clauses 11 to 14, wherein the one or more processors, either alone or in combination, are further configured to: determine the first detected object is not omitted based on the static status of the first detected object indicating that the first detected object is static, the previously detected traversable status  of the first detected object indicating that the first detected object is traversable, and the displacement of the first detected object with respect to the previous detection frame is greater than a reference value.

[0109] Clause 17. The processing device of clause 16, wherein the one or more processors, either alone or in combination, are further configured to: determine if the first detected object is traversed over by a fused object during a detection window based on the static status of the first detected object indicating that the first detected object is static, the previously detected traversable status of the first detected object indicating that the first detected object is traversable, and the displacement of the first detected object with respect to the previous detection frame is equal to or less than the reference value, wherein the detection window includes a number of consecutive frames that include the current detection frame and one or more previous detection frames; determine the first detected object is not omitted based on the first detected object is determined as not traversed over by the fused object; and determine the first detected object is omitted based on the first detected object is determined as traversed over by the fused object.

[0110] Clause 18. The processing device of any of clauses 11 to 14, wherein the one or more processors, either alone or in combination, are further configured to: determine if the first detected object is traversed over by a fused object during a detection window based on the static status of the first detected object indicating that the first detected object is static and the previously detected traversable status of the first detected object indicating that the first detected object is not traversable, wherein the detection window includes a number of consecutive frames that include the current detection frame and one or more previous detection frames; determine the first detected object is not omitted based on the first detected object is determined as not traversed over by the fused object; and determine the first detected object is omitted based on the first detected object is determined as traversed over by the fused object.

[0111] Clause 19. The processing device of clause 18, wherein: the first detected object is determined as traversed over by the fused object during the detection window in a case that a relationship between the first detected object and the fused object demonstrates, consecutively in a chronological order, a non-overlapping phase, followed by an overlapping phase, and followed by another non-overlapping phase.

[0112] Clause 20. The processing device of any of clauses 11 to 19, wherein: the first detected object is identifiable based on an object identifier included in the first set of detection information, and the first detected object is not a newly detected object based on an age of the object identifier being continuous over a number of consecutive frames that includes the current detection frame and one or more previous detection frames.

[0113] Clause 21. A processing device for sensor fusion based object detection, comprising: means for obtaining a first set of detection information for a current detection frame based on a first sensing technology, the first set of detection information indicating a first detected object; means for obtaining a second set of detection information for the current detection frame based on a second sensing technology; means for determining whether the first detected object is omitted in a current sensor fusion based object detection session for the current detection frame based on: a static status of the first detected object, a previously detected traversable status of the first detected object, a displacement of the first detected object with respect to a previous detection frame, a currently detected traversable status of the first detected object, or any combination thereof; and means for including or omitting the first set of detection information and including or omitting the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on a determination of whether the first detected object is omitted in the current sensor fusion based object detection session.

[0114] Clause 22. The processing device of clause 21, further comprising: means for including the first set of detection information and including the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on the first detected object being determined as not omitted.

[0115] Clause 23. The processing device of any of clauses 21 to 22, further comprising: means for omitting the first set of detection information and including the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on the first detected object being determined as omitted.

[0116] Clause 24. The processing device of any of clauses 21 to 23, wherein: the first sensing technology is based on radio detection or laser detection, and the second sensing technology is based on vision detection.

[0117] Clause 25. The processing device of any of clauses 21 to 24, wherein the means for determining whether the first detected object is omitted in the current sensor fusion based  object detection session comprises: means for determining the first detected object is not omitted based on the static status of the first detected object indicating that the first detected object is not static.

[0118] Clause 26. The processing device of any of clauses 21 to 24, wherein the means for determining whether the first detected object is omitted in the current sensor fusion based object detection session comprises: means for determining the first detected object is not omitted based on the static status of the first detected object indicating that the first detected object is static, the previously detected traversable status of the first detected object indicating that the first detected object is traversable, and the displacement of the first detected object with respect to the previous detection frame is greater than a reference value.

[0119] Clause 27. The processing device of clause 26, wherein the means for determining whether the first detected object is omitted in the current sensor fusion based object detection session comprises: means for determining if the first detected object is traversed over by a fused object during a detection window based on the static status of the first detected object indicating that the first detected object is static, the previously detected traversable status of the first detected object indicating that the first detected object is traversable, and the displacement of the first detected object with respect to the previous detection frame is equal to or less than the reference value, wherein the detection window includes a number of consecutive frames that include the current detection frame and one or more previous detection frames; means for determining the first detected object is not omitted based on the first detected object is determined as not traversed over by the fused object; and means for determining the first detected object is omitted based on the first detected object is determined as traversed over by the fused object.

[0120] Clause 28. The processing device of any of clauses 21 to 24, wherein the means for determining whether the first detected object is omitted in the current sensor fusion based object detection session comprises: means for determining if the first detected object is traversed over by a fused object during a detection window based on the static status of the first detected object indicating that the first detected object is static and the previously detected traversable status of the first detected object indicating that the first detected object is not traversable, wherein the detection window includes a number of consecutive frames that include the current detection frame and one or more previous detection  frames; means for determining the first detected object is not omitted based on the first detected object is determined as not traversed over by the fused object; and means for determining the first detected object is omitted based on the first detected object is determined as traversed over by the fused object.

[0121] Clause 29. The processing device of clause 28, wherein: the first detected object is determined as traversed over by the fused object during the detection window in a case that a relationship between the first detected object and the fused object demonstrates, consecutively in a chronological order, a non-overlapping phase, followed by an overlapping phase, and followed by another non-overlapping phase.

[0122] Clause 30. The processing device of any of clauses 21 to 29, wherein: the first detected object is identifiable based on an object identifier included in the first set of detection information, and the first detected object is not a newly detected object based on an age of the object identifier being continuous over a number of consecutive frames that includes the current detection frame and one or more previous detection frames.

[0123] Clause 31. A non-transitory computer-readable medium storing computer-executable instructions that, when executed by a processing device for sensor fusion based object detection, cause the processing device to: obtain a first set of detection information for a current detection frame based on a first sensing technology, the first set of detection information indicating a first detected object; obtain a second set of detection information for the current detection frame based on a second sensing technology; determine whether the first detected object is omitted in a current sensor fusion based object detection session for the current detection frame based on: a static status of the first detected object, a previously detected traversable status of the first detected object, a displacement of the first detected object with respect to a previous detection frame, a currently detected traversable status of the first detected object, or any combination thereof; and include or omitting the first set of detection information and including or omitting the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on a determination of whether the first detected object is omitted in the current sensor fusion based object detection session.

[0124] Clause 32. The non-transitory computer-readable medium of clause 31, further comprising computer-executable instructions that, when executed by the processing device, cause the processing device to: include the first set of detection information and  including the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on the first detected object being determined as not omitted.

[0125] Clause 33. The non-transitory computer-readable medium of any of clauses 31 to 32, further comprising computer-executable instructions that, when executed by the processing device, cause the processing device to: omit the first set of detection information and including the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on the first detected object being determined as omitted.

[0126] Clause 34. The non-transitory computer-readable medium of any of clauses 31 to 33, wherein: the first sensing technology is based on radio detection or laser detection, and the second sensing technology is based on vision detection.

[0127] Clause 35. The non-transitory computer-readable medium of any of clauses 31 to 34, wherein the instructions that cause the processing device to determine whether the first detected object is omitted in the current sensor fusion based object detection session comprises instructions that, when executed by the processing device, cause the processing device to: determine the first detected object is not omitted based on the static status of the first detected object indicating that the first detected object is not static.

[0128] Clause 36. The non-transitory computer-readable medium of any of clauses 31 to 34, wherein the instructions that cause the processing device to determine whether the first detected object is omitted in the current sensor fusion based object detection session comprises instructions that, when executed by the processing device, cause the processing device to: determine the first detected object is not omitted based on the static status of the first detected object indicating that the first detected object is static, the previously detected traversable status of the first detected object indicating that the first detected object is traversable, and the displacement of the first detected object with respect to the previous detection frame is greater than a reference value.

[0129] Clause 37. The non-transitory computer-readable medium of clause 36, wherein the instructions that cause the processing device to determine whether the first detected object is omitted in the current sensor fusion based object detection session comprises instructions that, when executed by the processing device, cause the processing device to: determine if the first detected object is traversed over by a fused object during a detection  window based on the static status of the first detected object indicating that the first detected object is static, the previously detected traversable status of the first detected object indicating that the first detected object is traversable, and the displacement of the first detected object with respect to the previous detection frame is equal to or less than the reference value, wherein the detection window includes a number of consecutive frames that include the current detection frame and one or more previous detection frames; determine the first detected object is not omitted based on the first detected object is determined as not traversed over by the fused object; and determine the first detected object is omitted based on the first detected object is determined as traversed over by the fused object.

[0130] Clause 38. The non-transitory computer-readable medium of any of clauses 31 to 34, wherein the instructions that cause the processing device to determine whether the first detected object is omitted in the current sensor fusion based object detection session comprises instructions that, when executed by the processing device, cause the processing device to: determine if the first detected object is traversed over by a fused object during a detection window based on the static status of the first detected object indicating that the first detected object is static and the previously detected traversable status of the first detected object indicating that the first detected object is not traversable, wherein the detection window includes a number of consecutive frames that include the current detection frame and one or more previous detection frames; determine the first detected object is not omitted based on the first detected object is determined as not traversed over by the fused object; and determine the first detected object is omitted based on the first detected object is determined as traversed over by the fused object.

[0131] Clause 39. The non-transitory computer-readable medium of clause 38, wherein: the first detected object is determined as traversed over by the fused object during the detection window in a case that a relationship between the first detected object and the fused object demonstrates, consecutively in a chronological order, a non-overlapping phase, followed by an overlapping phase, and followed by another non-overlapping phase.

[0132] Clause 40. The non-transitory computer-readable medium of any of clauses 31 to 39, wherein: the first detected object is identifiable based on an object identifier included in the first set of detection information, and the first detected object is not a newly detected object based on an age of the object identifier being continuous over a number of  consecutive frames that includes the current detection frame and one or more previous detection frames.

[0133] Those of skill in the art will appreciate that information and signals may be represented using any of a variety of different technologies and techniques. For example, data, instructions, commands, information, signals, bits, symbols, and chips that may be referenced throughout the above description may be represented by voltages, currents, electromagnetic waves, magnetic fields or particles, optical fields or particles, or any combination thereof.

[0134] Further, those of skill in the art will appreciate that the various illustrative logical blocks, modules, circuits, and algorithm steps described in connection with the aspects disclosed herein may be implemented as electronic hardware, computer software, or combinations of both. To clearly illustrate this interchangeability of hardware and software, various illustrative components, blocks, modules, circuits, and steps have been described above generally in terms of their functionality. Whether such functionality is implemented as hardware or software depends upon the particular application and design constraints imposed on the overall system. Skilled artisans may implement the described functionality in varying ways for each particular application, but such implementation decisions should not be interpreted as causing a departure from the scope of the present disclosure.

[0135] The various illustrative logical blocks, modules, and circuits described in connection with the aspects disclosed herein may be implemented or performed with a general purpose processor, a DSP, an ASIC, an FPGA, or other programmable logic device, discrete gate or transistor logic, discrete hardware components, or any combination thereof designed to perform the functions described herein. A general purpose processor may be a microprocessor, but in the alternative, the processor may be any conventional processor, controller, microcontroller, or state machine. A processor may also be implemented as a combination of computing devices, e.g., a combination of a DSP and a microprocessor, a plurality of microprocessors, one or more microprocessors in conjunction with a DSP core, or any other such configuration.

[0136] The methods, sequences and / or algorithms described in connection with the aspects disclosed herein may be embodied directly in hardware, in a software module executed by a processor, or in a combination of the two. A software module may reside in random  access memory (RAM) , flash memory, read-only memory (ROM) , erasable programmable ROM (EPROM) , electrically erasable programmable ROM (EEPROM) , registers, hard disk, a removable disk, a CD-ROM, or any other form of storage medium known in the art. An example storage medium is coupled to the processor such that the processor can read information from, and write information to, the storage medium. In the alternative, the storage medium may be integral to the processor. The processor and the storage medium may reside in an ASIC. The ASIC may reside in a user terminal (e.g., UE) . In the alternative, the processor and the storage medium may reside as discrete components in a user terminal.

[0137] In one or more example aspects, the functions described may be implemented in hardware, software, firmware, or any combination thereof. If implemented in software, the functions may be stored on or transmitted over as one or more instructions or code on a computer-readable medium. Computer-readable media includes both computer storage media and communication media including any medium that facilitates transfer of a computer program from one place to another. A storage media may be any available media that can be accessed by a computer. By way of example, and not limitation, such computer-readable media can comprise RAM, ROM, EEPROM, CD-ROM or other optical disk storage, magnetic disk storage or other magnetic storage devices, or any other medium that can be used to carry or store desired program code in the form of instructions or data structures and that can be accessed by a computer. Also, any connection is properly termed a computer-readable medium. For example, if the software is transmitted from a website, server, or other remote source using a coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL) , or wireless technologies such as infrared, radio, and microwave, then the coaxial cable, fiber optic cable, twisted pair, DSL, or wireless technologies such as infrared, radio, and microwave are included in the definition of medium. Disk and disc, as used herein, includes compact disc (CD) , laser disc, optical disc, digital versatile disc (DVD) , floppy disk and Blu-ray disc where disks usually reproduce data magnetically, while discs reproduce data optically with lasers. Combinations of the above should also be included within the scope of computer-readable media.

[0138] While the foregoing disclosure shows illustrative aspects of the disclosure, it should be noted that various changes and modifications could be made herein without departing  from the scope of the disclosure as defined by the appended claims. For example, the functions, steps and / or actions of the method claims in accordance with the aspects of the disclosure described herein need not be performed in any particular order. Further, no component, function, action, or instruction described or claimed herein should be construed as critical or essential unless explicitly described as such. Furthermore, as used herein, the terms “set, ” “group, ” and the like are intended to include one or more of the stated elements. Also, as used herein, the terms “has, ” “have, ” “having, ” “comprises, ” “comprising, ” “includes, ” “including, ” and the like does not preclude the presence of one or more additional elements (e.g., an element “having” A may also have B) . Further, the phrase “based on” is intended to mean “based, at least in part, on” unless explicitly stated otherwise. Also, as used herein, the term “or” is intended to be inclusive when used in a series and may be used interchangeably with “and / or, ” unless explicitly stated otherwise (e.g., if used in combination with “either” or “only one of” ) or the alternatives are mutually exclusive (e.g., “one or more” should not be interpreted as “one and more” ) . Furthermore, although components, functions, actions, and instructions may be described or claimed in the singular, the plural is contemplated unless limitation to the singular is explicitly stated. Accordingly, as used herein, the articles “a, ” “an, ” “the, ” and “said” are intended to include one or more of the stated elements. Additionally, as used herein, the terms “at least one” and “one or more” encompass “one” component, function, action, or instruction performing or capable of performing a described or claimed functionality and also “two or more” components, functions, actions, or instructions performing or capable of performing a described or claimed functionality in combination.

Claims

1.A method of sensor fusion based object detection performed by a processing device, the method comprising:obtaining a first set of detection information for a current detection frame based on a first sensing technology, the first set of detection information indicating a first detected object;obtaining a second set of detection information for the current detection frame based on a second sensing technology;determining whether the first detected object is omitted in a current sensor fusion based object detection session for the current detection frame based on:a static status of the first detected object,a previously detected traversable status of the first detected object,a displacement of the first detected object with respect to a previous detection frame,a currently detected traversable status of the first detected object, orany combination thereof; andincluding or omitting the first set of detection information and including or omitting the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on the determination.2.The method of claim 1, further comprising:including the first set of detection information and including the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on the first detected object being determined as not omitted; oromitting the first set of detection information and including the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on the first detected object being determined as omitted.3.The method of claim 1, wherein:the first sensing technology is based on radio detection or laser detection, andthe second sensing technology is based on vision detection.4.The method of claim 1, wherein the determining whether the first detected object is omitted in the current sensor fusion based object detection session comprises:determining the first detected object is not omitted based on the static status of the first detected object indicating that the first detected object is static, the previously detected traversable status of the first detected object indicating that the first detected object is traversable, and the displacement of the first detected object with respect to the previous detection frame is greater than a reference value.5.The method of claim 4, wherein the determining whether the first detected object is omitted in the current sensor fusion based object detection session comprises:determining if the first detected object is traversed over by a fused object during a detection window based on the static status of the first detected object indicating that the first detected object is static, the previously detected traversable status of the first detected object indicating that the first detected object is traversable, and the displacement of the first detected object with respect to the previous detection frame is equal to or less than the reference value, wherein the detection window includes a number of consecutive frames that include the current detection frame and one or more previous detection frames;determining the first detected object is not omitted based on the first detected object is determined as not traversed over by the fused object; anddetermining the first detected object is omitted based on the first detected object is determined as traversed over by the fused object.6.The method of claim 1, wherein the determining whether the first detected object is omitted in the current sensor fusion based object detection session comprises:determining if the first detected object is traversed over by a fused object during a detection window based on the static status of the first detected object indicating that the first detected object is static and the previously detected traversable status of the first detected object indicating that the first detected object is not traversable, wherein the detection window includes a number of consecutive frames that include the current detection frame and one or more previous detection frames;determining the first detected object is not omitted based on the first detected object is determined as not traversed over by the fused object; anddetermining the first detected object is omitted based on the first detected object is determined as traversed over by the fused object.7.The method of claim 6, wherein:the first detected object is determined as traversed over by the fused object during the detection window in a case that a relationship between the first detected object and the fused object demonstrates, consecutively in a chronological order, a non-overlapping phase, followed by an overlapping phase, and followed by another non-overlapping phase.8.A processing device for sensor fusion based object detection, comprising:one or more memories; andone or more processors communicatively coupled to the one or more memories, the one or more processors, either alone or in combination, configured to:obtain a first set of detection information for a current detection frame based on a first sensing technology, the first set of detection information indicating a first detected object;obtain a second set of detection information for the current detection frame based on a second sensing technology;determine whether the first detected object is omitted in a current sensor fusion based object detection session for the current detection frame based on:a static status of the first detected object,a previously detected traversable status of the first detected object,a displacement of the first detected object with respect to a previous detection frame,a currently detected traversable status of the first detected object, orany combination thereof; andinclude or omitting the first set of detection information and including or omitting the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on a determination of whether the first detected object is omitted in the current sensor fusion based object detection session.9.The processing device of claim 8, wherein the one or more processors, either alone or in combination, are further configured to:include the first set of detection information and including the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on the first detected object being determined as not omitted.10.The processing device of claim 8, wherein the one or more processors, either alone or in combination, are further configured to:omit the first set of detection information and including the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on the first detected object being determined as omitted.11.The processing device of claim 8, wherein:the first sensing technology is based on radio detection or laser detection, andthe second sensing technology is based on vision detection.12.The processing device of claim 8, wherein the one or more processors, either alone or in combination, are further configured to:determine the first detected object is not omitted based on the static status of the first detected object indicating that the first detected object is not static.13.The processing device of claim 8, wherein the one or more processors, either alone or in combination, are further configured to:determine the first detected object is not omitted based on the static status of the first detected object indicating that the first detected object is static, the previously detected traversable status of the first detected object indicating that the first detected object is traversable, and the displacement of the first detected object with respect to the previous detection frame is greater than a reference value.14.The processing device of claim 13, wherein the one or more processors, either alone or in combination, are further configured to:determine if the first detected object is traversed over by a fused object during a detection window based on the static status of the first detected object indicating that the first detected object is static, the previously detected traversable status of the first detected object indicating that the first detected object is traversable, and the displacement of the first detected object with respect to the previous detection frame is equal to or less than the reference value, wherein the detection window includes a number of consecutive frames that include the current detection frame and one or more previous detection frames;determine the first detected object is not omitted based on the first detected object is determined as not traversed over by the fused object; anddetermine the first detected object is omitted based on the first detected object is determined as traversed over by the fused object.15.The processing device of claim 8, wherein the one or more processors, either alone or in combination, are further configured to:determine if the first detected object is traversed over by a fused object during a detection window based on the static status of the first detected object indicating that the first detected object is static and the previously detected traversable status of the first detected object indicating that the first detected object is not traversable, wherein the detection window includes a number of consecutive frames that include the current detection frame and one or more previous detection frames;determine the first detected object is not omitted based on the first detected object is determined as not traversed over by the fused object; anddetermine the first detected object is omitted based on the first detected object is determined as traversed over by the fused object.16.The processing device of claim 15, wherein:the first detected object is determined as traversed over by the fused object during the detection window in a case that a relationship between the first detected object and the fused object demonstrates, consecutively in a chronological order, a non-overlapping phase, followed by an overlapping phase, and followed by another non-overlapping phase.17.The processing device of claim 8, wherein:the first detected object is identifiable based on an object identifier included in the first set of detection information, andthe first detected object is not a newly detected object based on an age of the object identifier being continuous over a number of consecutive frames that includes the current detection frame and one or more previous detection frames.18.A non-transitory computer-readable medium storing computer-executable instructions that, when executed by a processing device for sensor fusion based object detection, cause the processing device to:obtain a first set of detection information for a current detection frame based on a first sensing technology, the first set of detection information indicating a first detected object;obtain a second set of detection information for the current detection frame based on a second sensing technology;determine whether the first detected object is omitted in a current sensor fusion based object detection session for the current detection frame based on:a static status of the first detected object,a previously detected traversable status of the first detected object,a displacement of the first detected object with respect to a previous detection frame,a currently detected traversable status of the first detected object, orany combination thereof; andinclude or omitting the first set of detection information and including or omitting the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on a determination of whether the first detected object is omitted in the current sensor fusion based object detection session.19.The non-transitory computer-readable medium of claim 18, further comprising computer-executable instructions that, when executed by the processing device, cause the processing device to:include the first set of detection information and including the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on the first detected object being determined as not omitted; oromit the first set of detection information and including the second set of detection information in the current sensor fusion based object detection session for the current detection frame based on the first detected object being determined as omitted.20.The non-transitory computer-readable medium of claim 18, wherein:the first sensing technology is based on radio detection or laser detection, andthe second sensing technology is based on vision detection.

Citation Information

Patent Citations

  • Vehicle passable area confirmation method, device and equipment and storage medium

    CN117125074A

  • Sensor data based map creation and localization for autonomous systems and applications

    US20230294726A1

  • Data selection

    WO2024063860A1