Lidar system operation control

Abstract

A system for controlling operation of a LiDAR system. The system comprises one or more processors configured to: receive LiDAR data associated with an environment, generate an attention map associated with the environment based at least in part on the LiDAR data, determine one or more scan parameters for the LiDAR system based at least in part on the attention map, and generate a signal for causing the LiDAR system to perform scanning based at least in part on the one or more scan parameters. The attention map comprises scan weights for different regions of the environment. The one or more scan parameters are associated with a scan pattern.

Description

LIDAR SYSTEM OPERATION CONTROLTECHNICAL FIELD

[0001] The invention relates to light detection and ranging (LiDAR) system operation control.BACKGROUND

[0002] LiDAR is a remote sensing technology that uses light (typically laser) to measure distances and create three-dimensional (3D) representations of environments. LiDAR is used in various fields including autonomous vehicles, robotics, smart cities, etc.

[0003] One problem associated with some existing LiDAR systems is their inability to adaptively capture dynamic and / or complex scenes of environments. Ideally, in the field of robotics, robots navigating warehouses and factories should focus on high-activity zones with potential safety hazard, and in the field of autonomous vehicles, autonomous vehicles should prioritize detecting moving pedestrians over static roadside structures. In practice, however, some existing LiDAR systems can only use fixed, constant scan patterns for scanning the environments and this may limit their ability to adaptively scan and prioritize critical areas. Further, such inefficiency may reduce perception accuracy, create blind spots, and / or may cause significant degradation in downstream task performance. In one example, some existing microelectromechanical system (MEMS) based LiDAR systems are arranged to scan an environment by rotating reflective micro-mirror (s) at a constant speed to steer a light beam (e.g., laser beam) across the area. The constant rotation speed of the micro-mirror (s) may result in an evenly sparse point cloud regardless of environmental characteristic (s) and / or specific application requirement (s) .

[0004] Other problems associated with some existing LiDAR systems may include, e.g., their inability to achieve end-to-end adaptive LiDAR perception, their lack of fine-grained control, their lack of (or limited) scalability or mobility, etc.SUMMARY

[0005] In a first aspect, there is provided a system for controlling operation of a light detection and ranging (LiDAR) system. The system comprises one or more processors configured to: receive LiDAR data associated with an environment, generate an attention map associated with the environment based at least in part on the LiDAR data, determine one or more scan parameters for the LiDAR system based at least in part on the attention map, and generate a signal for causing the LiDAR system to perform scanning based at least in part on the one or more scan parameters. The attention map comprises scan weights for different regions of the environment. The one or more scan parameters are associated with a scan pattern.

[0006] In one embodiment of the first aspect, the LiDAR data comprises a point cloud (3D point cloud) associated with the environment.

[0007] In one embodiment of the first aspect, the point cloud has a generally uniform resolution or point density.

[0008] In one embodiment of the first aspect, the point cloud has a non-uniform resolution or point density.

[0009] In one embodiment of the first aspect, the LiDAR data is obtained by the LiDAR system.

[0010] In one embodiment of the first aspect, the one or more processors are configured to generate the attention map based at least in part on processing the LiDAR data. The processing of the LiDAR data may be arranged to determine the scan weights for different regions of the environment based at least in part on a characteristic of the environment and / or an application requirement.

[0011] In one embodiment of the first aspect, the processing of the LiDAR data comprises: determining a range weight wd for each of a plurality of data sets of the LiDAR data, determining entropy weights we for the LiDAR data, and determining the scan weights for different regions of the environment based at least in part on the range weights and the entropy weights. Each of the data set may comprise a plurality of LiDAR data points and is associated with a respective part of the environment.

[0012] In one embodiment of the first aspect, for each of the plurality of data sets, the range weight wd is associated with a length l and a width w spanned by the corresponding LiDAR data points.

[0013] In one embodiment of the first aspect, for each of the plurality of data sets, the range weight wd is defined based at least in part on:

[0014] where Δθh is a horizontal spanning angle associated with the corresponding LiDAR data points, Δθv is a vertical spanning angle associated with the corresponding LiDAR data points, d corresponds to a distance of a centroid associated with the corresponding LiDAR data points, and dmax corresponds to a scan range limit.

[0015] In one embodiment of the first aspect, the entropy weights we are associated with mobility or shape complexity of one or more objects or structures in the environment.

[0016] In one embodiment of the first aspect, determining the entropy weights we comprises: processing the LiDAR data to determine LiDAR data points associated with planes and LiDAR data points associated with non-planes; for each of the planes, determining a respective entropy weight for the corresponding set of LiDAR data points based at least in part on a first entropy computation method; and for each of the non-planes, determining a respective entropy weight for the corresponding set of LiDAR data points based at least in part on a second entropy computation method. The second entropy computation method is different from the first entropy computation method.

[0017] In one embodiment of the first aspect, in the first entropy computation method, the entropy weight we for each respective plane is associated with e2 log K

[0018] where K is a voxelization dimension associated with the corresponding LiDAR data points.

[0019] In one embodiment of the first aspect, in the second entropy computation method, the entropy weight we  for each respective non-plane is associated with

[0020] where K is a voxelization dimension associated with the corresponding LiDAR data points, L represents number of LiDAR data points associated with the non-plane, and nk denotes number of LiDAR data points in the k-th voxel.

[0021] In one embodiment of the first aspect, the processing of the LiDAR data further comprises determining an application weight wa for the LiDAR data. The application weight is associated with an application requirement of the LiDAR data. Determining the scan weights for different regions of the environment may comprise determining the scan weights for different regions of the environment based at least in part on the range weights, the entropy weights, and the application weight.

[0022] In one embodiment of the first aspect, the one or more processors are configured to: determine the one or more scan parameters for the LiDAR system based at least in part on processing the attention map. The processing of the attention map may be arranged to determine respective scan time for each of the different regions of the environment based at least in part on the scan weights.

[0023] In one embodiment of the first aspect, the processing of the attention map comprises: solving an optimization problem with an objective to optimize the scan times for the different regions of the environment, to determine the one or more scan parameters for the LiDAR system based at least in part on the attention map. For example, the objective may optimize a weighted sum of the scan times for the different regions of the environment.

[0024] In one embodiment of the first aspect, the optimization problem is a constrained optimization problem that comprises at least one of: a constraint associated with a kinematic limit of the LiDAR system, a constraint associated with a duration of a LiDAR frame, a constraint associated with a transition duration for transitioning between adjacent regions of the environment, or a constraint associated with LiDAR application.

[0025] In one embodiment of the first aspect, the optimization problem is a convex optimization problem.

[0026] In one embodiment of the first aspect, the LiDAR system comprises a scanning mechanism, and the signal is arranged to control operation of the scanning mechanism.

[0027] In one embodiment of the first aspect, the scanning mechanism comprises a scanner, and the signal is arranged to control operation of the scanner. In one embodiment of the first aspect, the scanner comprises one or more scan mirrors, and the signal is arranged to control movement of the one or more scan mirrors.

[0028] In one embodiment of the first aspect, the LiDAR system is a microelectromechanical system (MEMS) based LiDAR system, and the one or more scan mirrors comprise one or more MEMS scan mirrors.

[0029] In one embodiment of the first aspect, the LiDAR system is a solid-state LiDAR system.

[0030] In one embodiment of the first aspect, the LiDAR system is an optical phased array based LiDAR system with an electronic beam-steering mechanism for performing scanning.

[0031] In one embodiment of the first aspect, the one or more processors are configured to generate the signal based at least in part on processing the one or more scan parameters using a control function for smoothing the movement of the scanner. The control function may be arranged to adjust movement speed of the scanner using a polynomial function, such as a quadratic function, so as to smoothen the transition of movement speed of the scanner between two different regions of the environment with different scan weights. The control function may be a frequency-variable control function.

[0032] In one embodiment of the first aspect, the one or more processors are configured to provide or output the signal to the LiDAR system, e.g., to a scanning mechanism of the LiDAR system. The scanning mechanism may be a mechanical scanning mechanism, an electronic scanning mechanism, or other types of scanning mechanism.

[0033] In a second aspect, there is provided a LiDAR system comprising the system of the first aspect.

[0034] The LiDAR system may be a MEMS based LiDAR system, a solid-state LiDAR system such as an optical phased array based LiDAR system, etc. In one embodiment of the second aspect, the LiDAR system further comprises a scanning mechanism, and the system is arranged to control operation of the scanning mechanism. The scanning mechanism may be a mechanical scanning mechanism (e.g., scanner) , an electronic scanning mechanism (e.g., optical phased array) , etc.

[0035] In a third aspect, there is provided a LiDAR system comprising a scanning mechanism and one or more processors. The scanning mechanism is operable to scan an environment with a first scan pattern for obtaining a first set of LiDAR data of the environment and scan the environment with a second scan pattern for obtaining a second set of LiDAR data of the environment. The one or more processors are configured to: receive the first set of LiDAR data, generate an attention map associated with the environment based at least in part on the first set of LiDAR data, determine the second scan pattern based at least in part on the attention map, and generate a signal for causing the scanning mechanism to perform scanning with the second scan pattern. The attention map comprises scan weights for different regions of the environment. The scanning mechanism may be a mechanical scanning mechanism (e.g., scanner) , an electronic scanning mechanism (e.g., optical phased array) , etc. The one or more processors may perform the processing in real-time such that the scanning mechanism performs scanning with the first scan pattern and the second scan pattern successively.

[0036] In one embodiment of the third aspect, the scanning mechanism is operable to scan the environment with a uniform scan pattern at least once (e.g., twice or more) , and then scan the environment with an adaptive scan pattern for at least once (e.g., twice or more) . In one embodiment of the third aspect, the one or more processors are configured to: receive at least one base point cloud frame (generated based on the uniform scan) and at least one further point cloud frame (generated based on each adaptive scan) . The at least one base point cloud frame and at least one further point cloud frame may together define a point cloud frame group. The one or more processors may be configured to: generate an initial attention map associated with the environment based at least in part on the at least one base point cloud frame, and update (e.g., iteratively update) the attention map based at least in part on the at least one further point cloud frame. The update of the attention map may be based at least in part on the last / previous point cloud frame. The one or more processors may be configured to, for each update of the attention map: determine an updated scan pattern based at least in part on the update of the attention map, and generate a corresponding signal for causing the scanning mechanism to perform scanning with the updated scan pattern. In one embodiment, the scanning by the scanning mechanism and the processing by the processor (e.g., scan pattern determination) may be performed in parallel, to enable real-time operation.

[0037] In a fourth aspect, there is provided a method for controlling operation of a light detection and ranging (LiDAR) system. The method comprises: receiving LiDAR data associated with an environment, generating an attention map associated with the environment based at least in part on the LiDAR data, determining one or more scan parameters for the LiDAR system based at least in part on the attention map, and generating a signal for causing the LiDAR system to perform scanning based at least in part on the one or more scan parameters. The attention map comprises scan weights for different regions of the environment. The one or more scan parameters are associated with a scan pattern.

[0038] In one embodiment of the fourth aspect, the LiDAR data comprises a point cloud (3D point cloud) associated with the environment.

[0039] In one embodiment of the fourth aspect, the point cloud has a generally uniform resolution or point density.

[0040] In one embodiment of the fourth aspect, the point cloud has a non-uniform resolution or point density.

[0041] In one embodiment of the fourth aspect, the LiDAR data is obtained by the LiDAR system.

[0042] In one embodiment of the fourth aspect, the method comprises generating the attention map based at least in part on processing the LiDAR data. The processing of the LiDAR data may be arranged to determine the scan weights for different regions of the environment based at least in part on a characteristic of the environment and / or an application requirement.

[0043] In one embodiment of the fourth aspect, the processing of the LiDAR data comprises: determining a range weight wd for each of a plurality of data sets of the LiDAR data, determining entropy weights we for the LiDAR data, and determining the scan weights for different regions of the environment based at least in part on the range weights and the entropy weights. Each of the data set may comprise a plurality of LiDAR data points and is associated with a respective part of the environment.

[0044] In one embodiment of the fourth aspect, for each of the plurality of data sets, the range weight wd is associated with a length l and a width w spanned by the corresponding LiDAR data points.

[0045] In one embodiment of the fourth aspect, for each of the plurality of data sets, the range weight wd is defined based at least in part on:

[0046] where Δθh is a horizontal spanning angle associated with the corresponding LiDAR data points, Δθv is a vertical spanning angle associated with the corresponding LiDAR data points, d corresponds to a distance of a centroid associated with the corresponding LiDAR data points, and dmax corresponds to a scan range limit.

[0047] In one embodiment of the fourth aspect, the entropy weights we are associated with mobility or shape complexity of one or more objects or structures in the environment.

[0048] In one embodiment of the fourth aspect, determining the entropy weights we comprises: processing the LiDAR data to determine LiDAR data points associated with planes and LiDAR data points associated with non-planes; for each of the planes, determining a respective entropy weight for the corresponding set of LiDAR data points based at least in part on a first entropy computation method; and for each of the non-planes, determining a respective entropy weight for the corresponding set of LiDAR data points based at least in part on a second entropy computation method. The second entropy computation method is different from the first entropy computation method.

[0049] In one embodiment of the fourth aspect, in the first entropy computation method, the entropy weight we for each respective plane is associated with e2 log K

[0050] where K is a voxelization dimension associated with the corresponding LiDAR data points.

[0051] In one embodiment of the fourth aspect, in the second entropy computation method, the entropy weight we for each respective non-plane is associated with

[0052] where K is a voxelization dimension associated with the corresponding LiDAR data points, L represents number of LiDAR data points associated with the non-plane, and nk denotes number of LiDAR data points in the k-th voxel.

[0053] In one embodiment of the fourth aspect, the processing of the LiDAR data further comprises determining an application weight wa for the LiDAR data. The application weight is associated with an application requirement of the LiDAR data. Determining the scan weights for different regions of the environment may comprise determining the scan weights for different regions of the environment based at least in part on the range weights, the entropy weights, and the application weight.

[0054] In one embodiment of the fourth aspect, the method comprises: determining the one or more scan parameters for the LiDAR system based at least in part on processing the attention map. The processing of the attention map may be arranged to determine respective scan time for each of the different regions of the environment based at least in part on the scan weights.

[0055] In one embodiment of the fourth aspect, the processing of the attention map comprises: solving an optimization problem with an objective to optimize the scan times for the different regions of the environment, to determine the one or more scan parameters for the LiDAR system based at least in part on the attention map. For example, the objective may optimize a weighted sum of the scan times for the different regions of the environment.

[0056] In one embodiment of the fourth aspect, the optimization problem is a constrained optimization problem that comprises at least one of: a constraint associated with a kinematic limit of the LiDAR system, a constraint associated with a duration of a LiDAR frame, a constraint associated with a transition duration for transitioning between adjacent regions of the environment, or a constraint associated with LiDAR application.

[0057] In one embodiment of the fourth aspect, the optimization problem is a convex optimization problem.

[0058] In one embodiment of the fourth aspect, the LiDAR system comprises a scanning mechanism, and the signal is arranged to control operation of the scanning mechanism.

[0059] In one embodiment of the fourth aspect, the scanning mechanism comprises a scanner, and the signal is arranged to control operation of the scanner.

[0060] In one embodiment of the fourth aspect, the scanner comprises one or more scan mirrors, and the signal is arranged to control movement of the one or more scan mirrors.

[0061] In one embodiment of the fourth aspect, the LiDAR system is a MEMS based LiDAR system, and the one or more scan mirrors comprise one or more MEMS scan mirrors.

[0062] In one embodiment of the fourth aspect, the LiDAR system is a solid-state LiDAR system.

[0063] In one embodiment of the fourth aspect, the LiDAR system is an optical phased array based LiDAR system with an electronic beam-steering mechanism for performing scanning.

[0064] In one embodiment of the fourth aspect, the method comprises: generating the signal based at least in part on processing the one or more scan parameters using a control function for smoothing the movement of the scanner. The control function may be arranged to adjust movement speed of the scanner using a polynomial function, such as a quadratic function, so as to smoothen the transition of movement speed of the scanner between two different regions of the environment with different scan weights. The control function may be a frequency-variable control function.

[0065] In a fifth aspect, there is provided a system comprising one or more processors and one or more memory storing a computer program configured to be executed by the one or more processors. The computer program comprises instructions for performing or facilitating performing of the method of the fourth aspect.

[0066] In a sixth aspect, there is provided a carrier medium carrying computer readable instructions arranged to cause a computer to perform or facilitate performing of the method of the fourth aspect. In one example, the carrier medium comprises a computer-readable medium. In one example, the computer-readable medium is a non-transitory computer-readable storage medium, which stores a computer program configured to be executed by a computer. The computer program comprises instructions for performing or facilitating performing of the method of the fourth aspect.

[0067] In a seventh aspect, there is provided a computer program comprising instructions which, when the program is executed by a computer, cause the computer to carry out the computer-method of the fourth aspect.

[0068] Other features and aspects will become apparent by consideration of the following detailed description and the accompanying drawings. Any feature (s) described herein in relation to one aspect or embodiment may be combined with any other feature (s) described herein in relation to any other aspect or embodiment, as appropriate and applicable.

[0069] As used herein, unless otherwise specified, terms of degree such that “generally” , “about” , “substantially” , or the like, are intended to account for one or more of the following: manufacture tolerance, degradation, trend, tendency, imperfect practical condition (s) , etc.BRIEF DESCRIPTION OF THE DRAWINGS

[0070] Some embodiments will now be described, with reference to the accompanying drawings, in which:

[0071] Figure 1 is a schematic diagram illustrating a system including a LiDAR system and a control system in one embodiment;

[0072] Figure 2 is a block diagram of a LiDAR system in one embodiment;

[0073] Figure 3 is a block diagram of a control system in one embodiment;

[0074] Figure 4A is a graph showing uniform movement of a micro-mirror of a MEMS based LiDAR system;

[0075] Figure 4B is an image of the corresponding point cloud captured based on the movement of the micro-mirror in Figure 4A;

[0076] Figure 4C is a graph showing adaptive movement of a micro-mirror of a MEMS based LiDAR system in one embodiment;

[0077] Figure 4D is an image of the corresponding point cloud captured based on the movement of the micro-mirror in Figure 4C;

[0078] Figure 5 is a schematic diagram illustrating a working principle of a MEMS based LiDAR system in one embodiment;

[0079] Figure 6A is an image of a point cloud of an environment obtained based on a uniform scan;

[0080] Figure 6B is an image of a point cloud of the environment obtained based on an adaptive scan in one embodiment;

[0081] Figure 7A is a schematic diagram of a LiDAR system in one embodiment;

[0082] Figure 7B is a schematic diagram illustrating an operation of a LiDAR system of in one embodiment;

[0083] Figure 8A is a graph showing an angular trajectory of a micro-mirror of a MEMS based LiDAR system in one embodiment;

[0084] Figure 8B is a graph showing another angular trajectory of a micro-mirror of a MEMS based LiDAR system in one embodiment;

[0085] Figure 9A is a set of graphs showing tilting angle (triangular wave) , velocity, and acceleration of a micro-mirror of a MEMS based LiDAR system for horizontal scanning in one embodiment;

[0086] Figure 9B is a set of graphs showing tilting angle (adaptive without smoothing) , velocity, and acceleration of a micro-mirror of a MEMS based LiDAR system for horizontal scanning in one embodiment;

[0087] Figure 9C is a set of graphs showing tilting angle (adaptive with smoothing) , velocity, and acceleration of a micro-mirror of a MEMS based LiDAR system for horizontal scanning in one embodiment;

[0088] Figure 10A is an attention map of an environment generated by a LiDAR system in one embodiment;

[0089] Figure 10B is an RGB image of the environment corresponding to the attention map of Figure 10A;

[0090] Figure 11 is a photograph of a LiDAR system in one embodiment;

[0091] Figure 12A is an image of a point cloud obtained by a LiDAR system based on uniform scanning of an environment with a model sports utility vehicle (SUV) ;

[0092] Figure 12B is an image of a point cloud obtained by the LiDAR system based on adaptive scanning of the environment with the model SUV in one embodiment;

[0093] Figure 12C is an RGB image of the environment with the model SUV corresponding to the point clouds of Figures 12A and 12B;

[0094] Figure 12D is an image of a point cloud obtained by the LiDAR system based on uniform scanning of an environment with a model car;

[0095] Figure 12E is an image of a point cloud obtained by the LiDAR system based on adaptive scanning of the environment with the model car in one embodiment;

[0096] Figure 12F is an RGB image of the environment with the model car corresponding to the point clouds of Figures 12D and 12E;

[0097] Figure 12G is an image of a point cloud obtained by the LiDAR system based on uniform scanning of an environment with a model pedestrian;

[0098] Figure 12H is an image of a point cloud obtained by the LiDAR system based on adaptive scanning of the environment with the model pedestrian in one embodiment;

[0099] Figure 12I is an RGB image of the environment with the model pedestrian corresponding to the point clouds of Figures 12G and 12H;

[0100] Figure 13A is an RGB image of an environment with two model cars;

[0101] Figure 13B is an image of a point cloud obtained by a LiDAR system based on adaptive scanning of the environment of Figure 13A (with proximity weights) in one embodiment;

[0102] Figure 13C is an image of a point cloud obtained by the LiDAR system based on adaptive scanning of the environment of Figure 13A (without proximity weights) in one embodiment;

[0103] Figure 14 is a graph showing variation of point cloud density (point density) for different distances (relative to a LiDAR system) obtained by the LiDAR system based on adaptive scanning of an environment (for the case with proximity weights and the case without proximity weights) ;

[0104] Figure 15 is a graph showing variation of point cloud density (point density) for different number of objects in an environment obtained by the LiDAR system (for the case with adaptive scanning of the environment and for the case with uniform scanning of the environment) ;

[0105] Figure 16 is a graph showing variation of point cloud density (point density) for a vehicle travelling at different speeds in an environment obtained by a LiDAR system (for the case with adaptive scanning of the environment and for the case with uniform scanning of the environment) ;

[0106] Figure 17A is an image of a point cloud obtained by a LiDAR system that scans an environment using uniform scanning;

[0107] Figure 17B is an image of a point cloud obtained by a LiDAR system that scans an environment using Var-FoV scanning;

[0108] Figure 17C is an image of a point cloud obtained by a LiDAR system that scans an environment using AD-Scan scanning;

[0109] Figure 17D is an image of a point cloud obtained by a LiDAR system that scans an environment using adaptive scanning in one embodiment;

[0110] Figure 18 is an RGB image of the environment corresponding to the point clouds of Figures 17A to 17D;

[0111] Figure 19 is a graph showing variation of mean average precision (mAP) for different distances (relative to a LiDAR system) obtained by the LiDAR system based on adaptive scanning of an environment (for the case with proximity weights and the case without proximity weights) ;

[0112] Figure 20A is a graph showing variation of latency (time) for different number of scanning segments obtained by a LiDAR system (considering entropy, range, application, and optimization operations) ;

[0113] Figure 20B is a graph showing variation of latency (time) for different point frequencies of the rangefinder of a LiDAR system (considering entropy, range, application, and optimization operations) ; and

[0114] Figure 21 is a block diagram of an information handling system in one embodiment.DETAILED DESCRIPTION

[0115] Embodiments disclosed herein relate to LiDAR system operation control, in particular LiDAR scanning parameter or scan pattern control. In some embodiments, there is provided a LiDAR system operation control technique, referred to as SmartLiDAR, that can enhance the efficiency and performance of LiDAR by adaptively optimizing scan focus. Unlike traditional LiDAR systems where the LiDAR hardware is unaware of operating environments and point cloud processing, SmartLiDAR features a controller that can dynamically adjust or adapt the LiDAR system scanning parameter (s) or scan pattern based on characteristics of the point cloud of the environment and / or specific requirements of downstream applications. In some embodiments, SmartLiDAR may enhance resolution in region (s) of interest of the environment. In some embodiments, SmartLiDAR may improve average precision for 3D object detection. In some embodiments, SmartLiDAR may introduce negligible extra energy consumption without significant affecting processing latency, hence may be suitable for real-time LiDAR applications.

[0116] Figures 4A and 4B illustrate uniform movement of a micro-mirror of a MEMS based LiDAR system and its corresponding point cloud. Figures 4C and 4D illustrate adaptive movement of the micro-mirror of the MEMS based LiDAR system based on SmartLiDAR and its corresponding point cloud. As shown in Figures 4A to 4D, instead of uniformly allocating scan time across all directions in the environment, SmartLiDAR may operate the micro-mirror to steer the laser and scan the environment by quickly sweeping through less critical areas while slowly traversing through more critical areas (the regions of interest) . This may enable intelligent resolution that concentrates sample points on key sample point distribution. In some implementations, the intelligent resolution can be achieved without expanding point cloud size or without extending scan time, thereby maintaining the same power consumption and frame rate.

[0117] The implementation of adaptive focus in a LiDAR system is not straightforward. For example, LiDAR performance can be highly dynamic depending on various environmental factors, including sensing range, object mobility, complexity of object shapes, etc., and these factors can vary substantially across the field-of-view (FoV) and over time. Thus, SmartLiDAR may need to be able to adapt scan focus effectively and efficiently to maintain optimal performance. For example, for MEMS based LiDAR system, the micro-mirror system of the MEMS based LiDAR system is subjected to strict kinematic limits. A mirror controller that arbitrarily adjusts the scan pattern without considering these constraints may cause severe point cloud distortions. Also, these constraints may pose a challenge in the optimization of scan focus in an environment with multiple regions of interest. Thus, in some cases, a trade-off between coverage and resolution may need to be carefully modelled and efficiently optimized.

[0118] Some embodiments disclosed herein provide a holistic design that is arranged to optimize LiDAR performance by considering (e.g., jointly considering) the limitations of LiDAR system hardware (e.g., micro-mirror hardware) , point cloud characteristics, and the requirements of specific LiDAR applications. Some embodiments disclosed herein provide a mirror controller based on a novel quadratic control function. The controller may be arranged to smooth the mirror rotation speed within the hardware’s kinematic limits, to enable software-defined scanning without distorting point clouds. Some embodiments disclosed herein provide an adaptive algorithm that can be used to map a dynamic environment and application requirements to the prioritized scan focus. The algorithm may be used to generate a fine-grained attention map, e.g., by explicitly modelling the relationship between scan intensity and point cloud characteristics. Some embodiments disclosed herein provide an efficient algorithm for generating optimal scan patterns from attention maps. The optimization of scan patterns may be formulated as a convex optimization problem with carefully designed objective function and constraints to ensure optimal performance in capturing complex scenes while meeting the various constraints of the LiDAR system. As an example, a SmartLiDAR based LiDAR system may be constructed using a rangefinder, a galvanometer, an FPGA-based mirror controller, and other optical components.

[0119] Figure 1 shows a system 100 in one embodiment. The system 100 includes a LiDAR system 102 and a control system 104 operable to control operation of the LiDAR system 102. In this embodiment, the control system 104 is external to and operably connected with the LiDAR system 102.

[0120] The LiDAR system 102 may be, e.g., a mechanical LiDAR system or a solid-state LiDAR system (such as a flash based LiDAR system, a microelectromechanical system (MEMS) based LiDAR system, or an optical phased array (OPA) based LiDAR system) . The LiDAR system 102 is operable to obtain LiDAR data of an environment where the LiDAR system is located. The LiDAR system 102 may travel in the environment. The LiDAR system 102 may be static or moving when obtaining the LiDAR data. The LiDAR system 102 includes a scanning mechanism. Depending on the specific type of the LiDAR system 102, the scanning mechanism may be a mechanical scanning mechanism, an electronic scanning mechanism, etc. For example, the scanning mechanism may include a scanner, one or more scan mirrors, one or more MEMS scan mirrors (for a MEMS based LiDAR system) , an electronic beam-steering mechanism (for an OPA based LiDAR system) , etc. The operation of the scanning mechanism may be controlled by the control system 104.

[0121] The control system 104 is configured to: receive LiDAR data associated with an environment, generate an attention map associated with the environment based at least in part on the LiDAR data, determine one or more scan parameters for the LiDAR system 102 based at least in part on the attention map, and generate a signal for causing the LiDAR system 102 to perform scanning based at least in part on the one or more scan parameters. The attention map may include scan weights for different regions of the environment. The one or more scan parameters are associated with a scan pattern. The control system 104 may be configured to provide or output the signal to the LiDAR system 102, e.g., to a scanning mechanism of the LiDAR system 102, to control operation of the scanning mechanism of the LiDAR system 102.

[0122] The LiDAR data may include a point cloud (3D point cloud) associated with the environment. The point cloud may have a generally uniform resolution or point density, or the point cloud may have a non-uniform resolution or point density. The LiDAR data may be obtained by the LiDAR system 102 or the LiDAR data may be obtained by another LiDAR system.

[0123] The control system 104 may be configured to generate the attention map based at least in part on processing the LiDAR data. The processing of the LiDAR data may be arranged to determine the scan weights for different regions of the environment based at least in part on a characteristic of the environment and / or an application requirement.

[0124] The LiDAR data may include multiple data sets. Each data set may include multiple LiDAR data points and may be associated with a respective part of the environment. The processing of the LiDAR data may include determining a range weight wd for each of the data sets of the LiDAR data, determining entropy weights we for the LiDAR data, and determining the scan weights for different regions of the environment based at least in part on the range weights and the entropy weights.

[0125] For each of the data sets, the range weight wd may be associated with a length l and a width w spanned by the corresponding LiDAR data points. For example, for each of the data sets, the range weight wd may be defined based at least in part on:  where Δθh is a horizontal spanning angle associated with the corresponding LiDAR data points, Δθv  is a vertical spanning angle associated with the corresponding LiDAR data points, d corresponds to a distance of a centroid associated with the corresponding LiDAR data points, and dmax corresponds to a scan range limit.

[0126] The entropy weights we may be associated with mobility or shape complexity of one or more objects or structures in the environment. For example, determining the entropy weights we may include processing the LiDAR data to determine LiDAR data points associated with planes and LiDAR data points associated with non-planes; for each of the planes, determining a respective entropy weight for the corresponding set of LiDAR data points based at least in part on a first entropy computation method; and for each of the non-planes, determining a respective entropy weight for the corresponding set of LiDAR data points based at least in part on a second entropy computation method different from the first entropy computation method.

[0127] For example, in the first entropy computation method, the entropy weight we for each respective plane may be associated with e2 log K, where K is a voxelization dimension associated with the corresponding LiDAR data points. For example, in the second entropy computation method, the entropy weight we for each respective non-plane is associated with where K is a voxelization dimension associated with the corresponding LiDAR data points, L represents number of LiDAR data points associated with the non-plane, and nk denotes number of LiDAR data points in the k-th voxel.

[0128] The processing of the LiDAR data may further include determining an application weight wa for the LiDAR data. The application weight may be associated with an application requirement of the LiDAR data. Determining the scan weights for different regions of the environment may include determining the scan weights for different regions of the environment based at least in part on the range weights, the entropy weights, and the application weight.

[0129] The control system 104 may be configured to determine the one or more scan parameters for the LiDAR system based at least in part on processing the attention map. The processing of the attention map may be arranged to determine respective scan time for each of the different regions of the environment based at least in part on the scan weights. The processing of the attention map may include solving an optimization problem with an objective (or objective function) to optimize the scan times for the different regions of the environment, to determine the one or more scan parameters for the LiDAR system based at least in part on the attention map. For example, the objective may optimize a weighted sum of the scan times for the different regions of the environment. The optimization problem may be a constrained optimization problem that includes at least one of: a constraint associated with a kinematic limit of the LiDAR system, a constraint associated with a duration of a LiDAR frame, a constraint associated with a transition duration for transitioning between adjacent regions of the environment, or a constraint associated with LiDAR application. The optimization problem may be a convex optimization problem.

[0130] The control system 104 may be configured to generate the signal based at least in part on processing the one or more scan parameters using a control function for smoothing the movement of the scanner. The control function may be arranged to adjust movement speed of the scanner using a polynomial function, such as a quadratic function, so as to smoothen the transition of movement speed of the scanner between two different regions of the environment with different scan weights. The control function may be a frequency-variable control function. In one implementation, the LiDAR system 102 includes a scanning mechanism operable to scan an environment with different scan patterns for obtaining different sets of LiDAR data of the environment. The control system 104 may be configured to receive one set of LiDAR data (obtained based on one scan pattern of the scanning mechanism) , generate an attention map associated with the environment based at least in part on the set of LiDAR data, determine another scan pattern based at least in part on the attention map, and generate a signal for causing the scanning mechanism to perform scanning with the other scan pattern. The attention map includes scan weights for different regions of the environment. The control system 104 may be configured to perform the processing in real-time such that the scanning mechanism performs scanning with the different scan patterns successively.

[0131] One skilled in the art appreciates that the system 100 is merely an example and that various modifications may be made to the system 100 to provide other embodiments. For example, in one embodiment, the control system 104 may be included in (e.g., integrated with) the LiDAR system 102. For example, the function of the control system 104 may be performed at least in part by one or more processors of the LiDAR system 102. For example, a program including instructions for performing the function of the control system 104 may be executed by one or more processors of the LiDAR system 102. In one example, the control system 104 may be operably coupled with an existing LiDAR system 102 to improve the functionality of the existing LiDAR system 102. In one example, instructions for performing the function of the control system 104 may be provided to an existing LiDAR system 102 to improve the functionality of the existing LiDAR system 102.

[0132] Figure 2 shows a LiDAR system 200 in one embodiment. The LiDAR system 200 may be the LiDAR system 102 of Figure 1.

[0133] The LiDAR system 200 generally includes a light source 202, a scanning mechanism 204, a light detector 206, and a data processor 208.

[0134] The light source 202 may include a laser source for providing light (e.g., light pulses) .

[0135] The scanning mechanism 204 is arranged to direct the light generated by the light source 202 towards the environment and to control or affect the scan pattern of the LiDAR system 200. The scanning mechanism 204 may control or affect the field of view and / or resolution of the scan. The scanning mechanism 204 may include optical and / or electronic components, depending on the specific implementation of the LiDAR system 200.

[0136] The light detector 206 is arranged to detect light reflected from the environment as a result of light provided to the environment by the light source 202 and the scanning mechanism 204. Typically, the light provided to the environment is reflected back to the light detector 206 by objects (moving or static) in the environment. The light detector 206 may include a photodetector such as a photodiode, a photomultiplier, or the like. The data processor 208 is arranged to process the signals received by the light detector 206 to generate LiDAR data (e.g., 3D point cloud) . In one example, the data processor 208 may use time-of-flight (ToF) based method or frequency modulated continuous wave (FMCW) based method to determine the distances of objects in the environment relative to the LiDAR system 200. The data processor 208 may include one or more of: CPU (s) , MCU (s) , GPU (s) , NPU (s) , VPU (s) , TPU (s) , logic circuit (s) , Raspberry Pi chip (s) , digital signal processor (s) (DSP) , application-specific integrated circuit (s) (ASIC) , field-programmable gate array (s) (FPGA) , and digital and / or analog circuitry (or circuitries) configured to interpret program instructions, to execute program instructions, and / or to process signals and / or information and / or data. The LiDAR system 200 may also include a memory, such as one or more volatile memory (such as RAM, DRAM, SRAM, etc. ) , one or more non-volatile memory (such as ROM, PROM, EPROM, EEPROM, FRAM, MRAM, FLASH, SSD, NAND, NVDIMM, etc. ) , or any of their combinations. The memory may be arranged to store computer instructions, commands, codes, information and / or data for supporting operation of the LiDAR system 200. The memory may be integrated with the data processor 208 or it may be separated from and operably connected with the data processor 208. One skilled in the art appreciates that the LiDAR system 200 is merely an example and that various modifications may be made to the system 200 to provide other embodiments. For example, depending on implementation, the LiDAR system 200 may include a power source and other optional components. For example, the LiDAR system 200 may include a ToF sensor or module for performing distance measurements based on ToF calculation. The ToF sensor or module may be arranged to replace or complement the light detector 206. In this case, the processor 208 may not perform distance measurements.

[0137] Figure 3 shows a control system 300 in one embodiment. The control system 300 may be the control system 104 of Figure 1. The control system 300 generally includes a processor 302 and a memory 304. The processor 302 may include one or more of: CPU (s) , MCU (s) , GPU (s) , NPU (s) , VPU(s) , TPU (s) , logic circuit (s) , Raspberry Pi chip (s) , digital signal processor (s) (DSP) , application-specific integrated circuit (s) (ASIC) , field-programmable gate array (s) (FPGA) , and digital and / or analog circuitry (or circuitries) configured to interpret program instructions, to execute program instructions, and / or to process signals and / or information and / or data. For example, the processor 302 may be configured to perform the operations of the control system 104 of Figure 1. The memory 304 may include one or more volatile memory (such as RAM, DRAM, SRAM, etc. ) , one or more non-volatile memory (such as ROM, PROM, EPROM, EEPROM, FRAM, MRAM, FLASH, SSD, NAND, NVDIMM, etc. ) , or any of their combinations. The memory 304 may store computer instructions, commands, codes, information and / or data, for supporting operation of the control system 300. For example, the memory 304 may store the computer instructions for executing or facilitating executing of the operations of the control system 104 of Figure 1. The processor 302 and memory 304 may be integrated, or they may be separated and operably connected with each other.

[0138] Some embodiments disclosed below focus on MEMS based LiDAR systems to illustrate example implementation of the invention. However, it should be noted that the LiDAR system operation control technique of the invention may be applied to other types of LiDAR systems. Typically, LiDAR leverages the ToF principle to measure distances. Among various types of LiDAR systems, MEMS based LiDAR systems have gained popularity. This is because compared with traditional mechanical LiDAR systems that rely on bulky moving parts, MEMS based LiDAR systems are more compact and can offer higher reliability. Also, unlike optical phased array (OPA) based and flash based LiDAR systems that rely on complex optical components and processing, MEMS based LiDAR systems may achieve good range and FoV in a cost-effective way.

[0139] MEMS based LiDAR systems may steer laser beams to sweep the environment to capture a point cloud of the environment. This is typically done by rotating reflective micro-mirror (s) in a manner where equivalent multi-line laser beams are vertically aligned and spun to cover a wide horizontal FoV.

[0140] Figure 5 shows the working principle of a basic MEMS based LiDAR system 500 in one embodiment. As shown in Figure 5, the system 500 includes a laser transmitter 502 arranged provide laser (laser line) , a scan module 504 with a reflective micro-mirror (s) arranged to be operated (moved) to reflect and redirect the laser provided by the laser transmitter 502 to the environment for scanning the environment. Figure 5 also shows an example field of view 506 of the system 500. Although the system 500 in Figure 5 only includes one laser line or one scan module, in other embodiments, the system 500 may include multiple laser lines or multiple scan modules.

[0141] Existing MEMS based LiDAR systems typically steer the laser beams across the FoV by rotating mirrors at a constant speed. Point clouds captured through such uniform scanning are evenly sparse across different directions, regardless of environmental characteristics and application requirements. This may be undesirable for some applications. For example, the even distribution of points can result in lower resolution in areas of interest, which may undesirably affect the performance of downstream tasks. For example, the point density (point cloud density) may decay quickly with sensing range thus a substantial number of points may concentrate on close objects with simple structures, such as the ground and building facades, which may be represented by a small number of points. The inefficiency may result in biased resolution and may create a large number of distant blind spots.

[0142] To demonstrate the potential of adaptive focus, a case study based on the KITTI dataset, as disclosed in Andreas Geiger et al., “Vision meets robotics: The kitti dataset” , International Journal of Robotics Research (IJRR) , 2013, is performed.

[0143] In this example, 3D object detection is performed using PointPillar model and Second model, two representative pillar-based and voxel-based object detection algorithms, respectively. The PointPillar model is disclosed in Alex H Lang et al., “Pointpillars: Fast encoders for object detection from point clouds” , Proceedings of the IEEE / CVF conference on computer vision and pattern recognition, pages 12697–12705, 2019. The Second model is disclosed in Yan Yan et al., “Second: Sparsely embedded convolutional detection” , Sensors, 18 (10) : 3337, 2018.

[0144] To simulate adaptive focus on a dataset captured through uniform scanning, the original data is first downsampled by N folds to create a base point cloud and then points are added back to regions of interest (RoI) identified using the bounding boxes labeled by KITTI. This method allows the simulated adaptive scheme to increase the resolution of RoI by approximately N times. To ensure fairness, the point cloud with added points is then uniformly downsized to the original size, before running object detection algorithms and comparing with the uniform scan. Figure 6A shows a point cloud of an environment obtained based on a uniform scan and Figure 6B shows a point cloud of the environment obtained based on an adaptive scan in one embodiment.

[0145] Table 1 shows the average object detection precision of uniform scan and adaptive scan for the PointPillar model. Table 2 shows the average object detection precision of uniform scan and adaptive scan for the Second model. For the results in Tables 1 and 2, the Intersection over Union (IoU) thresholds are 0.70 and 0.50 for cars and pedestrians, respectively.

[0146] Table 1: Average Precision (AP in %) results of the PointPillar model with uniform scan and adaptive scan.

[0147] Table 2: Average Precision (AP in %) results of the Second model with uniform scan and adaptive scan.

[0148] As shown in Tables 1 and 2, adaptive focus can greatly boost object detection precision, and the improvement increases significantly with the enhanced ability to focus the scan. For example, by increasing the resolution of RoI by approximately 8x, adaptive focus improves the car detection precision by up to 69.29%and 106.97%for the Second model and the PointPillar model respectively. These results demonstrate the potential of adaptive scanning to maintain high detection performance even at low resolutions. For pedestrians, the improvements in detection precision can be as high as 335.5%and 515.5%, which highlight the particular effectiveness of adaptive focus at handling smaller objects with relatively more complex structures.

[0149] In one embodiment, there is provided an intelligent LiDAR system with adaptive focus, which is an implementation of the SmartLiDAR technique. Unlike traditional LiDAR systems that scan environments uniformly, SmartLiDAR dynamically optimizes scan focus, concentrating points on regions of interest while reducing point density in less critical areas. Thus, SmartLiDAR can enhance the efficiency and performance of LiDAR applications.

[0150] Figure 7A shows a LiDAR system 700 in one embodiment implementing SmartLiDAR. As shown in Figure 7, the LiDAR system 700 includes various LiDAR components including a laser light source 702, a scanner (scanning mechanism) 704, and a ToF sensor or module 706 for performing distance measurements based on ToF calculation and for generating point cloud data based on the distance measurements and the scanning information of the scanner 704. In this example, the scanner 704 includes a mirror such as a MEMS mirror. The LiDAR system 700 also includes a SmartLiDAR module 708, which includes a an attention map generation module 708A, a scan pattern optimization module708B, and a mirror controller module 708C. The SmartLiDAR module 708 may be implemented using one or more controllers or one or more processors. Further details of the SmartLiDAR module 708 are disclosed below. The LiDAR system 700 also includes a LiDAR application module 710 arranged to provide information associated with the application of the LiDAR system (e.g., to influence data processing based on the task the LiDAR system or LiDAR data is used for) .

[0151] In one embodiment, in operation, the point cloud frame data obtained is provided to the SmartLiDAR module 708. The point cloud frame data may include a point cloud frame associated with a scan. The point cloud frame data is provided to the attention map generation module 708A for generating an attention map based on the point cloud frame data. The point cloud frame data is also provided to the LiDAR application module 710, which in turn provides a feedback based on the application of the LiDAR system. The scan pattern optimization module 708B processes the attention map and the feedback to generate scanning parameter (s) for use by the scanner 704. The scanning parameter (s) is provided to the mirror controller module 708C, which processes the scanning parameter (s) to determine an output control signal. The SmartLiDAR module 708 provides the output control signal to the scanner 704 to control the operation of the scanner 704.

[0152] One skilled in the art appreciates that the LiDAR system 700 is merely an example and that various modifications may be made to the LiDAR system 700 to provide other embodiments.

[0153] In one embodiment, the point cloud frames are divided into point cloud frame groups. Each of the groups include a base point cloud frame followed by several point cloud frames captured with adaptive focus. The base point cloud frame records the environment (e.g., entire scene) with a uniform resolution, allowing SmartLiDAR to analyze the environment and periodically adapt its scan pattern. For each point cloud frame group, SmartLiDAR may generate a fine-grained attention map based on the base point cloud frame and continues to update it with each subsequent point cloud frame of the group. The attention map is generated by jointly considering application-specific requirements and key environmental factors that impact point cloud characteristics. This allows SmartLiDAR to dynamically prioritize the scan focus to optimize LiDAR application performance. In one embodiment, based on the attention map, a convex optimization problem is solved to derive the optimal scan pattern under various constraints imposed by the scanner (e.g., mirror) hardware and LiDAR applications. The optimal scan pattern may then be provided to a software-defined mirror controller featuring a quadratic control function arranged to smoothen mirror rotation to avoid point cloud distortions.

[0154] Figure 7B shows the operation of a LiDAR system in one embodiment. In one embodiment, during the scanning process, the point cloud frames obtained are divided into groups. As shown in Figure 7B, each point cloud frame group may include two base point cloud frames each generated from uniform scans (uniform scan pattern) at T0 and T1, followed by several point cloud frames each generated from respective adaptive scan (adaptive scan pattern) at T2, …, Tn. For each point cloud frame group, SmartLiDAR may first compute an initial attention map (see T1) based on the base point cloud frame at T0 and then iteratively updates the attention map using the subsequent point cloud frames. In some embodiments, SmartLiDAR may perform scanning and scan pattern computation in parallel to enable real-time operation.

[0155] In each round, SmartLiDAR may update the attention map using the point cloud frame obtained in the previous round, and the updated attention map is then used to guide the scanning in the next round.

[0156] One skilled in the art appreciates that the operation in Figure 7B is merely an example and that various modifications may be made to the operation to provide other embodiments.

[0157] Some embodiments of SmartLiDAR include a mirror control function (e.g., mirror controller module 708C, which may be implemented by a controller) .

[0158] For example, a MEMS based LiDAR system may steer laser beams across the environment via the rotation of a reflective mirror for generating a point cloud. The horizontal and vertical angular trajectories of the mirror are determined by a control function. In one example, the control function includes a high-frequency sine wave and a low-frequency triangle wave, where the angular coordinates of the laser at time t can be expressed as

[0159] where fh and fv denote the horizontal and vertical scan frequencies, respectively. Figure 8A shows an example of the angular trajectory of the micro-mirror of the MEMS based LiDAR system as controlled based on Equation (1) .

[0160] Traditional systems rotate the mirror at constant speed, resulting in a point cloud that is evenly sparse across the environment (or scene) . In SmartLiDAR, to enable intelligent resolution, a flexible mirror controller (such as the one in Figure 7) that can adaptively adjust rotation speed of the mirror is provided. In one design, the environment may be divided into segments and these segments can be scanned with different rotation frequencies or speeds. However, this design may lead to severe point cloud distortion due to abrupt mirror speed changes at segment boundaries. These abrupt changes can be seen in Figures 9A and 9B, which show the movement characteristics of the mirror controlled based on triangular wave and based on adaptive control without smoothing respectively.

[0161] In one embodiment, to preserve point cloud precision, a quadratic mirror controller that is arranged to smooth the mirror rotation speed is provided. Without loss of generality, this example focuses on adjusting mirror speed along the horizontal axis. Unlike traditional LiDAR systems that parameterize the control function with a fixed frequency (e.g., as in Equation (1) ) , SmartLiDAR employs a frequency-varying control function, which in one embodiment is defined as

[0162] where fh (t) is the scan frequency at time t. Figure 8B shows an example of the angular trajectory of the micro-mirror of the MEMS based LiDAR system as controlled based on Equation (2) . Specifically, when scanning across segment boundaries, SmartLiDAR adjusts mirror speed based on a quadratic curve, ensuring the mirror operates within the kinematic limit. In one embodiment, denote the scan frequencies assigned to two consecutive segments as fi and fi+1, respectively, and the quadratic curve is defined as θtransition (t) =a (t-t0) 2+b (t-t0) +c,     t0≤t<t1   (3)

[0163] where a is bounded by the allowed acceleration, and b and c are smoothing factors calculated based on fi and fi+1. Specifically, b=fi when the laser enters the transition region at time t0, and b+2a (t1-t0) =fi+1 when the transition ends at t1. Figure 9C shows the movement characteristics of the mirror controlled based on adaptive control with smoothing in this embodiment. Figure 9C includes the quadratic smoothing curves.

[0164] One skilled in the art appreciates that the mirror control function illustrated above is merely an example and that various modifications may be made to the mirror control function to provide other embodiments.

[0165] Some embodiments of SmartLiDAR include an attention map generation function (e.g., attention map generation module 708A, which may be implemented by a controller) .

[0166] In one embodiment, to achieve intelligent resolution, SmartLiDAR leverages the mirror control function to perform a weighted scan, which captures different parts of the environment (or target scene) with varying resolutions. One difficulty associated with the implementation of the weighted scan relates to the efficiency on allocating scan time across the environment. To this end, in one embodiment, the environment or the target scene is divided into different regions and the weights associated with these regions are computed based on point cloud characteristics measured from the base point cloud frame. In one embodiment, three factors that influence LiDAR performance are considered.

[0167] The first factor is range. Density of a LiDAR point cloud (also referred to as point density or point cloud density) generally decreases quickly with the sensing range. Thus, if the scan time is allocated equally across the environment or scene, distant objects (objects that are further away) may suffer from significantly sparse sample points. In one embodiment, SmartLiDAR compensate for this problem by allocating a range weight wd to each region based on the distances of sample points. As point density is inversely proportional to the size of the scan surface, define wd=l·w, where l and w are respectively the length and the width of the sample point set of the region. To compute l and w, the distance d of the sample point set is measured based on its centroid, which can be expressed as

[0168] where p denotes the set of sample points within the region. Then, l and w are computed as: l=Δθh·d and w=Δθv·d,

[0169] where Δθh and Δθv are the horizontal and vertical spanning angles, respectively. In one embodiment, to neglect unimportant objects that are too far away, SmartLiDAR may further impose a bound dmax on the scanning range. This, in one embodiment, the allocated range weight can be expressed as:

[0170] The second factor is mobility and shape complexity.

[0171] For example, static objects with relatively simple shapes, such as building facade, can be accurately represented using only a small number of samples. In comparison, moving objects with complex shapes, such as pedestrians, may require much finer details to achieve a comparable representation precision. To address this, in one embodiment, mobility and shape complexity are assessed based on point cloud entropy, and an entropy weight we is allocated to each region.

[0172] Direct computation of entropy for the entire environment or scene may result in excessive voxelization overhead (and hence may be costly) . In one embodiment, to meet the real-time requirement of LiDAR applications, entropy computation is customized by differentiating simple and complex geometric structures. It is found that, in real application scenarios, the target scene often comprises large static planes, such as the ground and building facade, which allow fast entropy computation without voxelization. Driven by this finding, the entropy computation across the environment or scene is divided into two steps. First, a fast plane identification algorithm, as disclosed in Martin A Fischler et al, “Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography” , Communications of the ACM, 24 (6) : 381–395, 1981, is employed to localize all planes within the scene. Given a plane that uniformly covers one facet of a voxel cube with length K, its entropy can be directly computed as Splane =2 log K.

[0173] Then, for remaining non-plane structures, DBSCAN, as disclosed in Martin Ester et al., “A density-based algorithm for discovering clusters in large spatial databases with noise” , In kdd, volume 96, pages 226–231, 1996, is used to cluster their sample points and the entropy is then computed as

[0174] where L represents the point count in cluster, and nk denotes the point count in the k-th voxel. Although the computation associated with the entropy of the non-plane structures may be computationally expensive, the overall cost remains tractable due to the limited number and small sizes of non-plane structures in typical environment or scene.

[0175] In one embodiment, the entropy weight can be defined as

[0176] The third factor is application requirements.

[0177] In one embodiment, in addition to range and entropy weights, SmartLiDAR may allow downstream tasks to customize scan focus by assigning an application weight wa based on their specific requirements. For example, LiDAR associated with an autonomous vehicle may generally focus its attention on moving targets on the road (with less interests in static roadside structures) . Such application weight can be derived by interpreting the machine learning models of LiDAR applications, for example.

[0178] In one embodiment, by jointly considering the three factors, the overall scanning weight is as W=we·wd·wa (6)

[0179] Algorithm 1 show the steps for generating the attention map in one embodiment.

[0180] In one embodiment, SmartLiDAR can be seamlessly integrated with unmodified LiDAR applications. For example, in some cases where application weights are unavailable, SmartLiDAR may operate in an application-agnostic mode that fairly allocates scan time to all objects. Compared with traditional systems that may spend substantial time on close (nearby) objects with simple shapes, SmartLiDAR may achieve improved performance. As an example, Figure 10A shows an attention map generated for an example scene and Figure 10B shows the example scene. As shown in the attention map, instead of assigning weights uniformly, in this example SmartLiDAR assigns significantly higher weights to the four cars. In particular, among the four cars, the furthest one receives the highest weight, allowing SmartLiDAR to correct the biased resolution over sensing range.

[0181] One skilled in the art appreciates that the attention map generation function illustrated above is merely an example and that various modifications may be made to the attention map generation function to provide other embodiments. For example, the attention map generation function may alternatively or additionally consider one or more factors in other embodiments.

[0182] Some embodiments of SmartLiDAR include a scan pattern optimization function (e.g., scan pattern optimization module 708B, which may be implemented by a controller) .

[0183] In one embodiment, after the attention map is generated, SmartLiDAR may employs a scan planner (e.g., optimized scan planning module) to translate the attention map into a mirror control function. To this end, in one embodiment, SmartLiDAR may strategically allocate scan times to allow the mirror to traverse different regions at varying speeds based on the weight specified by the attention map. In one embodiment, the mapping between the attention map and the scan pattern is modeled as a constrained optimization problem. The objective of the problem is to optimize (e.g., maximize) the weighted sum of scan time under the constraint of constant LiDAR frame duration, as well as kinematic limits imposed by the micro-mirror system.

[0184] In one example, the constrained optimization problem can be formulated as follows:

[0185] where Vmax and amax denote the upper limits of mirror speed and acceleration respectively, Tframe  is the LiDAR frame duration, Ttrans  is a pre-defined maximum transition time (in this example, empirically set to 10%of the segment duration) . The defined constraints ensure that: (i) the scanning frequency of each segment is permitted by the limits of mirror speed and acceleration, (ii) the transition duration is bounded by Ttrans , which ensures scanning linearity, and (iii) the overall scanning period per LiDAR frame is bounded by Tframe.

[0186] The optimization problem in this embodiment is convex and thus can be solved efficiently in real-time. The solution of the optimization problem is a scan frequency vector. The scan frequency vector is provided to the mirror controller to control operation of the mirror such that the LiDAR system scans the environment accordingly to generate a point cloud with adaptive focus.

[0187] One skilled in the art appreciates that the scan pattern optimization function illustrated above is merely an example and that various modifications may be made to the scan pattern optimization function to provide other embodiments.

[0188] SmartLiDAR may be implemented by building a programmable LiDAR using commercially available optical components and a FPGA-based controller. Figure 11 shows a LiDAR system prototype with SmartLiDAR in one embodiment (the picture on the left shows all the components whereas the photo on the right shows the optical components) . The prototype includes a Lightware SF30 / D rangefinder, a Sunny S 9320 galvanometer, a planar mirror, and a short-focus lens, all mounted on a 3D-printed base that securely holds these components. The control unit of the prototype includes a CMOD A7 FPGA, a two-channel 8830 digital-to-analog converter (DAC) , and two galvanometer driver boards. As the limited MEMS size leads to unsatisfied laser strength, the prototype leverages the galvanometer as the scanner to enable a longer sensing range, which follows the same control mechanism. In the prototype, the rangefinder is directly connected to the FPGA, for transmitting depth measurements via serial port communication. The galvanometer interfaces with two compatible drivers that manage the two-axis rotation of the mirror. The FPGA is arranged to provide digital control signals to the DAC using high-throughput SPI communication. The DAC is arranged to convert these signals into analog voltage signals, which are then relayed to the galvanometer drivers. The compute unit, responsible for high-level control and point cloud transmission, is connected to the FPGA through a serial port.

[0189] Achieving precise point cloud generation necessitates real-time synchronization between depth data and mirror angle data. In this embodiment, as the angle data is generated sequentially at the galvo control frequency, these data points are stored in a loop array accompanied by timestamps. Conversely, depth data typically generates in batches. For accurate point cloud construction, it is useful to map each batch of depth data to the corresponding mirror angles at identical timestamps. To accurately determine the mirror angle for each depth measurement, this embodiment employs linear interpolation between the two timestamps that are closest to the timestamp of the depth. By maintaining sorted timestamps for both angles and depths, it is possible to ensure that the synchronization process operates with a time complexity of O (n) , where n represents the number of depth points or the point frequency.

[0190] The optical design of the implementation in this embodiment is now described. Initially, a collimated pulsed 905 nm laser is emitted from the rangefinder and directed toward the galvo mirror via a 45° planar mirror. Subsequently, the galvo mirror, controlled by a specific signal, steers the laser towards a designated direction. Upon striking the object, the laser is reflected back to the receiver of the rangefinder through a short focus lens. The returning laser pulse is then detected by a single photon receiver, and the calculated depth information is relayed back to the control unit. This configuration of the optical path ensures that the scanned environment is positioned on the same side as both the laser transmitter and receiver, maximizing the FoV of the receiver without necessitating an additional aperture before the receiver. Furthermore, to address the limitations posed by the single photon receiver, which is typically designed for a single-point depth measurement, a short focus lens is used to defocus the laser beam away from the plane of the receiver. This defocusing technique effectively enhances the FoV of the receiver while balancing the trade-off with the receiving signal-to-noise ratio (SNR) .

[0191] In terms of calibration, unlike the highly compact commercial LiDAR systems, the implementation in this embodiment features a minimal separation (i.e., 50 mm) between the laser transmitter and receiver, which introduces discrepancies between the measured and actual depths. Therangefinder calculates the depth based on the assumption that it is equal to half the product of the speed of light and the ToF, expressed as  This assumption, however, does not hold due to the additional optical path introduced by SmartLiDAR in this embodiment. Thus, to compensate for this error, the exact trajectory of the laser between the transmitter and receiver is derived, and the corresponding triangular equations are solved to ascertain the actual depth.

[0192] Furthermore, the introduction of a short-focus lens in this embodiment may induce distortion, causing the plane image to appear curved. This issue is addressed in this embodiment by employing Gaussian regression, utilizing samples from several ground-truth planes to model the distortion. With the model established, a one-time calibration allows use of the Gaussian framework to effectively compensate for the distortion.

[0193] LiDAR is a highly intricate system encompassing a range of techniques across various domains. To validate the design of SmartLiDAR in this embodiment, a proof-of-concept prototype that incorporates essential functionalities is developed as discussed. The prototype is capable of achieving a FoV of over 40° both vertically and horizontally, and it can effectively sense up to a distance of 10m when sensing common materials. It is important to note that the observed limitations are attributed not to the system design but to the optical components employed, which can be addressed by the high-end laser transceiver and precise calibration. The control of the galvanometer adheres to the standard usage and is adaptable to other galvanometer types as well as MEMS mirrors, which utilize similar inertial scanning techniques governed by horizontal and vertical voltage signals. Furthermore, in this embodiment, the flexible mirror controller is based on the same base waveforms (i.e., sine wave and triangle wave) as raster scanning. This enables SmartLiDAR in this embodiment to be seamlessly integrated into commercially available LiDAR systems with minimal modifications.

[0194] The SmartLiDAR design in one embodiment is evaluated by performing experiments using the prototype discussed.

[0195] In respect of the experimental setup, the SmartLiDAR prototype is mounted on a cart, and its adaptive controller executes on the NVIDIA Orin embedded computing platform.

[0196] The evaluation is conducted on a controlled, scaled traffic testbed. This testbed mimics various traffic scenarios such as straight roads, curves, and crossroads, featuring four model vehicles and four model persons (pedestrians) to realistically simulate urban traffic conditions. It is important to note that the distances in the evaluation are scaled proportionally to the model scale, with dmax  set to 60m.

[0197] To benchmark the performance of SmartLiDAR in this embodiment, a uniform raster scanning scheme is implemented as the primary baseline. This method is representative of the scanning algorithms typically found in conventional LiDAR systems. Furthermore, SmartLiDAR in this embodiment is evaluated against two additional baselines: Var-FoV, as disclosed in Qingyan Li et al., “Real-time variable field-of-view scanning of lidar by controlling the drive voltage of mems micromirror” , Optik, 246: 167760, 2021, and AD-Scan, as disclosed in Mark Draelos et al., “Adaptive point-scan imaging beyond the frame rate–resolution limit with scene-reactive scan trajectories” , Optica, 9 (11) : 1276–1288, 2022.

[0198] Var-FoV dynamically adjusts the FoV based on the distance of the target. Var-FoV is originally designed for single-target environments. Thus, in this experiment, the utility of Var-FoV has been extended by integrating a multi-objective optimization framework to effectively handle scenarios with multiple targets simultaneously.

[0199] AD-Scan focuses on enhancing the density of sensing points within target areas, defined as dynamic areas in Optical Coherence Tomography (OCT) . In this experiment the target area determination strategy of AD-Scan has been adapted by incorporating the weight map of the embodiment, which prioritizes non-plane areas, to ensure a fair comparison. Additionally, to address the challenges posed by moving targets, the binary dilation technique as disclosed in Mark Draelos et al., “Adaptive point-scan imaging beyond the frame rate–resolution limit with scene-reactive scan trajectories” , Optica, 9 (11) : 1276–1288, 2022, is adopted.

[0200] To facilitate a comprehensive evaluation, the dataset in this experiment includes over 8,000 frames of point cloud data, annotated with bounding boxes to accurately identify both cars and pedestrians. The extensive dataset provides a robust foundation for assessing the effectiveness and adaptability of SmartLiDAR in different conditions.

[0201] The benchmark evaluation of SmartLiDAR in this embodiment from various aspects, including geometry feature estimation, distance variation handling, capability with multiple objects, and the impact of mobility, is provided. It is important to note that in the benchmark experiment, the application feedback is disabled (i.e., wa (i, j) =1 ) to focus solely on the performance of SmartLiDAR in scene analysis.

[0202] To validate the design, the ability of SmartLiDAR to focus on meaningful objects with complex geometry structures is first examined. Three tests on three different types of objects, a model SUV (larger) , a model car (smaller) , and a model pedestrian, are conducted. The results are shown in Figures 12A to 12I. The point density (pts / dm3) of each of the objects is labeled. Specifically, Figures 12A to 12C relate to the model SUV, Figures 12D to 12F relate to the model car, and Figures 12G to 12I relate to the model pedestrian. Figures 12A, 12D, and 12G show the point cloud obtained by uniform scanning whereas Figures 12B, 12E, and 12H show the point cloud obtained by adaptive scanning. It can be seen that SmartLiDAR focuses on the targets with a large resolution and exposes clear views of the target shape. For the quantitative results, the average point cloud density of the objects and the ground are measured. The results are shown in Table 3.

[0203] Table 3: Average point cloud density (pts / dm3) of different types of objects

[0204] As shown in Table 3, SmartLiDAR in this embodiment produces significantly higher point density for both cars and pedestrians, with an improvement of over three times compared to the uniform scanning. This indicates that SmartLiDAR can effectively extract and focus on areas with complex geometry structures. For the point density of the ground, although SmartLiDAR is lower than the baseline, the decrease in point density is only 18.61%. Since the portion of the ground is large, only a small ratio of points from the ground is required to be redistributed to meaningful objects, thereby retaining sufficient information to infer the ground.

[0205] To further evaluate the performance of SmartLiDAR in this embodiment against different distances to the prototype, an ablation study is conducted using SmartLiDAR with and without proximity weight respectively. In this experiment, two vehicles are used, with one vehicle remains stationary and another vehicle placed at different locations. The centroid distance difference between the two vehicles is calculated to evaluate the impact of distance. The qualitative results are shown in Figures 13A to 13C. Specifically, Figure 13A shows the environment with the two model cars, Figure 13B shows the point cloud obtained with proximity weights, and Figure 13C shows the point cloud obtained without proximity weights. The point density (pts / dm3) of each of the model cars is labeled. In this example, as the vehicle moves further away from the prototype, the system with proximity weights will increase its resolution to compensate for distance-related point density variation, while achieving a 39.51%point density improvement compared to the system without proximity weights.

[0206] Figure 14 shows the quantitative results of point density variation across different distances. The data indicate that with proximity weights, SmartLiDAR maintains a consistent point density across distances within 60 m, where the point density surpasses 139.36 pts / dm3. Without proximity weights, the point density decreases significantly as the distance increases, showing a 96.52%reduction from 20 m to 60 m. Beyond 60 m, the point density of SmartLiDAR with proximity weights still suffers a reduction due to the dmax  limitation, yet it still outperforms the baseline by maintaining 97.89 pts / dm3  at 100 m. These results demonstrate that SmartLiDAR, when including proximity weights, can effectively manage distance variations and minimize their negative impacts on system performance.

[0207] To demonstrate the scalability of SmartLiDAR in this embodiment in multi-object scenarios, an experiment is conducted using varying numbers of vehicles. Figure 15 illustrates the average point density metrics across different object counts. Notably, for the configurations with 2 to 4 objects, SmartLiDAR consistently sustains a high point density level. Specifically, the system shows only minor reductions in point density, 5.52%and 9.09%, when increasing the number of vehicles from 2 to 3 and when increasing the number of vehicles from 3 to 4, respectively. This robust performance suggests that SmartLiDAR remains effective when the objects only occupy a small portion of the total FoV. This efficiency is primarily due to the frame duration constraints discussed above, where 1 / v  increases exponentially as v  decreases. As a result, at lower frequencies, the effort to decrease frequency is significantly greater than at higher frequencies, leading to comparable point density metrics for setups with 2, 3, and 4 objects. However, as the number of objects increases and dominate the FoV, the impact of the geometry weighting strategy reduces. This causes each object to receive limited attention from the system. Nonetheless, as shown in Figure 15, for the configurations with 5 and 6 objects, SmartLiDAR still outperforms uniform scanning approaches, achieving a point density improvement of 32.20%.

[0208] To assess the resilience of SmartLiDAR in this embodiment to mobility, an experiment is conducted with a moving vehicle and the performance of SmartLiDAR is compared to that of uniform scanning across various speeds. Figure 16 illustrates the results. As shown in Figure 16, SmartLiDAR demonstrates a modest decrease in point as vehicle speed increases, with a notable 16.36%reduction when the speed increases from a static state to 50 km / h. Moreover, SmartLiDAR consistently outperforms uniform scanning, achieving significantly higher point densities at all tested speeds. Remarkably, even at 90 km / h, SmartLiDAR still exhibits a 68.33%point density improvement over the uniform scanning method. These findings highlight the ability of SmartLiDAR to effectively manage varying vehicle speeds. The primary factor contributing to point density reduction is the error in motion prediction, which occurs when the vehicle partially exits the focused area. However, this issue could be further mitigated by the implementation of a more sophisticated motion prediction technique. Additionally, the architecture of SmartLiDAR in this embodiment ensures that motion prediction errors do not accumulate, allowing the system to maintain awareness of the environment outside the immediate predicted area.

[0209] Experiment is also performed to demonstrate the performance of SmartLiDAR in this embodiment in 3D object detection. In this example, two widely recognized object detection models are used for evaluation: the pillar-based PointPillar model and the voxel-based Second model. Details of the PointPillar model can be found in Alex H Lang et al., “Pointpillars: Fast encoders for object detection from point clouds” , Proceedings of the IEEE / CVF conference on computer vision and pattern recognition, pages 12697–12705, 2019. Details of the Second model can be found in Yan Yan et al., “Second: Sparsely embedded convolutional detection” , Sensors, 18 (10) : 3337, 2018. Both models are trained using the annotated dataset, which includes two classes: model cars and model pedestrians. In this example, the IoU thresholds set for 3D bounding boxes are 0.7 for cars and 0.5 for pedestrians respectively.

[0210] In the experiment, mobility compensation is implemented to refine the detection outcomes, setting the adaptive weight wa=10 within the detected bounding boxes and wa=1 elsewhere. These bounding boxes, once identified by the detection algorithms, are relayed to the adaptive controller. This integration enables SmartLiDAR to enhance scanning precision based on real-time detection feedback. The entire model inference process, including the adaptive control mechanism, is deployed on an Orin device. Average Precision (AP) , typically used for assessing performance in object detection tasks, is used as the evaluation metric in this experiment.

[0211] Figures 17A to 17D show the comparative analysis of 3D object detection results using three baseline methods and SmartLiDAR in this embodiment (Figure 17A –uniform, Figure 17B –VAR-FoV, Figure 17C –AD-Scan, Figure 17D –SmartLiDAR (adaptive) ) . These results provide a visual testament to the performance distinctions among the different scanning methodologies. Figure 18 shows the corresponding environment for this experiment.

[0212] As shown in Figure 17A, uniform scanning creates a sparse point cloud over objects, which leads to failures in detecting distant objects, such as a pedestrian located at the upper right corner.

[0213] As shown in Figure 17B, Var-FoV, which reduces the FoV to increase point cloud density over detected objects, shows only minimal improvement over uniform scanning. Var-FoV also fails to detect the distant pedestrian, likely due to its reduced coverage area.

[0214] As shown in Figure 17C, AD-Scan generates a significantly denser point cloud for previously detected objects, enhancing the accuracy of their detection. However, AD-Scan struggles with the detection of new objects entering the scene, as it primarily focuses on areas with already detected objects.

[0215] As shown in Figure 17D, SmartLiDAR in this embodiment achieves the best performance by effectively detecting all objects within the scene and delivering high-accuracy results. This capability is attributed to its maintenance of a high-density point cloud coupled with comprehensive FoV coverage. The adaptive nature of SmartLiDAR allows for dynamic adjustments in scanning parameters, ensuring optimal detection across varying distances and object densities.

[0216] Table 4 shows the comparative performance metrics across the three baseline methodologies and SmartLiDAR in this embodiment. The data clearly illustrates that SmartLiDAR consistently surpasses the baselines in terms of average precision across all tested scenarios.

[0217] Table 4: Average Precision (AP in %) using PointPillar and Second models

[0218] Specifically, SmartLiDAR in this embodiment achieves a mean average precision (mAP) improvement of 16.11%over uniform scanning when using the PointPillar model, and a 14.02%improvement with the Second model. The significant enhancement in mAP underscores the compatibility and effectiveness of SmartLiDAR in this embodiment with both pillar-based and voxel-based detection architectures.

[0219] Var-FoV, while attempting to optimize for multiple targets, shows a performance on par with uniform scanning, primarily due to the inherent conflicts in multi-target optimization. It exhibits a decrease in mAP by 12.36%when compared to SmartLiDAR. This again illustrates the superior optimization capabilities of SmartLiDAR in this embodiment.

[0220] AD-Scan, which focuses intensively on RoI, does offer a notable performance boost over uniform scanning by refining the detection within these concentrated areas. Nevertheless, its approach of applying binary dilation to explore new areas falls short in recognizing new incoming objects, leading to an incomplete coverage. Despite its improvements, AD-Scan still lags behind SmartLiDAR by a mAP margin of 6.12%.

[0221] These results affirm the robustness of SmartLiDAR in this embodiment, demonstrating its superior capability to adaptively manage point cloud density and FoV coverage, thereby optimizing object detection across varying scenarios.

[0222] The effectiveness of SmartLiDAR in this embodiment can be further delineated by analyzing performance metrics across different object classes. For pedestrian detection, SmartLiDAR achieves a substantial relative improvement in AP over uniform scanning 64.44%for the PointPillar model and 45.04%for the Second model. This significant gain highlights the enhanced capability of SmartLiDAR in this embodiment in detecting smaller objects, which typically present fewer points and thus demand more precise scanning strategies.

[0223] In the case of car detection, SmartLiDAR also demonstrates superior performance, with AP improvements of 28.54%for the PointPillar model and 22.13%for the Second model over uniform scanning. These results affirm the robustness of SmartLiDAR in this embodiment across varying object sizes and complexities.

[0224] Figure 19 shows the mean average precision (mAP) results across different distances using the PointPillar model. Notably, as the distance increases, SmartLiDAR maintains a high level of detection performance, with only an 8.82%reduction in mAP from 20 m to 60 m. Conversely, the mAP for uniform scanning deteriorates more rapidly, exhibiting a significant decrease of 22.12%at a distance of 100 m. These findings underscore the capacity of SmartLiDAR in this embodiment to mitigate the adverse effects of distance-related point density variations, thereby sustaining performance even at extended ranges.

[0225] The tailored detection capability makes SmartLiDAR particularly effective for applications requiring precise identification and localization over varying distances and object scales, enhancing both safety and operational efficiency.

[0226] Experiment is also performed to evaluate the runtime latency of SmartLiDAR in this embodiment under various settings using an NVIDIA Orin equipped with an ARMv8 CPU. The analysis focuses on two primary modules of SmartLiDAR: weight map generation (i.e., attention map generation) and optimized scan planning. The latency for weight map generation is dependent on the computation of three features: entropy, range, and application. Utilizing parallel computing, these estimations are processed concurrently. Consequently, the latency of the weight map generation is dictated by the longest duration among these three computations. The latency is primarily influenced by two variables: the number of segments N and the point frequency of the rangefinder.

[0227] Initially, the effect of varying the number of segments is assessed while maintaining a constant point frequency of 10k. The results are shown in Figure 20A. As shown in Figure 20A, the latency for the optimized scan planning, referred to as optimization, increases linearly with the number of segments. This demonstrates the capability of SmartLiDAR in this embodiment to handle different angular resolutions and ranges of FoV robustly. Figure 20B shows the impact of different point frequencies. As shown in Figure 20B, the computation times for the entropy and range features scale linearly with increases in point frequency, whereas the time for application feature estimation remains negligible (i.e., <1 ms) . This indicates the strong scalability of SmartLiDAR with varying point frequencies.

[0228] Overall, the end-to-end latency of SmartLiDAR in this embodiment remains below 100 ms across all tested settings, supporting a LiDAR frame rate of up to 10 Hz. This performance can meet the real-time requirements necessary for effective deployment in dynamic environments.

[0229] Experiment is also performed to evaluate the power consumption of SmartLiDAR in this embodiment compared to uniform scanning. As SmartLiDAR maintains the same count of laser emissions as uniform scanning, the energy expenditure from the laser remains consistent between the two methods. It is found that, for the power consumption attributable to the galvanometer, it is predominantly influenced by the fast-frequency axis.

[0230] Given that both SmartLiDAR and uniform scanning utilize a 100 Hz sine wave for vertical FoV scanning, the difference in power consumption between the two methods is marginal, within the measurement error of the power meter. To further assess the impact of intelligent resolution, the power consumption of SmartLiDAR in this embodiment and uniform scanning are measured with the fast-frequency axis rotation disabled. The results demonstrate a minimal increase in average power consumption for SmartLiDAR, only by 0.86 W, which primarily arises from the slightly higher frequency utilized for ground scanning. These findings confirm that SmartLiDAR in this embodiment introduces only a negligible increase in energy overhead, underscoring its efficiency and practicality for deployment in energy-sensitive applications.

[0231] Figure 21 shows an example information handling system 2100 that can be used to perform operations in some embodiments of the invention. For example, the information handling system 2100 may be used in the control system 102. For example, the information handling system 2100 may be used to implement the control system 104. For example, the information handling system 2100 may be used to implement the data processor 208. For example, the information handling system 2100 may be used to implement the control system 300.

[0232] The information handling system 2100 includes suitable components necessary to receive, store, and execute appropriate computer instructions, commands, and / or codes. The information handling system 2100 includes a processor 2102 and a memory 2104. The processor 2102 may include one or more of: CPU (s) , MCU (s) , GPU (s) , NPU (s) , VPU (s) , TPU (s) , logic circuit (s) , Raspberry Pi chip (s) , digital signal processor (s) (DSP) , application-specific integrated circuit (s) (ASIC) , field-programmable gate array (s) (FPGA) , and digital and / or analog circuitry (or circuitries) configured to interpret program instructions, to execute program instructions, and / or to process signals and / or information and / or data. The memory 2104 may include one or more volatile memory (such as RAM, DRAM, SRAM, etc. ) , one or more non-volatile memory (such as ROM, PROM, EPROM, EEPROM, FRAM, MRAM, FLASH, SSD, NAND, NVDIMM, etc. ) , or any of their combinations. Appropriate computer instructions, commands, codes, information and / or data are stored in the memory 2104. For example, computer instructions for performing or facilitating performing of the operations in some embodiments of the invention may be stored in the memory 2104. The processor 2102 and memory 2104 may be integrated, or they may be separated and operably connected with each other.

[0233] Optionally, the information handling system 2100 further includes one or more input devices 2106. Examples of the input device 2106 include: keyboard, mouse, stylus, image scanner, microphone, tactile / touch input device (e.g., touch sensitive screen) , image / video input device (e.g., camera) , etc. Optionally, the information handling system 2100 further includes one or more output devices 2108. Examples of the output device 2108 include: display (e.g., monitor, screen, projector, etc. ) , speaker, headphone, earphone, printer, additive manufacturing machine (e.g., 3D printer) , etc. The display may include an LCD display, a LED / OLED display, or other suitable display, which may or may not be touch sensitive. The information handling system 2100 may further include one or more disk drives 2112 which may include one or more of: solid state drive, hard disk drive, optical drive, flash drive, magnetic tape drive, etc. A suitable operating system may be installed in the information handling system 2100, e.g., on the disk drive 2112 or in the memory 2104. The memory 2104 and the disk drive 2112 may be operated by the processor 2102. Optionally, the information handling system 2100 also includes a communication device 2110 for establishing one or more communication links with one or more other computing devices, such as servers, personal computers, terminals, tablets, phones, watches, IoT devices, or other wireless computing devices. The communication device 2110 may include one or more of: a modem, a Network Interface Card (NIC) , an integrated network interface, a NFC transceiver, a ZigBee transceiver, a Wi-Fi transceiver, a  transceiver, a radio frequency transceiver, a cellular (2G, 3G, 4G, 5G, 6G, or the like) transceiver, an optical port, an infrared port, a USB connection, or other wired or wireless communication interfaces. Transceiver may be implemented by one or more devices (integrated transmitter (s) and receiver (s) , separate transmitter (s) and receiver (s) , etc. ) . The communication link (s) may be wired or wireless for communicating commands, instructions, information and / or data. In one example, the processor 2102, the memory 2104 (optionally the input device (s) 2106, the output device (s) 2108, the communication device (s) 2110 and the disk drive (s) 2112, if present) are connected with each other, directly or indirectly, through a bus, a Peripheral Component Interconnect (PCI) , such as PCI Express, a Universal Serial Bus (USB) , an optical bus, or other like bus structure. In one embodiment, at least some of these components may be connected wirelessly, e.g., through a network, such as the Internet or a cloud computing network. One skilled in the art appreciates that the information handling system 2100 is merely an example and that in other embodiments the information handling system 2100 can have a different configuration (e.g., with additional components, fewer components, alternative components, etc. ) .

[0234] Although not required, the embodiments described with reference to the Figures can be implemented as an application programming interface (API) or as a series of libraries for use by a developer or can be included within another software application, such as a terminal or computer operating system or a portable computing device operating system. Generally, as program modules include routines, programs, objects, components, and data files assisting in the performance of particular function, the skilled person will understand that the functionality of the software application may be distributed across a number of routines, objects, and / or components to achieve the same functionality desired herein. It will also be appreciated that where the methods and systems of the invention are either wholly implemented by computing system or partly implemented by computing systems then any appropriate computing system architecture may be utilized. This will include stand-alone computers, network computers, dedicated or non-dedicated hardware devices. Where the terms “computing system” and “computing device” are used, these terms are intended to include any appropriate arrangement of computer or information processing hardware capable of implementing the function described.

[0235] The LiDAR system operation control of this invention includes various features and can provide various advantages. For example, some embodiments provide a mirror controller that is based on a novel quadratic control function, which can achieve real-time fine-grained scanning resolution control. For example, some embodiments provide an adaptive algorithm that maps a dynamic environment and application requirements to the prioritized scan focus. For example, some embodiments provide an efficient algorithm for generating optimal scan patterns from attention maps.

[0236] For example, in some embodiments, there is provided an apparatus for adaptive scanning of MEMS-based LiDAR, comprising a galvanometer for laser scanning, a laser transceiver for range measurement, a FPGA for scanning control, and a compute unit for data processing, wherein the galvanometer mirror rotation pattern is adjusted or adapted to achieve higher density on region of interests. For example, in some embodiments, there is provided an efficient mirror control scheme that enables fine-grained resolution control with reduced or minimum control overhead. This scheme can derive different resolutions over different regions to create adaptive scanning and improve application performance. It also considers the physical constraints of mirror rotation and minimizes the distortion. For example, in some embodiments, there is provided an adaptive algorithm that maps dynamic environment and application requirements to the prioritized scan focus. The algorithm can generate a fine-grained attention map by explicitly modelling the relationship between scan intensity and point cloud characteristics. For example, in some embodiments, there is provided an efficient algorithm for generating optimal scan patterns from attention maps with specific objective function and constraints. The algorithm can ensure optimal performance in capturing highly dynamic and complex scenes while meeting the various constraints of the LiDAR system. For example, in some embodiments, the attention map is generated based on the previous frame, and the optimal scanning pattern is calculated by the optimization. The next frame can follow the derived adaptive scanning pattern to achieve intelligent resolution by the mirror control scheme. For example, in some embodiments, there is provided a SmartLiDAR technique that can enhance LiDAR perception performance for downstream real-time applications. The SmartLiDAR technique may intelligently adjust the scanning resolution of different regions to enhance the quality of regions of interest. The SmartLiDAR technique can be applied to different types of LiDAR systems, and in various fields such as autonomous vehicles, robotics, and smart city.

[0237] The present disclosure discloses SmartLiDAR, an intelligent LiDAR system with adaptive focus. In one implementation, by integrating quadratic mirror control, adaptive attention map generation, and efficient scan pattern optimization, the feasibility of realizing adaptive focus in practical LiDAR systems is demonstrated. Experiment results based on a programmable LiDAR prototype show that SmartLiDAR in some embodiments can significantly improve LiDAR performance, enhancing RoI resolution and improving object detection precision. SmartLiDAR in some embodiments can maintain negligible extra energy consumption and low processing latency, enabling it to support real-time LiDAR applications. More generally, SmartLiDAR in some embodiments can set a new standard in LiDAR technology, offering improved adaptability, precision, and / or efficiency useful for the next generation of intelligent sensing systems.

[0238] The present disclosure has demonstrated the effectiveness of SmartLiDAR for object detection with adaptive focus. One skilled in the art appreciates that SmartLiDAR can also provide benefits for other applications. For example, in 3D mapping (or SLAM) , which is a LiDAR application, the curvature of the point cloud is often used as a critical feature for accurate map construction. Since a larger curvature introduces a higher geometry weight, SmartLiDAR, equipped with appropriate application feedback, may enable more detailed scanning over areas with pronounced features, thereby improving the accuracy of point cloud registration and the overall quality of 3D maps. For example, the prototype can be modified to improve the FoV and range, to become more effective for 3D mapping. For example, an improved laser transceiver may be used to achieve a wider FoV and an extended range.

[0239] In this disclosure, SmartLiDAR primarily focuses on MEMS based semi-solid-state LiDAR. Nonetheless, one skilled in the art appreciates that the system design of SmartLiDAR, which incorporates the attention / weight map, can also be applied to solid-state LiDAR. For example, the point cloud characteristics and application demands integrated into the attention / weight map can be applied to solid-state LiDAR, guiding a more efficient scanning process. For example, for OPA-based solid-state LiDAR, which utilizes an optical phased array to steer laser beams in various directions, a similar scanning scheme from SmartLiDAR could be adapted with modifications to accommodate OPA-specific constraints.

[0240] It will be appreciated by one skilled in the art that variations and / or modifications may be made to the described and illustrated embodiments to provide other embodiments. The described and illustrated embodiments should therefore be considered in all respects as illustrative, not restrictive. The LiDAR system operation control technique disclosed herein may be applied to different types of LiDAR systems, not limited to MEMS based LiDAR systems.

Claims

A system for controlling operation of a light detection and ranging (LiDAR) system, comprising one or more processors configured to:receive LiDAR data associated with an environment;generate an attention map associated with the environment based at least in part on the LiDAR data, the attention map comprising scan weights for different regions of the environment;determine one or more scan parameters for the LiDAR system based at least in part on the attention map, the one or more scan parameters being associated with a scan pattern; andgenerate a signal for causing the LiDAR system to perform scanning based at least in part on the one or more scan parameters.The system of claim 1, wherein the LiDAR data comprises a point cloud associated with the environment.The system of claim 2, wherein the point cloud has a generally uniform resolution or point density.The system of claim 1, wherein the one or more processors are configured to:generate the attention map based at least in part on processing the LiDAR data, wherein the processing of the LiDAR data is arranged to determine the scan weights for different regions of the environment based at least in part on a characteristic of the environment and / or an application requirement.The system of claim 4, wherein the processing of the LiDAR data comprises:determining a range weight wd for each of a plurality of data sets of the LiDAR data, each of the data sets comprises a plurality of LiDAR data points and is associated with a respective part of the environment;determining entropy weights we for the LiDAR data; anddetermining the scan weights for different regions of the environment based at least in part on the range weights and the entropy weights.The system of claim 5, wherein for each of the plurality of data sets, the range weight wd is associated with a length l and a width w spanned by the corresponding LiDAR data points.The system of claim 5, wherein for each of the plurality of data sets, the range weight wd is defined based at least in part on:where Δθh is a horizontal spanning angle associated with the corresponding LiDAR data points, Δθv is a vertical spanning angle associated with the corresponding LiDAR data points, d corresponds to a distance of a centroid associated with the corresponding LiDAR data points, and dmax corresponds to a scan range limit.The system of claim 5, wherein the entropy weights we are associated with mobility or shape complexity of one or more objects or structures in the environment.The system of claim 8, wherein determining the entropy weights we comprises:processing the LiDAR data to determine LiDAR data points associated with planes and LiDAR data points associated with non-planes;for each of the planes, determining a respective entropy weight for the corresponding set of LiDAR data points based at least in part on a first entropy computation method; andfor each of the non-planes, determining a respective entropy weight for the corresponding set of LiDAR data points based at least in part on a second entropy computation method.The system of claim 9, wherein:in the first entropy computation method, the entropy weight we for each respective plane is associated withe2 log Kwhere K is a voxelization dimension associated with the corresponding LiDAR data points; andin the second entropy computation method, the entropy weight we for each respective non-plane is associated withwhere K is a voxelization dimension associated with the corresponding LiDAR data points, L represents number of LiDAR data points associated with the non-plane, and nk denotes number of LiDAR data points in the k-th voxel.The system of claim 5, wherein the processing of the LiDAR data further comprises:determining an application weight wa for the LiDAR data, the application weight is associated with an application requirement of the LiDAR data,wherein determining the scan weights for different regions of the environment comprises determining the scan weights for different regions of the environment based at least in part on the range weights, the entropy weights, and the application weight.The system of claim 1, wherein the one or more processors are configured to:determine the one or more scan parameters for the LiDAR system based at least in part on processing the attention map, wherein the processing of the attention map is arranged to determine respective scan time for each of the different regions of the environment based at least in part on the scan weights.The system of claim 12, wherein the processing of the attention map comprises:solving an optimization problem with an objective to optimize the scan times for the different regions of the environment, to determine the one or more scan parameters for the LiDAR system based at least in part on the attention map.The system of claim 13, wherein the optimization problem is a constrained optimization problem that comprises at least one of:a constraint associated with a kinematic limit of the LiDAR system;a constraint associated with a duration of a LiDAR frame;a constraint associated with a transition duration for transitioning between adjacent regions of the environment; ora constraint associated with LiDAR application.The system of claim 13, wherein the optimization problem is a convex optimization problem.The system of claim 1, wherein:the LiDAR system comprises a scanning mechanism; andthe signal is arranged to control operation of the scanning mechanism.The system of clause 16, wherein:the scanning mechanism comprises a scanner with one or more scan mirrors; andthe signal is arranged to control movement of the one or more scan mirrors.The system of claim 17, wherein the one or more processors are configured to:generate the signal based at least in part on processing the one or more scan parameters using a control function for smoothing the movement of the scanner;wherein the control function is arranged to adjust movement speed of the scanner using a polynomial function, so as to smoothen transition of movement speed of the scanner between two different regions of the environment with different scan weights.A LiDAR system comprising the system of claim 1.A LiDAR system comprising:a scanning mechanism operable to:scan an environment with a first scan pattern for obtaining a first set of LiDAR data of the environment, andscan the environment with a second scan pattern for obtaining a second set of LiDAR data of the environment; andone or more processors configured to:receive the first set of LiDAR data;generate an attention map associated with the environment based at least in part on the first set of LiDAR data, the attention map comprising scan weights for different regions of the environment;determine the second scan pattern based at least in part on the attention map; andgenerate a signal for causing the scanning mechanism to perform scanning with the second scan pattern.

Images