Lidar and detection method thereof

WO2025002242A1PCT designated stage expired Publication Date: 2025-01-02HESAI TECH CO LTD
View PDF 6 Cites 0 Cited by

Patent Information

Application Number
PCT/CN2024/101943
Authority / Receiving Office
WO · WO
Patent Type
Applications
Current Assignee / Owner
Priority Date
2023-06-27
Filing Date
2024-06-27
Publication Date
2025-01-02

Smart Images

  • Figure CN2024101943_02012025_PF_FP_ABST
    Figure CN2024101943_02012025_PF_FP_ABST
Patent Text Reader

Abstract

A LiDAR(100) includes an emitter apparatus(110), a detector apparatus(120), and a data processor apparatus(130). The emitter apparatus(110) includes a light-emitter unit(111). The light-emitter unit(111) can emit multiple detection pulses in a detection process for detecting an object. The detector apparatus(120) includes a detector unit(121). The detector unit(121) includes a pixel array. The data processor apparatus(130) is coupled to the detector apparatus(120). The data processor apparatus(130) can receive the detection data. The data processor apparatus(130) includes a feedback processor module(131) coupled to the emitter apparatus(110). The emitter apparatus(110) can first emit a first set of detection pulses in a detection process. The data processor apparatus(130) can receive a first set of detection data generated by the pixel array. The feedback processor module(131) can determine the subsequent emission action for the emitter apparatus(110) based on the first set of detection data.
Need to check novelty before this filing date? Find Prior Art

Description

LIDAR AND DETECTION METHOD THEREOF

[0001] CROSS-REFERENCE TO RELATED APPLICATION

[0002] This application claims priority to Chinese Patent Application No. 202310772052. X, filed on June 27, 2023, the content of which is incorporated herein by reference in its entirety.TECHNICAL FIELD

[0003] This disclosure relates typically to the field of LiDAR and, in particular, to LiDARs and detection methods of the LiDARs.BACKGROUND

[0004] Light detection and ranging ( “LiDAR” ) is a radar system that can detect the position, the velocity, or other feature quantities of a target by emitting laser beams. LiDAR is an advanced detection approach that combines the laser technology with the photoelectric detection technology. LiDARs have been widely used in autonomous driving, traffic communication, unmanned aerial vehicles, intelligent robots, resource exploration, or other fields due to the advantages of high resolution, good concealment, high resistance to active interference, good low-altitude detection performance, small size, light weight, or the like.

[0005] Some LiDARs can use detectors such as single photon avalanche diodes ( "SPADs" ) for detection. SPADs have high sensitivity and can be triggered by a single photon, making them susceptible to environmental light noise. On the other hand, the photon detection efficiency ( "PDE" ) of SPADs is relatively low for the typically used detection light band of a LiDAR. In such a case, the signal strength determined by SPADs in a single detection is weak, which limits the long-distance measurement ability of LiDARs. In one detection sweep, an SPAD can only trigger a few times within the detection time window. In such a case, it may be difficult to distinguish whether the detected light signal is an echo signal or ambient light noise. A low signal to noise ratio ( "SNR" ) can be resulted in, and the accuracy of the detection results can be affected.

[0006] To improve the long-distance measurement performance of a LiDAR and reduce the impact of noise, the LiDAR can perform repeated measurements multiple times in a detection process when detecting an object (e.g., obstacle) in the same field of view. One measurement, also known as a sweep, can refer to that a laser can emit light (e.g., emit multiple light pulses) for multiple times during emission. One light-emission can be called a sweep. One detection pulse can be emitted in a sweep (e.g., the number of times of repeated measurements can be 400-500, or even thousands, or more or less) . For example, as shown in FIG. 1a, a LiDAR can perform a total of 400 sweeps in a detection process. For example, as shown in FIG. 1b, in one sweeping process, the echoes generated by detection pulses that are emitted by the LiDAR and reflected from an object, and environmental light noise, trigger different numbers of SPADs at different time points (e.g., in FIG. 1b, the x-axis represents time, and the y-axis represents the number of triggered SPADs) . The result of a single sweep (e.g., the  histograms in the upper right corner of FIG. 1b) cannot be effectively distinguished between echo signals and noise signals. In such a case, based on the result of the sweep 1, the result of the sweep 2 can be added up to accumulate a higher quantity of echo signals in the corresponding time. By analogy, until accumulation of the results of 400 sweeps (e.g., assuming a total of 400 sweeps) , a histogram (e.g., with reference to the histogram in the bottom right corner of FIG. 1b) can be determined, and a high peak can be accumulated at the time corresponding to an object. In such a case, echo signals and noise signals can be effectively distinguished, and the distance to the object can be measured at this time to determine a point in a LiDAR point cloud. The method of determining object information based on the accumulated results of multiple sweeps can effectively improve the detection performance of LiDARs using detectors similar to SPADs in some cases. However, due to a limited number of light emissions, the SNR of weak echo signals is relatively low. Especially, echo signals from long-distance, low-reflectivity targets have poor ability to trigger a detector. In such a case, the pulse peak determined after a finite number of accumulations can still be low, and the SNR is low.

[0007] To improve the SNR, some LiDARs use a convolution processing solution to perform convolution on electrical signals outputted by each detector unit. This method can effectively improve the SNR, and can be beneficial for long-distance measurement of LiDARs. However, most LiDARs can use convolution kernels of the same size and the same convolution stride during convolution. By doing so, computational consumption can be high, and adjustment ability can be poor. For example, in a detection process of some LiDAR, each laser of a LiDAR can emit light for the same number of times, and the corresponding detector unit can also respond for the corresponding number of times. By doing so, power consumption of a LiDAR system can be high.

[0008] Reducing the computational consumption and power consumption of a LiDAR system while maintaining preferable detection performance (e.g., high SNR, long-distance measurement performance, accuracy of detection results, dynamic adjustment ability, or the like) requires continuous improvement in the field of LiDAR.SUMMARY

[0009] This disclosure provides a LiDAR. The LiDAR can first emit a first set of detection pulses in a detection process, and perform feedback processing based on detection data of the first set of detection pulses to determine the subsequent emission action for an emitter apparatus. The LiDAR can achieve at least one of the following, including reduction of computational consumption, reduction of system power consumption, maintenance of high SNR, long-distance measurement performance, accuracy of detection results, dynamic adjustment ability, or other detection performances.

[0010] The LiDAR includes an emitter apparatus, a detector apparatus, and a data processor.

[0011] Optionally, the emitter apparatus includes a light-emitter unit. The light-emitter unit is configured to emit a detection pulse for detecting an object. The emitter apparatus is configured to  emit a first set of detection pulses. The detection apparatus includes a detector unit. The detector unit includes a pixel array configured to receive echoes of the first set of detection pulses reflected from the object and generate a first set of detection data. The data processor apparatus is coupled to the detector apparatus. The data processor apparatus is configured to receive the first set of detection data. The data processor apparatus includes a feedback processor apparatus. The feedback processor apparatus is coupled to the emitter apparatus. The feedback processor apparatus is configured to determine a subsequent emission action for the emitter based on the first set of detection data.

[0012] Optionally, the emitter apparatus includes a light-emitter unit. The light-emitter unit is configured to emit a detection pulse for detecting an object. The emitter apparatus is configured to emit a first set of detection pulses. The detection apparatus includes a detector unit. The detector unit includes a pixel array configured to receive echoes of the first set of detection pulses reflected from the object and generate a first output data. The data processor apparatus is coupled to the detector apparatus. The data processor apparatus is configured to obtain a first set of detection data. The first set of detection data is included in the first output data or is determined based on the first output data. The data processor apparatus includes a feedback processor apparatus. The feedback processor apparatus is coupled to the emitter apparatus. The feedback processor apparatus is configured to determine a subsequent emission action for the emitter based on the first set of detection data.

[0013] Optionally, the emitter apparatus includes at least one light-emitter unit. The at least one light-emitter unit is configured to emit multiple detection pulses in a detection process for detecting an object. The detector apparatus includes at least one detector unit. Each detector unit includes a pixel array configured to respond to echoes of the detection pulses reflected from the object and generate detection data. The data processor apparatus is coupled to the detector apparatus and configured to receive the detection data. The data processor apparatus includes a feedback processor module coupled to the emitter apparatus. The emitter apparatus first emits a first set of detection pulses in a detection process. The first set of detection pulses includes one or more detection pulses. The data processor apparatus receives a first set of detection data generated by the pixel array responding to echoes of the first set of detection pulses reflected from the object. The feedback processor module is configured to determine the subsequent emission action for the emitter apparatus based on the first set of detection data.

[0014] Optionally, the feedback processor module is configured to perform first convolution on the first set of detection data to determine a first reconstructed pixel array. The feedback processor module is configured to determine the subsequent emission action for the emitter apparatus based on the first reconstructed pixel array.

[0015] Optionally, the feedback processor module is configured to determine data statistics of data of reconstructed pixels in the first reconstructed pixel array. The feedback processor module is  configured to determine the subsequent emission action for the emitter apparatus based on the data statistics.

[0016] Optionally, the feedback processor module is configured to: determine pulse statistics by determining whether the data statistics of the reconstructed pixels in the first reconstructed pixel array includes over-threshold pulses exceeding a first strength threshold. The feedback processor module is configured to determine the subsequent emission action for the emitter apparatus based on the pulse statistics.

[0017] Optionally, the feedback processor module is configured to: based on a determination that the data statistic of the reconstructed pixels in the first reconstructed pixel array includes the over-threshold pulses. The feedback processor module is configured to determine parameter statistics of at least one of the strength of each over-threshold pulse, a distance to object corresponding to each over-threshold pulse, a number of the reconstructed pixels including the over-threshold pulses, or a ratio of the reconstructed pixels including the over-threshold pulses to all reconstructed pixels in the first reconstructed pixel array. The feedback processor module is configured to determine the subsequent emission action for the emitter apparatus based on the parameter statistics.

[0018] Optionally, the feedback processor module is configured to perform ambient light compensation on data of at least part of reconstructed pixels in the first reconstructed pixel array.

[0019] Optionally, the emission action includes one of the following continuing to emit a second set of detection pulses including one or more detection pulses; or stopping emitting detection pulses to end the detection.

[0020] Optionally, the continuing to emit a second set of detection pulses includes continuing to emit the second set of detection pulses at a reduced emission strength; or continuing to emit the second set of detection pulses at an unchanged emission strength.

[0021] Optionally, the feedback processor module is configured to: stop emitting detection pulses based on a determination that the object is detected through the first set of detection data based on a predetermined criterion; continue to emit the second set of detection pulses based on a determination that the object is not detected through the first set of detection data based on a predetermined criterion.

[0022] Optionally, the feedback processor module is configured to feedback the emission action to the emitter apparatus configured to execute the emission action. For example, the feedback processor module is configured to send data representing the emission action to the emitter for executing the emission action.

[0023] Optionally, in a detection process, if the emitter apparatus continues to emit the second set of detection pulses, the data processor apparatus is configured to determine a second set of detection data generated by the pixel array responding to echoes of the second set of detection pulses reflected  from the object. The feedback processor module is configured to: determine the subsequent emission action for the emitter apparatus based on the second set of detection data.

[0024] Optionally, the data processor apparatus further includes: an output processor module. The output processor module is coupled to the feedback processor module. If the feedback processor module determines that the emission action is to stop emitting detection pulses, the output processor module is configured to: perform second convolution on detection data generated based on at least one set of detection pulses emitted by the emitter apparatus to determine a second reconstructed pixel array, and generate a LiDAR point cloud based on the second reconstructed pixel array. The detection data generated based on at least one set of detection pulses includes the first set of detection data.

[0025] Optionally, the second convolution includes performing convolution on the detection data using multiple convolution kernels of different sizes respectively to determine multiple second reconstructed pixel arrays, and generating a LiDAR point cloud based on the multiple second reconstructed pixel arrays.

[0026] Optionally, the output processor module is configured to perform ambient light compensation on data of at least part of reconstructed pixels in the second reconstructed pixel array.

[0027] Optionally, the output processor module is configured to: determine a final reconstructed pixel array based on states of data of reconstructed pixels in the multiple second reconstructed pixel arrays, and generate a LiDAR point cloud based on the final reconstructed pixel array.

[0028] Optionally, the output processor module is configured to determine the final reconstructed pixel array based on pulse over-threshold states of adjacent reconstructed pixels in at least two of the second reconstructed pixel arrays.

[0029] Optionally, the output processor module is configured to determine a calculation method for data of intermediate reconstructed pixels based on pulse over-threshold states of data of at least two adjacent reconstructed pixels in the second reconstructed pixel arrays.

[0030] Optionally, the output processor module is configured to determine the calculation method for data of intermediate reconstructed pixels based on the pulse over-threshold states of the data of the at least two adjacent reconstructed pixels and at least one of a distance to the object or reflectivity of the object.

[0031] Optionally, the calculation method for data of intermediate reconstructed pixels includes one of: interpolation calculation of the intermediate reconstructed pixels, single-point calculation of the intermediate reconstructed pixels, or convolution calculation of the middle pixels.

[0032] This disclosure further provides a detection method of a LiDAR. The LiDAR includes an emitter apparatus and a detector apparatus. The emitter apparatus includes at least one light-emitter unit configured to emit multiple detection pulses in a detection process. The detector apparatus  includes at least one detector unit, and each detector unit includes a pixel array. The detection method includes: in a detection process, first, emitting a first set of detection pulses including one or more detection pulses; responding, by the pixel array of the detector unit, to echoes of the first set of detection pulses reflected from an object, and generating a first set of detection data; and determining the subsequent emission action based on the first set of detection data.

[0033] Optionally, the determining the subsequent emission action based on the first set of detection data includes performing first convolution on the first set of detection data to determine a first reconstructed pixel array; and determining the subsequent emission action for the emitter apparatus based on the first reconstructed pixel array.

[0034] Optionally, the determining the subsequent emission action based on the first set of detection data includes: determining data statistics of data of reconstructed pixels in the first reconstructed pixel array; and determining the subsequent emission action for the emitter apparatus based on the data statistics.

[0035] Optionally, the determining data statistics of data of reconstructed pixels in the first reconstructed pixel array includes: determining pulse statistics by determining whether the data statistics of the reconstructed pixels in the first reconstructed pixel array includes over-threshold pulses exceeding a first strength threshold; and determining the subsequent emission action for the emitter apparatus based on the pulse statistics.

[0036] Optionally, based on a determination the data statistic of the reconstructed pixels in the first reconstructed pixel array includes the over-threshold pulses, the step of determining data statistics of data of reconstructed pixels in the first reconstructed pixel array further includes: further determining parameter statistics of at least one of the strength of each over-threshold pulse, the distance to object corresponding to each over-threshold pulse, the number of the reconstructed pixels including the over-threshold pulses, and the ratio of the reconstructed pixels including the over-threshold pulses to all reconstructed pixels in the first reconstructed pixel array; and determining the subsequent emission action for the emitter apparatus based on the determined statistics.

[0037] Optionally, the determining data statistics of data of reconstructed pixels in the first reconstructed pixel array includes performing ambient light compensation on data of at least part of reconstructed pixels in the first reconstructed pixel array.

[0038] Optionally, the emission action includes one of the following: continuing to emit a second set of detection pulses including one or more detection pulses; or stopping emitting detection pulses to end the detection.

[0039] Optionally, the step of continuing to emit a second set of detection pulses includes: continuing to emit the second set of detection pulses at a reduced emission strength; or continuing to emit the second set of detection pulses at an unchanged emission strength.

[0040] Optionally, the determining data statistics of data of reconstructed pixels in the first reconstructed pixel array includes stopping emitting detection pulses based on a determination that the object is detected through the first set of detection data based on a predetermined criterion; continuing to emit the second set of detection pulses, based on a determination that the object is not detected through the first set of detection data based on a predetermined criterion.

[0041] Optionally, the detection method further includes feeding back the emission action to the emitter apparatus and controlling the emitter apparatus to execute the fed emission action. For example, the detection method further includes send data representing the emission action to the emitter apparatus for executing the emission action and controlling the emitter apparatus to execute the fed emission action.

[0042] Optionally, in a detection process, in a case of continuing to emit the second set of detection pulses, the detection method further includes determining a second set of detection data generated by the pixel array responding to echoes of the second set of detection pulses reflected from the object and determining the subsequent emission action based on the second set of detection data.

[0043] Optionally, based on a determination that the emission action is to stop emitting detection pulses, the detection method further includes performing second convolution on detection data generated based on at least one set of detection pulses emitted by the emitter apparatus to determine a second reconstructed pixel array, and generating a LiDAR point cloud based on the second reconstructed pixel array. The detection data generated based on at least one set of detection pulses includes the first set of detection data.

[0044] Optionally, the step of performing second convolution on detection data generated based on at least one set of detection pulses emitted by the emitter apparatus includes performing convolution on the detection data using multiple convolution kernels of different sizes respectively to determine multiple second reconstructed pixel arrays, and generating a LiDAR point cloud based on the multiple second reconstructed pixel arrays.

[0045] Optionally, the detection method further includes: performing ambient light compensation on data of at least part of reconstructed pixels in the second reconstructed pixel array.

[0046] Optionally, the detection method further includes: determining a final reconstructed pixel array based on states of data of reconstructed pixels in the multiple second reconstructed pixel arrays, and generating a LiDAR point cloud based on the final reconstructed pixel array.

[0047] Optionally, the step of determining a final reconstructed pixel array based on states of data of reconstructed pixels in the multiple second reconstructed pixel arrays includes: determining the final reconstructed pixel array based on pulse over-threshold states of adjacent reconstructed pixels in at least two of the second reconstructed pixel arrays.

[0048] Optionally, the step of determining a final reconstructed pixel array based on states of data of reconstructed pixels in the multiple second reconstructed pixel arrays further includes: determining a calculation method for data of intermediate reconstructed pixels based on pulse over-threshold states of data of at least two adjacent reconstructed pixels in the second reconstructed pixel arrays.

[0049] Optionally, the step of determining a final reconstructed pixel array based on states of data of reconstructed pixels in the multiple second reconstructed pixel arrays further includes: determining the calculation method for data of intermediate reconstructed pixels based on the pulse over-threshold states of the data of at least two reconstructed pixels and at least one of a distance to the object or reflectivity of the object.

[0050] Optionally, the calculation method for data of intermediate reconstructed pixels includes one of: interpolation calculation of the middle pixel, single-point calculation of the middle pixel, or convolution calculation of the middle pixel.

[0051] Based on the foregoing, the solution of this disclosure has been introduced in detail. The LiDAR of this disclosure works based on a feedback mechanism. In a detection process, an emitter apparatus first emits a first set of detection pulses, and the feedback processor module determines the subsequent emission action based on a first set of detection data. The subsequent emission action can be to stop emitting light, or continue to emit detection pulses at a reduced emission strength, or continue to emit detection pulses at an unchanged emission strength. In such a case, the overall number of sweeps can be reduced, and the system power consumption of the LiDAR can be greatly saved. Moreover, each of multiple light-emitter units can determine the corresponding total number of sweeps based on a real-time detection result, and achieve adaptive change of the number of detection pulses emitted. In such a case, the system power consumption can be reduced, and high detection accuracy can be ensured throughout the entire field of view.

[0052] Further, the feedback processor module performs the first convolution on the first set of detection data by using a larger stride and smaller convolution kernels. In such a case, the first convolution has a less calculation amount and a higher calculation speed, and the system power consumption of the LiDAR can be reduced.

[0053] Further, in the second convolution performed by the output processor module, compared with the convolution stride in the first convolution, a smaller convolution stride is used for the second convolution. A refinement method can also reduce the calculation amount and reduce the system power consumption of the LiDAR, and finally determines a refined calculation result.

[0054] Further, the feedback processor module / output processor module can reduce the interference of ambient light by performing ambient light compensation on the data of at least part of reconstructed pixels in the first / second reconstructed pixel arrays, and the results are more accurate.

[0055] In addition, for different detection targets, this solution can also change the total number of light emissions through a feedback mechanism. For a short-distance, high-reflectivity (strong echo signal) region, light emission is performed less times, while for a long-distance, low-reflectivity (weak echo signal) region, light emission is performed more times. In such a case, the number of light emissions is adaptively changed based on real-time echo signals, and the system power consumption of the entire LiDAR is reduced.

[0056] In addition, the LiDAR of this disclosure can change the spatial resolution and SNR, can achieve high spatial resolution for a short-distance, high-reflectivity target, and can maintain high SNR and achieve farther detection capabilities for a long-distance, low-reflectivity target. The LiDAR of this disclosure can also alleviate the problems of expansion of high-reflectivity objects and false targets, is conducive to improving the accuracy of detection results, and dynamically maintains better detection performance throughout the entire field of view.BRIEF DESCRIPTION OF DRAWINGS

[0057] The drawings are used to provide further understanding of this disclosure, form an integral part of the specification, are used to interpret this disclosure together with the embodiments of this disclosure, and do not impose any limitation on this disclosure. In the figures:

[0058] FIG. 1a shows an example schematic diagram of a LiDAR performing multiple measurements in a detection.

[0059] FIG. 1b shows an example schematic diagram of a histogram determined by accumulating multiple measurement results.

[0060] FIG. 2 shows a schematic diagram of a first example LiDAR, consistent with some embodiments of this disclosure.

[0061] FIG. 3 shows a schematic diagram of a first example detector apparatus, consistent with some embodiments of this disclosure.

[0062] FIG. 4 shows a schematic diagram of a second example detector apparatus, consistent with another embodiment of this disclosure.

[0063] FIG. 5 shows an enlarged view of an example detector unit, consistent with some embodiments of this disclosure.

[0064] FIG. 6 shows a schematic diagram of an example feedback processor module performing first convolution on a first set of detection data, consistent with some embodiments of this disclosure.

[0065] FIG. 7 shows a schematic diagram of a second example LiDAR, consistent with some embodiments of this disclosure.

[0066] FIG. 8 to FIG. 10 show schematic diagrams of an example output processor module performing second convolution on a first set of detection data, consistent with some embodiments of this disclosure.

[0067] FIG. 11 shows an example schematic diagram of position relationships of adjacent reconstructed pixels and intermediate reconstructed pixels, consistent with some embodiments of this disclosure.

[0068] FIG. 12 shows a flowchart illustrating an example detection method of a LiDAR, consistent with some embodiments of this disclosure.DETAILED DESCRIPTION

[0069] Only some illustrative embodiments are described below. As would be understood by those skilled in the art, the described embodiments can be modified in various ways without departing from the spirit or scope of this disclosure. Accordingly, the drawings and description are considered essentially illustrative and non-restrictive.

[0070] In the description of this disclosure, it should be understood that the directions or position relationships indicated by the terms, such as "center, " "longitudinal, " "transverse, " "length, " "width, " "thickness, " "above, " "below, " "front, " ""back, " "left, " "right, " "vertical, " "horizontal, " "top, " "bottom, " "inner, " "outer, " "clockwise, " and "counterclockwise, " are based on the directions or position relationships shown in the drawings, are only provided to facilitate describing this disclosure and simplifying the description, rather than indicating or implying that the apparatus or element referred to must have a particular direction, or be constructed and operated in a particular direction, and therefore cannot be construed as limiting this disclosure. In addition, the terms "first" and "second" are only used for the purpose of description, and cannot be understood as indicating or implying relative importance or implicitly indicating the number of indicated technical features. Thus, features defined with "first" or "second" can explicitly or implicitly include one or more of the features. In the description of this disclosure, "plurality" and "multiple" refer to two or more than two, unless otherwise explicitly and specifically defined.

[0071] In the description of this disclosure, it should be noted that, unless otherwise specifically stipulated and defined, the terms "installation, " "connected, " and "connection" should be understood in a broad sense, for example, can be a fixed connection, or can be a detachable connection or an integrated connection; can be a mechanical connection, or can be an electrical connection, or can be mutual communication; can be a direct connection, or can be an indirect connection through an intermediate medium, or can be an internal communication between two elements or an interaction relationship between two elements. For those of ordinary skills in the art, the specific meanings of the terms in this disclosure can be understood based on specific circumstances.

[0072] In this disclosure, unless otherwise explicitly stipulated and defined, the first feature "above" or "below" the second feature can include the first feature in direct contact with the second feature, or can include the first feature not being in direct contact with the second feature, but in contact with the second feature through other features between them. Further, the first feature "above" and "over" the second feature includes the first feature being right above and obliquely above the second feature, or merely represents that a horizontal height of the first feature is larger than that of the second feature. The first feature "below" and "under" the second feature includes the first feature being right below and obliquely below the second feature, or merely represents that a horizontal height of the first feature is smaller than that of the second feature.

[0073] The disclosure below provides many different embodiments or examples to implement different structures of this disclosure. To simplify this disclosure, components and arrangements of particular examples are described below. Of course, they are merely examples, and are not intended to limit this disclosure. Further, in this disclosure, reference numbers and / or reference letters can be repeated in different examples. Such repetition is for purposes of simplicity and clarity, and itself does not indicate a relationship between the discussed embodiments and / or arrangements. In addition, this disclosure provides examples of various particular processes and materials, but those of ordinary skills in the art can appreciate the application of other processes and / or the use of other materials.

[0074] The embodiments of this disclosure are described below in conjunction with the accompanying drawings, and it should be understood that the embodiments described herein are used only to illustrate and interpret this disclosure, and are not intended to limit this disclosure.

[0075] This disclosure provides a LiDAR. FIG. 2 shows a schematic diagram of a first example LiDAR, consistent with some embodiments of this disclosure. For example, as shown in FIG. 2, the LiDAR 100 includes an emitter apparatus 110, a detector apparatus 120 and a data processor apparatus 130. The emitter apparatus 110 includes at least one light-emitter unit 111 (e.g., a light-emitter unit 111 is illustratively shown in FIG. 2) . The light-emitter unit 111 can emit multiple detection pulses L in a detection process for detecting an object (e.g., “object OB” shown in FIG. 2) . The detector apparatus 120 includes at least one detector unit 121 (e.g., a detector unit 121 is illustratively shown in FIG. 2) . Each detector unit 121 includes a pixel array (e.g., an 8×16 pixel array is illustratively shown in FIG. 2) . The pixel array can respond to the echoes L′of the detection pulses L reflected from the object and generate detection data. The data processor apparatus 130 is coupled to the detector apparatus 120. The data processor apparatus 130 can receive the detection data. The data processor apparatus 130 includes a feedback processor module 131 coupled to the emitter apparatus 110. The emitter apparatus 110 can first emit a first set of detection pulses in a detection process. The first set of detection pulses includes one or more detection pulses L. The data processor apparatus 130 can determine a first set of detection data generated by the pixel  array responding to echoes of the first set of detection pulses reflected from the object. The feedback processor module 131 can determine the subsequent emission action for the emitter apparatus 110 based on the first set of detection data. The LiDAR of this disclosure can determine the subsequent emission action for the emitter apparatus through a feedback mechanism. The LiDAR can determine the number of detection pulses emitted based on real-time detection results. In such a case, the total number of detection pulses and system power consumption of the LiDAR can be reduced. For example, if the detection data generated based on the echoes generated by the first set of detection pulses is sufficient to accurately calculate the object information, the remaining detection pulses in the detection process can be not emitted. In a case that the detection data generated based on the echoes generated by the first set of detection pulses is insufficient to accurately determine the object information (e.g., by calculating) , more detection pulses can be emitted, and detection data can be generated based on a further detection result. A detailed introduction is provided below.

[0076] FIG. 3 shows a schematic diagram of a first example detector apparatus, consistent with some embodiments of this disclosure. For example, as shown in FIG. 3, the detector apparatus 120 includes multiple detector units, such as, N detector units R1, R2, R3, ..., RN. N is an integer greater than 1. The multiple detector units are arranged vertically into a one-dimensional linear array, covering the vertical field of view of the LiDAR. Further, sweeping detection of a three-dimensional scene can be achieved by mechanically rotating a transceiver apparatus of the LiDAR or by rotating a sweeping mirror.

[0077] FIG. 4 shows a schematic diagram of a second example detector apparatus, consistent with another embodiment of this disclosure. For example, with reference to FIG. 4, the detector apparatus 120 includes multiple detector units R11, R21, ..., RM1, ..., R1N, R2N, ..., RMN. The multiple detector units can be arranged into a two-dimensional planar array, forming an N×M detector unit array, namely an N-row and M-column detector unit array. N and M are integers greater than 1. The magnitude relationship between N and M is not limited in this disclosure.

[0078] FIG. 5 shows an enlarged view of an example detector unit 121, consistent with some embodiments of this disclosure. With reference to FIG. 5, the detector unit 121 includes pixel arrays. A pixel array includes multiple pixels arranged in the array. For example, 8×16=128 pixels are illustratively shown in the figure. A pixel can include one or more single photon avalanche diodes ( "SPADs" ) . Each SPAD can be independently gated and addressed. The data in the one or more SPADs in each pixel can be accumulated to form the data of the pixel. It can be understood that the data of each SPAD can also be independently output and read.

[0079] A detailed introduction to the detector apparatus of this disclosure is provided in the embodiments. It should be noted that the number and arrangement of the detector units in the detector apparatus, the number and arrangement of the pixels in each detector unit, and the number and  arrangement of the SPADs in each pixel are not limited in this disclosure, and can be flexibly determined as needed in practical applications.

[0080] In some embodiments, the emitter apparatus 110 can include at least one light-emitter unit 111 corresponding to at least one detector unit 121. The echo generated by a detection beam emitted by each light-emitter unit 111 from an object can be received and determined by the corresponding detector unit 121. On the one hand, the light-emitter unit 111 can be paired with the detector unit 121 one by one. For example, the number of the light-emitter units 111 can be equal to the number of the detector units 121. The echo generated by the detection beam emitted by each light-emitter unit 111 from the object is received and determined by the paired detector unit 121. On the other hand, the echoes generated by detection beams emitted by multiple light-emitter unit 111 from the object can also be received and determined by one detector unit 121. In addition, a detection beam emitted by one light-emitter unit 111 can also be subdivided into multiple beams, or concentrated to multiple detector units 121 through uniform light dividing and other means.

[0081] In some embodiments, the light-emitter unit 111 can use a vertical-cavity surface-emitting laser ( "VCSEL" ) or an edge emitting laser ( "EEL" ) . In a case that the emitter apparatus 110 includes multiple light-emitter units 111, the multiple light-emitter units 111 can be arranged into a one-dimensional linear array or two-dimensional planar array based on the arrangement of the detector unit 121, all of which are within the scope of protection of this disclosure.

[0082] In some embodiments, during the detection process of the LiDAR, the detection beam L emitted by the light-emitter unit 111 can be deflected by a sweeping device (e.g., a rotating mirror) . In some embodiments, the emitter apparatus 110 can be driven by a rotor to emit the detection beam L at intervals of a particular horizontal angle (e.g., 0.05°) in a polling manner. The pixel array of the corresponding detector unit 121 can respond to the echo L′of the detection beam L reflected from the object (e.g., object OB shown in FIG. 2) and generate an electrical signal based on the echo. By moving the field of view, the LiDAR can complete sweeping of the entire scene of the surrounding environment, and thus achieve detection in a particular horizontal field of view. The data processor apparatus 130 can determine a three-dimensional point cloud of the surrounding environment by concatenating the three-dimensional point clouds of respective regions of field of view. The LiDAR of this disclosure is not limited to the mechanical rotary LiDAR or the sweeping LiDAR described. The LiDAR of this disclosure can also be a solid-state LiDAR, which does not require any mechanical rotary structure and can cover a particular spatial field of view through a planar array setting of an emitter apparatus and a detector apparatus.

[0083] In some LiDARs, each light-emitter unit can execute the same emission action during multiple detection processes (e.g., emitting the same number of detection pulses for detecting objects, and the pixel array of a corresponding detector unit also responds for the corresponding number of  times) . In such a case, high system power consumption and poor adaptive change ability of the LiDAR can be resulted in. In a detection process, the light-emitter unit 111 can first emit a first set of detection pulses. The pixel array of the corresponding detector unit 121 can respond to echoes of the first set of detection pulses reflected from an object and generate a first set of detection data. The data processor apparatus 130 can receive the first set of detection data, and the feedback processor module 131 can determine the subsequent emission action for the emitter apparatus 110 based on the first set of detection data. For example, in a detection process, assuming that the total number of light emissions of each light-emitter unit 111 is Nsweep (e.g. 400 times) , each light-emitter unit 111 can first emit the first set of detection pulses (e.g., 1, 50, or 100 detection pulses) . The number of detection pulses of the first set of detection pulses is denoted as N1, where N1<Nsweep. The pixel array of the corresponding detector unit 121 can respond to echoes of the first set of detection pulses reflected from the object and generate the first set of detection data. The first set of detection data can be histogram data determined by accumulating the echo response signals of N1 sweeps. The data processor apparatus 130 can receive the first set of detection data. In some embodiments, the data processor apparatus 130 can parallelly collect electrical signals (e.g., the echo waveforms, or the triggering number and time points of SPAD) outputted by each pixel in the pixel array, and determine the first set of detection data after N1 accumulations. The feedback processor module 131 can determine the subsequent emission action for the emitter apparatus 110 based on the first set of detection data.

[0084] In some embodiments, the subsequent emission action for the emitter apparatus 110 includes one of: continuing to emit a second set of detection pulses including one or more detection pulses, the number of which is denoted as N2, where N1+N2≤Nsweep; or stopping emitting detection pulses to end the detection. How the feedback processor module 131 determines the subsequent emission action for the emitter apparatus 110 based on the first set of detection data is introduced below.

[0085] In some embodiments, the feedback processor module 131 can determine the subsequent emission action for the emitter apparatus 110 based on the first set of detection data. For example, the feedback processor module 131 can determine whether to continue to emit a second set of detection pulses directly by determining whether the first set of detection data includes over-threshold pulses or the SNR is high enough. For example, the feedback processor module 131 can determine pulse statistics by determining whether the first set of detection data includes over-threshold pulses exceeding a first strength threshold, and determine the subsequent emission action for the emitter apparatus 110 based on the pulse statistics. In some embodiments, if the first set of detection data includes the over-threshold pulses, the feedback processor module 131 can further determine parameter statistics of at least one of the following parameters: the strength of each over-threshold pulse, the distance to an object (e.g., calculated and determined based on the over-threshold pulse)  corresponding to each over-threshold pulse, the number of the over-threshold pulses, or the ratio of the over-threshold pulses in the first set of detection data. The feedback processor module 131 can further determine the subsequent emission action for the emitter apparatus 110 based on the determined data statistics. In some embodiments, the feedback processor module 131 can determine the subsequent emission action for the emitter apparatus 110 based on the SNR of the first set of detection data. In some embodiments, the feedback processor module 131 can perform first convolution on the first set of detection data to determine a first reconstructed pixel array, and determine the subsequent emission action for the emitter apparatus 110 based on the first reconstructed pixel array. In some embodiments, if the first convolution is performed on the first set of detection data, a smaller size convolution kernel conv and a larger convolution stride can be used. The convolution kernel can also be called a convolution window or an accumulation window. The size of the convolution kernel is P×Q (e.g., in a matrix form of P rows and Q columns) , which can cover P×Q pixels, where P and Q are integers greater than or equal to 1 and can be equal or not equal. The minimum size of the convolution kernel is the size of one pixel, that is, conv=1×1.

[0086] FIG. 6 shows a schematic diagram of first convolution performed on a first set of detection data, consistent with some embodiments of this disclosure. With reference to FIG. 6, in some embodiments, the size of the convolution kernel conv=1×1, and the convolution stride=3. In the first convolution, the convolution kernel conv=1×1 gradually moves in a predetermined direction (e.g., from left to right, from top to bottom) with the convolution stride=3 as a unit. In each movement, the electrical signals (e.g., echo waveforms) outputted by all pixels (e.g., 1 pixel in this case) covered by the convolution kernel are accumulated once to determine a reconstructed pixel. The 8×16 pixel array of the entire detector unit can be traversed to determine a 3×6 reconstructed pixel array (e.g., as the first reconstructed pixel array) . A dark grid represents a reconstructed pixel. With reference to FIG. 6, a dashed box outlines one of the reconstructed pixels and the corresponding single pixel (original pixel) . The signal waveform of a reconstructed pixel (original pixel) is shown in the lower right part of FIG. 6. The feedback processor module 131 can perform the first convolution on the first set of detection data by using a smaller convolution kernel conv and a larger convolution stride, and can determine the first reconstructed pixel array based on part of the first set of detection data. By doing so, the calculation amount can be reduced, the calculation speed can be increased, and the system power consumption can be saved. It should be noted that although this embodiment takes the convolution kernel conv=1×1 and the convolution stride=3 as an example for explanation, it does not form a limitation on this disclosure. In the first convolution, other sizes of convolution kernels and other convolution strides can also be used. In some embodiments, the convolution stride can be greater than the side length of the convolution kernel. In the first convolution, the feedback processor module 131 can determine the first reconstructed pixel array based on part or all of the first set of detection data,  and can quickly determine whether an object can be detected with sufficient accuracy by the current detection result. The feedback processor module 131 can use convolution processing to reduce the calculation consumption, save the system power consumption, and improve the SNR of detection data.

[0087] The following description provides detailed examples on how the feedback processor module 131 determines the subsequent emission action for the emitter apparatus 110 based on the first reconstructed pixel array, consistent with embodiments of this disclosure.

[0088] In some embodiments, the feedback processor module 131 can determine data statistics of data of reconstructed pixels in the first reconstructed pixel array. The feedback processor module 131 can also determine the subsequent emission action for the emitter apparatus 110 based on the data statistics. For example, the feedback processor module 131 can determine pulse statistics by determining whether the data statistics of the reconstructed pixels in the first reconstructed pixel array includes over-threshold pulses exceeding a first strength threshold. The feedback processor module 131 can further determine the subsequent emission action for the emitter apparatus 110 based on the pulse statistics.

[0089] In some embodiments, based on a determination that the data statistic of the reconstructed pixels in the first reconstructed pixel array includes the over-threshold pulses, the feedback processor module 131 can further determine parameter statistics of at least one of the strength of each over-threshold pulse, the distance to an object (e.g., calculated and determined based on the over-threshold pulse) corresponding to each over-threshold pulse, the number of the reconstructed pixels including the over-threshold pulses, or the ratio of the reconstructed pixels including the over-threshold pulses to all reconstructed pixels in the first reconstructed pixel array. The feedback processor module 131 can further determine the subsequent emission action for the emitter apparatus 110 based on the determined statistics.

[0090] In some embodiments, the feedback processor module 131 can determine whether the determined statistics meets a predetermined criterion. The predetermined criterion can be at least one of:that the strength of the over-threshold pulse is greater than or equal to a second strength threshold that is greater than or equal to the first strength threshold; that the distance to the object corresponding to the over-threshold pulse is shorter than a distance threshold; that the number of reconstructed pixels including the over-threshold pulses reaches a quantity threshold; or the ratio of the reconstructed pixels including the over-threshold pulses to all reconstructed pixels in the first reconstructed pixel array reaches a ratio threshold. For example, if the strength of the over-threshold pulses reaches the second strength threshold and the ratio of the reconstructed pixels including the over-threshold pulses to all reconstructed pixels in the first reconstructed pixel array reaches the ratio threshold (e.g., 90%) , or if the number of the reconstructed pixels including the over-threshold pulses reaches the quantity threshold and the distance to the object corresponding to the over-threshold pulse is shorter than the  distance threshold, the determined statistics meets the predetermined criterion. It should be noted that the predetermined criterion is not limited to the above situations and can also include other predetermined criteria, all of which are within the scope of protection of this disclosure.

[0091] In a case that the determined statistics meets the predetermined criterion, the data statistic of the reconstructed pixels in the first reconstructed pixel array can have a high signal strength and a high SNR. In such a case, the feedback processor module 131 can detect the object and calculate the object information based on the predetermined criterion through the first set of detection data. The feedback processor module 131 can determine to cause the emitter apparatus 110 to stop emitting detection pulses and end the detection if the object is detected based on the predetermined criterion through the first set of detection data. For example, the feedback processor module 131 can send instructions to the emitter apparatus 110to cause the emitter apparatus 110 to stop emitting the detection pulses and end the detection.

[0092] In some embodiments, if the determined statistics does not meet the predetermined criterion, the data statistic of the reconstructed pixels in the first reconstructed pixel array can have a low signal strength and a low SNR. In such a case, the feedback processor module 131 cannot detect the object with sufficient accuracy based on the predetermined criterion through the first set of detection data. The feedback processor module 131 can determine to cause the emitter apparatus 110 to continue to emit a second set of detection pulses if the object cannot be detected with sufficient accuracy based on the predetermined criterion through the first set of detection data. For example, the feedback processor module 131 can send instructions to the emitter apparatus 110to cause the emitter apparatus 110 to continue to emit the second set of detection pulses.

[0093] In some embodiments, based on a determination that the data statistic of the reconstructed pixels in the first reconstructed pixel array does not include the over-threshold pulses, the data statistic of the reconstructed pixels in the first reconstructed pixel array can have a low signal strength and a low SNR. In such a case, the feedback processor module 131 cannot detect the object with sufficient accuracy through the first set of detection data. The feedback processor module 131 can determine to cause the emitter apparatus 110 to continue emitting the second set of detection pulses. For example, the feedback processor module 131 can send instructions to the emitter apparatus 110 and cause the emitter apparatus 110 to continue emitting the second set of detection pulses.

[0094] In some embodiments, the feedback processor module 131 can statistically determine whether the data statistic of the reconstructed pixels in the first reconstructed pixel array includes the over-threshold pulses. Based on a determination the data statistic of the reconstructed pixels in the first reconstructed pixel array includes the over-threshold pulses, the feedback processor module 131 can further statistically determine whether the over-threshold pulses meet the predetermined criterion. If the predetermined criterion is met, the first set of detection data is sufficient to detect the object. In  such a case, the feedback processor module 131 can determine to cause the emitter apparatus 110 to stop emitting detection pulses and end the detection. In such a case, the emitter apparatus 110 does not continue to emit detection pulses, and Nsweep detection pulses that can be emitted by the light-emitter unit 111 are not completely emitted. In such a case, the actual number of emissions of the light-emitter unit 111 can be reduced, the actual number of responses of the pixel arrays of the corresponding detector unit 121 can be reduced, and the system power consumption of the LiDAR can be significantly saved. In some embodiments, based on a determination that the predetermined criterion is not met, or based on a determination that the data statistics of the reconstructed pixels in the first reconstructed pixel array does not include the over-threshold pulses, the first set of detection data can be insufficient to accurately detect the object, and the feedback processor module 131 can determine to cause the emitter apparatus 110 is to continue to emit a second set of detection pulses. The emitter apparatus 110 can continue to emit the second set of detection pulses for performing detection. The dynamic adjustment ability of the LiDAR can be greatly improved based on the feedback mechanism.

[0095] In a detection process, if the emitter apparatus 110 is beneficial to continue to emit the second set of detection pulses, the emitter apparatus 110 can continue to emit the second set of detection pulses at a reduced emission strength. In some embodiments, the emitter apparatus 110 can also continue to emit the second set of detection pulses at an unchanged emission strength. In some embodiments, based on a determination that the data statistics of the reconstructed pixels in the first reconstructed pixel array includes the over-threshold pulses, but the over-threshold pulses do not meet the predetermined criterion, the emitter apparatus 110 can continue to emit the second set of detection pulses at a reduced emission strength to perform supplementary detection to avoid mis-determination of the object. Reduction of the light intensity can also save power consumption. In some embodiments, if the distance to the object is determined to be relatively far based on the data statistics of the reconstructed pixels in the first reconstructed pixel array, but at least one of the number or the strength of the over-threshold pulses is high, the object can have a high reflectivity. The emitter apparatus 110 can continue to emit the second set of detection pulses at a reduced emission strength to perform supplementary detection to reduce expansion effect of a high-reflectivity object and achieve more accurate detection. It should be noted that the embodiment of reduction of the emission strength, which can be reduced by, for example, current or voltage, is not limited in this disclosure. In some embodiments, based on a determination that the data statistics of the reconstructed pixels in the first reconstructed pixel array does not include the over-threshold pulses, the emitter apparatus 110 can continue to emit the second set of detection pulses at an unchanged emission strength.

[0096] In a detection process, if the emitter apparatus 110 continues to emit the second set of detection pulses, the data processor apparatus 130 can determine a second set of detection data generated by the pixel array responding to echoes of the second set of detection pulses reflected from  the object. The feedback processor module 131 can determine data representing a subsequent emission action for the emitter apparatus 110 based on the second set of detection data. For example, the second set of detection pulses can include one or more detection pulses, denoted as N2. The data processor apparatus 130 can collect and accumulate signals generated by the pixel array responding to the echoes of N2 detection pulses reflected from the object to generate a second set of detection data. The data processor apparatus 130 can also accumulate the second set of detection data with the first set of detection data to determine the accumulated data. The data processor apparatus 130 can further determine the subsequent emission action for the emitter apparatus 110 based on the accumulated data, such as by determining the subsequent emission action for the emitter apparatus 110 based on the first set of detection data as described herein. The operation can be repeated until the subsequent emission action for the emitter apparatus 110 is determined to stop emitting detection pulses. The operation can also be repeated until the total number of the detection pulses emitted reaches Nsweep, and then the detection can be ended.

[0097] In some embodiments, the feedback operation can be performed multiple times by the feedback processor module 131 in a detection process. For example, every time the emitter apparatus emits a set (or a particular number) of detection pulses, the feedback processor module 131 can determine the emission action for the emitter apparatus 110 based on the detection data of the set of detection pulses and execute a feedback operation. The feedback processor module 131 can determine data representing the subsequent emission action for the emitter apparatus 110 multiple times by performing multiple feedback operations. The emitter apparatus 110 can execute the emission action for multiple times. In such a case, the system power consumption of the LiDAR can be effectively reduced, the dynamic adjustment ability of the LiDAR can be improved, the detection performance of the LiDAR (e.g., SNR, accuracy, long-distance measurement ability, or system power consumption) can be balanced, and the adaptive ability of the LiDAR can be improved.

[0098] To more accurately determine the emission action for the emitter apparatus 110, in some embodiments, the feedback processor module 131 can perform ambient light compensation on the data of at least part of reconstructed pixels in the first reconstructed pixel array. For example, the feedback processor module 131 can first perform pulse detection on the data of the first reconstructed pixel to detect whether the data of the first reconstructed pixel includes pulses exceeding a first strength threshold. If the pulses exceeding the first strength threshold, ambient light compensation can be performed on the pulse data exceeding the first strength threshold. In some embodiments, the feedback processor module 131 can first perform ambient light compensation on the pulse data of the first reconstructed pixel, and then detect whether the compensated data includes the pulses exceeding the first threshold. The order of over-threshold pulse detection and ambient light compensation is not limited in this disclosure. In some embodiments, the ambient light compensated data can be determined  by collecting baseline data through the feedback processor module 131, or by other ambient light collection apparatuses (not shown in the figure) . After the ambient light compensation data is determined, the feedback processor module 131 can compensate the ambient light compensation data to a pulse peak exceeding the first strength threshold, or can also compensate the ambient light compensation data to the first strength threshold. The feedback processor module 131 can reduce the impact of ambient light on the data of the at least part of reconstructed pixels in the first reconstructed pixel array by performing ambient light compensation on the data of the at least part of reconstructed pixels in the first reconstructed pixel array, and the data statistics of the reconstructed pixels in the first reconstructed pixel array can become more accurate. In such a case, the feedback processor module 131 can also determine data statistics of data of reconstructed pixels in the first reconstructed pixel array after ambient light compensation. By determining more accurate statistics, the subsequent emission action for the emitter apparatus 110 can be more accurately determined. Reduction of the system power consumption of the LiDAR can be implemented with improvement of the accuracy, and the detection performance of the LiDAR is further improved.

[0099] In some embodiments, the subsequent emission action for the emitter apparatus can be determined based on the pulse statistics of data of reconstructed pixels in the first reconstructed pixel array. If the object is detected with sufficient accuracy based on the current sweeping result, emission of the detection pulses can be stopped and the detection can be ended. In such a case, preliminary determination can be performed based on the results of fewer sweeps, the total number of light emissions of the emitter apparatus and the total number of responses of the detector apparatus can be decreased, and the system power consumption of the LiDAR can be greatly saved. In some embodiments, if the current sweeping result is insufficient to accurately detect the object, the second set of detection pulses can be emitted. Feedback can be determined based on the accumulated result of the second set of detection data and the first set of detection data. If the object can be detected with sufficient accuracy based on the accumulated result, emission of the detection pulses can be stopped and the detection can be ended. If the accumulated result is still insufficient to accurately detect the object, a third set of detection pulses can be emitted. Feedback can be determined based on the accumulated result of the third set of detection data and the first two sets of detection data. If the object can be detected with sufficient accuracy based on the accumulated result, emission of the detection pulses can be stopped and the detection can be ended. If the accumulated result is still insufficient to accurately detect the object, a fourth set of detection pulses can be emitted, and so on. After a set of detection pulses is emitted, the set of detection data can be accumulated with the previous sets of detection data, and feedback is determined based on the accumulated result of the set of detection data and the previous sets of detection data. The operation can be repeated, and the feedback can be determined for multiple times until the object can be detected with sufficient accuracy based on the  accumulated result or until the total number of detection pulses emitted reaches Nsweep. Then the feedback processor module 131 can determine to cause the emitter apparatus 110 to stop emitting detection pulses and end the detection. In such a case, the overall number of sweeps can be reduced, and the system power consumption of the LiDAR can be greatly saved. Moreover, each light-emitter unit can determine the corresponding total number of sweeps based on a real-time detection result, and achieve adaptive change of the number of detection pulses emitted. In such a case, the system power consumption can be reduced, and high detection accuracy can be ensured throughout the entire field of view.

[0100] FIG. 7 shows a schematic diagram of a LiDAR 200, consistent with some embodiments of this disclosure. With reference to FIG. 7, the LiDAR 200 includes an emitter apparatus 110, a detector apparatus 120, a data processor apparatus 130, and a storage apparatus 140. The storage apparatus 140 is coupled to the data processor apparatus 130. The storage apparatus 140 can store detection data. In some embodiments, the data processor apparatus 130 can further store detection data in the storage apparatus 140 and read detection data from the storage apparatus 140. The storage apparatus 140 can include multiple storage units (not shown in the figure) . Each storage unit can correspond to detection data of different pixels at different time points, respectively. For example, detection data of different pixels at different time points can be stored in different storage unit.

[0101] The data processor apparatus 130 can accumulate and store electrical signals outputted by the pixels in the corresponding storage unit based on triggering time points. The detection data outputted by the detector apparatus 120, the first reconstructed pixel array generated based on the first set of detection data, and the second reconstructed pixel array (described in detail later) can be stored in the storage apparatus 140.

[0102] In some embodiments, with reference to FIG. 7, the data processor apparatus 130 further includes an output processor module 132. The output processor module 132 can directly or indirectly be coupled to and communicate with the feedback processor module 131. The output processor module 132 and the feedback processor module 131 can be integrated in the same chip, such as a DSP chip. The output processor module 132 and the feedback processor module 131 can also be formed by two independent chips (not shown in FIG. 7) , each performing different functions.

[0103] In some embodiments, if the feedback processor module 131 determines that the emission action is to stop emitting detection pulses, the output processor module 132 can perform second convolution on detection data generated based on at least one set of detection pulses emitted by the emitter apparatus 110 to determine a second reconstructed pixel array, and generate a LiDAR point cloud based on the second reconstructed pixel array. The detection data generated based on the at least one set of detection pulses includes the first set of detection data. If other sets of detection pulses are emitted after the first set of detection pulses, the detection data generated based on the at  least one set of detection pulses can also include detection data generated by the other sets of detection pulses. For example, if the feedback processor module 131 determines that the emission action is to stop emitting detection pulses based on the first reconstructed pixel array, the output processor module 132 can perform second convolution on the first set of detection data to determine a second reconstructed pixel array, and generate a LiDAR point cloud based on the second reconstructed pixel array. In some embodiments, if the feedback processor module 131 determines that the emission action is to continue to emit the second set of detection pulses based on the first reconstructed pixel array, and determines that the emission action is to stop emitting detection pulses based on the accumulated result of the second set of detection data and the first set of detection data, the output processor module 132 can perform second convolution on the accumulated result of the second set of detection data and the first set of detection data to determine a second reconstructed pixel array. The output processor module 132 can further generate a LiDAR point cloud based on the second reconstructed pixel array. If the feedback processor module 131 determines that the emission action is to continue to emit a third set of detection pulses based on the accumulated result of the second set of detection data and the first set of detection data, and determines that the emission action is to stop emitting detection pulses based on the accumulated result of the third set of detection data and the first two sets of detection data, the output processor module 132 can perform second convolution on the accumulated result of the third set of detection data and the first two sets of detection data to determine a second reconstructed pixel array. The output processor module 132 can further generate a LiDAR point cloud based on the second reconstructed pixel array, or the like.

[0104] As an example, if the feedback processor module 131 determines that the emission action is to stop emitting detection pulses based on the first reconstructed pixel array, the output processor module 132 being configured to perform second convolution on the first set of detection data to determine a second reconstructed pixel array, and generate a LiDAR point cloud based on the second reconstructed pixel array, is described in detail. For the case where the emitter apparatus 110 emits multiple sets of detection pulses, the processing method can be similar to the described embodiments.

[0105] In some embodiments, if the feedback processor module 131 determines that the emission action is to stop emitting detection pulses based on the first reconstructed pixel array, the output processor module 132 can perform second convolution on the first set of detection data. The second convolution includes performing single second convolution on the first set of detection data using a convolution kernel of a particular size and a particular convolution stride to determine a second reconstructed pixel array, and generating a LiDAR point cloud based on the second reconstructed pixel array. For example, the detector unit can include an 8×16 pixel array, with the convolution kernel conv=3×3 and the convolution stride=1. Two columns and two rows of pixels can be extended on the right side and the bottom side of the detector unit, respectively. The data processor apparatus 130 can  perform second convolution based on the extended pixel array. It can be understood that the second convolution can also be performed based on the pixel array within the detector unit without extension. In the second convolution, the convolution kernel conv=3×3 gradually moves in a predetermined direction (e.g., from left to right, from top to bottom) with the convolution stride=1 as a unit. In each movement, the electrical signals (e.g., echo waveforms) outputted by all pixels (e.g., 9 pixels in this case) covered by the convolution kernel can be accumulated once to determine a reconstructed pixel. The 8×16 pixel array of the detector unit can be traversed to determine a second reconstructed pixel array. The output processor module 132 can generate and output a LiDAR point cloud based on the determined second reconstructed pixel array. It should be noted that the output processor module 132 can also perform second convolution on the first set of detection data using a single convolution kernel of other sizes and a single convolution stride. For example, the size of the convolution kernel can be 2×2, 4×4 or 5×5, and the convolution stride can also be 2 or other numerical values, all of which are within the scope of protection of this disclosure. It should be understood that if the second convolution is to use the size of the convolution kernel and the convolution stride same as the first convolution, for example, convolution kernel conv=1×1 and convolution stride=3, the output processor module 132 can also not perform the second convolution operation and directly generates and outputs a LiDAR point cloud based on the first reconstructed pixel array of 3×6, consistent with some embodiments related to FIG. 6. In some embodiments, the second convolution uses the size of the convolution kernel and the convolution stride different from the first convolution. In the first convolution, for example, the size of the convolution kernel conv=1×1 and the convolution stride=3 (with reference to FIG. 6) , and in the second convolution, for example, the size of the convolution kernel conv=3×3, and the convolution stride=1. Using a convolution stride, smaller than that for the first convolution, for the second convolution can achieve a higher spatial resolution, and using a convolution kernel, larger than that for the first convolution, for the second convolution can increase the SNR, which can be beneficially and flexibly determined in some embodiments.

[0106] In some embodiments, if the feedback processor module 131 determines that the emission action is to stop emitting detection pulses based on the first reconstructed pixel array, the output processor module 132 can perform second convolution on the first set of detection data. The second convolution can further include performing convolution on the first set of detection data using multiple convolution kernels of different sizes to determine multiple second reconstructed pixel arrays, and generating a LiDAR point cloud based on the multiple second reconstructed pixel arrays. The multiple different sizes can be at least two different sizes, such as conv=1×1 (e.g., with reference to FIG. 8, which shows a schematic diagram of an output processor module performing second convolution on a first set of detection data, consistent with some embodiments of this disclosure) , conv=3×3 (e.g., with reference to FIG. 9, which shows a schematic diagram of an output processor  module performing second convolution on a first set of detection data, consistent with some embodiments of this disclosure) , conv=5×5 (e.g., with reference to FIG. 10, which shows a schematic diagram of an output processor module performing second convolution on a first set of detection data, consistent with some embodiments of this disclosure) , conv=3×2 (not shown in the figure) , or the like.

[0107] Because a convolution kernel has a particular size, the convolution operation in the boundary region of a detector unit can be affected. To solve this problem, the pixel data of the boundary region of the detector unit can be extended through the data processor apparatus 130. For example, the data processor apparatus 130 can collect electrical signals outputted by the 8×16 pixel array of the detector unit and electrical signals outputted by some pixels of other adjacent detector units. In such a case, the number of pixels corresponding to the collected data can be greater than 8×16, the convolution kernel can cover some pixels in the boundary region of the detector unit and the boundary regions of the adjacent detector units. Multiple second reconstructed pixel arrays with the same arrangement can be determined for facilitating subsequent processing. As an example, three convolution kernels of different sizes being used for performing the second convolution on the first set of detection data respectively to determine multiple second reconstructed pixel arrays are described herein as examples. The size of the convolution kernels is conv=1×1 (e.g., with reference to FIG. 8) , conv=3×3 (e.g., with reference to FIG. 9) , and conv=5×5 (e.g., with reference to FIG. 10) .

[0108] In some embodiments, with reference to FIG. 8, the detector unit includes an 8×16 pixel array, with the size of the convolution kernel conv=1×1, and the convolution stride=2. In the second convolution, the convolution kernel conv=1×1 can gradually move in a predetermined direction (e.g., from left to right, from top to bottom) with the convolution stride=2 as a unit. In each movement, the electrical signals (e.g., echo waveforms) outputted by all pixels (e.g., 1 pixel in this case) covered by the convolution kernel are accumulated once to determine a reconstructed pixel. The 8×16 pixel array of the detector unit can be traversed to determine a 4×8 reconstructed pixel array (e.g., as the second reconstructed pixel array) . A dark grid represents a reconstructed pixel. With reference to FIG. 8, a dashed box outlines one of the reconstructed pixels and the corresponding single pixel (e.g., the original pixel) . The signal waveform of a reconstructed pixel (original pixel) is shown in the lower right part of FIG. 8.

[0109] In some embodiments, with reference to FIG. 9, the detector unit includes an 8×16 pixel array, with the size of the convolution kernel conv=3×3, and the convolution stride=2. The data processor apparatus 130 can extend one column and one row of pixels on the right side and the bottom side of the detector unit, respectively. In the second convolution, the convolution kernel conv=3×3 gradually moves in a predetermined direction (e.g., from left to right, from top to bottom) with the convolution stride=2 as a unit. In each movement, the electrical signals (e.g., echo waveforms) outputted by all pixels (e.g., 9 pixels in this case) covered by the convolution kernel are accumulated  once to determine a reconstructed pixel. The 8×16 pixel array of the detector unit can be traversed to determine a 4×8 reconstructed pixel array (e.g., as the second reconstructed pixel array) . A dark grid represents a reconstructed pixel. With reference to FIG. 9, a dashed box outlines one of the reconstructed pixels and the corresponding 9 pixels (original pixels) . A comparison in the signal waveforms of a reconstructed pixel and a single pixel is shown in the lower right part of FIG. 9. It can be seen that the reconstructed pixel has a higher signal strength and a higher SNR if the size of the convolution kernel is greater than 1×1.

[0110] With reference to FIG. 10, in some embodiments, the detector unit includes an 8×16 pixel array, with the size of the convolution kernel conv=5×5, and the convolution stride=2. The data processor apparatus 130 can extend 3 columns and 3 rows of pixels on the right side and the bottom side of the detector unit, respectively. In the second convolution, the convolution kernel conv=5×5 gradually moves in a predetermined direction (e.g., from left to right, from top to bottom) with the convolution stride=2 as a unit. In each movement, the electrical signals (e.g., echo waveforms) outputted by all pixels (25 pixels) covered by the convolution kernel are accumulated once to determine a reconstructed pixel. The 8×16 pixel array of the detector unit can be traversed to determine a 4×8 reconstructed pixel array (e.g., as the second reconstructed pixel array) . A dark grid represents a reconstructed pixel. With reference to FIG. 10, a dashed box outlines one of the reconstructed pixels and the corresponding 25 pixels (e.g., the original pixels) . A comparison in the signal waveforms of a reconstructed pixel and a single pixel is shown in the lower right part of FIG. 10. It can be seen that the reconstructed pixel has a higher signal strength and a higher SNR. The signal strength and the SNR of the reconstructed pixels in the embodiments described associated with FIG. 10 can be higher than those in the embodiment described associated with FIG. 9.

[0111] A detailed process of the output processor module 132 performing the second convolution on the first set of detection data is described in the embodiments herein. The processor module 132 can perform the second convolution on the first set of detection data using a convolution kernel of a single size, or perform the second convolution on the first set of detection data using multiple convolution kernels of different sizes. The size of the convolution kernel and the convolution stride can be flexibly determined based on actual situations, which is conducive to improving the dynamic adjustment ability of the LiDAR. In some embodiments, compared with the convolution stride in the first convolution, the output processor module 132 can use a smaller convolution stride in the second convolution to improve the spatial resolution and ultimately determine a fine calculation result.

[0112] In some embodiments, after the second convolution is completed, the output processor module 132 can further perform ambient light compensation on data of at least part of reconstructed pixels in the second reconstructed pixel array. In such a case, the impact of ambient light on the data  of the reconstructed pixels in the second reconstructed pixel array can be reduced, and the data of the reconstructed pixels in the second reconstructed pixel array can be more accurate. The output processor module 132 can perform ambient light compensation on data of at least part of reconstructed pixels in the second reconstructed pixel array in a similar manner to the feedback processor module 131 performing ambient light compensation on data of at least part of reconstructed pixels in the first reconstructed pixel array.

[0113] In some embodiments, the output processor module 132 can select the optimal second reconstructed pixel array from the multiple second reconstructed pixel arrays to generate a LiDAR point cloud.

[0114] Assuming that the size of a convolution kernel is P×P, and echoes in the field of view covered by the convolution kernel correspond to the same object and are evenly distributed, the SNR of a reconstructed pixel determined by convolution kernels of different sizes can be expressed as:

[0115] SNR=P×SNR0

[0116] where SNR0 represents the SNR of a single original pixel, and SNR represents the SNR of the reconstructed pixel. In such a case, it can be seen that the larger the size of the convolution kernel, the higher the signal strength and higher the SNR of the reconstructed pixel determined after convolution. For example, the SNR (or signal strength) of the reconstructed pixel can be positively correlated with the size of the convolution kernel.

[0117] In such a case, it can be seen that in an actual detection process of a LiDAR, to improve the SNR and achieve better long-distance measurement performance and more accurate detection results, convolution kernels of larger sizes can be used to perform convolution on electrical signals outputted by pixel arrays of detector units, which is especially conducive to detecting distant and weak targets.

[0118] In the embodiments consistent with FIG. 8 to FIG. 10, the data processor apparatus 130 can extend the pixel data in the boundary region of the detector unit. The output processor module 132, after performing the second convolution using multiple convolution kernels of different sizes and the same convolution stride, can determine multiple second reconstructed pixel arrays of the same size. In such a case, the impact of the size of the convolution kernel on the convolution operation in the boundary region of the detector unit can be effectively alleviated, and the reconstructed pixel at each same position has multiple data values. For example, with reference to FIG. 8 to FIG. 10, the reconstructed pixel at each same position has three data values, including 1×1 convolution data, 3×3 convolution data, and 5×5 convolution data. In such a case, the reconstructed pixel at each same position has waveform data with different characteristics, and thus multiple reconstructed pixel arrays have waveform data with different characteristics, such as different resolution, SNR, echo pulse strength, or the like. The output processor module 132 can select the optimal reconstructed pixel array  based on the waveform data of the multiple reconstructed pixel arrays, and generate a LiDAR point cloud based on the selected optimal reconstructed pixel array. In such a case, the adaptive ability and dynamic range of the LiDAR can be further improved, and the detection performance of the LiDAR can be improved. In some embodiments, the waveform data includes SNR. The output processor module 132 can determine the SNR of each of the multiple second reconstructed pixel arrays, and select one of the second reconstructed pixel arrays with the SNR greater than an SNR threshold TSNR from the multiple second reconstructed pixel arrays. If the SNR of multiple second reconstructed pixel arrays is higher than the SNR threshold TSNR, the second reconstructed pixel array with the convolution kernel of the smallest size can be selected. For example, in FIGs. 8, 9 and 10, convolution is performed using convolution kernels with the sizes of 1×1, 3×3 and 5×5 respectively. The SNRs of the signal waveforms of three second reconstructed pixel arrays determined after the convolution are T1, T3 and T5 respectively. If T1<TSNR, T3<TSNR, and T5>TSNR, then the convolution result (a second reconstructed pixel array) determined by the 5×5 convolution kernel can be selected to generate a LiDAR point cloud. Object information can be determined (e.g., calculated) based on the convolution result determined by the 5×5 convolution kernel. If T1<TSNR, T3>TSNR, and T5>TSNR, then the convolution result determined by the 3×3 convolution kernel can be selected to generate a LiDAR point cloud. Object information can be determined based on the convolution result determined by the 3×3 convolution kernel. If T1>TSNR, T3>TSNR, and T5>TSNR, then the convolution result (e.g., the original pixel array) determined by the 1×1 convolution kernel can be selected to generate a LiDAR point cloud, and object information can be calculated based on the convolution result (e.g., the original single pixel) determined by the 1×1 convolution kernel. If T1<TSNR, T3<TSNR, and T5<TSNR, the SNRs of the signals are too low and no target is detected, and then no LiDAR point cloud can be generated.

[0119] In such a case, convolution is performed using convolution kernels with the side lengths of n0, n1, n2, ..., respectively (where n0<n1<n2<... ) for processing the detection data outputted by multiple pixels in a detector unit. Assuming that the SNRs of echo signals of the multiple second reconstructed pixel arrays are SNR (n0) , SNR (n1) , SNR (n2) , ..., or the like, and the SNR threshold is set to TSNR, the size of the finally selected convolution kernel is:

[0120] n=argmin (SNR (ni) >TSNR)

[0121] For example, the convolution kernel of the smallest size and with the SNR exceeding the threshold TSNR is selected as the finally selected convolution kernel, and a LiDAR point cloud can be generated based on the second reconstructed pixel array determined by the convolution kernel of the selected size.

[0122] In some embodiments, the waveform data further includes pulse strength. The output processor module 132 can determine the pulse strength of each second reconstructed pixel array, and select a second reconstructed pixel array with the pulse strength greater than a pulse strength threshold  TPS from the multiple second reconstructed pixel arrays. If the pulse strength of multiple second reconstructed pixel arrays is higher than the pulse strength threshold TPS, the second reconstructed pixel array with the convolution kernel of the smallest size is selected. For example, convolution is performed using convolution kernels with the sizes of 1×1, 3×3 and 5×5 respectively. The pulse strengths of the signal waveforms of three second reconstructed pixel arrays determined after the convolution are P1, P3 and P5 respectively. If P1<TPS, P3<TPS, and P5>TPS, then the convolution result (a second reconstructed pixel array) determined by the 5×5 convolution kernel can be selected to generate a LiDAR point cloud. Object information can be determined based on the convolution result determined by the 5×5 convolution kernel. If P1<TPS, P3>TPS, and P5>TPS, then the convolution result (a second reconstructed pixel array) determined by the 3×3 convolution kernel is selected to generate a LiDAR point cloud. Object information can be determined based on the convolution result determined by the 3×3 convolution kernel. If P1>TPS, P3>TPS, and P5>TPS, then the convolution result (e.g., the original pixel array) determined by the 1×1 convolution kernel can be selected to generate a LiDAR point cloud. Object information can be determined based on the convolution result determined by the 1×1 convolution kernel. If P1<TPS, P3<TPS, and P5<TPS, no LiDAR point cloud can be generated.

[0123] In such a case, convolution is performed using convolution kernels with the side lengths of n0, n1, n2, ..., respectively (where n0<n1<n2<... ) for processing the detection data outputted by multiple pixels in a detector unit. Assuming that the pulse strengths of echo signals of the determined reconstructed pixels are PS (n0) , PS (n1) , PS (n2) , ..., or the like, and the pulse strength threshold is set to TPS, the size of the finally selected convolution kernel is:

[0124] n=argmin (PS (ni) >TPS)

[0125] For example, the convolution kernel of the smallest size and with the pulse strength exceeding the threshold TPS can be selected as the finally selected convolution kernel. A LiDAR point cloud can be generated based on the second reconstructed pixel array determined by the convolution kernel of the selected size.

[0126] In some embodiments, the size of the convolution kernel can also be determined comprehensively based on the SNR and pulse strength of the second reconstructed pixel array.

[0127] For example, the convolution kernel of the smallest size and with the SNR exceeding the threshold TSNR and the pulse strength exceeding the threshold TPS can be selected as the finally selected convolution kernel, the size of which is:

[0128] n=argmin (SNR (ni) >TSNR&PS (ni) >TPS)

[0129] For example, the convolution kernel of the smallest size and with the SNR exceeding the threshold TSNR or the pulse strength exceeding the threshold TPS can be selected as the finally selected convolution kernel, the size of which is:

[0130] n=argmin (SNR (ni) >TSNR|PS (ni) >TPS)

[0131] It should be noted that in the embodiments described associated with FIG. 8 to FIG. 10, the sizes of the convolution kernels are 1×1, 3×3, and 5×5 respectively, and the convolution stride=2, but this disclosure is not limited thereto. Other sizes of convolution kernels, such as conv=3×2, and other convolution strides, such as stride=1, can also be used.

[0132] Because the multiple second reconstructed pixel arrays described with reference to FIGs. 8, 9 and 10 have the same arrangement, each reconstructed pixel has multiple data values (at least two) . With reference to FIGs. 8, 9 and 10, for example, each reconstructed pixel has 3 data values, including 1×1 convolution data, 3×3 convolution data, and 5×5 convolution data. For the reconstructed pixel data values determined by the second convolution using convolution kernels of other sizes, similarly, assuming the size of the convolution kernel is P×Q, the reconstructed pixel data value is P×Q convolution data, and so on. P and Q are both integers greater than or equal to 1, and P and Q can be the same or different.

[0133] In some embodiments, the output processor module 132 can further determine the state of the data of each reconstructed pixel in multiple second reconstructed pixel arrays. In some embodiments, the state includes a pulse over-threshold state. It should be noted that the over-threshold in some embodiments refers to the data value of a reconstructed pixel exceeding a third strength threshold. The relationship between the third strength threshold and the first and second strength thresholds mentioned above is not limited in this disclosure. For example, the output processor module 132 can perform pulse detection on the data (e.g., echo waveforms) of reconstructed pixels in multiple second reconstructed pixel arrays, and determine the state of the data of each reconstructed pixel based on the pulse detection results. For example, with reference to FIGs. 8, 9 and 10, the output processor module 132 can detect whether the 1×1 convolution data (e.g., single point data) , 3×3 convolution data, and 5×5 convolution data of the data of each reconstructed pixel exceed a threshold to determine the state (referred to as pulse over-threshold state) of the data of each reconstructed pixel. For example, if the 1×1 convolution data of the data of a reconstructed pixel exceeds a threshold, the state of the data of the reconstructed pixel can be single-point detection over-threshold. As another example, if at least one of the 3×3 convolution data or 5×5 convolution data of the data of a reconstructed pixel exceeds a threshold, the state of the data of the reconstructed pixel can be convolution detection over-threshold. In another example, if none of the 1×1 convolution data, 3×3 convolution data, and 5×5 convolution data of the data of a reconstructed pixel exceeds a threshold, the state of the data of the reconstructed pixel can be not over-threshold. In such a case, the state (pulse over-threshold state) of the data of the reconstructed pixel can include single-point detection over-threshold, convolution detection over-threshold, and not over-threshold. In another example, the state (pulse over-threshold state) of the data of the reconstructed pixel can include single-point detection over-threshold, 3×3 convolution detection over-threshold, 5×5 convolution detection over-threshold, and not over-threshold. In some  embodiments, the output processor module 132 can also label and classify each reconstructed pixel based on its data state. For example, the output processor module 132 can label the reconstructed pixel as single-point detection over-threshold, convolution detection over-threshold, or not over-threshold, with three categories in total, for subsequent processing. In another example, the output processor module 132 can label the reconstructed pixel as single-point detection over-threshold, 3×3 convolution detection over-threshold, 5×5 convolution detection over-threshold, or not over-threshold, with four categories in total, for subsequent processing.

[0134] For example, with reference to FIGs. 8, 9 and 10, the dimension of the first set of detection data is 8×16, while the dimension of the second reconstructed pixel array is 4×8. By performing the second convolution using a larger convolution stride, multiple discrete reconstructed pixels can be determined to form the second reconstructed pixel array. In such a case, the calculation amount can be reduced, the calculation speed can be increased, and the system power consumption can be saved. To improve resolution, in some embodiments, blank pixels in the middle of the discrete reconstructed pixels can be calculated based on the discrete reconstructed pixels, and thus a final reconstructed pixel array can be determined, and a LiDAR point cloud can be generated based on the final reconstructed pixel array.

[0135] In some embodiments, the output processor module 132 can determine the final reconstructed pixel array based on states of data of reconstructed pixels in multiple second reconstructed pixel arrays, and generate a LiDAR point cloud based on the final reconstructed pixel array. In some embodiments, the output processor module 132 can determine the final reconstructed pixel array based on pulse over-threshold states of adjacent reconstructed pixels in at least two of the second reconstructed pixel arrays. The adjacent reconstructed pixels include up and down, left and right, or diagonally adjacent reconstructed pixels. FIG. 11 shows an example schematic diagram of the position relationships of adjacent reconstructed pixels and intermediate reconstructed pixels, consistent with some embodiments of this disclosure. For example, with reference to FIG. 11, the reconstructed pixel 1 and reconstructed pixel 2 are left and right adjacent reconstructed pixels of the intermediate reconstructed pixel C1. The reconstructed pixel 3 and reconstructed pixel 4 are left and right adjacent reconstructed pixels of the intermediate reconstructed pixel C4. The reconstructed pixel 1 and reconstructed pixel 3 are up and down adjacent reconstructed pixels of the intermediate reconstructed pixel C2. The reconstructed pixel 2 and reconstructed pixel 4 are up and down adjacent reconstructed pixels of the intermediate reconstructed pixel C3. The reconstructed pixel 1 and reconstructed pixel 4 are diagonally adjacent reconstructed pixels of the intermediate reconstructed pixel C5. The reconstructed pixel 2 and reconstructed pixel 3 are diagonally adjacent reconstructed pixels of the intermediate reconstructed pixel C5. Moreover, with reference to FIG. 11, the grids with the darkest color, such as the reconstructed pixels 1, 2, 3 and 4, are reconstructed pixels determined by the second  convolution. The intermediate reconstructed pixels C1, C2, C3, C4 and C5 are pixels (blank pixels) that are not subjected to the second convolution.

[0136] To determine the final reconstructed pixel array, in some embodiments, the output processor module 132 can determine a calculation method for data of intermediate reconstructed pixels based on pulse over-threshold states of data of at least two adjacent reconstructed pixels in the second reconstructed pixel array. The intermediate reconstructed pixels are between every two adjacent reconstructed pixels. For example, with reference to FIG. 11, the intermediate reconstructed pixel C2 is between the up and down adjacent reconstructed pixel 1 and reconstructed pixel 3. The intermediate reconstructed pixel C3 is between the up and down adjacent reconstructed pixel 2 and reconstructed pixel 4. The intermediate reconstructed pixel C1 is between the left and right adjacent reconstructed pixel 1 and reconstructed pixel 2. The intermediate reconstructed pixel C4 is between the left and right adjacent reconstructed pixel 3 and reconstructed pixel 4. The intermediate reconstructed pixel C5 is between the diagonally adjacent reconstructed pixel 1 and reconstructed pixel 4 (or reconstructed pixel 2 and reconstructed pixel 3) . In such a case, the output processor module 132 can determine the calculation method for data of intermediate reconstructed pixels based on the pulse over-threshold states of at least two adjacent reconstructed pixels, and further determine the final reconstructed pixel array. In some embodiments, the output processor module 132 can determine the calculation method for data of intermediate reconstructed pixels based on the pulse over-threshold states of the data of at least two adjacent reconstructed pixels and at least one of a distance to the object or reflectivity of the object. The calculation method for data of intermediate reconstructed pixels includes one of: interpolation calculation of the intermediate reconstructed pixels, single-point calculation of the intermediate reconstructed pixels, or convolution calculation of the middle pixels.

[0137] The calculation method for determining the data of the intermediate reconstructed pixel C1 based on the pulse over-threshold states of the adjacent reconstructed pixel 1 and reconstructed pixel 2 is described below as an example. It should be understood that the calculation method for determining the data of intermediate reconstructed pixels based on the pulse over-threshold states of more adjacent reconstructed pixels is similar to the calculation method.

[0138] With reference to FIG. 11, assuming that the pulse over-threshold states of the reconstructed pixel 1 and reconstructed pixel 2 are single-point detection over-threshold, the condition indicates that the echo pulse strengths of the two reconstructed pixels are high, and the two adjacent reconstructed pixels can correspond to the same object or can correspond to different objects. In such a case, the output processor module 132 can determine at least one of a distance to the object or reflectivity of the object corresponding to the two reconstructed pixels, and determine at least one of the distance or the reflectivity using a first determination condition, to prevent or reduce false targets and make the results more accurate. If the difference in at least one of the distance or the reflectivity  between the objects corresponding to the two reconstructed pixels is less than a predetermined value, the reconstructed pixel 1 and reconstructed pixel 2 comply with the first determination condition and correspond to the same object. In such a case, interpolation calculation of the middle pixel C1 can be performed using the data of at least one of the reconstructed pixel 1 or the reconstructed pixel 2. In some embodiments, if the difference in at least one of the distance or the reflectivity between the objects corresponding to the two reconstructed pixels is not less than a predetermined value, the reconstructed pixel 1 and reconstructed pixel 2 do not comply with the first determination condition and do not correspond to the same object. In such a case, single-point calculation of the intermediate reconstructed pixel C1 can be performed. For example, the data at the corresponding position in the first set of detection data is used as the data of the intermediate reconstructed pixel C1. In such a case, high-resolution detection can be achieved, the problem of target expansion can be reduced or even prevented, the calculation amount can be reduced, the system power consumption of the LiDAR can be saved, the accuracy of detection results can be improved, and the method can be particularly suitable for detecting short-distance or high-reflectivity targets.

[0139] With reference to FIG. 11, assuming that the pulse over-threshold state of the reconstructed pixel 1 is single-point detection over-threshold, and the pulse over-threshold state of the reconstructed pixel 2 is convolution detection over-threshold, the output processor module 132 can determine at least one of a distance to the objects or reflectivity of the objects corresponding to the two reconstructed pixels respectively, and determine at least one of the distance or the reflectivity using a second determination condition. If the second determination condition is complied with, interpolation calculation of the middle pixel C1 can be performed using at least one of the reconstructed pixel 1 or the reconstructed pixel 2. If the second determination condition is not complied with, single-point calculation of the intermediate reconstructed pixel C1 can be performed, for example , the data at the corresponding position in the first set of detection data can be used as the data of the intermediate reconstructed pixel C1. It should be understood that the first determination condition can be more stringent than the second determination condition (e.g., although determinations are performed based on the difference in at least one of the distance or the reflectivity between the objects corresponding to the two reconstructed pixels, the predetermined value used in the first determination condition is smaller) . It can be understood that first determination condition and the second determination condition can also be the same.

[0140] With reference to FIG. 11, assuming that the pulse over-threshold state of the reconstructed pixel 1 is single-point detection over-threshold, and the pulse over-threshold state of the reconstructed pixel 2 is not over-threshold, the output processor module 132 can perform single-point calculation of the intermediate reconstructed pixel C1 (i.e., 1×1 convolution calculation) , to determine the data of the intermediate reconstructed pixel C1.

[0141] For a weak target, with reference to FIG. 11, assuming that the pulse over-threshold states of both the reconstructed pixel 1 and the reconstructed pixel 2 are convolution detection over-threshold, the output processor module 132 can determine at least one of a distance to the objects or reflectivity of the objects corresponding to the two reconstructed pixels respectively, and determine at least one of the distance or the reflectivity using a third determination condition. If the third determination condition is complied with (e.g., the difference in at least one of the distance or the reflectivity is small) , the output processor module 132 can perform interpolation calculation of the middle pixel C1 using the data of at least one of the reconstructed pixel 1 or the reconstructed pixel 2 (e.g., 3×3 convolution data or 5×5 convolution data) . If the third determination condition is not complied with (e.g., the difference in at least one of the distance or the reflectivity is large) , the data output of the middle pixel C1 can be 0. It should be noted that the third determination condition can be the same as or different from at least one of the first determination condition or the second determination condition.

[0142] With reference to FIG. 11, assuming that the pulse over-threshold state of the reconstructed pixel 1 is convolution detection over-threshold, and that the pulse over-threshold state of the reconstructed pixel 2 is not over-threshold, the signal strength of a target echo can be weak. In such a case, the output processor module 132 can perform convolution calculation of the middle pixel C1 using the largest convolution kernel (e.g., the 5×5 convolution kernel) to determine the data of the intermediate reconstructed pixel C1. In some embodiments, the convolution data of a large-sized convolution kernel of the reconstructed pixel 1 can be used as the data of the middle pixel C1. In such a case, larger convolution kernels can be used to perform convolution calculations on weaker echo signals to enhance the signal strength of the middle pixel C1. The SNRs of weak target echo signals can be improved.

[0143] With reference to FIG. 11, assuming that the pulse over-threshold states of the reconstructed pixel 1 and reconstructed pixel 2 are both not over-threshold, no objects can be detected, and the data output of the middle pixel C1 can be 0.

[0144] The calculation method for determining the data of the intermediate reconstructed pixel C1 based on the pulse over-threshold states of the adjacent reconstructed pixel 1 and reconstructed pixel 2 is described in the embodiment. The data of the intermediate reconstructed pixel C2 can be determined based on the pulse over-threshold states of the adjacent reconstructed pixel 1 and reconstructed pixel 3. The data of the intermediate reconstructed pixel C3 can be determined based on the pulse over-threshold states of the adjacent reconstructed pixel 2 and reconstructed pixel 4. The data of the intermediate reconstructed pixel C4 can be determined based on the pulse over-threshold states of the adjacent reconstructed pixel 3 and reconstructed pixel 4. The data of the intermediate reconstructed pixel C5 can be determined based on the pulse over-threshold states of the adjacent  reconstructed pixels 1, 2, 3 and 4. Consistent with embodiments of this disclosure, the data of the intermediate reconstructed pixels can be determined based on the pulse over-threshold states of at least two adjacent reconstructed pixels, and the final reconstructed pixel array can be further determined. A LiDAR point cloud can be generated based on the final reconstructed pixel array. By determining the data of the intermediate reconstructed pixels (data of pixels not subjected to the second convolution) based on the data of the adjacent reconstructed pixels, the convolution calculation amount can be reduced, the calculation speed can be improved, and the system power consumption can be saved without losing resolution or the accuracy of detection results. Also, determination based on at least one of the distance or the reflectivity can alleviate expansion of high-reflectivity objects, or other problems. Compared with convolution calculations performed on respective intermediate reconstructed pixels using convolution kernels of the same size, the intermediate reconstructed pixel and final reconstructed pixel array have higher resolution and higher accuracy of distance and reflectivity. Moreover, the resolution and SNR of the final reconstructed pixel array of the detector unit can be dynamically distributed based on the signal strength. In such a case, better detection performance of the LiDAR throughout the field of view can be dynamically maintained.

[0145] Furthermore, it should be noted that in this disclosure, feedback operation can be implemented through the feedback processor module 131 for the purpose of reducing the system power consumption of the LiDAR. In some situations, if the LiDAR has a large power margin, the feedback operation of the feedback processor module 131 can also be skipped. For example, the predetermined total Nsweeps can be continuously executed. Then the output processor module 132 can perform the subsequent data processing operation based on the detection data determined by the Nsweeps. For example, for some LiDARs specialized in measuring short-distance objects, relatively low power can be used for each detection. In such a case, the feedback operation mentioned can be skipped or omitted, Nsweep detection pulses can be directly emitted, and the relevant information of objects can be calculated based on Nsweep detection results.

[0146] The LiDAR of this disclosure can achieve dynamic resolution and SNR throughout the field of view. The LiDAR has high spatial resolution for regions with strong echo signals, and high SNR and strong long-distance measurement ability for regions with weak echo signals. The LiDAR can detect signals from long-distances, low-reflectivity small targets, and also can maintain high spatial resolution in detecting short-distance, strong-echo (high-reflectivity) targets. The LiDAR can also alleviate the expansion problem of high-reflectivity objects, is conducive to improving the accuracy of detection results, and dynamically maintains better detection performance throughout the field of view.

[0147] With reference to FIG. 2, the LiDAR 100 includes an emitter apparatus 110 and a detector apparatus 120. The emitter apparatus 110 includes at least one light-emitter unit 111 configured to emit multiple detection pulses L in a detection process. The detector apparatus 120  includes at least one detector unit 121, and each detector unit 121 includes a pixel array. The detection method 10 includes steps S11 to S13 in a detection process.

[0148] At step S11, a first set of detection pulses including one or more detection pulses are emitted.

[0149] At step S12, echoes of the first set of detection pulses reflected from an object are responded to by the pixel array of the detector unit 121, and a first set of detection data is generated.

[0150] At step S13, the subsequent emission action is determined based on the first set of detection data.

[0151] In some embodiments, at step S13, first convolution is performed on the first set of detection data to determine a first reconstructed pixel array. The subsequent emission action for the emitter apparatus is determined based on the first reconstructed pixel array.

[0152] In some embodiments, at step S13, data statistics of data of reconstructed pixels in the first reconstructed pixel array is determined. The subsequent emission action for the emitter apparatus 110 is determined based on the data statistics.

[0153] In some embodiments, at step S13, whether the data of the reconstructed pixels in the first reconstructed pixel array includes over-threshold pulses exceeding a first strength threshold is statistically determined. The pulse statistics is determined. The subsequent emission action for the emitter apparatus is determined based on the pulse statistics.

[0154] In some embodiments, based on a determination that the data statistics of the reconstructed pixels in the first reconstructed pixel array includes the over-threshold pulses, at least one of parameter statistics can be determined: the strength of each over-threshold pulse, the distance to object corresponding to each over-threshold pulse, the number of the reconstructed pixels including the over-threshold pulses, or the ratio of the reconstructed pixels including the over-threshold pulses to all reconstructed pixels in the first reconstructed pixel array. The subsequent emission action for the emitter apparatus 110 is determined based on the determined statistics.

[0155] In some embodiments, at step S13, ambient light compensation can be performed on data of at least part of reconstructed pixels in the first reconstructed pixel array.

[0156] In some embodiments, the emission action includes one of: continuing to emit a second set of detection pulses including one or more detection pulses; or stopping emitting detection pulses to end the detection.

[0157] In some embodiments, the step of continuing to emit a second set of detection pulses includes: continuing to emit the second set of detection pulses at a reduced emission strength; or continuing to emit the second set of detection pulses at an unchanged emission strength.

[0158] In some embodiments, at step S13, detection pulses can be stopped from emitting based on a determination that the object is detected through the first set of detection data based on a  predetermined criterion. The emission of the second set of detection pulses can be continued based on a determination that the object is not detected through the first set of detection data based on a predetermined criterion.

[0159] In some embodiments, the detection method 10 can further include: sending the emission action to the emitter apparatus 110 and controlling the emitter apparatus 110 to execute the fed emission action.

[0160] In some embodiments, in a detection process, in a case of continuing to emit the second set of detection pulses, the detection method 10 can further include: determining a second set of detection data generated by the pixel array responding to echoes of the second set of detection pulses reflected from the object; and determining the subsequent emission action based on the second set of detection data.

[0161] In some embodiments, in a case of determining that the emission action is to stop emitting detection pulses, the detection method 10 further includes: performing second convolution on detection data generated based on at least one set of detection pulses emitted by the emitter apparatus to determine a second reconstructed pixel array, and generating a LiDAR point cloud based on the second reconstructed pixel array. The detection data generated based on at least one set of detection pulses includes the first set of detection data.

[0162] In some embodiments, the step of performing second convolution on the detection data includes: performing convolution on the detection data using multiple convolution kernels of different sizes respectively to determine multiple second reconstructed pixel arrays, and generating a LiDAR point cloud based on the multiple second reconstructed pixel arrays.

[0163] In some embodiments, the detection method 10 further includes: performing ambient light compensation on data of at least part of reconstructed pixels in the second reconstructed pixel array.

[0164] In some embodiments, the detection method 10 further includes: determining a final reconstructed pixel array based on states of data of reconstructed pixels in the multiple second reconstructed pixel arrays, and generating a LiDAR point cloud based on the final reconstructed pixel array.

[0165] In some embodiments, the step of determining a final reconstructed pixel array based on states of data of reconstructed pixels in the multiple second reconstructed pixel arrays includes: determining the final reconstructed pixel array based on pulse over-threshold states of adjacent reconstructed pixels in at least two of the second reconstructed pixel arrays.

[0166] In some embodiments, the step of determining a final reconstructed pixel array based on states of data of reconstructed pixels in the multiple second reconstructed pixel arrays further includes: determining a calculation method for data of intermediate reconstructed pixels based on pulse  over-threshold states of data of at least two adjacent reconstructed pixels in the second reconstructed pixel arrays.

[0167] In some embodiments, the step of determining a final reconstructed pixel array based on states of data of reconstructed pixels in the multiple second reconstructed pixel arrays further includes: determining the calculation method for data of intermediate reconstructed pixels based on the pulse over-threshold states of the data of at least two reconstructed pixels and at least one of the distance to the object or reflectivity of the object.

[0168] In some embodiments, the calculation method for data of intermediate reconstructed pixels includes one of: interpolation calculation of the middle pixel, single-point calculation of the middle pixel, or convolution calculation of the middle pixel.

[0169] This disclosure further provides a computer-readable storage medium including computer-executable instructions stored thereon. The executable instructions, when executed by a processor, implement the detection method of a LiDAR (e.g., the detection method 10 of a LiDAR 10 as described above. )

[0170] In some embodiments, the computer-readable storage medium can be any tangible medium containing or storing programs which can be used by, or used in combination with, a command execution system, apparatus or device. Any combination of one or more computer-readable mediums can be used as the computer-readable storage medium. The computer-readable storage medium, for example, can be, but is not limited to, an electrical, magnetic, optical or semiconductor form or apparatus, and a more specific example (non-enumerated list) thereof includes: electrical connection with one or more wires, a portable computer hard disk, a hard disk, a random access memory ( “RAM” ) , a non-volatile random access memory ( “NVRAM” ) , a read only memory ( “ROM” ) , an erasable programmable read only memory ( “EPROM” or flash memory) , an optical fiber, a portable compact disk read only memory ( “CD-ROM” ) , an optical memory, a magnetic memory, or any combination thereof as appropriate.

[0171] In addition, this disclosure further provides a computer device (not shown in the figure) , including a memory and a processor. The memory can store computer-executable instructions. When executed by the processor, the executable instructions implement the detection method 10 as described above.

[0172] It should be understood that each module or unit in the embodiments described in this disclosure can include one or more physical components in whole or in part. For example, a module or unit can be implemented as a processor, a controller, a computer, or any form of hardware components. As another example, a module or unit can include one or more hardware components and one or more software components. For example, the module can include a processor (e.g., a digital signal processor, microcontroller, field programmable gate array, a central processor, an application- specific integrated circuit, or the like) and a computer program, when the computer program is run on the processor, the function of the module can be realized. The computer program can be stored in a memory (e.g., a random-access memory, a flash memory, a read-only memory, a programmable read-only memory, a register, a hard disk, a removable hard disk, or a storage medium of any other form) , or a server.

[0173] It should be understood that each apparatus in the embodiments described in this disclosure can include one or more physical components in whole or in part. For example, an apparatus can be implemented as an emitter, a detector, an optic, a processor, a circuit, or any form of hardware component. As another example, a unit can include one or more hardware components and one or more software components. For example, the emitter apparatus can include a light emitting circuit, a vertical-cavity surface-emitting laser ( "VCSEL" ) , an edge-emitting laser ( "EEL" ) , a distributed feedback laser ( "DFB" ) , a fiber laser, or the like. The detector apparatus can include a SPAD, a silicon photomultiplier ( "SiPM" ) , or the like.

[0174] In some embodiments, the processor / data processor apparatus 130 / feedback processor module 131 / output processor module 132 can include a central processing unit ( "CPU" ) , and can also include other general-purpose processors, digital signal processors ( “DSPs” ) , application specific integrated circuits ( “ASICs” ) , field-programmable gate arrays ( “FPGAs” ) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components, or the like, which is not limited in this disclosure and is determined depending on the specific situation.

[0175] Based on the foregoing, the solution of this disclosure has been described in detail. The LiDAR of this disclosure works based on a feedback mechanism. In a detection process, an emitter apparatus first emits a first set of detection pulses, and the feedback processor module determines the subsequent emission action based on a first set of detection data. The subsequent emission action can be to stop emitting light, or continue to emit detection pulses at a reduced emission strength, or continue to emit detection pulses at an unchanged emission strength. In such a case, the overall number of sweeps can be reduced, and the system power consumption of the LiDAR can be greatly saved. Moreover, each of multiple light-emitter units can determine the corresponding total number of sweeps based on a real-time detection result, and achieve adaptive change of the number of detection pulses emitted. In such a case, the system power consumption can be reduced, and high detection accuracy can be ensured throughout the field of view.

[0176] Further, the feedback processor module performs the first convolution on the first set of detection data by using a larger stride and smaller convolution kernels. In such a case, the first convolution has a less calculation amount and a higher calculation speed, and the system power consumption of the LiDAR can be reduced.

[0177] Further, in the second convolution performed by the output processor module, compared with the convolution stride in the first convolution, a smaller convolution stride is used for the second convolution. A refinement method can also reduce the calculation amount and reduce the system power consumption of the LiDAR, and finally determines a refined calculation result.

[0178] Further, the feedback processor module or output processor module can reduce the interference of ambient light by performing ambient light compensation on the data of at least part of reconstructed pixels in the first / second reconstructed pixel arrays, and the results are more accurate.

[0179] In addition, for different detection targets, this solution can also change the total number of light emissions through a feedback mechanism. For a short-distance, high-reflectivity (strong echo signal) region, light emission is performed less times, while for a long-distance, low-reflectivity (weak echo signal) region, light emission is performed more times. In such a case, the number of light emissions is adaptively changed based on real-time echo signals, and the system power consumption of the LiDAR is reduced.

[0180] In addition, the LiDAR of this disclosure can change the spatial resolution and SNR, can achieve high spatial resolution for a short-distance, high-reflectivity target, and can maintain high SNR and achieve farther detection capabilities for a long-distance, low-reflectivity target. The LiDAR of this disclosure can also alleviate the problems of expansion of high-reflectivity objects and false targets, is conducive to improving the accuracy of detection results, and dynamically maintains better detection performance throughout the field of view.

[0181] It should be noted that although several modules or sub-modules of the LiDAR 100 are referred to in the detailed description above, such a division is merely not mandatory. In fact, based on the embodiments of this disclosure, the features and functions of two or more modules described above can be implemented in one module. In some embodiments, the features and functions of one module described above can be further divided to be embodied by multiple modules.

[0182] It should be noted that this specification provides method operation steps as described in the embodiments or schematic diagrams, but more or fewer operation steps can be included based on conventional or non-creative work. The sequence of steps listed in the embodiments is only one way of execution sequence of many steps, and does not represent the only execution sequence. When executed in practice, the systems or device products can be executed sequentially or in parallel based on the methods shown in the embodiments or flowcharts.

[0183] The terms "or" and "and / or" of this disclosure describe an association relationship between associated objects, and represent a non-exclusive inclusion. For example, each of "A and / or B" and "A or B" can include: only "A" exists, only "B" exists, and "A" and "B" both exist, where "A" and "B" can be singular or plural. For another example, each of "A, B, and / or C" and "A, B, or C " can include: only "A" exists, only "B" exists, only "C" exists, "A" and "B" both exist, "A" and "C"  both exist, "B" and "C" both exist, and "A" , "B" , and "C" all exist, where "A, " "B, " and "C" can be singular or plural. In addition, the symbol " / " herein represents that the associated objects before and after the character are in an "or" relationship. In this disclosure, the term “at least one of A or B” has a meaning equivalent to “A or B” as described above. The term “at least one of A, B, or C” has a meaning equivalent to “A, B, or C” as described above.

[0184] In this disclosure, the terms “a, ” “an, ” and “the” are intended to represent singular or plural forms, unless expressly stated otherwise in the context.

[0185] Finally, it should be noted that the above description merely provides example embodiments of this disclosure, which are not intended to limit this disclosure. Although this disclosure has been described in detail with reference to the above-mentioned embodiments, those skilled in the art can still modify the technical solutions disclosed in the above-mentioned embodiments, or equivalently replace some of the technical features thereof. Any modification, equivalent replacement, improvement, or the like made within the spirit and principle of this disclosure should be encompassed within the scope of protection of this disclosure.

Claims

1.A LiDAR, comprising:an emitter apparatus, comprising at least one light-emitter unit configured to emit a plurality of detection pulses in a detection process for detecting an object;a detector apparatus, comprising at least one detector unit, each detector unit comprising a pixel array configured to respond to echoes of the detection pulses reflected from the object and generate detection data; anda data processor apparatus, coupled to the detector apparatus and configured to receive the detection data;wherein the data processor apparatus comprises a feedback processor module coupled to the emitter apparatus;the emitter apparatus is configured to first emit a first set of detection pulses in a detection process, and the first set of detection pulses comprises one or more detection pulses;the data processor apparatus is configured to receive a first set of detection data generated by the pixel array responding to echoes of the first set of detection pulses reflected from the object; andthe feedback processor module is configured to determine a subsequent emission action for the emitter apparatus based on the first set of detection data.2.The LiDAR of claim 1, wherein the feedback processor module is configured to:perform first convolution on the first set of detection data to determine a first reconstructed pixel array; anddetermine the subsequent emission action for the emitter apparatus based on the first reconstructed pixel array.3.The LiDAR of claim 2, wherein the feedback processor module is configured to:determine data statistics of data of reconstructed pixels in the first reconstructed pixel array; anddetermine the subsequent emission action for the emitter apparatus based on the data statistics.4.The LiDAR of claim 3, wherein the feedback processor module is configured to:determine pulse statistics by determining whether the data statistics of the reconstructed pixels in the first reconstructed pixel array comprises over-threshold pulses exceeding a first strength threshold; anddetermine the subsequent emission action for the emitter apparatus based on the pulse statistics.5.The LiDAR of claim 4, wherein the feedback processor is configured to:based on a determination that the data statistics of the reconstructed pixels in the first reconstructed pixel array comprises the over-threshold pulses, determine parameter statistics of at least one of a strength of an over-threshold pulse, a distance to object corresponding to the over-threshold pulse, a number of the reconstructed pixels comprising the over-threshold pulses, or a ratio of the reconstructed pixels comprising the over-threshold pulses to all reconstructed pixels in the first reconstructed pixel array; anddetermine the subsequent emission action for the emitter apparatus based on the further statistical result.6.The LiDAR of claim 2, wherein the feedback processor module is configured to:perform ambient light compensation on data of at least part of reconstructed pixels in the first reconstructed pixel array.7.The LiDAR of any of claims 1-6, wherein the emission action comprises one of:continuing to emit a second set of detection pulses comprising one or more detection pulses; andstopping emitting detection pulses to end the detection.8.The LiDAR of claim 7, wherein continuing to emit the second set of detection pulses comprises one of:continuing to emit the second set of detection pulses at a reduced emission strength; orcontinuing to emit the second set of detection pulses at an unchanged emission strength.9.The LiDAR of claim 7, wherein the feedback processor module is configured to:stop emitting detection pulses based on a determination that the object is detected through the first set of detection data based on a predetermined criterion; orcontinue to emit the second set of detection pulses based on a determination that the object is not detected through the first set of detection data based on a predetermined criterion.10.The LiDAR of claim 7, wherein the feedback processor module is configured to: send data representing the emission action to the emitter for executing the emission action.11.The LiDAR of claim 10, wherein in a detection process, in a case that the emitter apparatus continues to emit the second set of detection pulses, the data processor apparatus is configured to receive a second set of detection data generated by the pixel array in response to receiving echoes of the second set of detection pulses reflected from the object; andthe feedback processor module is configured to determine the subsequent emission action for the emitter apparatus based on the second set of detection data.12.The LiDAR of claim 7, wherein the data processor apparatus further comprises: an output processor coupled to the feedback processor module, and in a case that the feedback processor module determines that the emission action is to stop emitting detection pulses, the output processor is configured to:perform second convolution on detection data generated based on at least one set of detection pulses emitted by the emitter apparatus to determine a second reconstructed pixel array, andgenerate a LiDAR point cloud based on the second reconstructed pixel array, the detection data generated based on at least one set of detection pulses comprising the first set of detection data.13.The LiDAR of claim 12, wherein the second convolution comprises:performing convolution on the detection data using a plurality of convolution kernels of different sizes respectively to determine a plurality of second reconstructed pixel arrays, and generating a LiDAR point cloud based on the plurality of second reconstructed pixel arrays.14.The LiDAR of claim 12, wherein the output processor module is further configured to:perform ambient light compensation on data of at least part of reconstructed pixels in the second reconstructed pixel array.15.The LiDAR of claim 13, wherein the output processor module is further configured to:determine a final reconstructed pixel array based on states of data of reconstructed pixels in the plurality of second reconstructed pixel arrays; andgenerate the LiDAR point cloud based on the final reconstructed pixel array.16.The LiDAR of claim 15, wherein the output processor module is further configured to:determine the final reconstructed pixel array based on pulse over-threshold states of adjacent reconstructed pixels in at least two of the second reconstructed pixel arrays.17.The LiDAR of claim 16, wherein the output processor module is further configured to:determine a calculation method for data of intermediate reconstructed pixels based on pulse over-threshold states of data of at least two adjacent reconstructed pixels in the second reconstructed pixel arrays.18.The LiDAR of claim 17, wherein the output processor module is further configured to:determine the calculation method for data of intermediate reconstructed pixels based on the pulse over-threshold states of the data of the at least two adjacent reconstructed pixels and at least one of: a distance to the object or reflectivity of the object.19.The LiDAR of claim 17, wherein the calculation method for data of intermediate reconstructed pixels comprises one of: interpolation calculation of the intermediate reconstructed pixels, single-point calculation of the intermediate reconstructed pixels, or convolution calculation of the middle pixels.20.A method of detection for a LiDAR, wherein the LiDAR comprises an emitter apparatus and a detector apparatus, the emitter apparatus comprising at least one light-emitter unit configured to emit a plurality of detection pulses in a detection process, the detector apparatus comprising at least one detector unit, and each detector unit comprising a pixel array; and the detection method comprises: in a detection process,first, emitting a first set of detection pulses comprising one or more detection pulses;responding, by the pixel array of the detector unit, to echoes of the first set of detection pulses reflected from an object, and generating a first set of detection data; anddetermining the subsequent emission strategy based on the first set of detection data.21.The method of claim 20, wherein determining the subsequent emission action based on the first set of detection data comprises:performing first convolution on the first set of detection data to determine a first reconstructed pixel array; anddetermining the subsequent emission action for the emitter apparatus based on the first reconstructed pixel array.22.The method of claim 21, wherein determining the subsequent emission action based on the first set of detection data comprises:determining data statistics of data of reconstructed pixels in the first reconstructed pixel array; anddetermining the subsequent emission action for the emitter apparatus based on the data statistics.23.The method of claim 22, wherein the step of determining data statistics of data of reconstructed pixels in the first reconstructed pixel array comprises:determining pulse statistics by determining whether the data statistics of the reconstructed pixels in the first reconstructed pixel array comprises over-threshold pulses exceeding a first strength threshold; anddetermining the subsequent emission action for the emitter apparatus based on the pulse statistics.24.The method of claim 23, wherein based on a determination that the data of the reconstructed pixels in the first reconstructed pixel array comprises the over-threshold pulses, the step of determining data statistics of data of reconstructed pixels in the first reconstructed pixel array further comprises:further determining parameter statistics of at least one of a strength of each over-threshold pulse, a distance to object corresponding to each over-threshold pulse, a number of the reconstructed pixels comprising the over-threshold pulses, or a ratio of the reconstructed pixels comprising the over-threshold pulses to all reconstructed pixels in the first reconstructed pixel array; anddetermining the subsequent emission action for the emitter apparatus based on the determined statistics.25.The method of claim 21, wherein determining the subsequent emission action based on the first set of detection data comprises: performing ambient light compensation on data of a part of reconstructed pixels in the first reconstructed pixel array.26.The detection method of any of claims 20-25, wherein the emission action comprises one of:continuing to emit a second set of detection pulses comprising one or more detection pulses; orstopping emitting detection pulses to end the detection.27.The method of claim 26, wherein the step of continuing to emit a second set of detection pulses comprises:continuing to emit the second set of detection pulses at a reduced emission strength; orcontinuing to emit the second set of detection pulses at an unchanged emission strength.28.The method of claim 26, wherein determining the subsequent emission action based on the first set of detection data comprises:stopping emitting detection pulses based on a determination that the object is detected through the first set of detection data based on a predetermined criterion; or, continuing to emit the second set of detection pulses based on a determination that the object is not detected through the first set of detection data based on a predetermined criterion.29.The method of claim 26, further comprising:send data representing the emission action to the emitter apparatus; andcontrolling the emitter apparatus to execute the fed emission action.30.The detection method of claim 29, wherein in a detection process, in a case of continuing to emit the second set of detection pulses, the detection method further comprises:determining a second set of detection data generated by the pixel array responding to echoes of the second set of detection pulses reflected from the object; anddetermining the subsequent emission action based on the second set of detection data.31.The method of claim 26, wherein based on a determination that the emission action is to stop emitting detection pulses, the detection method further comprises: performing second convolution on detection data generated based on at least one set of detection pulses emitted by the emitter apparatus to determine a second reconstructed pixel array, and generating a LiDAR point cloud based on the second reconstructed pixel array, the detection data generated based on at least one set of detection pulses comprising the first set of detection data.32.The method of claim 31, wherein the step of performing second convolution on detection data generated based on at least one set of detection pulses emitted by the emitter apparatus comprises: performing convolution on the detection data using a plurality of convolution kernels of different sizes respectively to determine a plurality of second reconstructed pixel arrays, and generating the LiDAR point cloud based on the plurality of second reconstructed pixel arrays.33.The method of claim 31, further comprising: performing ambient light compensation on data of at least part of reconstructed pixels in the second reconstructed pixel array.34.The method of claim 32, further comprising: determining a final reconstructed pixel array based on states of data of reconstructed pixels in the plurality of second reconstructed pixel arrays, and generating the LiDAR point cloud based on the final reconstructed pixel array.35.The method of claim 34, wherein the step of determining a final reconstructed pixel array based on states of data of reconstructed pixels in the plurality of second reconstructed pixel arrays comprises: determining the final reconstructed pixel array based on pulse over-threshold states of adjacent reconstructed pixels in at least two of the second reconstructed pixel arrays.36.The method of claim 35, wherein the step of determining a final reconstructed pixel array based on states of data of reconstructed pixels in the plurality of second reconstructed pixel arrays further comprises: determining a calculation method for data of intermediate reconstructed pixels based on pulse over-threshold states of data of at least two adjacent reconstructed pixels in the second reconstructed pixel arrays.37.The method of claim 36, wherein the step of determining a final reconstructed pixel array based on states of data of reconstructed pixels in the plurality of second reconstructed pixel arrays further comprises: determining the calculation method for data of intermediate reconstructed pixels based on the pulse over-threshold states of the data of at least two reconstructed pixels and at least one of a distance to the object or reflectivity of the object.38.The method of claim 36, wherein the calculation method for data of intermediate reconstructed pixels comprises one of the following: interpolation calculation of the middle pixel, single-point calculation of the middle pixel, or convolution calculation of the middle pixel.

Citation Information

Patent Citations

  • Early-late pulse counting for light emitting depth sensors

    CN110869804A

  • Real time gating and signal routing in laser and detector arrays for lidar application

    CN111352091A

  • Correction method and device for laser radar, and environment sensing system

    CN111965625A

  • Cognitive radar method and device based on waveform adaptive selection

    CN115932743A

  • Methods circuits devices assemblies systems and functionally associated machine executable code for active scene scanning

    US20180100928A1