Method and an electronic device for detecting objects in surroundings of an autonomous vehicle

Abstract

A method and a system are provided. The method comprises: determining an output radar signal of a multiple inputs multiple outputs (MIMO) radar system (602), the output radar signal having a plurality of output peaks, wherein: each output peak of the plurality of output peaks corresponds to a respective desired direction of a plurality of desired scanning directions in a given region of interest (ROI); transmitting the output radar signal towards the given ROI (604); sensing a reflected radar signal, the reflected radar signal having a plurality of reflected peaks, each reflected peak of the plurality of reflected peaks having a respective direction corresponding to the respective one of the plurality of desired scanning directions; and based on the reflected radar signal, generating a three-dimensional (3D) representation of the given ROI. By doing so, more effective generation of 3D point clouds can be attained.

Description

METHOD AND AN ELECTRONIC DEVICE FOR DETECTING OBJECTS IN SURROUNDINGS OF AN AUTONOMOUS VEHICLEFIELD

[0001] The present technology relates broadly to object detection; and more specifically, to a method and an electronic device for generating a 3D representation of surroundings of an autonomous vehicle using multiple-inputs multiple-outputs (MIMO) radar systems.BACKGROUND

[0002] Automotive radar sensors are widely used for advanced driver assistance system (ADAS) applications in various vehicles, such as semi-or fully autonomous vehicles (also referred to herein as “self-driving cars, SDC” ) . These ADAS applications can include, without limitation, adaptive cruise control and automatic emergency braking, for example. Multiple-input multiple-output (MIMO) radar system enables detection of environmental objects of all kinds, including long, mid, and short ranges. High resolution 4D-imaging millimeter-wave radar is one such solution, which can provide, range, velocity and high angular resolution in both azimuth and elevation directions.

[0003] Beamforming of output signals of the MIMO radar systems can control the spatial distribution of the transmitted power, which can achieve better radar detection probability, power efficiency, target identification etc. Generally speaking, a given MIMO system can be configured to transmit a focused beam pattern to a given desired direction at one time, while minimizing others, which results in an improved detection accuracy in that specific direction relative to the others. To obtain a full detection accuracy coverage, the transmitter of the given MIMO radar system must scan the space in both azimuth and elevation direction to detect objects in three-dimensions.

[0004] Prior art beamforming approaches for radar systems include approaches that can be performed in both radio frequency (RF) and digital domains. For the RF approach, phase shifters are usually required, which can increase the hardware complexity and cost. Digital beamforming offers comparatively better phase and amplitude control accuracy. A MIMO radar system is one way to realize beamforming. The MIMO radar system utilizes multiple transmitter and receiver channels to form a larger virtual array, which can greatly reduce the physical antenna numbers, while providing improved spatial resolution.

[0005] However, the known prior art approaches are solely directed to forming an output radar beam (or otherwise signal) having a single maximum (or otherwise “peak” ) which may make it challenging to receive comprehensive information, such as dimensions, distance, and velocity, for example, about surrounding objects (such as traffic lights, guardrails, other vehicles, pedestrians, and the like) in a timely manner.SUMMARY

[0006] It is an object of the present technology to ameliorate at least one inconvenience associated with the prior art.

[0007] Embodiments of the present technology have been developed based on developers’ appreciation of shortcomings associated with the prior art. More specifically, the developers of the present technology have devised methods and systems for generating, using a MIMO radar system, output radar signal having multiple peaks, amplitude values of which are within a predetermined range of values. Such an output radar signal can be used for scanning a given region of interest (ROI) within the surrounding area of the autonomous vehicle in different directions simultaneously; and as a result, detect objects in the given ROI more efficiently. This can result in an earlier detection of the object in the surroundings of the autonomous vehicle, which can further allow generating collision-free trajectories for the vehicle, increasing its overall safety of operation.

[0008] More specifically, in accordance with a first broad aspect of the present technology, there is provided a method comprising: determining an output radar signal of a multiple inputs multiple outputs (MIMO) radar system, the output radar  signal having a plurality of output peaks, wherein: each output peak of the plurality of output peaks corresponds to a respective desired direction of a plurality of desired scanning directions in a given region of interest (ROI) , each output peak of the plurality of output peaks having been determined based on maximizing an amplitude of the output radar signal along each desired scanning direction of the plurality of desired scanning directions in the given ROI; transmitting the output radar signal towards the given ROI; sensing a reflected radar signal reflected off at least one object in the given ROI, the reflected radar signal having a plurality of reflected peaks, each reflected peak of the plurality of reflected peaks having a respective direction corresponding to the respective one of the plurality of desired scanning directions; and based on the reflected radar signal, generating a three-dimensional (3D) representation of the at least one object in the given ROI.

[0009] In some implementations of the method, the generating the 3D representation comprises applying a two dimensions (2D) Fast Fourier Transform (FFT) to the reflected radar signal to determine respective values of a range parameter and a doppler parameter for a given data point of the 3D representation.

[0010] In some implementations of the method, the generating the 3D representation further comprises applying a three-dimensional multiple signal classification (3D-MUSIC) to the reflected radar signal algorithm to determine respective values of an elevation parameter and an azimuth parameter for the given data point of the 3D representation.

[0011] In some implementations of the method, the method further comprises applying a noise-filtering algorithm to the reflected radar signal.

[0012] In some implementations of the method, the noise-filtering algorithm comprises a cell averaging constant false alarm rate (CA-CFAR) algorithm.

[0013] In some implementations of the method, the MIMO radar system comprises a four dimensions (4D) imaging radar system.

[0014] In some implementations of the method, the output radar signal comprises a Frequency-Modulated Continuous-Wave (FMCW) signal.

[0015] In some implementations of the method, the method further comprises minimizing an amplitude of the output radar signal along at least one scanning direction which is different from any desired scanning direction of the plurality of desired scanning directions.

[0016] In some implementations of the method, the given ROI is defined by maximum values of an azimuth parameter and an elevation parameter of the MIMO radar sensor at which the MIMO radar system can sense the given object.

[0017] In some implementations of the method, the maximum values of the azimuth parameter and elevation parameters for the MIMO radar system are defined by an antenna array size of the MIMO radar system.

[0018] Further, in accordance with a second broad aspect of the present technology, there is provided a system comprising at least one processor, at least one non-transitory computer-readable memory storing instructions, which, when executed by the at least one processor, cause the system to: determine an output radar signal of a multiple inputs multiple outputs (MIMO) radar system, the output radar signal having a plurality of output peaks, wherein: each output peak of the plurality of output peaks corresponds to a respective desired direction of a plurality of desired scanning directions in a given region of interest (ROI) , each output peak of the plurality of output peaks having been determined based on maximizing an amplitude of the output radar signal along each desired scanning direction of the plurality of desired scanning directions in the given ROI; transmit the output radar signal towards the given ROI; sense a reflected radar signal reflected off at least one object in the given ROI, the reflected radar signal having a plurality of reflected peaks, each reflected peak of the plurality of reflected peaks having a respective direction corresponding to the respective one of the plurality of desired scanning directions; and  based on the reflected radar signal, generate a three-dimensional (3D) representation of the at least one object in the given ROI.

[0019] In some implementations of the system, to generate the 3D representation, the instructions cause the system to apply a two dimensions (2D) Fast Fourier Transform (FFT) to the reflected radar signal to determine respective values of a range parameter and a doppler parameter for a given data point of the 3D representation.

[0020] In some implementations of the system, to generate the 3D representation, the instructions further cause the system to apply a three-dimensional multiple signal classification (3D-MUSIC) algorithm to the reflected radar signal to determine respective values of an elevation parameter and an azimuth parameter for the given data point of the 3D representation.

[0021] In some implementations of the system, the instructions further cause the system to apply a noise-filtering algorithm to the reflected radar signal.

[0022] In some implementations of the system, the noise-filtering algorithm comprises a cell averaging constant false alarm rate (CA-CFAR) algorithm.

[0023] In some implementations of the system, the MIMO radar system comprises a four dimensions (4D) imaging radar system.

[0024] In some implementations of the system, the output radar signal comprises a Frequency-Modulated Continuous-Wave (FMCW) signal.

[0025] In some implementations of the system, the instructions further cause the system to: minimize an amplitude of the output radar signal along at least one scanning direction which is different from any desired scanning direction of the plurality of desired scanning directions.

[0026] In some implementations of the system, the given ROI is defined by maximum values of an azimuth parameter and an elevation parameter of the MIMO radar system at which the MIMO radar system can sense the given object.

[0027] Further, in accordance with a third broad aspect of the present technology, there is provided a computer-readable medium storing executable instructions for causing one or more computer processors to perform the method mentioned in the first aspect and / or related implementations.

[0028] In the context of the present specification, a “server” is a computer program that is running on appropriate hardware and is capable of receiving requests (e.g., from client devices) over a network, and carrying out those requests, or causing those requests to be carried out. The hardware may be one physical computer or one physical computer system, but neither is required to be the case with respect to the present technology. In the present context, the use of the expression a “server” is not intended to mean that every task (e.g., received instructions or requests) or any particular task will have been received, carried out, or caused to be carried out, by the same server (i.e., the same software and / or hardware) ; it is intended to mean that any number of software elements or hardware devices may be involved in receiving / sending, carrying out or causing to be carried out any task or request, or the consequences of any task or request; and all of this software and hardware may be one server or multiple servers, both of which are included within the expression “at least one server” .

[0029] In the context of the present specification, “user device” is any computer hardware that is capable of running software appropriate to the relevant task at hand. Thus, some (non-limiting) examples of user devices include personal computers (desktops, laptops, netbooks, etc. ) , smartphones, and tablets, as well as network equipment such as routers, switches, and gateways. It should be noted that a device acting as a user device in the present context is not precluded from acting as a server to other user devices. The use of the expression “auser device” does not preclude multiple user devices being used in receiving / sending, carrying out or causing to be carried out any task or request, or the consequences of any task or request, or  steps of any method described herein. It is contemplated that the user device and the server can be implemented as a same single entity.

[0030] In the context of the present specification, a “database” is any structured collection of data, irrespective of its particular structure, the database management software, or the computer hardware on which the data is stored, implemented, or otherwise rendered available for use. A database may reside on the same hardware as the process that stores or makes use of the information stored in the database or it may reside on separate hardware, such as a dedicated server or plurality of servers.

[0031] In the context of the present specification, the expression “information” includes information of any nature or kind whatsoever capable of being stored in a database. Thus, information includes, but is not limited to audiovisual works (images, movies, sound records, presentations etc. ) , data (location data, numerical data, etc. ) , text (opinions, comments, questions, messages, etc. ) , documents, spreadsheets, lists of words, etc.

[0032] In the context of the present specification, the expression “component” is meant to include software (appropriate to a particular hardware context) , firmware, hardware, or a combination thereof, that is both necessary and sufficient to achieve the specific function (s) being referenced.

[0033] In the context of the present specification, the expression “computer usable information storage medium” or “computer-readable medium” is intended to include media of any nature and kind whatsoever, including RAM, ROM, disks (CD-ROMs, DVDs, floppy disks, hard drivers, etc. ) , USB keys, solid state-drives, tape drives, etc.

[0034] In the context of the present specification, unless expressly provided otherwise, an “indication” of an information element may be the information element itself or a pointer, reference, link, or other indirect mechanism enabling the recipient of the indication to locate a network, memory, database, or other computer-readable medium location from which the information element may be retrieved. As one skilled in the art would recognize, the degree of precision required in such an indication depends on the extent of any prior understanding about the interpretation to be given to information being exchanged as between the sender and the recipient of the indication. For example, if it is understood prior to a communication between a sender and a recipient that an indication of an information element will take the form of a database key for an entry in a particular table of a predetermined database containing the information element, then the sending of the database key is all that is required to effectively convey the information element to the recipient, even though the information element itself was not transmitted as between the sender and the recipient of the indication.

[0035] In the context of the present specification, the words “first” , “second” , “third” , etc. have been used as adjectives only for the purpose of allowing for distinction between the nouns that they modify from one another, and not for the purpose of describing any particular relationship between those nouns. Thus, for example, it should be understood that, the use of the terms “first server” and “third server” is not intended to imply any particular order, type, chronology, hierarchy or ranking (for example) of / between the server, nor is their use (by itself) intended imply that any “second server” must necessarily exist in any given situation. Further, as is discussed herein in other contexts, reference to a “first” element and a “second” element does not preclude the two elements from being the same actual real-world element. Thus, for example, in some instances, a “first” server and a “second” server may be the same software and / or hardware, in other cases they may be different software and / or hardware.

[0036] Implementations of the present technology each have at least one of the above-mentioned objects and / or aspects, but do not necessarily have all of them. It should be understood that some aspects of the present technology that have resulted from attempting to attain the above-mentioned object may not satisfy this object and / or may satisfy other objects not specifically recited herein.

[0037] Additional and / or alternative features, aspects and advantages of implementations of the present technology will become apparent from the following description, the accompanying drawings and the appended claims.BRIEF DESCRIPTION OF THE DRAWINGS

[0038] For a better understanding of the present technology, as well as other aspects and further features thereof, reference is made to the following description which is to be used in conjunction with the accompanying drawings, where:

[0039] Figure 1 depicts a schematic diagram of a computer system that can be used for implementing certain non-limiting embodiments of the present technology;

[0040] Figure 2 schematically depicts a comparative diagram of resolutions of a 3D radar sensor and a 4D imaging radar sensor that can be coupled to the computer system of Figure 1 installed within a vehicle for sensing objects in a surrounding area thereof, in accordance with certain non-limiting embodiments of the present technology;

[0041] Figure 3 depicts a 3D graph of an example multi-beam pattern for an output radar signal of the 4D imaging radar sensor of Figure 2, in accordance with certain non-limiting embodiments of the present technology;

[0042] Figures 4A to 4C schematically depict various 3D point clouds, representative of a same model object, generated using different patterns of the output radar signal of the 4D imaging radar sensor of Figure 2, in accordance with certain non-limiting embodiments of the present technology;

[0043] Figure 5 depicts a front view of a 3D point cloud representative of objects within a region of interest (ROI) of the 4D imaging radar sensor of Figure 2, in accordance with certain non-limiting embodiments of the present technology; and

[0044] Figure 6 depicts a flowchart diagram of a method for detecting objects in a surrounding area of the vehicle, in accordance with certain non-limiting embodiments of the present technology.

[0045] It should also be noted that, unless otherwise explicitly specified herein, the drawings are not to scale.DETAILED DESCRIPTION

[0046] The examples and conditional language recited herein are principally intended to aid the reader in understanding the principles of the present technology and not to limit its scope to such specifically recited examples and conditions. It will be appreciated that those skilled in the art may devise various arrangements that, although not explicitly described or shown herein, nonetheless embody the principles of the present technology.

[0047] Furthermore, as an aid to understanding, the following description may describe relatively simplified implementations of the present technology. As persons skilled in the art would understand, various implementations of the present technology may be of a greater complexity.

[0048] In some cases, what are believed to be helpful examples of modifications to the present technology may also be set forth. This is done merely as an aid to understanding, and, again, not to define the scope or set forth the bounds of the present technology. These modifications are not an exhaustive list, and a person skilled in the art may make other modifications while nonetheless remaining within the scope of the present technology. Further, where no examples of modifications have been set forth, it should not be interpreted that no modifications are possible and / or that what is described is the sole manner of implementing that element of the present technology.

[0049] Moreover, all statements herein reciting principles, aspects, and implementations of the present technology, as well as specific examples thereof, are intended to encompass both structural and functional equivalents thereof, whether they are currently known or developed in the future. Thus, for example, it will be appreciated by those skilled in the art that any block diagram herein represents conceptual views of illustrative circuitry embodying the principles of the present technology. Similarly, it will be appreciated that any flowcharts, flow diagrams, state transition diagrams, pseudo-code, and the like represent various processes that may be substantially represented in non-transitory computer-readable media and so executed by a computer or processor, whether or not such computer or processor is explicitly shown.

[0050] The functions of the various elements shown in the figures, including any functional block labelled as a "processor" or “processing unit” , may be provided through the use of dedicated hardware as well as hardware capable of executing software in association with appropriate software. When provided by a processor, the functions may be provided by a single dedicated processor, by a single shared processor, or by a plurality of individual processors, some of which may be shared. In some embodiments of the present technology, the processor may be a general-purpose processor, such as a central processing unit (CPU) or a processor dedicated to a specific purpose, such as a digital signal processor (DSP) . Moreover, explicit use of the term a "processor" should not be construed to refer exclusively to hardware capable of executing software, and may implicitly include, without limitation, application specific integrated circuit (ASIC) , field programmable gate array (FPGA) , read-only memory (ROM) for storing software, random access memory (RAM) , and non-volatile storage. Other hardware, conventional and / or custom, may also be included.

[0051] Software modules, or simply modules which are implied to be software, may be represented herein as any combination of flowchart elements or other elements indicating performance of process steps and / or textual description. Such modules may be executed by hardware that is expressly or implicitly shown. Moreover, it should be understood that module may include for example, but without being limitative, computer program logic, computer program instructions, software, stack, firmware, hardware circuitry or a combination thereof which provides the required capabilities.

[0052] With these fundamentals in place, we will now consider some non-limiting examples to illustrate various implementations of aspects of the present technology.

[0053] Computer system

[0054] With reference to Figure 1, there is depicted a schematic diagram of a computer system 10 configured for generating and / or processing three-dimensional (3D) point clouds in accordance with certain non-limiting embodiments of the present technology. The computer system 10 comprises a computing unit 100 that may receive captured images of an object to be detected. The computing unit 100 may be configured to generate the 3D point cloud as a representation of the object to be detected. The computing unit 100 is described in greater details hereinbelow.

[0055] In some non-limiting embodiments of the present technology, the computing unit 100 may be implemented by any of a conventional personal computer, a controller, and / or an electronic device (e.g., a server, a controller unit, a control device, a monitoring device, a personal computer, a laptop, a tablet, etc. ) and / or any combination thereof appropriate to the relevant task at hand. In some non-limiting embodiments of the present technology, the computing unit 100 comprises various hardware components including one or more single or multi-core processors collectively represented by a processor 110, a solid-state drive (SSD) 150, a random-access memory (RAM) 130, a dedicated memory 140 and an input / output interface 160. In some non-limiting embodiments of the present technology, the computing unit 100 may be a computer specifically designed to train and / or execute a machine learning algorithm (MLA) and / or deep learning algorithms (DLA) . The computing unit 100 may be a generic computer system.

[0056] In some other non-limiting embodiments of the present technology, the computing unit 100 may be an "off-the-shelf" generic computer system. In some non-limiting embodiments of the present technology, the computing unit 100 may also be distributed amongst multiple systems (such as electronic devices or servers) . The computing unit 100 may also be specifically dedicated to the implementation of the present technology. Other variations as to how the computing unit 100 can be implemented are envisioned without departing from the scope of the present technology.

[0057] Communication between the various components of the computing unit 100 may be enabled by one or more internal and / or external buses 170 (e.g., a peripheral component interconnect (PCI) bus, universal serial bus, Institute of Electrical and Electronics Engineers (IEEE) 1394 "Firewire" bus, small computer systems interface (SCSI) bus, Serial-ATA bus, aeronautical radio, incorporated (ARINC) bus, etc. ) , to which the various hardware components are electronically coupled.

[0058] The input / output interface 160 may provide networking capabilities such as wired or wireless access. As an example, the input / output interface 160 may comprise a networking interface such as, but not limited to, one or more network ports, one or more network sockets, one or more network interface controllers and the like. For example, but without being limitative, the networking interface may implement specific physical layer and data link layer standard such as Ethernet, Fibre Channel, Wi-Fi, or Token Ring. The specific physical layer and the data link layer may provide a base for a full network protocol stack, allowing communication among small groups of computers on the same local area network (LAN) and large-scale network communications through routable protocols, such as Internet Protocol (IP) .

[0059] According to certain non-limiting embodiments of the present technology, the solid-state drive 120 stores program instructions suitable for being loaded into the RAM 130 and executed by the processor 110. Although illustrated as the solid-state drive 150, any type of memory may be used in place of the solid-state drive 150, such as a hard disk, optical disk, and / or removable storage media. According to implementations of the present technology, the solid-state drive 150 stores program instructions suitable for being loaded into the RAM 130 and executed by the processor 110 for executing generation of 3D representation of objects. For example, the program instructions may be part of a library or an application.

[0060] The processor 110 may be a general-purpose processor, such as a central processing unit (CPU) or a processor dedicated to a specific purpose, such as a digital signal processor (DSP) . In some non-limiting embodiments, the processor 110 may also rely on an accelerator 120 dedicated to certain given tasks, such as executing the methods set forth in the paragraphs below. In some embodiments, the processor 110 or the accelerator 120 may be implemented as one or more field programmable gate arrays (FPGAs) . Moreover, explicit use of the term "processor" , should not be construed to refer exclusively to hardware capable of executing software, and may implicitly include, without limitation, application specific integrated circuit (ASIC) , read-only memory (ROM) for storing software, RAM, and non-volatile storage. Other hardware, conventional and / or custom, may also be included.

[0061] Further, in certain non-limiting embodiments of the present technology, the computer system 10 comprises an imaging system 18 that may be configured to capture Red-Green-Blue (RGB) images or a series thereof. The imaging system 18 may comprise camera sensors such as, but not limited to, Charge-Coupled Device (CCD) or Complementary Metal Oxide Semiconductor (CMOS) sensors and / or digital cameras. Broadly speaking, the imaging system 18 comprises a plurality of various sensors and optical systems allowing receiving information of a given portion of surroundings of the imaging system 18, a so-called region of interest (ROI) , such as a given ROI 202 schematically depicted in Figure 2, which a given sensor of the imaging system 18 is configured to capture.

[0062] More specifically, according to certain non-limiting embodiments of the present technology, the imaging system 18 may be configured to convert an optical image into an electronic or digital image and may send captured images to the computing unit 100. In some non-limiting embodiments of the present technology, the imaging system 18 may be a single-lens camera providing RGB pictures. It should be expressly understood that the single-lens camera can be implemented in any other suitable equipment.

[0063] Further, in other non-limiting embodiments of the present technology, the imaging system 18 comprises depth sensors configured to acquire RGB-Depth (RGBD) pictures. In yet other non-limiting embodiments of the present technology, the imaging system 18 can include a Light Detection and Ranging (LiDAR) system configured for gathering information about surroundings of the computer system 10 or another system and / or object to which the computer system 10 is coupled. It is expected that a person skilled in the art would understand the functionality of the LiDAR system, but briefly speaking, a light source of the LiDAR system is configured to send out light beams that, after having reflected off one or more surrounding objects in the surroundings of the computer system 10, are scattered back to a receiver of the LiDAR system. The photons that come back to the receiver are collected with a telescope and counted as a function of time. Using the speed of light (～3x10^8 m / s) , the processor 110 of the computing unit 100 of the computer system 10 can then calculate how far  the photons have traveled (in the round trip) . Photons can be scattered back off of many different entities surrounding the computer system 10.

[0064] In a specific non-limiting example, the LiDAR system can be implemented as the LiDAR based sensor. It should be expressly understood that the LiDAR system can be implemented in any other suitable equipment.

[0065] In some non-limiting embodiments of the present technology, the imaging system 18 comprises one or more radar-type sensor systems that are communicatively coupled to the processor 110. Broadly speaking, the one or more radar-type sensor systems may be configured to make use of radio waves to gather data about various portions of the surroundings of the imaging system 18. For example, the one or more radar-type sensor systems may be configured to gather radar data about potential objects in the surroundings of the imaging system 18 and which data may be representative of distance of objects from the radar-type sensor system, orientation of objects, velocity and / or speed of objects, and the like.

[0066] In some non-limiting embodiments of the present technology, the one or more radar system can include a Frequency-Modulated Continuous Wave (FMCW) radar sensor. Broadly speaking, the FMCW radar sensor is configured to continuously varying (or otherwise, modulating) a frequency of the transmitted signal by a modulating signal at a given rate over a fixed period. This enables the FMCW radar sensor to measure a distance (also referred to herein as a “range” ) to a given object in the surrounding of the imaging system 18 as well as a current velocity of the given object.

[0067] According to certain non-limiting embodiments of the present technology, the modulating signal can be generated by various modulation techniques, such as one of sawtooth modulation, triangular modulation, sine wave modulation, square wave modulation, and stepped modulation. Thus, the processor 110 can be configured to measure a frequency difference (Δf, due to run time) between (1) an output radar signal and (2) a reflected radar signal, reflected off at least one object in the surroundings of the imaging system 18. Accordingly, the processor 110 can be configured to use the frequency difference for calculating the distance. Also, based on the output and reflected signals, the processor 110 can be configured to measure a Doppler frequency (due to the Doppler effect) for calculating a current speed value of the at least one object.

[0068] In some non-limiting embodiments of the present technology, the FMCW radar sensor can be implemented as a 4D imaging radar sensor (not separately depicted) . With reference to Figure 2, there is schematically depicted a comparative diagram of resolutions of a 3D radar sensor and the 4D imaging radar sensor, in accordance with certain non-limiting embodiments of the present technology.

[0069] As it can be appreciated, the 3D radar sensor is configured to determine only a distance (aRange parameter) , a current speed value (aDoppler parameter) , and a horizontal angular value (an Azimuth parameter) of a given surrounding object 204. Maximum values of the Range and Azimuth parameters at which the 3D radar sensor is capable of sensing the given surrounding object 204 define the given ROI 202 of the 3D radar sensor, which has a 2D configuration.

[0070] On the other hand, the 4D imaging radar sensor can additionally be configured to determine a vertical angular value (an Elevation parameter) of the given surrounding object 204. Maximum values of the Range, Azimuth, and Elevation parameters at which the 4D imaging radar sensor is capable of sensing the given surrounding object 204 define the given ROI 202 of the 4D imaging radar sensor, which thus has a 3D configuration. This allows using the 4D imaging radar sensor for generating 3D point clouds representative of the surroundings of the imaging system 18 or objects, on which the computer system 10 including the imaging system 18 is installed, such as the vehicle 220.

[0071] Broadly speaking, according to certain non-limiting embodiments of the present technology, the 4D imaging radar sensor comprises a Multiple-Inputs Multiple-Outputs (MIMO) antenna array for high-resolution detection, mapping and tracking of multiple stationary (such as a streetlamp or guardrail) and dynamic (such as a pedestrian or another vehicle, for example) objects simultaneously. In the illustrated embodiments, the 4D imaging sensor installed on top of a vehicle body of a vehicle 220 as part of the imaging system 18 of the computer system 10.

[0072] In a specific non-limiting example, the 4D imaging radar may comprise a 16 channel MIMO array on a single chip. However, other configurations of the MIMO antenna array, such as 3x3, 5x5, or 9x9 are also envisioned. It should be expressly understood that the 4D imaging radar sensor can be implemented in any other suitable equipment.

[0073] Other implementations of the imaging system 18 enabling generating 3D point clouds, including, for example, depth sensors, 3D scanners, and other suitable devices are envisioned without departing from the scope of the present technology.

[0074] Thus, by using one of the approaches non-exhaustively described above, the imaging system 18 can be configured to generate 3D point clouds representative of surrounding objects of the computer system 10. For example, in those embodiments where the computer system 10 is utilized outdoors, such objects can include, without limitation, particles (aerosols or molecules) of water, dust, or smoke in the atmosphere, moving and stationary surrounding objects of various object classes. In this example, object classes of the moving surrounding objects can include, without limitation, vehicles, trains, cyclists, pedestrians or animals. By contrast, object classes of the stationary objects can include, without limitation, trees, fire hydrants, road posts, streetlamps, traffic lights, and the like.

[0075] In another example, where the computer system 10 is utilized indoors, such as in a given room, the surrounding objects can include, without limitation, walls of the given room, furniture articles disposed therein, electric, and electronic devices installed or used in the given room (such as home appliances, for example) , people, pets, and the like.

[0076] In some non-limiting embodiments of the present technology, the imaging system 18 of the computer system 10 can be implemented as an external imaging system (not depicted) configured to: (i) be coupled to the computer system 10 via a respective input / output external interface, such as, a Universal Serial BusTM (USB) and various configurations thereof, as an example, or any other input / output interface non-exhaustively listed above, as an example; and (ii) transmit captured data to the computing unit 100.

[0077] Further, in some non-limiting embodiments of the present technology, the computer system 10 may comprise an Inertial Sensing Unit (ISU) 14 configured to be used in part by the computing unit 100 to determine a position of the imaging system 18 and / or the computer system 10. Therefore, the computing unit 100 may determine a set of coordinates describing the location of the imaging system 18, and thereby the location of the computer system 10, in a coordinate system based on the output of the ISU 14. Generation of the coordinate system is described hereinafter. The ISU 14 may comprise 3-axis accelerometer (s) , 3-axis gyroscope (s) , and / or magnetometer (s) and may provide velocity, orientation, and / or other position related information to the computing unit 100.

[0078] Further, in some non-limiting embodiments of the present technology, the computer system 10 may include a screen or display 16 capable of rendering color 2D and / or 3D images captured by the imaging system 18. In some non-limiting embodiments of the present technology, the display 16 may be used to display live images captured by the imaging system 18, 3D point clouds, Augmented Reality (AR) images, Graphical User Interfaces (GUIs) , program output, etc. In some embodiments, display 16 may comprise and / or be housed with a touchscreen to permit users to input data via some combination of virtual keyboards, icons, menus, or other Graphical User Interfaces (GUIs) . In some non-limiting embodiments of the present technology, display 16 may be implemented using a Liquid Crystal Display (LCD) display or a Light Emitting Diode (LED) display, such as an Organic LED (OLED) display. In other embodiments, display 16 may be remotely communicatively connected to the computer system 10 via a wired or a wireless connection (not shown) , so that outputs of the computing unit 100 may be displayed at a location different from the location of the computer system 10. In this situation, the display 16 may be operationally coupled to, but housed separately from, other functional units and systems in computer system 10. The computer system 10 may be, for example, an iPhone or mobile phone from Apple or a Galaxy mobile phone or tablet from Samsung, or any other mobile device whose features are similar or equivalent to the aforementioned features. The device may be, for example and without being limitative, a handheld computer, a personal digital assistant, a cellular phone, a network device, a camera, a smart phone, an enhanced general packet radio service  (EGPRS) mobile phone, a network base station, a media player, a navigation device, an e-mail device, a game console, or a combination of two or more of these data processing devices or other data processing devices.

[0079] According to certain non-limiting embodiments of the present technology, the computer system 10 may comprise a memory 12 communicatively connected to the computing unit 100 and configured to store without limitation data, captured images, depth values, sets of coordinates of the computer system 10, 3D point clouds, and raw data provided by ISU 14 and / or the imaging system 18. The memory 12 may be embedded in the computer system 10. The computing unit 100 may be configured to access a content of the memory 12 via a network (not shown) such as a Local Area Network (LAN) and / or a wireless connexion such as a Wireless Local Area Network (WLAN) .

[0080] The computer system 10 may also include a power system (not depicted) for powering its components. The power system may include a power management system, one or more power sources (e.g., battery, alternating current (AC) ) , a recharging system, a power failure detection circuit, a power converter or inverter and any other components associated with the generation, management, and distribution of power in mobile or non-mobile devices.

[0081] Summarily, it is contemplated that the computer system 10 may perform at least some of the operations and steps of methods described in the present disclosure. More specifically, the computer system 10 may be suitable for generating 3D point clouds of various objects (such as those mentioned above) including data points representative thereof. For example, as mentioned above, in some non-limiting embodiments of the present technology, the computer system 10 can be part of a control system of the vehicle 220 and generate the 3D point clouds representative of surrounding objects of the vehicle 220. In some non-limiting embodiments of the present technology, the vehicle 220 can be implemented as an autonomous vehicle (also known as a “self-driving car” ) . In these embodiments, based on the data of the surrounding objects determined via the 3D point clouds, the processor 110 of the computer system 10 can be configured, for example, to generate a trajectory for the vehicle 220. In another example, based on the data of the surrounding objects, the processor 110 can be configured to generate (or otherwise validate) a 3D map for navigation of the vehicle 220.

[0082] How the computer system can be configured to generate 3D point clouds representative of the surroundings of the vehicle 220 using the imaging system 18, and the 4D imaging radar sensor (not depicted) , in particular, in accordance with certain non-limiting embodiments of the present technology, will now be described.

[0083] Multi-beam Pattern Generation

[0084] Developers of the present technology have appreciated that the 4D imaging radar sensor of the imaging system 18 can be configured to the given ROI 202 within the surroundings of the vehicle 220 in multiple directions simultaneously. More specifically, the developers have appreciated that the 4D imaging radar sensor can be used for generating output radar signals having multiple maxima (also referred to herein as “peaks” ) according to a respective multi-beam pattern. Accordingly, such an output radar signal causes generation of the reflected radar signal, which would also have multiple peaks, corresponding to multiple data points representative of objects within the given ROI 202.

[0085] Thus, by analyzing the reflected radar signal, the processor 110 can further be configured to simultaneously generate a corresponding number of data points for a respective 3D point cloud (such as a respective 3D point cloud 504) representative of a respective portions of the surroundings of the vehicle 220 within the given ROI 202. In other words, by doing so, in a given scanning cycle of the 4D imaging radar sensor, the processor 110 can be configured to generate multiple data points for the 3D point cloud as opposed to using the single-beam configuration of the output radar signal.

[0086] This may allow improving the efficiency of the generation of 3D point clouds representative of the surroundings of the vehicle 220 compared to the prior art approaches, which use a single-beam configuration of output radar signals for scanning the surroundings, allowing determining only a single data point representative thereof at a given run time of the 4D imaging radar sensor.

[0087] With reference to Figure 3, there is depicted a 3D graph of a given multi-beam pattern 300 for the output radar signal of the 4D imaging radar sensor of the imaging system 18, in accordance with certain non-limiting embodiments of the present technology.

[0088] According to certain non-limiting embodiments of the present technology, it is not limited how the given multi-beam pattern 300 can be determined. In some non-limiting embodiments of the present technology, the processor 110 can be configured to determine the given multi-beam pattern 300 based on a plurality of desired scanning directions within the given ROI 202 that could be obtained, for example, from an operator of the computer system 10. Broadly speaking, a maximum number of desired scanning directions depends on an array size of the 4D imaging radar. In other words, the larger the array size of the 4D imaging radar sensor, the more degrees of freedom and hence scanning directions the output radar signal thereof can have. Also, each one of the plurality of desired scanning directions can be selected based on the environment setting and parameters of desired objects within the surrounding area of the vehicle 220. For example, if the objects are expected to be scattered within the given ROI 202 at a distance from each other, the operator of the computer system 10 can select a greater number of the desired scanning directions. Conversely, if the target objects are expected to be disposed closely to each other, fewer beams may be required to capture them.

[0089] Further, according to certain non-limiting embodiments of the present technology, based on the so obtained plurality of desired scanning directions, the processor 110 can be configured to determine maxima and minima for the given multi-beam pattern 300. More specifically, the processor 110 can be configured to define the maxima of the given multi-beam pattern 300 as corresponding to the plurality of desired scanning directions; and define the minima of the given multi-beam pattern 300 as corresponding to other, unselected, directions within the given ROI 202.

[0090] Further, according to certain non-limiting embodiments of the present technology, the processor 110 can be configured to maximize an amplitude of the output radar signal of the 4D imaging radar sensor along each one of the plurality of desired scanning directions. At the same time, the processor 110 can be configured to minimize the amplitude of the output radar signal along unselected directions within the given ROI 202. To that end, according to certain non-limiting embodiments of the present technology, the processor 110 can be configured an optimization algorithm. How the optimization algorithm can be implemented is not limited. In some non-limiting embodiments of the present technology, the optimization algorithm can be implemented as described in an article entitled “3D Multi-Beam and Null Synthesis by Phase-Only Control for 5G Antenna Arrays, ” authored by Comisso et al., and published by Department of Engineering and Architecture, University of Trieste on May 5, 2019, and the content of which is incorporated herein by reference in its entirety. By doing so, the processor 110 can be configured to generate the given multi-beam pattern 300.

[0091] Further, after determining the given multi-beam pattern 300 for the output radar signal, the processor 110 can be configured to cause the 4D imaging radar sensor to stir the output radar signal downrange towards the given ROI 202 to generate the respective 3D point cloud 504 representative thereof.

[0092] More specifically, as mentioned hereinabove, the processor 110 can be configured to cause the 4D imaging radar sensor to generate the output radar as an FMCW signal, which can be analytically expressed by a following equation:

[0093] where K is a chirp rate of the modulation signal, and f0 is a carrier frequency of the output radar signal.

[0094] Accordingly, the reflected radar signal can be expressed by a following equation:

[0095] where τ is a time delay caused by between moments of emission of the output radar signal and a scatter thereof from objects in the given ROI 202,

[0096] R is a distance between the scatter of the output radar signal and the emission thereof, that is the 4D imaging radar sensor; and c is the speed of light.

[0097] According to certain non-limiting embodiments of the present technology, the reflected radar signal can also have a plurality of peaks, at least some of which can correspond to respective peaks of the output radar signal. In other words, the reflected radar signal can have a configuration akin to that of the output radar signal, that is, aligned with the given multi-beam pattern 300.

[0098] Thus, a resulting baseband signal, determined through down-conversion, can be expressed as follows:

[0099] Further, the processor 110 can be configured to determine the vectors along which the output radar signal will be emitted in the given ROI 202. As the 4D imaging radar sensor comprises an MxN MIMO array where a given transmitter, mth, has coordinates (xtm, ytm, 0) , and a given receiver nth has coordinates (xrn, yrn, 0) , the processor 110 can be configured to define a transmitting steering vector and a receiving steering vector as follows:

[0100] where are vertical and horizontal angles of the vectors, respectively, that is, Elevation and Azimuth coordinates thereof.

[0101] Further, according to certain non-limiting embodiments of the present technology, in the given scanning cycle of the 4D imaging radar sensor, the processor 110 can be configured to cause the 4D imaging radar sensor to: (i) output the output radar signal of the so determined configuration in the given ROI 202; and (ii) receive the reflected radar signal representative of at least one surrounding object of the vehicle 220 in the given ROI 202. As mentioned hereinabove, the reflected radar signal, akin to the output radar signal, can also have multiple peaks, each of which can correspond to a same or different surrounding object in the given ROI 202. Further, in some non-limiting embodiments of the present technology, by analysing the reflected signal, the processor 110 can be configured to generate data points for the respective 3D point cloud 504 of the given ROI 202.

[0102] More specifically, in some non-limiting embodiments of the present technology, to obtain respective values for the Range and Doppler parameters for at least one surrounding object of the vehicle 220 in the given ROI 202, the processor 110 can be configured to apply, to the reflected radar signal, a 2D Fast Fourier Transform (FFT) , thereby generating a transformed reflected radar signal. In some non-limiting embodiments of the present technology, to remove a background noise in the transformed reflected radar signal, after applying the 2D FFT, the processor 110 can be configured to apply a cell averaging constant false alarm rate (CA-CFAR) algorithm. Use of other noise-filtering algorithms is also envisioned.

[0103] Further, in some non-limiting embodiments of the present technology, the processor 110 can be configured to determine, for each peak of the transformed reflected radar signal, respective values of the Elevation and Azimuth parameters. To that end, in some non-limiting embodiments of the present technology, the processor 110 can be configured to apply, to the transformed reflected radar signal, a three-dimensional multiple signal classification (3D-MUSIC) algorithm. Thus, by combining, for each peak of the reflected radar signal, the determined values of the Range, Doppler, Elevation, and Azimuth parameters, the processor 110 can be configured to generate the respective 3D point cloud 504 of the given ROI 202.

[0104] Thus, by using certain non-limiting embodiments of the present technology, in the given scanning cycle of the 4D imaging radar sensor, the processor 110 can be configured to generate multiple data points for one or more objects in the given ROI 202 simultaneously. In other words, by using the output radar signals of the 4D imaging radar sensor having multi-beam configuration, the processor 110 can be configured to scan the given ROI 202 faster than with radar signals having a single-beam configuration. This is believed to increase the efficiency of generating 3D point clouds of the surroundings of the vehicle 220.

[0105] A non-limiting example of using the present method for generating 3D point clouds will now be described.

[0106] With reference to Figures 4A to 4C, there are depicted schematic diagrams of: (i) a reference 3D point cloud 402 of a given model object (alion) ; (ii) a first 3D point cloud 404 of the given model object, generated using radar signals having multi-beam patterns (such as the given multi-beam pattern 300 mentioned above) , according to certain non-limiting embodiments of the present technology; and (iii) a second 3D point cloud 406 of the given model object, generated using radar signals having single-beam patterns. For the present example, the given model object has been scaled to occupy a range along an X axis of [-30, 40] meters, along a Y axis of [-15, 10] meters, and along a Z axis of [4, 50] meters.

[0107] In the current example, the 4D imaging radar sensor of the imaging system 18 has a 5×5 MIMO antenna array for both transmitting and receiving purpose, the antennas being disposed at a distance therebetween. Further, for the present example, the output radar signal has the following parameters: f0=77 GHz, B=2 GHz, and a maximum detection range is 68 meters.

[0108] As it can be appreciated, using the systems and methods described herein, during a given runtime period, the processor 110 could identify more data points for the first 3D point cloud 404 compared to the second 3D point cloud 406, for which a single-beam radar signal has been used. In other words, the first 3D point cloud 404, which is closer to the reference 3D point cloud 402, may allow reconstructing a more accurate shape of the given model object faster than the approach using the single-beam configuration of the radar signal.

[0109] Further, in some non-limiting embodiments of the present technology, the processor 110 can be configured to use the so generated respective 3D point cloud 504 for detecting objects in the given ROI 202. With reference to Figure 5, there is depicted a schematic diagram of the respective 3D point cloud 504 representative of objects captured within the given ROI 202, in accordance with certain non-limiting embodiments of the present technology.

[0110] According to certain non-limiting embodiments of the present technology, to detect objects in the respective 3D point cloud 504, the processor 110 can be configured to have access to an Object Detector (OD, not depicted) that has been trained to detect objects in 3D point clouds. For example, the OD can be implemented based on a deep neural network, such as at least one of: Voxel ResNet, Point ResNet, PointNet, and UNet. In a specific non-limiting example, the OD can be a CenterPoint-based neural network implemented as described, for example, in an article “OBJECTS AS POINTS” , authored by Zhou et al., the content of which is incorporated herein by reference in its entirety. However, it should be expressly understood that other object detection frameworks can also be used for implementing the OD without departing from the scope of the present technology, including, without limitation, a PointPillars framework, a VoxelNet framework, a Point-Voxel Region-based Convolutional Neural Network (PV-RCNN) , and a PillarNet framework, for example.

[0111] According to certain non-limiting embodiments of the present technology, using the trained OD, the processor 110 can be configured to: (i) localize the given surrounding object 204 in a coordinate system associated, for example, with the imaging system 18, such as the 4D imaging radar sensor thereof, or the vehicle 220; and (ii) determine a respective object class of the given surrounding object 204, that is, a vehicle. Finally, based on the determined location and the respective object class of the given surrounding object 204 in the given ROI 202, the processor 110 can be configured to generate a respective trajectory for the vehicle 220.

[0112] Thus, certain non-limiting embodiments of the present methods and systems, via the more efficient generation of the 3D point clouds, may allow for generation of safer trajectories for the vehicle 220.

[0113] Given the architecture and examples provided above, it is now possible to implement a method for detecting objects in a surrounding area of a given vehicle, such as the given object 204 in the surroundings of the vehicle 220 mentioned above. With reference to Figure 6, there is depicted a flowchart diagram of a method 600, in accordance with certain non-limiting embodiments of the present technology. The method 600 can be executed by the processor 110 of the computer system 10.

[0114] STEP 602: DETERMINING AN OUTPUT RADAR SIGNAL OF A MULTIPLE INPUTS MULTIPLE OUTPUTS (MIMO) RADAR SYSTEM

[0115] The method 600 commences at step 602 with the computer system 10 being configured to determine the given multi-beam pattern 300 for the output radar signal of the 4D imaging radar sensor of the imaging system 18. By using the output radar signal having the given multi-beam pattern 300, the computer system 10 can be configured to cause the 4D imaging radar sensor to scan the surroundings of the vehicle 220 within the given ROI 202.

[0116] As mentioned hereinabove, in some non-limiting embodiments of the present technology, the computer system 10 can the given multi-beam pattern 300 for the output radar signal based on the plurality of desired scanning directions, information of which, the computer system 10 can be configured to obtain, for example, from the operator thereof.

[0117] Further, using the optimization algorithm mentioned further above, the computer system 10 can be configured to generate the given multi-beam pattern 300 based on the plurality of desired scanning directions. More specifically, the optimization algorithm can be configured to maximize the amplitude of the output radar signal along the plurality of desired directions and minimize the amplitude of the output radar signal along the other, unselected, directions within the given ROI 202.

[0118] The method 600 hence advances to step 604.

[0119] STEP 604: TRANSMITTING THE OUTPUT RADAR SIGNAL TOWARDS THE GIVEN ROI

[0120] At step 604, as mentioned further above, according to certain non-limiting embodiments of the present technology, after determining the given multi-beam pattern 300 for the output radar signal, the processor 110 can be configured to cause the 4D imaging radar sensor to stir the output radar signal downrange towards the given ROI 202 to generate the respective 3D point cloud 504 representative thereof. More specifically, as mentioned hereinabove, the processor 110 can be configured to cause the 4D imaging radar sensor to generate the output radar as the FMCW signal, which can be analytically expressed by Equation (1) .

[0121] The method 600 hence advances to step 606.

[0122] STEP 606: SENSING A REFLECTED RADAR SIGNAL REFLECTED OFF AT LEAST ONE OBJECT IN THE GIVEN ROI

[0123] At step 606, according to certain non-limiting embodiments of the present technology, the computer system 10 can be configured to cause the 4D imaging radar sensor to sense the reflected radar signal, reflected off at least one object in the surroundings of the vehicle 220 within the given ROI 202 –for example, the given object 204.

[0124] As mentioned hereinabove, the reflected radar signal can also have the plurality of peaks, at least some of which can correspond to the plurality of peaks of the output radar signal, that is, propagating along respective ones of the plurality of desired scanning directions. Analytically, the reflected radar signal can be expressed by Equation (2) above.

[0125] The method 600 hence advances to step 608.

[0126] STEP 608: GENERATING A THREE DIMENSIONS (3D) REPRESENTATION OF THE AT LEAST ONE OBJECT IN THE GIVEN ROI

[0127] At step 608, according to certain non-limiting embodiments of the present technology, the computer system 10 can be configured to analyze the reflected radar signal to generate data points for the respective 3D point cloud 504 of the given ROI 202. A given data point corresponds to a respective one of the plurality of peaks of the reflected radar signal during the given scanning cycle of the 4D imaging radar sensor.

[0128] As mentioned hereinabove, to determine the respective values for the Range and Doppler parameters for the given data point of the respective 3D point cloud 504, the computer system 10 can be configured to apply, to the reflected radar signal, the 2D Fast Fourier Transform (FFT) , thereby generating the transformed reflected radar signal.

[0129] Further, to determine the respective values of the Elevation and Azimuth parameters of the given data point of the respective 3D point cloud 504, the computer system can be configured to apply, to the transformed reflected radar signal, the 3D-MUSIC algorithm. By doing so, the computer system 10 can be configured to determine the coordinates of the given data point within the given ROI 202.

[0130] Thus, as illustrated by the example described above with reference to Figures 4A to 4C, by using certain non-limiting embodiments of the present technology, during the given scanning cycle of the 4D imaging radar sensor, the processor 110 can be configured to generate multiple data points for one or more objects in the given ROI 202 simultaneously. In other words, by using the output radar signals of the 4D imaging radar sensor having multi-beam configuration, the processor 110 can be configured to scan the given ROI 202 faster than with radar signals having a single-beam configuration. This is believed to increase the efficiency of generating 3D point clouds of the surroundings of the vehicle 220.

[0131] While the above-described implementations have been described and shown with reference to particular operations performed in a particular order, it will be understood that these steps may be combined, sub-divided, or re-ordered without departing from the teachings of the present technology. At least some of the steps may be executed in parallel or in series. Accordingly, the order and grouping of the steps is not a limitation of the present technology.

[0132] While the application examples of the technology described in the present disclosure is Autonomous Driving Systems (ADS) , it may be used and extended to various other domains, including robotics, cinematography, visual effects, advertising, military applications, AR / VR, construction, real estate (for planning, buying, selling) , and medical scene / image 3D reconstruction, among others, wherein camera images (and / or LiDAR data points) serve as inputs. This proposed technology demonstrates capability in swiftly and realistically reconstructing and simulating scenarios featuring static backgrounds and dynamic actors.

[0133] Modifications and improvements to the above-described implementations of the present technology may become apparent to those skilled in the art. The foregoing description is intended to be exemplary rather than limiting. The scope of the present technology is therefore intended to be limited solely by the scope of the appended claims.

[0134] It should be expressly understood that not all technical effects mentioned herein need to be enjoyed in each and every embodiment of the present technology.

[0135] Modifications and improvements to the above-described implementations of the present technology may become apparent to those skilled in the art. The foregoing description is intended to be exemplary rather than limiting. The scope of the present technology is therefore intended to be limited solely by the scope of the appended claims.

Claims

1.A method comprising:determining an output radar signal of a multiple inputs multiple outputs (MIMO) radar system, the output radar signal having a plurality of output peaks, wherein:each output peak of the plurality of output peaks corresponds to a respective desired direction of a plurality of desired scanning directions in a given region of interest (ROI) ,each output peak of the plurality of output peaks having been determined based on maximizing an amplitude of the output radar signal along each desired scanning direction of the plurality of desired scanning directions in the given ROI;transmitting the output radar signal towards the given ROI;sensing a reflected radar signal reflected off at least one object in the given ROI,the reflected radar signal having a plurality of reflected peaks,each reflected peak of the plurality of reflected peaks having a respective direction corresponding to the respective one of the plurality of desired scanning directions; andbased on the reflected radar signal, generating a three-dimensional (3D) representation of the at least one object in the given ROI.2.The method of claim 1, wherein the generating the 3D representation comprises applying a two dimensions (2D) Fast Fourier Transform (FFT) to the reflected radar signal to determine respective values of a range parameter and a doppler parameter for a given data point of the 3D representation.3.The method of claim 2, wherein the generating the 3D representation further comprises applying a three-dimensional multiple signal classification (3D-MUSIC) to the reflected radar signal algorithm to determine respective values of an elevation parameter and an azimuth parameter for the given data point of the 3D representation.4.The method of claim 3, wherein, the method further comprises applying a noise-filtering algorithm to the reflected radar signal.5.The method of claim 4, wherein the noise-filtering algorithm comprises a cell averaging constant false alarm rate (CA-CFAR) algorithm.6.The method of claim 1, wherein the MIMO radar system comprises a four dimensions (4D) imaging radar system.7.The method of claim 1, wherein the output radar signal comprises a Frequency-Modulated Continuous-Wave (FMCW) signal.8.The method of claim 1, further comprising:minimizing an amplitude of the output radar signal along at least one scanning direction which is different from any desired scanning direction of the plurality of desired scanning directions.9.The method of claim 1, wherein the given ROI is defined by maximum values of an azimuth parameter and an elevation parameter of the MIMO radar sensor at which the MIMO radar system can sense the given object.10.The method of claim 9, wherein the maximum values of the azimuth parameter and elevation parameters for the MIMO radar system are defined by an antenna array size of the MIMO radar system.11.A system comprising at least one processor, at least one non-transitory computer-readable memory storing instructions, which, when executed by the at least one processor, cause the system to:determine an output radar signal of a multiple inputs multiple outputs (MIMO) radar system, the output radar signal having a plurality of output peaks, wherein:each output peak of the plurality of output peaks corresponds to a respective desired direction of a plurality of desired scanning directions in a given region of interest (ROI) ,each output peak of the plurality of output peaks having been determined based on maximizing an amplitude of the output radar signal along each desired scanning direction of the plurality of desired scanning directions in the given ROI;transmit the output radar signal towards the given ROI;sense a reflected radar signal reflected off at least one object in the given ROI,the reflected radar signal having a plurality of reflected peaks,each reflected peak of the plurality of reflected peaks having a respective direction corresponding to the respective one of the plurality of desired scanning directions; andbased on the reflected radar signal, generate a three-dimensional (3D) representation of the at least one object in the given ROI.12.The system of claim 11, wherein to generate the 3D representation, the instructions cause the system to apply a two dimensions (2D) Fast Fourier Transform (FFT) to the reflected radar signal to determine respective values of a range parameter and a doppler parameter for a given data point of the 3D representation.13.The system of claim 12, wherein to generate the 3D representation, the instructions further cause the system to apply a three-dimensional multiple signal classification (3D-MUSIC) algorithm to the reflected radar signal to determine respective values of an elevation parameter and an azimuth parameter for the given data point of the 3D representation.14.The system of claim 13, wherein, the instructions further cause the system to apply a noise-filtering algorithm to the reflected radar signal.15.The system of claim 14, wherein the noise-filtering algorithm comprises a cell averaging constant false alarm rate (CA-CFAR) algorithm.16.The system of claim 11, wherein the MIMO radar system comprises a four dimensions (4D) imaging radar system.17.The system of claim 11, wherein the output radar signal comprises a Frequency-Modulated Continuous-Wave (FMCW) signal.18.The system of claim 11, wherein the instructions further cause the system to:minimize an amplitude of the output radar signal along at least one scanning direction which is different from any desired scanning direction of the plurality of desired scanning directions.19.The system of claim 11, wherein the given ROI is defined by maximum values of an azimuth parameter and an elevation parameter of the MIMO radar system at which the MIMO radar system can sense the given object.20.A computer-readable medium storing executable instructions for causing one or more computer processors to:determine an output radar signal of a multiple inputs multiple outputs (MIMO) radar system, the output radar signal having a plurality of output peaks, wherein:each output peak of the plurality of output peaks corresponds to a respective desired direction of a plurality of desired scanning directions in a given region of interest (ROI) ,each output peak of the plurality of output peaks having been determined based on maximizing an amplitude of the output radar signal along each desired scanning direction of the plurality of desired scanning directions in the given ROI;transmit the output radar signal towards the given ROI;sense a reflected radar signal reflected off at least one object in the given ROI,the reflected radar signal having a plurality of reflected peaks,each reflected peak of the plurality of reflected peaks having a respective direction corresponding to the respective one of the plurality of desired scanning directions; andbased on the reflected radar signal, generate a three-dimensional (3D) representation of the at least one object in the given ROI.

Images