Method and apparatus for controlling brake of vehicle, vehicle and storage medium

Abstract

A method for controlling brake of a vehicle, comprises: obtaining (101) first distance information between the vehicle and a target object through an ultrasonic sensor; obtaining (102) image information of the target object through a visual sensor, and determining second distance information between the vehicle and the target object based on the image information; correcting (103) the first distance information based on a wheel speed pulse signal to generate first corrected distance information, and correcting the second distance information based on the wheel speed pulse signal to generate second corrected distance information; controlling (104) the vehicle to brake according to the first corrected distance information and the second corrected distance information; thereby avoiding a problem of accidentally triggering an emergency braking system caused by using only the ultrasonic sensor for controlling the brake of the vehicle. An apparatus for controlling brake of a vehicle and a computer-readable storage medium are also provided.

Description

METHOD AND APPARATUS FOR CONTROLLING BRAKE OF VEHICLE, VEHICLE AND STORAGE MEDIUMTECHNICAL FIELD

[0001] The present invention relates to the technical field of controlling brake of a vehicle and, in particular, to a method for controlling brake of a vehicle, an apparatus for controlling brake of a vehicle, a vehicle and a computer-readable storage medium.BACKGROUND

[0002] An ultrasonic radar is a sensor based on the principle of ultrasonic propagation. By emitting ultrasonic pulses and receiving echo signals reflected back from a target object, parameters such as distance, velocity, and directions of a target can be accurately measured by the ultrasonic radar based on a propagation time and velocity of sound waves in a medium. The ultrasonic radar is widely used in the fields such as automobile, industrial automation, and smart home due to its advantages such as low cost, high measurement accuracy, and strong anti-interference ability.

[0003] Currently, many low-speed emergency braking systems use the ultrasonic radar as a core sensor. By monitoring the distance to obstacles in a surrounding environment of a vehicle in real-time, this system will trigger an emergency braking once a collision risk with the obstacle is detected. However, an ultrasonic ranging technology also has some inherent flaws. Due to propagation characteristics of ultrasound, it is easily affected by environmental factors such as ground undulations, vegetation, rain and snow, which can lead to false echoes, causing false alarms and accidentally triggering the emergency braking system.SUMMARY

[0004] Embodiments of the present invention provide a method and apparatus for controlling brake of a vehicle, a vehicle, and a computer-readable storage medium, so as to overcome or at least partially solve the above-mentioned problems.

[0005] An embodiment of the present invention discloses a method for controlling brake of a vehicle, where the vehicle is equipped with a visual sensor and an ultrasonic sensor, and the method includes: obtaining first distance information between the vehicle and a target object through  the ultrasonic sensor; obtaining image information of the target object through the visual sensor, and  determining second distance information between the vehicle and the target object based on the image information; correcting the first distance information based on a wheel speed pulse signal to  generate first corrected distance information, and correcting the second distance information based on the wheel speed pulse signal to generate second corrected distance information; controlling the vehicle to brake according to the first corrected distance information  and the second corrected distance information.

[0006] Optionally, steps of the obtaining the image information of the target object through the visual sensor include: determining a first detection area for the ultrasonic sensor; determining a target detection range using the first detection area, and determining  a second detection area for the visual sensor according to the target detection range; when the target object enters the second detection area, obtaining the image  information of the target object through the visual sensor.

[0007] Optionally, steps of the determining the second distance information between the vehicle and the target object based on the image information include: generating coordinate information of the target object based on the image  information, and determining a shortest distance point on the target object closest to the vehicle based on the coordinate information; determining the second distance information between the vehicle and the target  object using the shortest distance point.

[0008] Optionally, steps of the correcting the first distance information based on the wheel speed pulse signal to generate the first corrected distance information include: determining first distance update points of the first distance information on a  timeline; determining a first time period of two adjacent first distance update points; compensating for the first time period using the wheel speed pulse signal to generate  the first corrected distance information.

[0009] Optionally, steps of the correcting the second distance information based on the wheel speed pulse signal to generate the second corrected distance information include: determining second distance update points of the second distance information on the  timeline; determining a second time period for two adjacent second distance update points; compensating for the second time period using the wheel speed pulse signal to  generate the second corrected distance information.

[0010] Optionally, steps of the controlling the vehicle to brake according to the first corrected distance information and the second corrected distance information include: when the first corrected distance information is less than a first preset distance  threshold and a difference between the second corrected distance information and the first corrected distance information is less than a second preset distance threshold, generating brake control information, and controlling the vehicle to brake based on the brake control information; where the brake control information is used to determine that the vehicle meets an emergency brake condition.

[0011] Optionally, steps of the controlling the vehicle to brake based on the brake control information include: creating a relationship table between vehicle speed, safety distance, and a collision  time; when it is determined that the vehicle meets the emergency brake condition based  on the brake control information, obtaining current speed of the vehicle, and determining target safety distance and a target collision time corresponding to the current speed based on the relationship table; controlling the vehicle to brake based on the target safety distance and the target  collision time.

[0012] Optionally, the method further includes: determining an obstacle type of the target object using the image information; when the obstacle type meets a preset condition, re-executing a step of the  determining the second distance information between the vehicle and the target object using the shortest distance point.

[0013] An embodiment of the present invention also discloses an apparatus for controlling brake of a vehicle, where the vehicle is equipped with a visual sensor and an ultrasonic sensor, and the apparatus includes: a first distance information acquisition module, configured to obtain first distance  information between the vehicle and a target object through the ultrasonic sensor; a second distance information acquisition module, configured to obtain image  information of the target object through the visual sensor, and determine second distance information between the vehicle and the target object based on the image information; a distance correction module, configured to correct the first distance information  based on a wheel speed pulse signal to generate first corrected distance information, and correct the second distance information based on the wheel speed pulse signal to generate second corrected distance information; a module for controlling brake of a vehicle, configured to control the vehicle to  brake according to the first corrected distance information and the second corrected distance information.

[0014] An embodiment of the present invention also discloses a vehicle, including: one or more processors; one or more machine-readable media on which instructions are stored, when  executed by the one or more processors, enabling the vehicle to perform one or more methods as described above.

[0015] An embodiment of the present invention also discloses a computer-readable storage medium, storing instructions which, when executed by one or more processors, enables the one or more processors to perform the methods described in the embodiments of the present invention.

[0016] The embodiments of the present invention include the following advantages: in the embodiments of the present invention, the first distance information between  the vehicle and the target object is obtained through the ultrasonic sensor; the image information of the target object is obtained through the visual sensor, and the second distance information between the vehicle and the target object is determined based on the image information; the first distance information is corrected based on the wheel speed pulse signal to generate the first corrected distance information, and the second distance information is corrected based on the wheel speed pulse signal to generate the second corrected distance information; the vehicle is controlled to brake according to the first corrected distance information and the second corrected distance information, thereby avoiding a problem of accidentally triggering an emergency braking system caused by using only the ultrasonic sensor for controlling the brake of the vehicle, and improving control efficiency of the brake of the vehicle.

[0017] Furthermore, measurement accuracy can also be improved: by integrating data from the ultrasonic sensor and the visual sensor, measurement errors of a single sensor can be overcome, and the measurement accuracy for the distance to the target object can be improved.

[0018] A measurement range can also be expanded: the visual sensor can accurately measure distant targets, compensating for a disadvantage of a limited measurement range about the ultrasonic sensor.

[0019] System robustness can also be enhanced: a multi-sensor fusion can improve the system robustness and reduce an impact of single sensor failures on system performance.

[0020] Target recognition capability can also be improved: the visual sensor can recognize types, shapes, sizes and the like of the target object, providing richer information for vehicle decision-making and improving an intelligence level of the vehicle.

[0021] Performance in severe weather conditions can be improved: the visual sensor may be affected in the severe weather condition such as rain, snow, and haze, but the ultrasonic sensor can still provide reliable distance information to ensure a normal operation of the system.

[0022] By combining the ultrasonic sensor with the visual sensor, and using the wheel speed pulse signal for correction, this technical solution effectively solves the technical problem of using the ultrasonic radar alone, improves the performance and reliability of the vehicle brake system, and provides strong technical support for achieving a higher level of autonomous driving.BRIEF DESCRIPTION OF DRAWINGS

[0023] FIG. 1 is a step flowchart of a method for controlling brake of a vehicle provided by an embodiment of the present invention.

[0024] FIG. 2 is a schematic structural diagram for a first detection area provided by an embodiment of the present invention.

[0025] FIG. 3 is a schematic structural diagram for a second detection area provided by an embodiment of the present invention.

[0026] FIG. 4 is a relationship schematic diagram between ultrasonic distance and wheel pulse count provided by an embodiment of the present invention.

[0027] FIG. 5 is a relationship schematic diagram between line of sight distance and wheel pulse count provided by an embodiment of the present invention.

[0028] FIG. 6 is a comparative schematic diagram of compensation distance provided by an embodiment of the present invention.

[0029] FIG. 7 is a schematic flowchart of determining a braking logic based on an obstacle type provided by an embodiment of the present invention.

[0030] FIG. 8 is another schematic flowchart of determining a braking logic based on an obstacle type provided by an embodiment of the present invention.

[0031] FIG. 9 is a structural block diagram of an apparatus for controlling brake of a vehicle provided by an embodiment of the present invention.DESCRIPTION OF EMBODIMENTS

[0032] In order to make above objectives, features, and advantages of the present invention more obvious and understandable, the following will provide further detailed explanations of the present invention in conjunction with accompanying drawings and specific implementations.

[0033] Referring to FIG. 1, a step flowchart of a method for controlling brake of a vehicle provided by an embodiment of the present invention is shown, the vehicle can be equipped with a visual sensor and an ultrasonic sensor, and the method may specifically include the following steps: step 101, obtaining first distance information between the vehicle and a target object  through the ultrasonic sensor; step 102, obtaining image information of the target object through the visual sensor,  and determining second distance information between the vehicle and the target object based on the image information; step 103, correcting the first distance information based on a wheel speed pulse  signal to generate first corrected distance information, and correcting the second distance information based on the wheel speed pulse signal to generate second corrected distance information; step 104, controlling the vehicle to brake according to the first corrected distance  information and the second corrected distance information.

[0034] In an autonomous vehicle, a core component responsible for controlling automatic braking is a high-performance onboard computer. This computer is commonly referred to as an autonomous driving controller or a central control unit (CCU) . Its functions go far beyond the brake control, but include the followings.

[0035] Sensor fusion: obtaining data from various sensors (such as cameras, LiDARs, millimeter wave radars, ultrasonic radars, a global positioning system (GPS) , and the like) , performing data fusion, and generating high-precision three-dimensional maps of a surrounding environment of the vehicle.

[0036] Path planning: planning a safe driving path based on a current state of the vehicle, target location, and surrounding environment information.

[0037] Decision control: making control decisions such as steering, acceleration, braking and the like based on the planned path and real-time perception of environmental changes.

[0038] System monitoring: monitoring operational status of various subsystems of the vehicle, ensuring a safe and reliable operation of the vehicle.

[0039] An automatic brake control of the autonomous vehicle is a complex system that involves multiple aspects such as sensor data acquisition, data processing, path planning, and decision control. By means of precise sensor data and reasonable data processing, safety and reliability of the autonomous vehicle can be effectively ensured.

[0040] In specific implementations, the embodiment of the present invention can be applied to the onboard computer.

[0041] In practical applications, the visual sensor (acamera) can be used to obtain image information of the front, side, and rear of the vehicle, for recognizing lane markings, traffic signs, pedestrians, vehicles, and the like. And the ultrasonic sensor is mainly used to detect close obstacles around the vehicle, such as parking spaces, obstacles, and the like. That is, the target object of the embodiment of the present invention may include but are not limited to the lane markings, traffic signs, pedestrians, vehicles, and the like.

[0042] The embodiment of the present invention can obtain the first distance information between the vehicle and the target object through the ultrasonic sensor; obtain the image information of the target object through the visual sensor, and determine the second distance information between the vehicle and the target object based on the image information. Therefore, acquisition of the distance information of the target object separately using the visual sensor and the ultrasonic sensor respectively can be achieved, and the reliability of the vehicle brake system can be improved by combining the visual sensor and the ultrasonic sensor through a data fusion method.

[0043] Specifically, the ultrasonic sensor can provide accurate distance information, especially with advantages in a close range. And the visual sensor can provide rich image information, which can be used to recognize types, shapes, sizes, and the like of the target object. Then the distance to the target object can be calculated through the image processing technology.

[0044] In the embodiment of the present invention, after obtaining the first distance information and the second distance information, the first distance information can be corrected based on the wheel speed pulse signal to generate the first corrected distance information, and the second distance information can be corrected based on the wheel speed pulse signal to generate the second corrected distance information. Then, the control of the brake of the vehicle can be performed according to the first corrected distance information and the second corrected distance information.

[0045] The distance information measured by the sensor can be corrected through the wheel speed pulse signal, and measurement accuracy can be improved. This is due to the fact that an actual driving speed of the vehicle is directly related to the wheel speed pulse signal, and measurement logic of the visual sensor and the ultrasonic sensor has periodicity, measurement results of which (the first distance information and the second distance information) will be affected by motion of the vehicle. Corrected ultrasonic distance information (the first corrected distance information) and corrected visual distance information (the second corrected distance information) are fused, and advantages of both are integrated into account to improve the accuracy of distance estimation for the target object. Based on fused distance information, the vehicle brake system is controlled to achieve safer and more reliable braking.

[0046] In the embodiment of the present invention, the first distance information between the vehicle and the target object is obtained through the ultrasonic sensor; the image information of the target object is obtained through the visual sensor, and the second distance information between the vehicle and the target object is determined based on the image information; the first distance information is corrected based on the wheel speed pulse signal to generate the first corrected distance information, and the second distance information is corrected based on the wheel speed pulse signal to generate the second corrected distance information; the vehicle is controlled to brake according to the first corrected distance information and the second corrected distance information, thereby avoiding a problem of accidentally triggering an emergency braking system caused by using only the ultrasonic sensor for controlling the brake of the vehicle, and improving control efficiency of the brake of the vehicle .

[0047] Furthermore, measurement accuracy can also be improved: by integrating data from the ultrasonic sensor and the visual sensor, measurement errors of a single sensor can be overcome, and the measurement accuracy for the distance to the target object can be improved.

[0048] A measurement range can also be expanded: the visual sensor can accurately measure distant targets, compensating for a disadvantage of a limited measurement range about the ultrasonic sensor.

[0049] System robustness can also be enhanced: a multi-sensor fusion can improve the system robustness and reduce an impact of single sensor failures on system performance.

[0050] Target recognition capability can also be improved: the visual sensor can recognize types, shapes, sizes and the like of the target object, providing richer information for vehicle decision-making and improving an intelligence level of the vehicle.

[0051] Performance in severe weather conditions can be improved: the visual sensor may be affected in the severe weather condition such as rain, snow, and haze, but the ultrasonic sensor can still provide reliable distance information to ensure a normal operation of the system.

[0052] By combining the ultrasonic sensor with the visual sensor, and using the wheel speed pulse signal for correction, this technical solution effectively solves the technical problem of using the ultrasonic radar alone, improves the performance and reliability of the vehicle brake system, and provides strong technical support for achieving a higher level of autonomous driving.

[0053] On the basis of the above embodiment, a modified embodiment of the above embodiment is proposed. It should be noted that, in order to make the description brief, only differences from the above embodiment are described in the modified embodiment.

[0054] In an optional embodiment of the present invention, steps of the obtaining the image information of the target object through the visual sensor includes: determining a first detection area for the ultrasonic sensor; determining a target detection range using the first detection area, and determining  a second detection area for the visual sensor according to the target detection range; when the target object enters the second detection area, obtaining the image  information of the target object through the visual sensor.

[0055] Referring to FIGS. 2 and 3, FIG. 2 is a schematic structural diagram for a first detection area provided by an embodiment of the present invention; and FIG. 3 is a schematic structural diagram for a second detection area provided by an embodiment of the present invention.

[0056] In specific implementation, the embodiment of the present invention can determine the first detection area for the ultrasonic sensor: the ultrasonic sensor is usually installed on a front bumper and other positions of the  vehicle, and the ultrasonic sensor detects a relatively close range. A range of the first detection area mainly depends on a detection angle and distance of the ultrasonic sensor.

[0057] After determining the first detection area, an embodiment of the present invention can also use the first detection area to determine the target detection range, and determine the second detection area for the visual sensor according to the target detection range.

[0058] In specific implementation, the detection range of the ultrasonic sensor can be used as a reference range for the visual sensor. The detection area of the visual sensor can be the same as or slightly larger than that of the ultrasonic sensor. A purpose of such configuration is to ensure that the visual sensor can cover all targets that the ultrasonic sensor may detect.

[0059] After determining the second detection area, the embodiment of the present invention can obtain the image information of the target object through the visual sensor when the target object enters the second detection area.

[0060] In practical implementation, the ultrasonic sensor will trigger the visual sensor to capture images of this area once detecting an object entering its detection range. The image information obtained by the visual sensor can be further used for target recognition, classification, and distance measurement.

[0061] Purposes of the above steps are the followings.

[0062] Saving computing resources: visual image processing is a computationally intensive task, and conducting a  comprehensive analysis of the entire image can consume a significant amount of computing resources; by reducing the detection range of the visual sensor, the amount of image data that  needs to be processed can be reduced, thereby lowering computational costs.

[0063] Improving a system response speed: by limiting a working range of the visual sensor to an area detected by the ultrasonic  sensor, the target object can be detected faster, thereby improving the system response speed.

[0064] Reducing false alarm rate: by narrowing the detection range of the visual sensor, background interference can  be reduced, and a probability of false alarms can be lowered.

[0065] Reasons for determining the second detection area of the visual sensor to be no larger or slightly larger than the first detection area are shown as follows.

[0066] The ultrasonic sensors have a relatively short detection range: if the detection range of the visual sensor is much larger than that of the ultrasonic sensor, the visual sensor may detect many unrelated objects, increasing the complexity of the system.

[0067] Limited computing resources: the computing resources of the onboard computer are limited, and an excessively large visual detection range will occupy too much computing resources.

[0068] Calculating geometric dimensions: after the target object enters the detection range of the visual sensor, position and size of the target object in the image can be calculated through the image processing technology. Then, based on internal and external parameters of a camera, the position of the target object in three-dimensional space can be calculated. Therefore, the closest distance between the target object and the vehicle can be obtained.

[0069] In this embodiment of the present invention, the first detection area for the ultrasonic sensor is determined; the target detection range is determined using the first detection area, and the second detection area for the visual sensor is determined based on the target detection range; when the target object enters the second detection area, the image information of the target object is obtained through the visual sensor. By combining the ultrasonic sensor and the visual sensor and adopting this partitioned detection method, performance of a vehicle perception system can be effectively improved. The ultrasonic sensor provides initial detection information, while the visual sensor provides more detailed target information, the above two complement each other and provide reliable data support for the autonomous driving of the vehicle.

[0070] In an optional embodiment of the present invention, steps of the determining the second distance information between the vehicle and the target object based on the image information includes: generating coordinate information of the target object based on the image  information, and determining a shortest distance point on the target object closest to the vehicle based on the coordinate information; determining the second distance information between the vehicle and the target  object using the shortest distance point.

[0071] Referring to FIG. 3, which is a schematic structural diagram for a second detection area provided by an embodiment of the present invention.

[0072] In specific implementation, an embodiment of the present invention can generate the coordinate information of the target object. Specifically, the target object can be extracted from the acquired image through the image processing technique such as edge detection, target segmentation and the like; then, position coordinates of the target object in the image can be determined, and the shortest distance point on the target object can be determined; and based on geometric dimensions of the target object (such as length, width, and height) , a point closest to the vehicle on the target object can be determined. This point is usually the point located at an edge closest to the vehicle on the target object. Through the three-dimensional reconstruction technology, two-dimensional information in the image can be converted into three-dimensional information, thereby more accurately determining spatial positions and postures of the target object.

[0073] After determining the shortest distance point, camera calibration parameters can be used to convert two-dimensional coordinates in the image into three-dimensional coordinates. The distance between the shortest distance point of the target object and vehicle is calculated as the second distance information between the vehicle and the target object.

[0074] By determining the second distance information through the above method, the following beneficial effects can be achieved.

[0075] Improving distance measurement accuracy: by obtaining the image information of the target object through the visual sensor, the shape, size, and position of the target object can be more accurately determined, thereby improving the distance measurement accuracy.

[0076] Providing richer target information: in addition to the distance information, the visual sensor can also provide information such as type, color, texture, and the like of the target object, providing more comprehensive information for decision-making of the vehicle.

[0077] Adapting to complex environments: the visual sensor can adapt to various complex environments, such as light changes, occlusions, and the like, which can improve the robustness of the system.

[0078] Implementing more advanced driving assistance functions: based on the rich information obtained from the visual sensor, the more advanced driving assistance function can be achieved, such as pedestrian detection, lane recognition, traffic sign recognition, and the like.

[0079] By obtaining the image information of the target object through the visual sensors, combining with the geometric dimensions of the target object, the distance between the vehicle and the target object can be accurately calculated. This method has higher accuracy and richer information compared to traditional sensors (such as the ultrasonic sensor) , providing more reliable data support for the autonomous driving of the vehicle.

[0080] In an optional embodiment of the present invention, steps of the correcting the first distance information based on the wheel speed pulse signal to generate the first corrected distance information include: determining first distance update points of the first distance information on a  timeline; determining a first time period of two adjacent first distance update points; compensating for the first time period using the wheel speed pulse signal to generate  the first corrected distance information.

[0081] Referring to FIG. 4, which is a relationship schematic diagram between ultrasonic distance and wheel pulse count provided by an embodiment of the present invention.

[0082] In specific implementation, determination of the first distance update point refers to time points at which the ultrasonic sensor measures and updates the distance information each time.

[0083] The determination of the first time period is to calculate a time interval between two adjacent first distance update points, that is, a measurement period of the ultrasonic sensor.

[0084] The reason for compensating the first time period based on the wheel speed pulse signal is that, during this time period, the wheels of the vehicle rotate a certain angle and the position of the vehicle also changes.

[0085] The distance traveled by the vehicle during this time period is calculated based on the wheel speed pulse signal, and this distance is consecutive subtracted from the distance measured by the ultrasonic sensor to obtain the corrected distance, that is, the first corrected distance information.

[0086] In an optional embodiment of the present invention, steps of the correcting the second distance information based on the wheel speed pulse signal to generate the second corrected distance information include: determining second distance update points of the second distance information on the  timeline; determining a second time period for two adjacent second distance update points; compensating for the second time period using the wheel speed pulse signal to  generate the second corrected distance information.

[0087] Referring to FIG. 5, which is a relationship schematic diagram between line of sight distance and wheel pulse count provided by an embodiment of the present invention.

[0088] The determination of the second time period is to calculate a time interval between two adjacent second distance update points, that is, a measurement period of the visual sensor.

[0089] The reason for compensating the second time period based on the wheel speed pulse signal is that, during this time period, the wheels of the vehicle rotate a certain angle and the position of the vehicle also changes.

[0090] The distance traveled by the vehicle during this time period is calculated based on the wheel speed pulse signal, and this distance is consecutive subtracted from the distance measured by the ultrasonic sensor to obtain the corrected distance, that is, the second corrected distance information.

[0091] Referring to FIG. 6, which is a comparative schematic diagram of compensation distance provided by an embodiment of the present invention.

[0092] Due to presence of detection cycles and delays in both sensors, the embodiment of the present invention perform distance compensation on each frame of data based on detection timestamps of the ultrasonic sensor and the visual sensor, respectively. A distance compensation method depends on the wheel speed pulse, and the detected distance is consecutive subtracted based on the wheel speed pulse of each detection cycle, thereby achieving the following beneficial effects.

[0093] Improving distance measurement accuracy: by taking into account motions of the vehicle during the measurement cycle and  compensating for the distance measured by the sensor, measurement errors caused by the sensor delay and vehicle motion can be effectively eliminated, improving the distance measurement accuracy.

[0094] Synchronizing sensor data: data acquisition time of different sensors may be different, the data of different  sensors can be correlated by means of performing synchronization based on the timestamp and wheel speed pulse signal, providing a basis for subsequent fusion processing.

[0095] Improving system response speed: by correcting the sensor data at real time, an actual status of the vehicle can be  reflected timely, improving the system response speed.

[0096] Enhancing system robustness: by correcting the sensor data, the system robustness can be improved and the impact  of environmental interference on measurement results can be reduced; by performing time compensating for the sensor data, the accuracy and reliability of  vehicle perception systems can be effectively improved. This method is not only applicable to the ultrasonic sensor and the visual sensor, but can also be applied to other types of sensors such as laser radars, millimeter wave radars, and the like.

[0097] In an optional embodiment of the present invention, steps of controlling the vehicle to brake according to the first corrected distance information and the second corrected distance information include: when the first corrected distance information is less than a first preset distance  threshold and a difference between the second corrected distance information and the first corrected distance information is less than a second preset distance threshold, generating brake control information, and controlling the vehicle to brake based on the brake control information; where the brake control information is used to determine that the vehicle meets an emergency brake condition.

[0098] In the embodiment of the present invention, a logic of whether the vehicle needs emergency braking can be determined based on the corrected ultrasonic distance and visual distance.

[0099] Specifically, the first correction distance information can be limited to be less than the first preset distance threshold, which means that the nearest obstacle detected by the ultrasonic sensor is already very close to the vehicle, reaching a preset dangerous distance.

[0100] The difference between the second corrected distance information and the first corrected distance information can be limited to be less than the second preset distance threshold, which means that the distance measured by the visual sensor is very close to the distance measured by the ultrasonic sensor, indicating that distance judgments of the two sensors for obstacles are consistent.

[0101] When both of the above conditions are met simultaneously, the system considers that the vehicle is about to collide with the obstacle, and thus generates the brake control information. The onboard computer can control the vehicle to brake based on the brake control information; for example, the brake control signal is sent to the braking system of the vehicle to trigger the emergency braking.

[0102] By means of the above methods, the following beneficial effects can be achieved.

[0103] Improving reliability of the emergency braking system: by means of data fusion of the two sensors, a possibility of false alarms from a single sensor is reduced.

[0104] Two thresholds are set: whether the vehicle needs the emergency braking can be more accurately determined.

[0105] Reducing false alarm rate: only when both sensors detect the obstacle and the distance measurement results are consistent, the emergency braking will be triggered, thereby reducing the occurrence of the false alarm.

[0106] Improving system safety: timely triggering of the emergency braking can effectively avoid collision accidents.

[0107] Furthermore, setting of the first preset distance threshold and the second preset distance threshold directly affects sensitivity and reliability of the system.

[0108] In respect to the first preset distance threshold: this threshold determines perception ability of the system to danger. If this threshold is set too high, the system may react too slowly to danger; and if the setting is too small, the system may generate too many false alarms.

[0109] In respect to the second preset distance threshold: this threshold is used to measure the consistency of the measurement results of two sensors. If the measurement results of two sensors differ significantly, indicating that one of the sensors may have malfunctioned, and the system should ignore this measurement result.

[0110] The functions of the timestamp are as followings.

[0111] Data association: the data collected by different sensors at the same time can be associated through the timestamp, which could facilitate the data fusion.

[0112] Compensation delay: due to the response delay of the sensor, the time compensation can be performed on the data through the timestamps, which could improve the measurement accuracy.

[0113] Event sorting: the timestamps can be used to sort events, thereby determining a chronological order in which these events occurred.

[0114] By fusing the data from the ultrasonic sensor and the visual sensor, and setting reasonable thresholds, a reliable emergency braking system can be constructed. This system can issue warnings timely and trigger the emergency braking when the vehicle is about to collide, thereby improving the safety of vehicle driving.

[0115] Optionally, steps of the controlling the vehicle to brake based on the brake control information include: creating a relationship table between vehicle speed, safety distance, and a collision  time; when it is determined that the vehicle meets the emergency brake condition based  on the brake control information, obtaining current speed of the vehicle, and determining target safety distance and a target collision time corresponding to the current speed based on the relationship table; controlling the vehicle to brake based on the target safety distance and the target  collision time.

[0116] In specific implementation, the embodiment of the present invention can create the relationship table between the vehicle speed, the safety distance, and the collision time;

[0117] The relationship table displays the minimum detection and braking distance required for safe braking of the vehicle at different speeds, as well as the corresponding time to collision (Time to Collision, TTC) .

[0118] Speed (max) [kph] : the maximum vehicle speed, measured in kilometers per hour.

[0119] Dist need for detection+braking (min) [cm] : at this speed, the minimum distance required for the vehicle to detect obstacles and complete braking, measured in centimeters.

[0120] TTC [s] : at this speed, the time required from detecting the obstacle to the vehicle having been complete stopped, measured in seconds.

[0121] The significance of a relationship table lies in the followings.

[0122] Calculating the safety distance: based on the current vehicle speed, the minimum safety distance that required can be directly found from the table.

[0123] Collision warning: by calculating the distance between the vehicle and the obstacle ahead, and comparing the distance with the safe distance in the table, whether the vehicle being in a dangerous state can be determined.

[0124] Brake control: based on the vehicle speed and distance between the obstacle and the vehicle, the amount of deceleration required by the vehicle can be calculated, thereby achieving the precise brake control.

[0125] In the embodiment of the present invention, by creating the relationship table between the vehicle speed, the safe distance and the collision time, a table can be created in advance based on the performance of the vehicle and the road condition, so that the relationship between the vehicle speed, the safe distance and the collision time can be quantified.

[0126] By obtaining the current vehicle speed and determining the target safety distance and the target collision time based on the relationship table, when the system determines that the vehicle needs the emergency braking, the current vehicle speed will be obtained.

[0127] Based on this speed, the corresponding safe distance and collision time can be searched from the pre-established relationship table.

[0128] The vehicle is controlled to brake based on the target safety distance and target collision time, and the searched target safety distance is used as the target distance for the vehicle braking. Required deceleration of the vehicle can be calculated based on the target collision time, and then the braking system of the vehicle is controlled to enable the vehicle to stop safely within the target collision time.

[0129] By means of the above methods, the intelligence level of the braking system has been improved. By establishing the relationship table, the system can automatically calculate the optimal braking strategy based on the real-time status of the vehicle.

[0130] Enhancing adaptability of the system: the relationship table can be adjusted according to different vehicle models, road conditions, and environments, improving the adaptability of the system.

[0131] Improving safety of the braking system: by accurately calculating the safe distance and the collision time, occurrences of collision accidents can be effectively avoided.

[0132] Optimizing a braking process: the deceleration can be smoothly controlled based on the target collision time, improving ride comfort.

[0133] By establishing the relationship table between the vehicle speed, the safety distance, and the collision time, combining with the real-time status of the vehicle, more intelligent and efficient control of the brake of the vehicle can be achieved, which can effectively improve the safety of vehicle driving and lay foundation for the development of the autonomous driving technology.

[0134] In an optional embodiment of the present invention, the method further includes: determining an obstacle type of the target object using the image information; when the obstacle type meets a preset condition, re-executing a step of the  determining the second distance information between the vehicle and the target object using the shortest distance point.

[0135] Referring to FIG. 7, which is a schematic flowchart of determining a braking logic based on an obstacle type provided by an embodiment of the present invention.

[0136] In specific implementation, the embodiment of the present invention can use the image information to determine the obstacle type of the target object. Specifically, the system can analyze the collected image through the image processing technology, identify the object in the image, and determine whether the object belongs to the obstacle type that requires braking. For example, vehicles, pedestrians, and the like are often considered as the obstacles that require braking.

[0137] When an obstacle type meets a preset condition, the step of determining the second distance information between the vehicle and the target object using the shortest distance point is re-executed.

[0138] If the identified object is the obstacle that requires braking, the system will continue to track the obstacle and calculate the distance between the vehicle and the obstacle in real time.

[0139] When the obstacle type does not meet the preset condition, the step of obtaining the image information of the target object through the visual sensor is re-executed.

[0140] If the identified object is not the obstacle that requires braking, the system will ignore the object and continue scanning the area ahead to find a new target object.

[0141] By means of the above methods, the intelligence level of the system can be improved: the system can distinguish different types of objects and only track and avoid the obstacle that requires braking, avoiding false alarms and missed alarms.

[0142] Reducing false alarm rate: by determining the obstacle type, the false alarm can be effectively reduced and the reliability of the system can be improved.

[0143] Improving adaptability of the system: the system can adapt to different road environments and traffic conditions, and respond accordingly to different obstacles.

[0144] Enhancing system security: by identifying and classifying the obstacle type, the system can more accurately assess collision risks and take corresponding measures, which could improve the safety of vehicle driving.

[0145] By means of the above methods, a logical closed loop is formed, and the system continuously collects the image information, identifies the obstacle type, calculates the distance, and makes corresponding decisions based on different situations.

[0146] Referring to FIG. 8, which is another schematic flowchart of determining a braking logic based on an obstacle type provided by an embodiment of the present invention.

[0147] Optionally, the embodiment of the present invention can execute different braking logics according to different obstacle types.

[0148] By way of example, the following presents examples of the braking logics for different obstacle types.

[0149] 1. Static obstacles, such as parking signs, roadblocks, and the like.

[0150] Identification features: regular shapes, bright colors, and no movement speed.

[0151] Braking logic: deceleration in advance: start decelerating when the distance is far, ensuring that the  vehicle can stop smoothly beyond a safe distance; maintaining the safe distance: after the vehicle comes to a complete stop,  maintaining the safe distance between the vehicle and the obstacle until the road condition allow for continued driving.

[0152] 2. Dynamic obstacles, such as pedestrians, bicycles, and the like.

[0153] Identification features: body contour, limb movements, and slow movement speed.

[0154] Braking logic: predicting trajectory: by tracking a movement trajectory of the pedestrians,  predicting their future movement directions and speeds; emergency braking: if the pedestrian suddenly changes direction or accelerates, the  vehicle needs to immediately take measures for emergency braking; avoidance: if conditions permit, the vehicle can take evasive actions to bypass the  pedestrian.

[0155] Other vehicles.

[0156] Identification features: a vehicle body shape, headlights, and movement speed.

[0157] Braking logic: following a car: on the highway, the vehicle can follow the preceding vehicle and  maintain the safe distance; lane changing: if the preceding vehicle suddenly decelerates or changes lanes, the  vehicle can change lanes in advance to avoid collisions; giving way: at intersections or narrow roads, the vehicle needs to give way to other  vehicles according to traffic rules.

[0158] 3. Special obstacles, such as construction areas, waterlogging, and the like.

[0159] Identification features: road signs, road surface conditions.

[0160] Braking logic: slow down: in the construction areas or overflowed roads, the vehicle needs to slow  down to ensure safe driving. detouring: if conditions permit, the vehicle can avoid dangerous areas.

[0161] Implementation method

[0162] Deep learning: using deep learning models to classify and recognize different types of obstacles.

[0163] Multi-sensors fusion: combining data from sensors such as cameras, LiDARs, and millimeter wave radars to improve recognition accuracy.

[0164] Behavior prediction: based on historical data and real-time information, predicting a future behavior of the obstacle.

[0165] Path planning: based on positions and motion status of the obstacles, planning a safe driving path.

[0166] By classifying different types of obstacles and adopting different braking strategies for different types, the safety of an autonomous driving system can be significantly improved. In the future, with the continuous development of artificial intelligence technology, the autonomous driving system will be able to deal with various complex traffic scenarios more intelligently.

[0167] It should be noted that, for the sake of simplicity, the method embodiments are described as a series of action combinations. However, those skilled in the art should be aware that the embodiments of the present invention are not limited by the described action order, the reason is that, according to the embodiments of the present invention, certain steps may be performed in other orders or simultaneously. Secondly, those skilled in the art should also be aware that the embodiments described in the specification are all preferred embodiments, and the actions involved are not necessarily necessary for the embodiments of the present invention.

[0168] Referring to FIG. 9, a structural block diagram of an apparatus for controlling brake of a vehicle provided by an embodiment of the present invention is shown, which may specifically include the following modules: a first distance information acquisition module 901, configured to obtain first  distance information between the vehicle and a target object through an ultrasonic sensor; a second distance information acquisition module 902, configured to obtain image  information of the target object through a visual sensor, and determine second distance information between the vehicle and the target object based on the image information; a distance correction module 903, configured to correct the first distance  information based on a wheel speed pulse signal to generate first corrected distance information, and correct the second distance information based on the wheel speed pulse signal to generate second corrected distance information; a module for controlling brake of a vehicle 904, configured to control the vehicle to  brake according to the first corrected distance information and the second corrected distance information.

[0169] Due to the apparatus embodiment being basic similar with the method embodiments, the description is relatively simple. For relevant information, please refer to partial explanation of the method embodiments.

[0170] An embodiment of the present invention also provides a vehicle, including: one or more processors; and one or more machine-readable media storing instructions, when the instructions are  executed by the one or more processors, enable the vehicle to perform the methods described in the embodiments of the present invention.

[0171] An embodiment of the present invention also provides a computer-readable storage medium, on which a computer program is stored. When the computer program is executed by a processor, various processes of the embodiment of the method for controlling brake of a vehicle described above can be implemented, and the same technical effects can be achieved. To avoid repetition, they will not be repeated here. Where, the computer-readable storage medium includes a read only memory (Read Only Memory, ROM for short) , a random access memory (Random Access Memory, RAM for short) , a magnetic disk or an optical disk, or the like.

[0172] The embodiments of the present invention have been described above in conjunction with the accompanying drawings, however, the present invention is not limited to the specific implementations described above. The specific implementations described above are only illustrative and not restrictive. Under the inspiration of the present invention, those of ordinary skill in the art can take many variations within the protection scope of the present invention without departing from the purpose and the protection scope of the claims of the present invention.

[0173] Those of ordinary skill in the art can realize that units and algorithm steps described in the embodiments disclosed in the present invention can be implemented through electronic hardware, or a combination of computer software and electronic hardware. Whether these functions being executed in the hardware or the software depends on a specific application and design constraints of the technical solution. Professional technicians can use different methods to achieve the described functions for each specific application, while such implementation should not be considered beyond the scope of the present invention.

[0174] Those skilled in the art can clearly understand that, for the sake of convenience and simplicity in description, specific working processes of the systems, apparatuses, and units described above can refer to the corresponding processes in the method embodiments described above, which will not be repeated here.

[0175] In the embodiments provided by the present application, it should be understood that the disclosed apparatuses and methods can be implemented in other ways. For example, the apparatus embodiment described above are only illustrative. For example, divisions of the units are only a logical functional division, and there may be other division methods in practical implementation. For example, multiple units or components being combined or integrated into another system, or some features being ignored or not executed. On the other hand, mutual coupling or direct coupling or communication connection displayed or discussed can be indirect coupling or communication connection through some interfaces, apparatuses or units, which can be electrical, mechanical or other forms.

[0176] The units described as separate components may or may not be physically separated, and the components displayed as the units may or may not be physical units. That is, they can be located in one place or distributed across multiple network units. Some or all of the units can be selected according to actual requirements to achieve the purpose of the solution of this embodiment.

[0177] In addition, the various functional units in various embodiments of the present invention can be integrated into one processing unit, or they can exist separately physically, or two or more units can be integrated into one unit.

[0178] If the functions are implemented in the form of software functional units and sold or used as independent products, they can be stored in a computer-readable storage medium. Based on this understanding, an essence of the technical solution of the present invention or a part contributes to the existing technology or partial of this technical solution can be reflected in the form of software product. The computer software product is stored in the storage medium and includes several instructions to enable a computer device (which can be a personal computer, a server, or a network device, and the like) to perform all or part of the steps of the methods described in various embodiments of the present invention. The storage media described above include various media that can store program codes, such as USB flash drives, portable hard drives, ROMs, RAMs, disks, or CDs.

[0179] The above are only specific implementations of the present invention, however, the protection scope of the present invention is not limited to this. Any skilled person familiar with this art can easily think of changes or substitutions within the technical scope disclosed in the present invention, which should be included in the protection scope of the present invention. Therefore, the protection scope of the present invention should be based on the protection scope of the claims.

Claims

1.A method for controlling brake of a vehicle, characterized in that, the vehicle is equipped with a visual sensor and an ultrasonic sensor, and the method comprises:obtaining (101) first distance information between the vehicle and a target object through the ultrasonic sensor;obtaining (102) image information of the target object through the visual sensor, and determining second distance information between the vehicle and the target object based on the image information;correcting (103) the first distance information based on a wheel speed pulse signal to generate first corrected distance information, and correcting the second distance information based on the wheel speed pulse signal to generate second corrected distance information;controlling (104) the vehicle to brake according to the first corrected distance information and the second corrected distance information.2.The method according to claim 1, wherein steps of the obtaining the image information of the target object through the visual sensor comprise:determining a first detection area for the ultrasonic sensor;determining a target detection range using the first detection area, and determining a second detection area for the visual sensor according to the target detection range;when the target object enters the second detection area, obtaining the image information of the target object through the visual sensor.3.The method according to claim 2, wherein steps of the determining the second distance information between the vehicle and the target object based on the image information comprise:generating coordinate information of the target object based on the image information, and determining a shortest distance point on the target object closest to the vehicle based on the coordinate information;determining the second distance information between the vehicle and the target object using the shortest distance point.4.The method according to claim 1 or 3, wherein steps of the correcting the first distance information based on the wheel speed pulse signal to generate the first corrected distance information comprise:determining first distance update points of the first distance information on a timeline;determining a first time period of two adjacent first distance update points;compensating for the first time period using the wheel speed pulse signal to generate the first corrected distance information.5.The method according to claim 4, wherein steps of the correcting the second distance information based on the wheel speed pulse signal to generate the second corrected distance information comprise:determining second distance update points of the second distance information on the timeline;determining a second time period for two adjacent second distance update points;compensating for the second time period using the wheel speed pulse signal to generate the second corrected distance information.6.The method according to claim 1, wherein steps of the controlling the vehicle to brake according to the first corrected distance information and the second corrected distance information comprise:when the first corrected distance information is less than a first preset distance threshold and a difference between the second corrected distance information and the first corrected distance information is less than a second preset distance threshold, generating brake control information, and controlling the vehicle to brake based on the brake control information; wherein the brake control information is used to determine that the vehicle meets an emergency brake condition.7.The method according to claim 6, wherein steps of the controlling the vehicle to brake based on the brake control information comprise:creating a relationship table between vehicle speed, safety distance, and a collision time;when it is determined that the vehicle meets the emergency brake condition based on the brake control information, obtaining current speed of the vehicle, and determining target safety distance and a target collision time corresponding to the current speed based on the relationship table;controlling the vehicle to brake based on the target safety distance and the target collision time.8.The method according to claim 3, wherein further comprising:determining an obstacle type of the target object using the image information;when the obstacle type meets a preset condition, re-executing a step of the determining the second distance information between the vehicle and the target object using the shortest distance point.9.An apparatus for controlling brake of a vehicle, characterized in that, the vehicle is equipped with a visual sensor and an ultrasonic sensor, and the apparatus comprises:a first distance information acquisition module (901) , configured to obtain first distance information between the vehicle and a target object through the ultrasonic sensor;a second distance information acquisition module (902) , configured to obtain image information of the target object through the visual sensor, and determine second distance information between the vehicle and the target object based on the image information;a distance correction module (903) , configured to correct the first distance information based on a wheel speed pulse signal to generate first corrected distance information, and correct the second distance information based on the wheel speed pulse signal to generate second corrected distance information;a module for controlling brake of a vehicle (904) , configured to control the vehicle to brake according to the first corrected distance information and the second corrected distance information.10.The apparatus according to claim 9, wherein the second distance information acquisition module (902) is further configured to:determine a first detection area for the ultrasonic sensor;determine a target detection range using the first detection area, and determine a second detection area for the visual sensor according to the target detection range;when the target object enters the second detection area, obtain the image information of the target object through the visual sensor.11.The apparatus according to claim 10, wherein the second distance information acquisition module (902) is further configured to:generate coordinate information of the target object based on the image information, and determine a shortest distance point on the target object closest to the vehicle based on the coordinate information;determine the second distance information between the vehicle and the target object using the shortest distance point.12.The apparatus according to claim 9 or 11, wherein the distance correction module (903) is further configured to:determine first distance update points of the first distance information on a timeline;determine a first time period of two adjacent first distance update points;compensate for the first time period using the wheel speed pulse signal to generate the first corrected distance information.13.The apparatus according to claim 12, wherein the distance correction module (903) is further configured to:determine second distance update points of the second distance information on the timeline;determine a second time period for two adjacent second distance update points;compensate for the second time period using the wheel speed pulse signal to generate the second corrected distance information.14.A computer-readable storage medium, characterized by storing instructions which, when executed by one or more processors, enables the one or more processors to perform the method according to any one of claims 1 to 8.

Images