An aquatic activity monitoring and management system

Abstract

An aquatic activity monitoring and management system (100) using scanning sonar, comprising: a data acquisition module deployed with at least one sonar device (102); a processing module; a control module (104); an analysis module embedded with a plurality of individual sonar analysis modules (106) and a multi-sonar fusion analysis module (108); a monitoring and alert module (110); and a storage module.

Description

An aquatic activity monitoring and management systemFIELD OF THE INVENTION

[0001] The present invention relates to thefield of monitoring and management system. More particularly, the present invention pertains to a monitoring and management system for aquatic activities.BACKGROUND OF THE INVENTION

[0002] Human activity monitoring in the water is essential for pool management and drowning prevention. According to the US Centers for Disease Control and Prevention, insufficient supervision has been recognized as a significant contributor to water-related accidents. Lifeguards may suffer from lapses in attention and have restricted visibility because of their elevated positions, making it difficult to differentiate between typical behavior and signs of potential drowning.

[0003] Essentially, there are two types of typical drowning detection system in the field, namely, camera-based drowning detection systems and wearable device drowning detection systems. In the camera-based segment, there are further two types, which includeabove and underwater camera detection systems. Both systems use machine learning methods to analyze the images of a pool to recognize the swimmer’s activities.

[0004] There are also some wearable devices for drowning detection. It allows lifeguards to track the submersion duration of each swimmer via wearable technology on the swimmers’ heads. The system uses lightweight tracker headsets or goggle clips, which automatically activate with motion and can be attached to any goggles. These wearables which monitor swimmers come with a battery-powered device equipped with a strobe light, speaker, and communication system that tracks how long each swimmer’s face is submerged. Additionally, the lifeguards will wear a bracelet that vibrates if a swimmer stays underwater for a pre-set time, triggering audiovisual alerts if the swimmer remains submerged for too long.

[0005] However, the aforementioned inventions have some known disadvantages. Camera-based drowning detection systems face several significant challenges. One of the challenges is the privacy of the pool users. Privacy concerns are paramount, especially in public or semi-public areas, where the use of cameras might infringe on individuals’ privacy. Furthermore, the accuracy of underwater cameras can be heavily affected by water clarity, lighting conditions, and pool size. Poor visibility due to murky water or low light levels can severely hinder detection capabilities. Additionally, the presence of a large number ofswimmers can obstruct the camera’s view, preventing the detection of drowning incidents. Also, differences in flotation times, variations in pool conditions like shadows or reflections, and the presence of static swimmers can lead to false detections or delayed alarms.

[0006] Furthermore, the wearable devices for drowning detection also face several problems. First, swimmers will need to wear the devices all the time for drowning detection. It can be uncomfortable for some swimmers to wear them for hours. It can also affect swimmers’s wimming performances, thus making skilled swimmers choose not to wear it. Second, the device works with a battery, making it impossible to be available at all times. Last, the system is focused on monitoring face submersion time, potentially overlooking other critical situations such as unusual body movements or lack of motion, which are detected by more comprehensive systems like sonar-based detection technologies.

[0007] Some of these examples are discussed in the following prior arts.

[0008] China patent publication no. 113348493A discloses a pool monitoring system which detects the presence of objects within a defined perimeter of a pool before the objects reach the edge of the pool by using a plurality of sensor systems. The subject may be a human or an animal. The sensor system includes a ranging sensor, an audio sensor, an olfactory sensor, and a video imaging sensor. These sensors are monitored by a computer system that stores data that authorizes objects that may be within the pool perimeter. The system provides an alert or alarm upon detecting the presence of an unauthorized or unknown object within the monitored perimeter by comparing the detected object to stored data. The system can determine the distance of an object from the pool edge and issue an adjustable alarm when the object is near the pool edge. The system uses facial recognition and voice recognition to detect authorized objects and distinguish unauthorized and unknown objects to establish a warning or alarm level that can be communicated through a speaker, text message, or email. The system may accept updated data from any sensor to add additional authorized or unauthorized object identification data to the system database. However, the use of cameras that are coupled to a data input function in the system may not adequately address the privacy concerns of the detected subjects or objects. Additionally, cameras may face challenges in detecting subjects or objects when the water is unclear and there are a large number of people in the pool area.

[0009] China patent publication no. 112165600A discloses a drowning identification method, a drowning identification device, a camera and a computer system, wherein the method comprises the steps of acquiring a real-time image shot by the camera, wherein the real-time image at least comprises a first image frame and a preset number of adjacent frames of the first image frame; identifying a swimmer and a posture of the swimmer contained in the real-time image, wherein the posture comprises an upright posture and a non-upright posture; determining a degree of shape change of the image of the swimmer in the first image frame relative to the image of the swimmer in the adjacent frame when the swimmer is recognized as an upright posture; when the shape change degree exceeds a first preset threshold value, the swimmer is confirmed to be drowned and gives a warning, the calculation required by the superposition of the information of the multiple cameras and the hardware cost required by the arrangement of the multiple cameras are saved, and the judgment of whether the human body is drowned or not according to the shape change degree of the human body in the vertical posture is realized, so that the identification accuracy is ensured. Nonetheless, the utilizing cameras within the system may not effectively address the privacy issues of the individuals or objects being monitored. Furthermore, cameras may encounter difficulties in identifying subjects or objects when the water is murky and when there are large crowds in the pool area.

[0010] Additionally, there are a few existing methods and systems in the market that assist in monitoring and detecting the drowning person in swimming pool using sonar scanning. Some of these examples are discussed in the following prior arts.

[0011] United States patent publication no. 20200118412A1discloses a real-time detection and alerting for swimming pool safety which includes obtaining signals from sensor devices such as sonar-based object detection deviceinstalled in a swimming pool area having a swimming pool, ascertaining, based on the obtained signals, that an individual has entered the swimming pool and identifying, based on the obtained signals, characteristics of the individual who has entered the swimming pool, determining whether to raise an alert about the individual having entered the swimming pool, the determining being based at least in part on location of one or more other individuals relative to the swimming pool area and on checking pre-configured parameters for alerting, and performing processing based on the determining whether to raise an alert. However, the prior art did not focus on addressing the detection of deep-water levels using the sonar-based object detection device. Thus, it may lack the necessary capabilities to monitor and respond to safety concerns associated with deeper water environments.

[0012] United States patent publication no. 20220254242A1 discloses a monitor control unit that is configured to receive, from the electronic pool device, the sensor data, compare the sensor data to a threshold, based on comparing the sensor data to a threshold, determine that the sensor data exceeds the threshold, based on determining that the sensor data exceeds the threshold, provide an instruction to initiate the capture of image data by the camera of the electronic pool device, receive, from the camera of the electronic pool device, the image data, analyze the image data, based on analyzing the image data, identify a monitoring system action to perform, and perform the monitoring system action. The monitor system comprising: an electronic pool device that is configured to monitor a swimming pool located at the property, the electronic pool device including a sonar detector; amonitor control unit that is configured to:receive, from the sonar detector of the electronic pool device, sonar data; analyze the sonar data; using a result of the analysis of the sonar data, determine that an object entered the swimming pool; andin response to determining that the object entered the swimming pool, perform a monitoring system action. However, the prior art does not focus on detecting deep-water levels using scanning solar. As a result, they may not effectively monitor and address safety concerns in deeper water, leaving potential gaps in safety measures.

[0013] Hence, despite the existing inventions on the market, there is still a need for a more comprehensive and effective monitoring and detection system in enclosed environments, such as swimming pools.SUMMARY OF THE INVENTION

[0014] It is an objective of the present invention to provide an aquatic activity monitoring and management system for continuous, timely, and accurate monitoring of human activities in aquatic environments using sonar scanning.

[0015] It is also an objective of the present invention to providean aquatic activity monitoring and management system that controls sonar scanning for low-latency performance while minimizing static and dynamic noise to enhance image clarity and reliability.

[0016] It is further an objective of the present invention to provide an aquatic activity monitoring and management system that integrates deep-water zone detection, occupancy detection, and drowning detection.

[0017] Accordingly, these objectives may be achieved by following the teachings of the present invention. The present invention relates to an aquatic activity monitoring and management system using scanning sonar, comprising: a data acquisition module deployed with at least one sonar device; a processing module; a control module; an analysis module embedded with a plurality of individual sonar analysis modules and a multi-sonar fusion analysis module; a monitoring and alert module; and a storage module.BRIEF DESCRIPTION OF THE DRAWINGS

[0018] The features of the invention will be more readily understood and appreciated from the following detailed description when read in conjunction with the accompanying drawings of the preferred embodiment of the present invention, in which:

[0019] Fig. 1 illustrates an overview of the aquatic activity monitoring and management system.

[0020] Fig. 2 illustrates an example of the architecture of the individual sonar analysis module.

[0021] Fig. 3 illustrates an example of the architecture of the multi-sonar fusion analysis module.

[0022] Fig. 4 illustrates an example of the architecture of the monitoring and alert module.  DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT

[0023] For the purposes of promoting and understanding of the principles of the invention, reference will now be made to the embodiments illustrated in the drawings and described in the following written specification. It is understood that the present invention includes any alterations and modifications to the illustrated embodiments and includes further applications of the principles of the invention as would normally occur to one skilled in the art to which the invention pertains.

[0024] Referring to the drawings as shown in Figs. 1 to 4, the present invention will now be described in more detail.

[0025] The present invention teaches an aquatic activity monitoring and management system100using scanning sonar, comprising: a data acquisition module deployed with at least one sonar device102; a processing module; acontrol module104; an analysis module embedded with a plurality of individual sonar analysis modules106and a multi-sonar fusion analysis module108; a monitoring and alert module110; anda storage module. Fig. 1 shows the overview of the aquatic activity monitoring and management system.

[0026] The system100is configured for monitoring water in a closed environment includes but not limited to swimming pool to localize person and detect drowning risks.

[0027] In accordance with a preferred embodiment of the present invention, the data acquisition module is configured to collect data in a 2D image of the reflection intensity of sound waves.

[0028] Sonar scanning devices102 are used as the primary data acquisitionequipment in the present invention. The use of sonar devices102in the present invention ensures thatany physical characteristics about the swimmers remain unseen, offering better privacy protection of the swimmers than traditional camera-based detection systems.

[0029] In accordance with a preferred embodiment of the present invention, the control module 104is configured to adjust the direction of signal emission and form pixel maps based on the angle of emission and the signal strength at different time instances.

[0030] Sonar is an active sensor containing a transducer that emits an acoustic signal in the form of a pulse and detects the echo of the pulse reflected by underwater obstacles. The present invention is configured to use multiple sonar sensors at one time.

[0031] The system 100employs a sonar scanning strategy that selectively skips scans at certain angles to minimize noise and interference while preserving critical object signal information. The angle skipping reduces the scanning time of each frame and facilitate the detection of motion and non-motion activities as well as skipping small noise and reduce false detection. The faster scanning period provides more sampling points for each swimmer’s trajectory, thus improving tracking performance.

[0032] All sonar emissions controlled by the control module104are synchronized. Each scan step is described as 5-tuples. Each tuple contains information about the scan, such as sonar ID, angle of emission, number of samples, waiting time before emitting and whether to skip the emission or not. A sequence of repeating scan steps is called a scan cycle. The control module 104executes each scan step one by one.

[0033] The control module 104only synchronizes emission. If the sonar of choice supports detaching the mechanical turn with signal emission, the control module 104 asynchronously handles the turn to reduce scan latency.

[0034] In accordance with a preferred embodiment of the present invention, the plurality of the individual sonar analysis modules 106isoperated in a background mode and inference mode.

[0035] Fig. 2 illustrates an example of the architecture of the individual sonar analysis module106. Signals obtained by individual sonars 114are analyzed independently. The sonar system 100is unaffected by light or underwater objects. Even if two people are in the sonar’s range and occlude each other, the system100 can still accurately display the location of each person in the acquired image.

[0036] In accordance with a preferred embodiment of the present invention, the operation in the background mode is configured to perform background modelling 116by obtaining background signals from at least one source.

[0037] In accordance with a preferred embodiment of the present invention, the source includes but not limited to reflections that caused by the wall and bottom of the targeted environment and interference patterns that caused by other sonar devices102.

[0038] Background signals refer to the signal that originates non-interested objects. For example, there are two main sources of background signals in a swimming pool. The first source is the reflections caused by the wall and bottom of the swimming pool. The second source is the interference patterns caused by other sonars102. In this stage, the sonars 102repeatedly scan the swimming pool when there is no person inside the pool. The collected pixel maps are then be stored and measured by different statistics metrics. In particular, the mean of background pixel maps is used in the present invention, as the background model118.

[0039] One of the challenges of using multiple sonar in a swimming pool is the signal interference. A sonar could detect the emission from another sonar as if a signal is emitted by itself, forming interference patterns in the pixel maps. If the sonar operates independently, the interference pattern will vary over time, hindering the effectiveness of background removal in a later stage. However, the present invention tackles the problem by reducing spatial uncertainty to interference patterns.

[0040] In accordance with a preferred embodiment of the present invention, the operation in the inference mode is configured to perform localization112 by detecting position and location of the object and estimating size information of the object.

[0041] The system 100is able toprovide a system that merges localization 112and detection results and recognizes activities using a multidimensional state machine by extracting time, motion, and spatial features. The recognition includes moving, motionless, drowning, struggling, and splashing. The localization112 refers to the process of finding the position and size information of interested objects, such as people in pixel maps.

[0042] In accordance with a preferred embodiment of the present invention, the inference mode is further configured to perform activity classification by region of interest (ROI) sampling120.

[0043] In accordance with a preferred embodiment of the present invention, the multi-sonar fusion analysis module 108is configured to merge results obtained from the plurality of individual sonar analysis modules106. Fig. 3 depicts the example of the architecture of the multi-sonar fusion analysis module108.

[0044] The results produced with individual sonar analysis modules 106could have some inconsistencies. For example, a person location information is in polar coordinates with the sonar located at the origin. Therefore, the first step of fusion is to transform all person location information to rectangular coordinates shared origin defined as the top-left corner of the swimming pool under a bird-eye view. Then, the transformed instances are bucketed into a constant short time window. In the present invention, the time span of the window is 2 seconds. All results in the bucket are clustered based on location information. The fused position and pose probability vector are the weighted average of all members in the cluster. The weight is then computed based on various factors, including distance of sonars and time elapsed. The fused output 122is then established.

[0045] In accordance with a preferred embodiment of the present invention, the monitoring and alert module110is configured to monitor outputs from the multi-sonar fusion analysis module 108and trigger alerts 126when at least one of preset scenario 124is met.

[0046] The monitoring and alert module 110is to issue alerts 126based on the output of the analysis module108. This monitoring and alert module 110supports users to define customized rules to trigger alerts126. For advanced usage, the rules are applied locally to certain zones instead of globally to the whole swimming pool. Fig. 4 shows an example of the architecture of the monitoring and alert module.

[0047] In accordance with a preferred embodiment of the present invention, the presetscenario124includes but is not limited to an object staying in a position for an extended period, risky position or behaviour130, occupancy 132and depth level position134.

[0048] For example, a detected person is consider having a long stationary time 128when the person is staying at low velocity for an extended period. Risky position or behaviour130may refer to a detected person in a certain pose or position with high probability of drowning or danger.

[0049] Meanwhile, depthlevel position 134refers to a person sinking below a certain depth level. The deep-water level zone is the most significant area in the swimming pool. It is quite difficult for lifeguards to look through the deep water to estimate whether people are drowning or sinking into the bottom of the deep-water zone. Therefore, the system100in the present invention is configured to consider the bottom of the deep water as a danger zone. Hence, if a person or an object enters this area, the two sonars at the bottom of the deep-water area will detect it and issue an alert 126, regardless of the person’s action.

[0050] These scenarios are supported when either the sonar is configured to provide depth information direction, or the multiple sonars are installed at different depth levels.

[0051] The present invention also discloses a method for monitoring and managing aquatic activity based on scanning sonar, comprising the steps of: scanning targeted environment that deployed with at least one sonar device102; acquiring and processing the scanned signal data; generating pixel maps based on angle of signal emissions and signal strength at different time instances; controlling the signal data; analyzing the signal data; merging result of the analyzed data; monitoring and triggering alerts126; andstoring data.

[0052] In accordance with a preferred embodiment of the present invention, the controlling of the signal data comprises the steps of: adjusting direction of signal emissions; simultaneously analyzing interference patterns when multiple signals overlap by reducing spatial uncertainty; andsynchronizing all the signal emissions.

[0053] In accordance with a preferred embodiment of the present invention, the analyzing of the signal data comprises the steps of: distinguishing background signals from background noise; storing and measuring the generated pixel maps; repeating the step of distinguishing of background signals when there is no object is detected; andanalyzing statistical for background modeling116.

[0054] In accordance with a preferred embodiment of the present invention, the analyzing of the signal data further comprises the steps of: localizing at least one object in the targeted environment; andclassifying activity of the object.

[0055] In accordance with a preferred embodiment of the present invention, the localizing of at least one object in the targeted environment comprises the steps of:removing background information on the pixel maps by background subtraction136; subtracting image to obtain foreground pixel map138; denoising 140the foreground pixel map 138using median filter; applying distance normalization 142to the denoised pixel map; extracting pixels using adaptive threshold144; segmenting the pixels using a clustering algorithm 146; size filtering148; anddetecting position and location of the object and estimating size information of the object.

[0056] The background subtraction is conducted by subtracting the mean background pixel map from the background model118from the incoming pixel map.

[0057] The distance normalization142is to account for the fact the more distant object reflects a lower power sound pulse back to the transducer. In the present invention, a gain function is applied to the pixel map with a gain factor proportional to the distance.

[0058] Further, the adaptive threshold144is used to extract the pixels with high signal strength.

[0059] During thesize filtering148, clusters with extreme size, either too small or too bigare eliminated to increase the precision of the whole process.

[0060] In accordance with a preferred embodiment of the present invention, the classifying of activity of the object comprises the steps of: performing region of interest (ROI) sampling 120using the foreground pixel map 138and location information; gathering the ROI samples in consecutive scan cycles up to a predetermined buffer size; introducing location-based multi-object tracking150; stacking the ROI sample as a multi-dimensional array and feeding to a classification neural network; andpredicting result in a form of probability vector with each element corresponding to a pose.

[0061] The foreground pixel map and location information are obtained from the previous localization 112process.

[0062] In the current implementation, the buffer size is 3.

[0063] The location-based multi-object tracking 150 is introduced to determine the identity of ROI samples across different scan cycles. In the current implementation, linear assignment with Intersection over Union (IOU) cost is selected.

[0064] The classification neural network used is trained with a pixel map and corresponding human pose labels.

[0065] In accordance with a preferred embodiment of the present invention, the merging of result comprises the steps of: transforming all location information of the object to rectangular coordinates shared origin; bucketing the transformed instances into a constant short time window; clustering 152all the results in the bucket based on location information; andweighing average 154of all members in the cluster to fused position and pose probability vector.

[0066] In accordance with a preferred embodiment of the present invention, the triggering of alerts 126 comprises the step of presetting at least one scenario by users to define trigger alerts126.

[0067] In accordance with a preferred embodiment of the present invention, the method comprises further steps of: measuring the stored data with collected pixel maps by different statistics metrics; and, applying the mean of the pixel maps.

[0068] The present invention explained above is not limited to the aforementioned embodiment and drawings, and it will be obvious to those having an ordinary skill in the art of the prevent invention that various replacements, deformations, and changes may be made without departing from the scope of the invention.

Claims

1.An aquatic activity monitoring and management system (100) using scanning sonar, comprising:a data acquisition module deployed with at least one sonar device (102) ;a processing module;a control module (104) ;an analysis module embedded with a plurality of individual sonar analysis modules (106) and a multi-sonar fusion analysis module (108) ;a monitoring and alert module (110) ; anda storage module.2.The aquatic activity monitoring and management system (100) using scanning sonar, according to claim 1, wherein the data acquisition module is configured to collect data in a 2D image of the reflection intensity of sound waves.3.The aquatic activity monitoring and management system (100) using scanning sonar, according to claim 1, wherein the control module (104) is configured to adjust the direction of signal emission and form pixel maps based on the angle of emission and the signal strength at different time instances.4.The aquatic activity monitoring and management system (100) using scanning sonar, according to claim 1, wherein the plurality of the individual sonar analysis modules (106) isoperated in a background mode and inference mode.5.The aquatic activity monitoring and management system (100) using scanning sonar, according to claim 4, wherein the operation in the background mode is configured to perform background modelling (116) by obtaining background signals from at least one source.6.The aquatic activity monitoring and management system (100) using scanning sonar, according to claim 5, wherein the source includes but not limited to reflections that caused by the wall and bottom of the targeted environment and interference patterns that caused by other sonar devices (102) .7.The aquatic activity monitoring and management system (100) using scanning sonar, according to claim 4, wherein the operation in the inference mode is configured to perform localization (112) by detecting position and location of the object and estimating size information of the object.8.The aquatic activity monitoring and management system (100) using scanning sonar, according to claim 4 or claim 7, wherein the inference mode is further configured to perform activity classification by region of interest (ROI) sampling (120) .9.The aquatic activity monitoring and management system (100) using scanning sonar, according to claim 1, wherein the multi-sonar fusion analysis module (108) is configured to merge results obtained from the plurality of individual sonar analysis modules (106) .10.The aquatic activity monitoring and management system (100) using scanning sonar, according to claim 1, wherein the monitoring and alert module (110) is configured to monitor outputs from the multi-sonar fusion analysis module (108) and trigger alerts (126) when at least one of preset scenario (124) is met.11.The aquatic activity monitoring and management system (100) using scanning sonar, according to claim 10, wherein the preset scenario (124) includes but is not limited to an object staying in a position for an extended period, risky position or behaviour (130) , occupancy (132) and depth level position (134) .12.A method for monitoring and managing aquatic activity based on scanning sonar, comprising the steps of:scanning targeted environment that deployed with at least one sonar device (102) ;acquiring and processing the scanned signal data;generating pixel maps based on angle of signal emissions and signal strength at different time instances;controlling the signal data;analyzing the signal data;merging result of the analyzed data;monitoring and triggering alerts (126) ; andstoring data.13.The method for monitoring and managing aquatic activity based on scanning sonar, according to claim 12, wherein the controlling of the signal data comprises the steps of:adjusting direction of signal emissions;simultaneously analyzing interference patterns when multiple signals overlap by reducing spatial uncertainty; andsynchronizing all the signal emissions.14.The method for monitoring and managing aquatic activity based on scanning sonar, according to claim 12, wherein the analyzing of the signal data comprises the steps of:distinguishing background signals from background noise;storing and measuring the generated pixel maps;repeating the step of distinguishing of background signals when there is no object is detected; andanalyzing statistical for background modeling (116) .15.The method for monitoring and managing aquatic activity based on scanning sonar, according to claim 14, wherein the analyzing of the signal data further comprises the steps of:localizing at least one object in the targeted environment; andclassifying activity of the object.16.The method for monitoring and managing aquatic activity based on scanning sonar, according to claim 15, wherein the localizing of at least one object in the targeted environment comprises the steps of:removing background information on the pixel maps by background subtraction (136) ;subtracting image to obtain foreground pixel map (138) ;denoising (140) the foreground pixel map (138) using median filter;applying distance normalization (142) to the denoised pixel map;extracting pixels using adaptive threshold (144) ;segmenting the pixels using a clustering algorithm (146) ;size filtering (148) ; anddetecting position and location of the object and estimating size information of the object.17.The method for monitoring and managing aquatic activity based on scanning sonar, according to claim 15, wherein the classifying of activity of the object comprises the steps of:performing region of interest (ROI) sampling (120) using the foreground pixel map (138) and location information;gathering the ROI samples in consecutive scan cycles up to a predetermined buffer size;introducing location-based multi-object tracking (150) ;stacking the ROI sample as a multi-dimensional array and feeding to a classification neural network; andpredicting result in a form of probability vector with each element corresponding to a pose.18.The method for monitoring and managing aquatic activity based on scanning sonar, according to claim 12, wherein the merging of result comprises the steps of:transforming all location information of the object to rectangular coordinates shared origin;bucketing the transformed instances into a constant short time window;clustering (152) all the results in the bucket based on location information; andweighing average (154) of all members in the cluster to fused position and pose probability vector.19.The method for monitoring and managing aquatic activity based on scanning sonar, according to claim 12, wherein the triggering of alerts (126) comprises the step of presetting at least one scenario by users to define trigger alerts (126) .20.The method for monitoring and managing aquatic activity based on scanning sonar, according to claim 12, wherein the method comprises further steps of:measuring the stored data with collected pixel maps by different statistics metrics; and,applying the mean of the pixel maps.

Images