The method of using seismic sensors to monitor the health and safety of infrastructure, facility sites, and humans

Abstract

This disclosure describes systems, methods and workflows; computer-implemented methods; computer software products; and ML models for real-time monitoring of the infrastructures in modern cities, including bridges, road tunnels, airports, buildings, and wind turbine towers, utilizing seismic data. The monitoring is not restricted solely to the recorded seismic data. This disclosure also emphasizes the importance of monitoring various critical infrastructures using seismic sensors, including security sites and manufacturing facilities, to enhance safety and security, detect infrastructure health, and prevent unauthorized intrusions. Additionally, seismic sensors can be used to monitor indoor human activity. Bridge monitoring involves continuous assessments to ensure structural integrity and longevity, while road tunnel monitoring focuses on optimizing traffic conditions and monitoring structural images. Monitoring at airports improves runway safety and ensures optimal performance of the aviation infrastructure, minimizing potential risks and enhancing overall safety and efficiency in air travel. Deploying seismic sensors to monitor a building's infrastructure enables the detection and location of potential risks to the building structures. Monitoring wind turbine towers is crucial for optimizing green energy production and ensuring the structural health of the turbines. Security and manufacturing sites are monitored to ensure the safety and security of the facilities and prevent unauthorized intrusions. By monitoring and analyzing seismic data of human activities in rooms, one can identify different types of activities and detect instances of walking and falling. By employing seismic sensors and real-time processing of the seismic data, these monitoring systems collectively contribute to the safety, security, resilience and reliability of vital infrastructures in various domains.

Description

THE METHOD OF USING SEISMIC SENSORS TO MONITOR THE HEALTH AND SAFETY OF INFRASTRUCTURE, FACILITY SITES, AND HUMANSTECHNICAL FIELD

[0001] The present invention relates generally to a field of data processing, and specifically, to a method, system, electric device, a non-temporary computer-readable storage medium storing instructions, and a computer program product for monitoring infrastructures, facility sites, and human activities using time series data, such as seismic data from seismic waves.BACKGROUND ART

[0002] Seismic sensors, known as seismometers, serve as instruments in monitoring and understanding the Earth's dynamic behavior. These devices detect and record ground movements caused by seismic waves, providing crucial data for seismic research, earthquake detection, and tectonic studies. The seismic sensor data are instrumental in precisely locating the epicenter and determining the magnitude of earthquakes, aiding in the development of earthquake early warning systems and earthquake forecasting, and inferring Earth’s interior. Other than used in earthquake studies, seismic sensors are widely used for earth resource exploration, finding valuable subsurface resources such as minerals, coal, water, and hydrocarbons. In mineral exploration, seismic surveys can identify geological structures and formations that may indicate the presence of economically viable deposits. These surveys provide detailed information about the Earth's subsurface, assisting geologists in understanding the composition and potential yield of the resources. In oil and gas exploration, seismic surveys utilize one or more controlled sources and  one or more receivers to collect information about phase and amplitude of seismic waves. The sources and receivers are placed at the regular or irregular known locations on the surface. By analyzing the seismic waves, geophysicists can image the underground structures and medium velocity, identify potential hydrocarbon reservoirs, and make decisions about drilling locations. Recently, seismic sensors have been utilized and installed along roadside to monitor ground motion due to passing vehicles as passive sources. By analyzing seismic data collected for passing vehicles, traffic flow information, such as vehicle speed, weight, number of axles, location, lane position, and driving pattern can be revealed. Furthermore, seismic data can be also used to monitor periodic changes of the road surface conditions and the underneath structures for risk assessment. Seismic sensors can also be installed as a network to monitor changes of infrastructures or sites, including bridges, tunnels, airports, buildings, wind turbines, security sites, manufacturing facilities, environmental sites, and human activities. By analyzing seismic data with real-time monitoring systems, potential hazards, accidents or emergencies can be detected early, allowing timely intervention and reducing the likelihood of serious incidents with infrastructures and human.

[0003] Bridge monitoring involves the use of various technologies and methodologies to assess and ensure the structural health, safety, and performance of bridges. Monitoring bridges is essential to detect potential issues early on, prevent failures, and extend the lifespan of these critical infrastructure elements. Various sensors and instruments are commonly used for bridge monitoring, including accelerometers, strain gauges, tiltmeters, and temperature sensors. These instruments help collect data on the bridge's behavior and response to external factors. Seismic Sensors can be installed along the bridge to collect traffic vibration data for monitoring traffic information, including vehicle speed, weight, lane  position, and help identify anomalies such as sudden stopping vehicles, walking people, and vehicle accidents. The same data can be used to monitor bridge vibration due to passing vehicles. From the anomaly seismic responses of vehicles, one can find cracks on the bridge, structural deformation beneath, or other structure issues. Signal processing of the data can help extract surface wave and coda wave, which can be used to produce the medium velocity variation image of the bridge, hence, diagnose the health of the bridge in real time. The extracted surface and coda waves can also be used to generate subsurface image of the bridge surroundings. One can also extract vehicle source responses by removing Green’s functions and quantify surface slippery conditions between vehicle tires and the bridge. Implementing real-time monitoring system using seismic data with the above functions allows authorities to receive immediate alerts in case of abnormal behavior or critical conditions. This enables timely intervention and prevents hazard happening.

[0004] Road tunnels are critical components of the modern transportation infrastructure, helping vehicles moving through challenging environments. Other than traffic violations, road tunnels present unique challenges such as limited visibility, potential congestion, the risk of accidents or emergencies. Monitoring systems are needed to help identify and mitigate potential hazards, ensuring the safety of both drivers and passengers. Existing sensors and devices in road tunnel monitoring systems include surveillance cameras, traffic and vehicle monitoring sensors, environmental monitoring systems, fire detection and extinguishing devices, etc. In addition to the visual devices, , integrating seismic sensors into the current road tunnel monitoring devices should further enhance the capability to detect and respond to incidents and anomalies, contributing to a safer and more streamlined experience for all road tunnel users. The seismic system should be able to tell traffic flow in the tunnel in real time, helping to identify vehicle violations, anomaly driving,  walking people, falling objects, and road surface conditions. Furthermore, seismic data can also be used to generate structure images beneath the road and behind the tunnel sidewall and monitor the change of medium velocity of the tunnel structure. Real-time monitoring allows for early detection of potential hazards, accidents, or emergencies, enabling timely intervention and reducing the likelihood of serious incidents within road tunnels.

[0005] Airport monitoring during the critical phases of taxi, takeoff, and landing is crucial to ensure the safety and efficiency of aircraft operations. Radar and camera systems, constantly track aircraft positions, facilitating safe separation and optimal traffic flow. Foreign Object Debris (FOD) detection at airports is another crucial aspect of maintaining aviation safety. FOD refers to any object, substance, or debris located in an inappropriate location on an airport runway, taxiway, or airport apron. FOD detection is essential to prevent damage to aircraft and ensure safe take-offs and landings. Method of detecting and eliminating of FOD commonly used are visual inspections and manual remove of any FOD, bird and wildlife monitoring system, and automated FOD detection systems. Bird and wildlife detection systems use radar, acoustic sensors, and cameras to monitor the presence of birds and other wildlife near runways. Automated FOD detection systems use advanced technologies such as radar, infrared sensors, cameras, and laser scanners to identify and locate debris on the runway. Installing seismic sensors and analyzing the data collected can help monitoring airport activities in a number of ways: (1) Mapping and tracking all airplane locations on the ground any time without constraints imposed by visual conditions; (2) Quantifying the landing and takeoff speed, as well as the impact of airplanes on the ground; (3) Monitoring any falling objects from taking off airplanes; (4) Monitoring and mapping vehicles locations on the airport grounds; (5) Detecting and locating human activities on the airport grounds; (6)  Detecting human or animal intrusion on the airport grounds; (7) Monitoring changes in the airport ground and shallow subsurface over time. Monitoring changes in subsurface geophysical conditions enables early hazard detection, helping to prevent potential incidents. The integration of traditional FOD detection systems and seismic sensors offers the benefit of real-time early warnings, rapid FOD removal, optimization of maintenance schedules, and a decrease in the risk of incidents.

[0006] Building monitoring plays a crucial role in ensuring safety and security within a variety of environments, ranging from residential structures to commercial complexes and industrial facilities. Incidents of falling building did occur. The effective monitoring systems are designed to identifying potential risks, mitigating hazards, and responding promptly to emergencies. As technology advances, traditional building surveillance systems are now integrated with many devices, including surveillance cameras, smoke detectors, fire alarms, motion sensors, and environmental sensors installed for building security and personnel safety. For large and complex structures, monitoring the health of the building itself is crucial. Structural health monitoring systems have traditionally used sensors to assess factors such as vibration, movement, and stress on building components. As a passive source, building ambient noise generates ground vibrations that are recorded by seismic sensors. By deploying seismic sensors on and around a building infrastructure, one can monitor and locate any anomaly noise, fracturing, collapse, movement of the building structures. By applying data correlation to recover the building structure changes between seismic sensors, one can report potential risks of building structure problems. Integration of machine learning (ML) techniques with seismology further enhances the capabilities of real-time building monitoring systems. These systems can learn and adapt, recognize normal response patterns and quickly identify anomalies that may indicate a safety risk, and be able to response  quickly to emerging threats, thereby reducing the likelihood of an accident or incident.

[0007] Wind turbines are an integral part of green energy systems and a symbol of sustainable power generation. These towering buildings harness the kinetic energy of the wind and convert it into electricity. Wind turbine towers are subjected to dynamic and varying loads due to wind forces and mechanical operations. Efficient and reliable monitoring of wind turbine towers is essential to optimize their performance, ensure structural integrity, and contribute to the sustainability of wind energy. By installing seismic sensors at multiple positions on wind turbine tower and turbines, one can infer structure changes over time via data correlation and identify anomalies. Monitoring the structural health of wind turbine towers is crucial for ensuring their long-term viability. Continuous assessment of tower vibrations, strain, and fatigue helps identify potential weaknesses or stress points. The use of seismic sensors further enhances the ability to detect and resolve structural issues in a timely manner and contributes to the overall sustainability of renewable energy.

[0008] Security sites are specific areas or facilities where comprehensive measures are implemented to protect assets, people, and information from physical threats. These can include a wide range of environments such as commercial buildings, government facilities, critical infrastructure sites, and data centers. Preventing unauthorized access, theft, and other forms of physical intrusion, monitoring devices, such as surveillance cameras, motion sensors, and intrusion detection systems, are often used. The disadvantages of these traditional surveillance systems are that they are easily visible to intruders and may have blind spots. The seismic sensors, however, are installed underground and are invisible to the intruders. Seismic sensors can record the ground vibration caused by the intruder’s footsteps. The  intruders can then be detected. Combining seismic senor with traditional surveillance systems provide an enhanced system for real-time monitoring of activity within the site, allowing security personnel to identify anomalies and respond proactively to potential threats. Additionally, the integration of artificial intelligence and analytics enhances the monitoring process, enabling the system to recognize patterns, identify unusual behavior, and trigger alerts.

[0009] Manufacturing sites refer to physical locations or facilities where industrial processes are carried out to produce goods or products on a large scale. Implementing robust security measures and monitoring systems at a manufacturing site is essential for ensuring overall safety and security within manufacturing facilities, preventing unauthorized access and safeguarding valuable assets. Traditionally, surveillance cameras, access control systems, and perimeter sensors are deployed to create a comprehensive security network. At lower cost, seismic sensors can be installed in and around the facilities to record ground vibration of human activity or the footsteps of intruders. The collected seismic data can also be used to detect the safety of facility structures and changes in subsurface structure. Appling advanced machine learning techniques for footstep detection allows for the immediate identification of any unauthorized activities, triggering swift response protocols to address potential security threats. Additionally, within the manufacture sites, the application of machine learning algorithms on seismic data can help identify unsafe working conditions, track employee movement, and detect unusual activities, triggering real-time alerts or automated safety protocols. By continuously monitoring manufacturing sites for intruders day and night, companies can enhance overall security, protect sensitive information and property, and maintain the integrity of their operations.

[0010] Monitoring human activities in rooms involves the use of various technological tools and systems to observe, analyze, and ensure the security and efficiency of enclosed spaces. Surveillance cameras, motion sensors, and smart devices are commonly employed to track movements, interactions, and other behaviors within a room. However, the use of these traditional monitoring devices, such as surveillance cameras, has sparked concerns about potential violations of privacy laws. Additionally, the advancement of facial recognition technology intensifies these concerns, as it has the potential to identify and track individuals without their knowledge or consent. To overcome these challenges, seismic sensors can be used to monitor human activities within a room while respecting personal privacy. Seismic sensors, designed to detect vibrations caused by human movements or activities, provide a non-intrusive means of surveillance. Unlike conventional monitoring methods, seismic sensors offer privacy-respecting approach. By analyzing seismic data related to human activity, seismic approach ensures that human activity is monitored without compromising individual privacy rights. By utilizing machine learning to analyze seismic data, one can identify activities in a room in real time, including the detection human falls. When an incident occurs, this seismic sensor real-time detection system can trigger automated alerts, notifying caregivers, medical personnel, or relevant authorities in real-time, enabling a prompt and potentially life-saving response.SUMMARY OF INVENTION

[0011] A first aspect of the present application provides a method for monitoring bridges using seismic data, the method may comprise:

[0012] obtaining, from seismic recording devices, the seismic data;

[0013] processing the seismic data; and

[0014] monitoring the bridge based on the seismic data.

[0015] According to the first aspect, wherein the seismic recording devices are arranged at a fixed or variable interval on one side of a bridge, on both sides of the bridge, or in the middle of the bridge or any combination thereof.

[0016] According to the first aspect, wherein processing the seismic data may comprise: performing a signal enhancement on the seismic data.

[0017] According to the first aspect, wherein processing on the seismic data may comprise: performing trace balancing on the seismic data.

[0018] According to the first aspect, wherein monitoring the bridge based on the seismic data may comprise:

[0019] performing processing for detecting bridge resonance frequency; and

[0020] calculating the load on the bridge from the traffic flow data.

[0021] A second aspect of the present application provides a method for monitoring variations in bridge structure based on seismic data, the method may comprise:

[0022] obtaining, from seismic recording devices, the target seismic data and the reference seismic data;

[0023] generating a target Green’s function based on the target seismic data;

[0024] generating a reference Green’s function based on the reference seismic data;

[0025] detecting a bridge structure variation based on the target Green’s function and the reference Green’s function.

[0026] According to the second aspect, the method may further comprise: performing signal preprocessing, noise elimination, resampling, data shift correction, and filtering on the target seismic data and the reference seismic data.

[0027] According to the second aspect, wherein the filtering comprises: multi-frequency range (f1i, f2i) bandpass filtering, where f0< f1i<f1; f0< f2i<f1; f0 and f1 are the lower and upper limit of a frequency range of the seismic recording devices.

[0028] According to the second aspect, the method may further comprise:

[0029] extracting one or more types of body wave, elastic P-wave, S-wave, SH-wave, surface wave, coda wave, Rayleigh wave and Love wave from each of the target seismic data and the reference seismic data; and

[0030] generating the reference Green’s function and the target Green’s function based on the extracted waves.

[0031] According to the second aspect, wherein the detecting a bridge structure variation may comprise: generating the bridge relative velocity change based on the target Green’s function and the reference Green’s function by using an ambient noise imaging method.

[0032] A third aspect of the present application provides a method of detecting and locating cracks and cavities in a bridge structure, the method may comprise:

[0033] back-projection focusing beam imaging method; and

[0034] time-reversal focusing imaging method.

[0035] According to the second aspect, the method may be applied for monitoring near-surface structure variation based on the seismic data.

[0036] A fourth aspect of the present application provides a method for monitoring subsurface structures, including road tunnels, using seismic data, the method may comprise:

[0037] obtaining, from seismic recording devices, the seismic data;

[0038] processing the seismic data;

[0039] generating a target Green’s function based on the seismic data;

[0040] generating a reference Green’s function based on the seismic data;

[0041] generating a subsurface structure variation based on target and reference Green’s functions.

[0042] According to the fourth aspect, wherein the seismic recording devices are arranged at a fixed or variable interval along one side of a road tunnel, along both sides of the road tunnel, or on the road tunnel sidewall, or any combination  thereof.

[0043] According to the fourth aspect, wherein the method further comprises: performing signal preprocessing, noise elimination, resampling, data shift correction, filtering, multi-frequency range bandpass filter, Fourier and inverse Fourier transform on the target seismic data and the reference seismic data.

[0044] According to the fourth aspect, wherein generating a subsurface structure variation comprises:

[0045] generating a road tunnel subsurface relative velocity variation based on the target Green’s function and the reference Green’s function using an ambient noise imaging method;

[0046] generating relative velocity variation behind the road tunnel sidewall based on the target Green’s function and the reference Green’s function using an ambient noise imaging method.

[0047] According to the fourth aspect, wherein the method further comprises:

[0048] detecting and locating near-surface cracks and cavities in road tunnels using back-projection focusing beam method;

[0049] detecting and locating near-surface cracks and cavities in road tunnels using time-reversal focusing method;

[0050] detecting and locating road tunnel sidewall cracks and cavities using back-projection focusing beam method;

[0051] detecting and locating road tunnel sidewall cracks and cavities using time-reversal focusing method.

[0052] A fifth aspect of the present application provides a method for monitoring airport using seismic data, wherein the method comprises:

[0053] obtaining, from seismic recording devices, the seismic data;

[0054] processing the seismic data; and

[0055] monitoring the airport based on the seismic data.

[0056] According to the fifth aspect, wherein the seismic recording devices are  arranged at a fixed or variable interval on one side of a runway and taxiway, on both sides of the runway and taxiway, on the apron, or any combination thereof.

[0057] According to the fifth aspect, wherein processing the seismic data comprises: detrending the seismic data; removing or attenuating noise; trace balancing; trace normalization; filtering; bandpass filtering; Fourier transform and inverse Fourier transform.

[0058] A sixth aspect of the present application provides method for monitoring airport, the method further comprises:

[0059] monitoring and assessing runway and taxiway health conditions;

[0060] detecting and locating the Foreign Object Debris (FOD) ;

[0061] detecting and locating the luggage dropping; and

[0062] monitoring aircraft takeoff and landing.

[0063] According to the sixth aspect, wherein monitoring and assessing runway and taxiway health conditions comprises:

[0064] obtaining, from seismic recording devices, target seismic data and reference seismic data;

[0065] preprocessing the seismic data;

[0066] generating a target Green’s function based on the target seismic data;

[0067] generating a reference Green’s function based on the reference seismic data;

[0068] generating a relative velocity change based on the target Green’s function and the reference Green’s function using ambient noise imaging methods to monitor changes in the geological health condition beneath the runway and taxiway. The ambient noise imaging methods include, moving-window cross-spectral method, coda wave interferometry method, ambient noise tomography method.

[0069] According to the sixth aspect, wherein detecting and locating FOD comprise one or more of the following:

[0070] multi-frequency range bandpass filtering;

[0071] determining the amplitude attribute within a specified time window for a given frequency range;

[0072] determining the zero-crossing attribute within the specified time window;

[0073] calculating FOD attribute by dividing amplitude attribute with zero-crossing attribute;

[0074] determining FOD signal when FOD attribute exceeds a threshold;

[0075] utilizing the detected FOD signals from multiple sensors and the back-projection focusing beam method to determine FOD location;

[0076] utilizing the detected FOD signals from multiple sensors and the time-reversal stacking method to determine the location with the maximum stacking value.

[0077] According to the sixth aspect, wherein detecting and locating luggage dropping can utilize the same method as described previously.

[0078] According to the sixth aspect, wherein monitoring aircraft takeoff and landing comprises:

[0079] performing multi-frequency range bandpass filtering, including full-frequency range;

[0080] applying the back-projection focusing beam method to data from three or more seismic sensors;

[0081] determining the maximum stacking value to identify takeoff or landing position.

[0082] According to the sixth aspect, wherein monitoring aircraft takeoff and landing further comprises:

[0083] performing multi-frequency range bandpass filtering, including full-frequency range;

[0084] applying time-reversal focusing method to data with three or more seismic sensors;

[0085] determining the maximum stacking value to identify takeoff or landing  position.

[0086] A seventh aspect of the present application provides a method for calculating the impact of an aircraft on the runway during takeoff or landing, the method comprises:

[0087] calculating the impact of an aircraft takeoff on the runway;

[0088] calculating the impact of an aircraft landing on the runway.

[0089] According to the seventh aspect, wherein calculating the impact of an aircraft takeoff on the runway comprises:

[0090] multi-frequency range bandpass filtering, including full frequency range;

[0091] calculating energy attributes within a given time window for each sensor and frequency range. These energy attributes include: summation of squared amplitude, summation of the absolute value of amplitude, summation of an arbitrary exponent of amplitude, summation of an arbitrary exponent on data envelop;

[0092] calculating energy attributes on multi-frequency range data;

[0093] calculating reference energy attributes for a reference time;

[0094] calculating the ratio of energy attributes to the reference energy attribute.

[0095] According to the seventh aspect, wherein calculating the impact of an aircraft landing on the runway utilizes the same method as that used for an aircraft takeoff.

[0096] An eighth aspect of the present application provides a method for mapping the aircrafts, vehicles, or humans on the airport ground, the method comprises:

[0097] mapping the locations of any aircraft on the ground or during taxiing;

[0098] mapping the locations of any moving vehicle on the airport ground;

[0099] mapping the locations of humans on the airport ground.

[0100] According to the eighth aspect, wherein mapping the locations of any aircraft on the ground or during taxiing, comprises:

[0101] preprocessing the seismic data collected from the seismic sensors along the runway and taxiway of the airport;

[0102] detecting the moving aircraft at the airport;

[0103] tracking and associating the aircraft to create real-time aircraft moving path;

[0104] locating the aircraft using focusing beam methods on seismic data collected from three or more seismic sensors with maximum stacking value;

[0105] determining the aircraft stopping location by identifying the discontinuity in its moving path;

[0106] analyzing seismic data recorded from aircraft taxiing to identify the point where the energy of the aircraft signal vanishes;

[0107] According to the eighth aspect, wherein mapping the locations of any moving vehicle on the airport ground can be achieved using the same method as that used for aircraft.

[0108] According to the eighth aspect, wherein mapping the locations of humans on the airport ground comprises:

[0109] preprocessing the collected seismic data, according to the fifth aspect;

[0110] detecting human footsteps using traditional template matching methods and / or machine learning algorithms;

[0111] identifying, distinguishing and associating the detected human footsteps using machine learning algorithms;

[0112] utilizing the focusing beam method to back-project the footstep signal detected by three or more seismic sensors from the same person and locate the individual.

[0113] A ninth aspect of the present application provides a method for monitoring and assessing runway and taxiway health conditions using geophysical imaging methods, the method comprises:

[0114] apply preprocessing to airport seismic data, according to the fifth aspect;

[0115] generating a moving source for subsurface structure imaging; and

[0116] generating an airport subsurface image using a seismic imaging method.

[0117] According to the ninth aspect, wherein generating a moving source for subsurface structure imaging comprises:

[0118] locating aircraft’s moving position during takeoff or landing, according to the eighth aspect;

[0119] creating aircraft source signatures, including but not limited to, by utilizing a synthetic source wavelet or extracting Green’s function from a seismic sensor pair.

[0120] According to the ninth aspect, wherein generating an airport subsurface image using a seismic imaging method, comprises:

[0121] obtaining aircraft source signatures, generated above;

[0122] utilizing preprocessed airport seismic data;

[0123] implementing reverse-time migration;

[0124] applying full waveform inversion;

[0125] utilizing seismic tomography;

[0126] applying wave equation extrapolation.

[0127] A tenth aspect of the present application provides a method for monitoring the health of a building structure using seismic data, the method comprises:

[0128] preprocessing of the seismic data for building monitoring;

[0129] multi-frequency range bandpass filtering;

[0130] generating multi-frequency range power spectrum;

[0131] calculating the power spectrum ratio attribute between different frequency band;

[0132] continuously monitor the power spectrum ratio attribute for abnormal change, providing early warning for potential hazards.

[0133] According to the fourth aspect, a subsurface image of the building surroundings can be generated for monitoring.

[0134] An eleventh aspect of the present application provides a method for monitoring a wind turbine tower using seismic data, the method may comprise one or more the following steps:

[0135] preprocessing seismic data for the wind turbine tower;

[0136] detecting wind turbine anomalies using the method according to the tenth  aspect;

[0137] detecting wind turbine tower anomalies using the method according to the tenth aspect;

[0138] using multiple sensors to extract coda waves confined within a wind turbine tower.

[0139] using coda wave to detect turbine and wind turbine tower anomalies, according to the tenth aspect.

[0140] detecting cracks on wind turbine tower structure;

[0141] utilizing wind turbine tower data collected from multiple sensors installed on the ground to obtain subsurface structure image, as described in the fourth aspect.

[0142] According to the tenth aspect, wherein detecting cracks on the wind turbine tower structure, comprises:

[0143] using the turbine as a source and forward propagating the source signal to create forward wavefield;

[0144] back propagating the recorded seismic signal from the receiver to create backward wavefield;

[0145] correlating wavefields from forward and backward to create an image used for detecting cracks in wind turbine towers.

[0146] A twelfth aspect of the present application provides, a method for monitoring human walking, the method comprises one or more of the following steps:

[0147] preprocessing of seismic data;

[0148] creating a seismic signal library, containing footstep labels;

[0149] applying a traditional template matching algorithm to identify footstep;

[0150] using machine learning to detect footstep;

[0151] establishing a real-time warning system in the event of detected footstep activity.

[0152] According to the twelfth aspect, the method further comprises:

[0153] monitoring human trespassing at security sites;

[0154] monitoring unauthorized human intrusion into manufacturing facilities.

[0155] According to the fourth aspect, the method further comprises:

[0156] monitoring manufacturing facility’s subsurface structure change based on the seismic data;

[0157] detecting illegal crossing from underground tunnel digging.

[0158] A thirteenth aspect of the present application provides a method for monitoring human indoor activities, the method comprises:

[0159] preprocessing of seismic data;

[0160] creating seismic signal label library for various activities;

[0161] applying signal matching algorithms;

[0162] providing real-time warning system in the event of detected falling activity.

[0163] According to the thirteenth aspect, wherein creating seismic signal label library for various activities including: human falling, footstep, jumping, moving chairs or tables.

[0164] According to the thirteenth aspect, wherein applying signal matching algorithms comprises:

[0165] using template matching algorithm;

[0166] using machine learning.

[0167] BRIEF DESCRIPTIONS OF DRAWINGS

[0168] FIG. 1 illustrates a schematic diagram of a system architecture for implementing infrastructure monitoring (such as bridges, road tunnels, airports, buildings, security sites, wind turbine towers, and manufacture facilities) , as well as human monitoring methods, as exemplified in the present disclosure;

[0169] FIG. 2 is a schematic flowchart illustrating a method for monitoring the  bridge according to an example embodiment of the present disclosure;

[0170] FIG. 3 depicts a schematic diagram illustrating several example designs of recording positions for seismic sensors along a bridge, facilitating bridge monitoring;

[0171] FIG. 4 shows a schematic flowchart of processing the seismic data;

[0172] FIG. 5 shows seismic data for a bridge, bridge responses in time and frequency domain;

[0173] FIG. 6 shows a schematic flowchart of generating bridge structure relative velocity change;

[0174] FIG. 7 shows the bridge structure relative velocity change compared with the weather data;

[0175] FIG. 8 depicts a schematic diagram illustrating several example designs of recording positions for seismic sensors along road tunnel, facilitating road tunnel monitoring;

[0176] FIG. 9 shows a schematic flowchart of generating road tunnel relative velocity change;

[0177] FIG. 10 shows the road tunnel near-surface and behind the sidewall relative velocity change;

[0178] FIG. 11 depicts a schematic diagram illustrating several example designs of recording positions for seismic sensors along an airport runway or taxiway, facilitating airport monitoring;

[0179] FIG. 12 shows a schematic flowchart of processing the seismic data from airport;

[0180] FIG. 13 shows a schematic flowchart for detecting Foreign Object Debris (FOD) or falling object from airport seismic data;

[0181] FIG. 14 shows seismic data indicating falling luggage and the detection of the falling luggage;

[0182] FIG. 15 shows seismic data representing Foreign Object Debris (FOD) and  its detection;

[0183] FIG. 16 illustrates the process of locating the position of FOD based on the detected FOD signal;

[0184] FIG. 17 shows a schematic flowchart for monitoring aircraft moving paths and their takeoff or landing positions using airport seismic data;

[0185] FIG. 18 shows seismic data simulating aircraft takeoff and landing, as well as the detection of their respective positions during takeoff and landing;

[0186] FIG. 19 depicts a schematic diagram illustrating several example designs of recording positions for seismic sensors on a wind turbine tower, facilitating wind turbine tower monitoring;

[0187] FIG. 20 shows a schematic flowchart for monitoring wind turbine towers;

[0188] FIG. 21 shows the simulation of seismic wave propagation within a wind turbine tower’s wall and the detection of cracks in the wall;

[0189] FIG. 22 shows the seismic data of human footsteps;

[0190] FIG. 23 shows the numerical simulation for underground tunnel digging detection;

[0191] FIG. 24 shows the seismic data of human falling in a room.DETAILED DESCRIPTION

[0192] Hereinafter, various example embodiments of the present disclosure will be described with reference to the accompanying drawings. In the following description, specific details such as detailed configuration and components are merely provided to assist the overall understanding of these embodiments of the present disclosure. Therefore, it should be apparent to those skilled in the art that various changes and modifications of the embodiments described herein can be made without departing from the scope and spirit of the present disclosure. In addition, descriptions of well-known functions and constructions are omitted  for clarity and conciseness.

[0193] The example embodiments and the terms used therein are not intended to limit the technology disclosed herein to specific forms, and should be understood to include various modifications, equivalents, and / or alternatives to the corresponding embodiments. In describing the drawings, similar reference numerals may be used to designate similar constituent elements. A singular expression may include a plural expression unless they are definitely different in a context.

[0194] Also, the various embodiments described herein are not necessarily mutually exclusive, as some embodiments can be combined with one or more other embodiments to form new embodiments.

[0195] As used herein, singular forms may include plural forms as well unless the context clearly indicates otherwise. The expression “a first” , “a second” , “the first” , or “the second” used in various embodiments of the present disclosure may modify various components regardless of the order and / or the importance but does not limit the corresponding components. When an element (e.g., first element) is referred to as being “ (functionally or communicatively) connected, ” or “directly coupled” to another element (second element) , the element may be connected directly to another element or connected to another element through yet another element (e.g., third element) .

[0196] The expression “configured to” as used in various embodiments of the present disclosure may be interchangeably used with, for example, “suitable for” , “having the capacity to” , “designed to” , “adapted to” , “made to” , or “capable of” in terms of hardware or software, according to circumstances. In some situations, the expression “device configured to” may refer, for example, to a situation in which the device, together with other devices or components, “is able to” . For example, the phrase “processor adapted (or configured) to perform A, B, and C” may refer, for example, and without limitation, to a dedicated processor (e.g.,  embedded processor) for performing the corresponding operations or a generic-purpose processor (e.g., Central Processing Unit (CPU) or Application Processor (AP) ) that can perform the corresponding operations by executing one or more software programs stored in a memory device.

[0197] Herein, the term "or" as used herein, refers to a non-exclusive or, unless otherwise indicated. The examples used herein are intended merely to facilitate an understanding of ways in which the embodiments herein can be practiced and to further enable those skilled in the art to practice the embodiments herein. Accordingly, the examples should not be construed as limiting the scope of the embodiments herein.

[0198] As is traditional in the field, embodiments may be described and illustrated in terms of blocks which carry out a described function or functions. These blocks, which may be referred to herein as units, engines, manager, modules or the like, are physically implemented by analog and / or digital circuits such as logic gates, integrated circuits, microprocessors, microcontrollers, memory circuits, passive electronic components, active electronic components, optical components, hardwired circuits and the like, and may optionally be driven by firmware and / or software. The circuits may, for example, be embodied in one or more semiconductor chips, or on substrate supports such as printed circuit boards and the like. The circuits constituting a block may be implemented by dedicated hardware, or by a processor (e.g., one or more programmed microprocessors and associated circuitry) , or by a combination of dedicated hardware to perform some functions of the block and a processor to perform other functions of the block. Each block of the embodiments may be physically separated into two or more interacting and discrete blocks without departing from the scope of the disclosure. Likewise, the blocks of the embodiments may be physically combined into more complex blocks without departing from the scope of the disclosure.

[0199] When using expressions such as "at least one of A, B, and C, etc. " , it should generally be interpreted according to the meaning that those skilled in the art usually understand (for example, "a system including at least one of A, B, and C" should include but not be limited to a system including A, B, C, A and B, A and C, B and C, and / or A, B, C, etc. ) .

[0200] Seismic data comprises numerous seismic traces, each recorded by sensors capturing either a vertical component or three orthogonal components. These traces document ground movement over time and are collected by various receivers, including geophones, hydrophones, MEMS sensors, and DAS systems. Receivers are often deployed at regular intervals across the surface. While ground movement can be passively monitored, seismic surveys may involve using sources to generate seismic waves from known origins. A source represents the point where seismic waves originate, and a shot refers to the release of energy at a source, typically through methods like dynamite blasts or vibrators. Multiple shots may occur at different sources and times to enhance data collection.

[0201] Seismometers, positioned in the ground, capture vibrations stemming from earthquakes or controlled sources, providing valuable insights into seismic wave propagation and source characteristics through data analysis. Additionally, seismic sensors can be strategically placed along roadsides, bridges, and road tunnels to passively monitor ground motion induced by passing vehicles. Moreover, they can be installed at airports, around building structures, security and manufacturing sites, and wind turbine towers, enhancing safety and security while deterring human intrusions. By employing specialized algorithms, the data collected can be scrutinized to detect potential issues early on, thus averting failures and prolonging the lifespan of these critical infrastructure components. Ultimately, infrastructure monitoring results aid in accident prevention, disaster mitigation, and efficient safety control at a relatively low cost.

[0202] The designs of infrastructure monitoring, including bridges, road tunnels, buildings, airports, wind turbines, security and manufacturing sites, using seismic data, may include one or more of the following steps:

[0203] (1) Receiving seismic data recorded onsite and transferred in real-time on a computer;

[0204] (2) Data signal enhancement via digital processing;

[0205] (3) Two-way traffic wavefield separation or attenuation;

[0206] (4) Surface-consistent amplitude corrections;

[0207] (5) Using ML methods to detect footsteps, human fallings, Foreign Object Debris (FOD) , and luggage dropping at airports;

[0208] (6) Locating the special events locations;

[0209] (6) Monitoring the health of various infrastructures;

[0210] (7) Monitoring subsurface structure changes on various infrastructure sites.

[0211] Embodiments of these applications provide methods for monitoring infrastructures using seismic data, thereby reducing system layout costs, decreasing an amount of data to be processed, protecting personal privacy, and ensuring a timely response.

[0212] FIG. 1 is a schematic diagram of a system architecture for performing an infrastructure monitoring method according to an example embodiment of the present disclosure.

[0213] It should be noted that FIG. 1 is only an example of an architecture of the system that may apply the embodiments disclosed in this application to assist those skilled in the art in understanding the technical contents disclosed herein, but it does not mean that the disclosed embodiments cannot be used for other devices, systems, environments, or scenarios.

[0214] As shown in FIG. 1, the system architecture 100, according to the embodiment, may include seismic recording devices such as seismic sensors 101, 102, and 103, a network 104, and a server 105. The network 104 serves as a  communication medium between the seismic sensors and the server. It can encompass various types of connections, including wired, wireless communication links, or fiber optic cables.

[0215] In an embodiment, the seismic data may be transferred via 5G / 4G cellular network or Wi-Fi or fiber optic internet cable.

[0216] Server 105 can offer various services, serving as a cloud server, also known as a cloud computing server or cloud host, as well as a server for distributed systems or one that integrates blockchain technology.

[0217] The infrastructure monitoring methods described in this embodiment can generally be carried out by server 105, with the respective units or modules provided within it. However, these methods can also be executed by devices, servers, or server clusters separate from server 105, as long as they can communicate with it. In such cases, the corresponding units or modules for performing the infrastructure monitoring methods can be installed in these devices, servers, or server clusters.

[0218] Bridge Monitoring

[0219] FIG. 2 is a schematic flowchart 200 illustrating a method for monitoring the bridge according to an example embodiment of the present disclosure.

[0220] As shown in the FIG. 2, the flowchart 200 may comprise the following operations.

[0221] In operation S210, seismic data may be obtained from the seismic recording devices.

[0222] In an embodiment, the seismic recording devices may be geophone, or seismic sensor, or ground vibration recording device.

[0223] In an embodiment, the seismic recording devices are arranged at a fixed or variable interval on one side of a road, on both sides of the road, or in the middle of the road or any combination thereof. This will be described by referring to  the FIG. 3.

[0224] The seismic vibration generated by moving vehicle on the bridge is recorded via seismic sensors. The recorded seismic data is then used for monitor the bridge, detect its health, identify cracks, assess structural deformation, and address any other issues in real-time.

[0225] In operation S220, seismic data is being processed to enhance the signal for each of the seismic recording devices. The detail of operation S220, signal enhancement, may comprise one or more of the following:

[0226] (1) Removing or attenuating noise;

[0227] (2) Remove or attenuating irregular signal from non-vehicle vibration;

[0228] (3) Removing or attenuating secondary response of the initial vehicle vibrations;

[0229] (4) Applying mathematical Log operation on traffic data to normalize amplitudes;

[0230] (5) Taking arbitrary exponent (including square root) on traffic data to normalize amplitudes;

[0231] (6) Applying automatic gain control (AGC) on traffic data to normalize amplitudes;

[0232] (7) Applying root mean square (RMS) of traffic data to normalize amplitudes;

[0233] (8) Applying median filtering on traffic data to smooth data and remove outlier;

[0234] (9) Applying mean filtering on traffic data to smooth data;

[0235] (10) Applying integration filtering on traffic data to amplify weak signals;

[0236] (11) Applying global normalization on traffic data;

[0237] (12) Applying single station (sensor) normalization on traffic data;

[0238] (13) Applying local window normalization on traffic data;

[0239] (14) Applying (4) - (13) above on signal envelopes of the traffic data;

[0240] (15) Applying bandpass filtering on traffic data or processed data;

[0241] (16) Applying Linear Moveout Corrections (LMO) to data with a preset vehicle speed relative to a recording station;

[0242] (17) Applying any combination or partial combination of (1) - (16) .

[0243] In operation S230, the health of the bridge structure, including the detection of cracks, cavities, and deformation, is determined based on the processed seismic data.

[0244] FIG. 3 depicts several example designs illustrating the positioning of seismic sensors on a bridge for traffic monitoring.

[0245] As depicted in FIG. 3, the example arrangements of the seismic sensors may include: a single-side arrangement (e.g., on the right side of the bridge as shown in (a) of FIG. 3, or on the left side of the bridge as shown in (b) of FIG. 3) ; a mid-road arrangement (e.g., in the center island or dividing zone as shown in (c) of FIG. 3) ; a both-sides arrangement, such as on both sides of the road in a staggered manner as shown in (d) of FIG. 3; and any combination thereof.

[0246] FIG. 4 depicts a schematic flowchart 400 illustrating further processing of the seismic data.

[0247] As shown in the FIG. 4, the flowchart 400 may comprise the following operations.

[0248] In operation S410, a further signal enhancement on the seismic data may be performed.

[0249] In operation S420, noise reduction, trace balancing, and normalization are performed following the signal enhancement.

[0250] In operation S430, bandpass filtering, Fourier transformation, and inverse Fourier transformation are employed.

[0251] To monitor the health of a bridge structure and detect its resonance frequency, we must identify the bridge's signature response (or Green’s function) .

[0252] FIG. 5A displays the original seismic data collected from a bridge. In this figure, the vertical axis represents the spatial location of the seismic sensors, while the horizontal axis on the seismic data plots denotes the recording time.

[0253] The signature (Green’s function) of the bridge can be calculated by correlating the seismic signals from the neighboring seismic sensor pairs within the same time window. In FIG. 5B, the Green’s function of the bridge is depicted, with the line, with reference arrow pointed, representing the Green’s function at the reference time and the line, with target arrow pointed, indicating the Green’s function at the current time, or target time. By applying frequency analysis, a power spectrum can be obtained, allowing for the identification of the resonance frequency of the bridge, as shown in FIG. 5C.

[0254] An embodiment according to the present application provides a method for monitoring a bridge structure and / or a geological condition near-surface using seismic data. The method may comprise: obtaining, from seismic recording devices, target seismic data and reference seismic data; preprocessing of target seismic data and reference seismic data; generating a target Green’s function based on the target seismic data; generating a reference Green’s function based on the reference seismic data; generating a bridge structure relative velocity change and / or a near-surface relative velocity change based on the target Green’s function and the reference Green’s function to monitor the bridge structure and / or the geological condition near-surface.

[0255] FIG. 6 is a schematic flowchart 600 illustrating a method for monitoring a bridge structure using seismic data according to an example embodiment of the present disclosure.

[0256] As shown in FIG. 6, the flowchart 600 may comprise the following operations.

[0257] In operation 610, target seismic data and reference seismic data may be obtained from seismic recording devices.

[0258] In operation 620, target seismic data and reference seismic data may be preprocessed.

[0259] In operation 630, a target Green’s function may be generated based on the target seismic data.

[0260] In operation 640, a reference Green’s function may be generated based on the reference seismic data.

[0261] In operation 650, a bridge structure relative velocity change may be generated based on the target Green’s function and the reference Green’s function to monitor the bridge structure health.

[0262] In operation 620, the preprocessing flow can be detailed as follows:

[0263] a. Noise suppression.

[0264] b. Resampling.

[0265] c. Data drift correction.

[0266] d. Multi-frequency range (f1i, f2i) bandpass filtering, where f0< f1i<f1; f0< f2i<f1 ; f0 and f1 are the lower and upper limit of the sensor’s frequency range.

[0267] e. OneBit filtering.

[0268] f. Median filtering.

[0269] g. RMS filtering.

[0270] h. Smoothing filtering.

[0271] i. Fourier transform of the traffic vibration data.

[0272] j. Conjugate of the Fourier transformed data.

[0273] k. Inverse Fourier transformation.

[0274] l. Inverse Fourier transformation of the conjugated Fourier transformed data.

[0275] m. Apply tapering on data in either time or frequency domain, or in both domains.

[0276] In operations 630 and 640, the target Green’s function and the reference Green’s function can be generated as follows:

[0277] a. Cross-correlation of preprocessed data between sensor pairs in time domain or frequency domain to generate reference Green’s function.

[0278] b. Cross-correlation of preprocessed data between sensor pairs in time domain or frequency domain to generate target Green’s function (or current time Green’s function) .

[0279] c. Weighted stacking of the above cross-correlated results in (a) and (b) , respectively.

[0280] In operation 650, a bridge structure relative velocity change can be generated using an ambient noise imaging method, including:

[0281] a. Moving-window cross-spectral method.

[0282] b. Coda wave interferometry method.

[0283] c. Ambient noise tomography method.

[0284] By following the processing flow described in FIG. 6, the variation in bridge structure relative velocity over time can be generated, as shown in FIG. 7B. When comparing the variation in bridge structure relative velocity with weather data, such as temperature (dark-gray line in FIG. 7A) and humidity (light-gray line in FIG. 7A) , a strong correlation can be observed.

[0285] Road Tunnels

[0286] In an embodiment for road tunnel monitoring, the seismic recording devices are arranged at a fixed or variable interval on one side of a road tunnel, on both sides of the road tunnel, or on the tunnel sidewall or any combination thereof.

[0287] FIG. 8 depicts several example designs illustrating the positioning of seismic sensors for traffic monitoring in a road tunnel.

[0288] As depicted in FIG. 8, the example arrangements of the seismic sensors may include: a single-side arrangement (e.g., on the right side or left side of the road as shown in (a) or (b) of FIG. 8, respectively) ; a both-sides arrangement, such as on both sides of the road in a staggered manner as shown in (c) of FIG. 8;on tunnel sidewalls as shown in (d) of FIG. 8, and any combination thereof.

[0289] FIG. 9 is a schematic flowchart 900 illustrating a method for monitoring a road tunnel using seismic data according to an example embodiment of the present disclosure.

[0290] As shown in FIG. 9, the flowchart 900, applied to a road tunnel, may comprise the following operations, which are the same operations as in flowchart 600.

[0291] In operation 910, target seismic data and reference seismic data may be obtained from seismic recording devices.

[0292] In operation 920, target seismic data and reference seismic data may be preprocessed.

[0293] In operation 930, a target Green’s function may be generated based on the target seismic data.

[0294] In operation 940, a reference Green’s function may be generated based on the reference seismic data.

[0295] In operation 950, the relative velocity change of a road tunnel near-surface and behind the sidewall may be generated based on the target Green’s function and the reference Green’s function.

[0296] By following the processing flow described in FIG. 9, the relative velocity variations of road tunnel near-surface and behind the sidewalls over time can be generated, as shown in FIG. 10A and FIG. 10B.

[0297] Airport monitoring

[0298] In an embodiment for airport monitoring, the seismic recording devices are  arranged at a fixed or variable interval on one side of an airport runway and / or taxiway, on both sides of the airport runway and / or taxiway.

[0299] FIG. 11 depicts several example designs illustrating the positioning of seismic sensors for airport monitoring in a runway or taxiway.

[0300] As depicted in FIG. 11, the example arrangements of the seismic sensors may include: a single-side arrangement (e.g., on the right side or left side of the runway or taxiway as shown in (a) or (b) of FIG. 11, respectively) ; a both-sides arrangement, such as on both sides of the runway or taxiway in a staggered manner as shown in (c) of FIG. 11.

[0301] FIG. 12 is a schematic flowchart 1200 illustrating a method for monitoring the airport according to an example embodiment of the present disclosure.

[0302] As shown in the FIG. 12, the flowchart 1200 may comprise the following operations.

[0303] In operation S1210, seismic data may be obtained from the seismic recording devices.

[0304] In operation S1220, seismic data is being processed to enhance the signal for each of the seismic recording devices. The details of operation S1220, signal enhancement, may include the same operations as in S220.

[0305] In operation S1230, the airport near-surface relative velocity change can be generated based on the processed seismic data. Analyzing relative velocity change can help assess the safety of the runway, taxiway, and airport apron.

[0306] FIG. 13 is a schematic flowchart 1300 illustrating a method for detecting and locating the FOD or falling object at the airport according to an example embodiment of the present disclosure.

[0307] In operation S1310, seismic data may be obtained from the seismic recording devices.

[0308] In operation S1320, seismic data is being processed for detecting the FOD or falling object. A method of detecting FOD or falling object from seismic data  through amplitude and phase analysis comprises:

[0309] a. Preprocessing of seismic data as described in operation S220.

[0310] b. Multi-frequency range bandpass filtering, including full frequency range.

[0311] c. Determining the amplitude attribute within a specified time window for a given frequency range.

[0312] d. Determining the zero-crossing attribute within the specified time window.

[0313] e. Determining an attribute by computing the ratio of the results from above (c) and (d) .

[0314] f. Determining FOD or falling object signals when attribute from above (e) exceeds the threshold value.

[0315] In operation S1330, the location of the FOD or falling object has been determined. A method of locating the FOD or falling object comprises:

[0316] a. Utilizing the detected FOD signals from multiple sensors and the back-projection focusing beam method to determine the FOD or falling object location; or

[0317] b. Utilizing detected FOD or falling object signals from multiple sensors and the time-reversal stacking method to determine the location with the maximum stacking value.

[0318] FIG. 14 depicts the detection of luggage dropping from an airport luggage transport cart. FIG. 14A displays the seismic signal, with the dark dots indicating instances of luggage dropping from the cart. FIG. 14B shows the FOD attribute, with the dark dots representing instances of luggage dropping.

[0319] FIG. 15 provides an example of small FOD detection. The curve in FIG. 15A shows the seismic signal with the detected FOD indicated by the dark dot. FIG. 15B  displays the FOD attribute calculated using operation S1320, with the dark dot representing the detected FOD.

[0320] According to operation S1330, the procedures for locating FOD or dropped luggage are depicted in FIG. 16. Three detected FOD signals or luggage dropping signals, as shown in FIG. 16, are used to illustrate the locating procedures. From three sensor locations (depicted as blue triangles) , either the back-projection focusing beam method or the time-reversal focusing method is employed to determine the location of the FOD or dropped luggage incidents. As depicted in the FIG. 16, three back-projected wavefronts or time-reversal propagated wavefronts converge on the dark star location, which signifies the location of the FOD or dropped luggage.

[0321] FIG. 17 is a schematic flowchart 1700 illustrating a method for detecting the paths of vehicles and aircraft, determining their locations, calculating aircraft impact on the runway during takeoff and landing, according to an example embodiment of the present disclosure.

[0322] In operation S1710, seismic data is obtained from the seismic recording devices.

[0323] In operation S1720, seismic data is processed to detect the paths of vehicle or aircraft. The detection procedures include the following operations:

[0324] a. Preprocessing the seismic data collected from the airside of the airport, as described in operation S220.

[0325] b. Detecting the moving aircraft or vehicle along the designated routes in the airside of the airport.

[0326] c. Tracking and associating the detected moving aircraft or vehicle to create real-time vehicle locations and paths along designated routes.

[0327] In operation S1730, the location of an aircraft or vehicle has been determined. The method comprises:

[0328] a. Locating the aircraft or vehicle using the focusing beam or time-reversal focusing methods through back-projection or propagation of the detected signals from three or more seismic sensors. The location of the aircraft or vehicle is determined based on the maximum stacking value.

[0329] In operation S1730, the impact of an aircraft on runway during takeoff and landing has been calculated. The method involves the following operations.

[0330] a. Multi-frequency range bandpass filtering, including full frequency range.

[0331] b. Calculating energy attributes within a given time window for each sensor and frequency range, the attributes include, but are not limited to:

[0332] i. Summation of squared amplitude.

[0333] ii. Summation of the absolute value of amplitude.

[0334] iii. Summation of an arbitrary exponent of amplitude.

[0335] iv. Summation of an arbitrary exponent on data envelop.

[0336] c. Calculating reference energy attributes, as described above, for a reference time.

[0337] d. Calculating the ratio of energy attributes to the reference energy attribute using the results obtained in (b) and (c) .

[0338] FIG. 18 depicts the numerical simulation of an aircraft takeoff or landing. FIG. 18A shows the simulated seismic data recorded during aircraft takeoff or landing, while FIG. 18B displays the location of the aircraft during takeoff or landing. This location is determined using the time-reversal focusing method described in operation S1730.

[0339] Wind turbine

[0340] In an embodiment for wind turbine monitoring, the seismic recording devices are arranged inside and / or outside of the wind turbine tower.

[0341] FIG. 19 depicts several example designs illustrating the positioning of seismic sensors for wind turbine monitoring.

[0342] As depicted in FIG. 19, the example arrangements of the seismic sensors may include: a single sensor installed on the ground inside the tower, as shown in FIG. 19A; multiple sensors installed along the tower wall on the ground inside the tower, as shown in FIG. 19B; multiple sensors installed along the tower wall on the ground outside the tower, as shown in FIG. 19C; multiple sensors installed outside the tower in a straight-line arrangement, as shown in FIG. 19D; a single sensor installed inside in the middle of the tower wall, as shown in FIG. 19E; a single sensor installed inside on the top of the tower structure, as shown in FIG. 19F; and two sensors installed, one on the top of the structure, while the other sensor is installed on the ground inside the tower.

[0343] FIG. 20 is a schematic flowchart 2000 illustrating a method for monitoring the wind turbine tower according to an example embodiment of the present disclosure.

[0344] In operation S2010, seismic data may be obtained from the seismic recording devices.

[0345] In operation S2020, a source signature from the turbine is obtained, which can be the seismic or vibration signal from the sensor installed on top of the tower or near / on the turbine.

[0346] In operation S2030, for monitoring the wind turbine tower health and detecting cracks in the wind turbine tower structure, the following method can be applied. The method comprises the following steps:

[0347] a. Using the turbine as a source and forward-propagating the source signal.

[0348] b. Back-propagating the recorded seismic signal from the receiver.

[0349] c. Correlating wavefields from previous results (a) and (b) to create an image used for detecting cracks in wind turbine towers.

[0350] In operation $2030, for monitoring the health of the wind turbine tower, the seismic data collected from multiple sensors installed on the ground can be used to generate a subsurface structure image, following the same steps as described in flowchart 600 or 900.

[0351] FIG. 21 shows a numerical simulation of the seismic wave propagating in a wind turbine tower. FIG. 21A depicts the velocity model of a wind turbine tower, with the gray star at the top of the tower indicating the turbine source location, and the gray triangle on the bottom giving the receiving sensor location. The crack on the wall is indicated by the arrow. FIG. 21B illustrates that the high-frequency guided wave is confined within the tower wall, whereas the low-frequency wave escapes from the tower wall, as depicted in FIG. 21C.

[0352] The detection of the crack, using operation S2030, is demonstrated in FIG. 21D, as indicated by the arrow. Since only one source signature and one recorded receiver signal are used, we can only detect the vertical location of the crack.

[0353] FIG. 22 illustrates an example of human walking detection. In Figure 22A, the seismic signal is represented by the curve, with dark dots indicating instances of detected human walking. In Figure 22B, the stepping attribute is displayed, where the dark dots denote instances of human walking. This stepping attribute is calculated using the same method as described in operation S1320.

[0354] To demonstrate the detection of underground digging for crossing a line, we utilized a numerical model simulation, as depicted in FIG. 23. Before the underground digging, the subsurface velocity model is assumed to have two constant layers, as shown in FIG. 23A. After digging, a velocity anomaly with a low velocity has been generated, as seen in FIG. 23B pointed by arrow.  Utilizing the difference in surface waves between the two velocity models, one with and one without a velocity anomaly as displayed in FIG. 23C, operation 600 can generate the subsurface image, as depicted in FIG. 23D, revealing the underground digging.

[0355] FIG. 24 displays a series of detected seismic signals from a human falling indoors. Due to the large amplitude of the falling signal and its isolated nature, the detection process can be straightforward.

Claims

1.A method for monitoring bridge using seismic data, the method comprising:obtaining, from seismic recording devices, the seismic data;processing the seismic data; andmonitoring the bridge based on the seismic data.2.The method according to claim 1, wherein the seismic recording devices are arranged at a fixed or variable interval on one side of a bridge, on both sides of the bride, or in the middle of the bridge or any combination thereof.3.The method according to claim 1, wherein processing of the seismic data comprises:performing a signal enhancement on the seismic data.4.The method according to claim 1, wherein processing on the seismic data comprises:performing trace balancing on the seismic data.5.The method according to claim 1, wherein monitoring the bridge based on the seismic data comprises:performing processing for detecting bridge resonance frequency; andcalculating the load on the bridge from the traffic flow data.6.A method for monitoring bridge structure variation based on the seismic data, the method comprises:obtaining, from seismic recording devices, target seismic data and reference seismic data;generating a target Green’s function based on the target seismic data;generating a reference Green’s function based on the reference seismic data;detecting a bridge structure variation based on the target Green’s function and the reference Green’s function.7.The method according to claim 6, wherein the method further comprises:performing signal preprocessing, noise elimination, resampling, data shift correction and filtering on the target seismic data and the reference seismic data.8.A method according to claim 7, wherein the filtering comprises:multi-frequency range (f1i, f2i) bandpass filtering, where f0< f1i< f1; f0< f2i< f1; f0 and f1 are the lower and upper limit of a frequency range of the seismic recording devices.9.The method according to claim 7, wherein the method further comprises:extracting one or more types of body waves, elastic P-wave, S-wave, SH-wave, surface wave, coda wave, Rayleigh wave and Love wave from each of the target seismic data and the reference seismic data;generating the reference Green’s function and the target Green’s function based on the extracted waves.10.The method according to claim 6, wherein the detecting a bridge structure variation comprises:generating the bridge relative velocity change based on the target Green’s function and the reference Green’s function by using an ambient noise imaging method.11.A method of detecting and locating cracks in a bridge structure, the method comprises:back-projection focusing beam imaging method; ortime-reversal focusing imaging method.12.A method of detecting and locating cavities in the bridge structure, the method comprises:back-projection focusing beam imaging method; ortime-reversal focusing imaging method.13.A method for monitoring near-surface structure variation based on the seismic data, the method comprises:obtaining, from seismic recording devices, target seismic data and reference seismic data;generating a target Green’s function based on the target seismic data;generating a reference Green’s function based on the reference seismic data;generating a subsurface structure variation based on the target Green’s function and the reference Green’s function.14.A method according to claim 13, wherein the seismic recording devices are arranged at a fixed or variable interval along one side of a road tunnel, along both sides of the road tunnel, or on the road tunnel sidewall, or any combination thereof.15.A method according to claim 13, wherein the method further comprises:performing signal preprocessing, noise elimination, resampling, data shift correction, filtering, multi-frequency range bandpass filter, Fourier and inverse Fourier transform on the target seismic data and the reference seismic data.16.A method according to claim 13, wherein generating a subsurface structure variation comprises:generating road tunnel subsurface relative velocity variation based on the target Green’s function and the reference Green’s function using an ambient noise imaging method.17.The method according to claim 13, wherein the method further comprises:generating relative velocity variation behind road tunnel sidewall based on the target Green’s function and the reference Green’s function using an ambient noise imaging method.18.The method according to claim 13, wherein the method further comprises:detecting and locating the road tunnel near-surface cracks using back-projection focusing beam method;detecting and locating the road tunnel near-surface cracks using time-reversal focusing method;detecting and locating the road tunnel near-surface cavities using back-projection focusing beam method;detecting and locating the road tunnel near-surface cavities using time-reversal focusing method.19.The method according to claim 13, wherein the method further comprises:detecting and locating the road tunnel sidewall cracks using back-projection focusing beam method;detecting and locating the road tunnel sidewall cracks using time-reversal focusing method;detecting and locating the road tunnel sidewall cavities using back-projection focusing beam method;detecting and locating the road tunnel sidewall cavities using time-reversal focusing method.20.A method for airport monitoring using seismic data, the method comprises:obtaining, from seismic recording devices, the seismic data;processing the seismic data;monitoring the airport based on the seismic data.21.The method according to claim 20, wherein the seismic recording devices are arranged at a fixed or variable interval on one side of a runway and taxiway, on both sides of the runway and taxiway, on the apron, or any combination thereof.22.The method according to claim 20, wherein processing the seismic data comprises:detrending the seismic data; removing or attenuating noise; trace balancing; trace normalization; filtering; bandpass filtering; Fourier transform and inverse Fourier transform.23.The method according to claim 20, wherein monitoring the airport based on the seismic data, the method further comprises:monitoring and assessing runway and taxiway health conditions;detecting and locating the Foreign Object Debris (FOD) ;detecting and locating the luggage dropping; andmonitoring aircraft takeoff and landing.24.The method according to claim 23, wherein monitoring and assessing runway and taxiway health conditions comprises:obtaining, from seismic recording devices, target seismic data and reference seismic data;preprocessing the seismic data according to claim 22;generating a target Green’s function based on the target seismic data; andgenerating a reference Green’s function based on the reference seismic data;generating a relative velocity change based on the target Green’s function and the reference Green’s function using ambient noise imaging methods to monitor changes in the geological health condition beneath the runway and taxiway.25.The method according to claim 24, wherein using ambient noise imaging methods comprises:moving-window cross-spectral method;coda wave interferometry method;ambient noise tomography method.26.The method according to claim 23, wherein detecting and locating FOD comprise one or more of the following:multi-frequency range bandpass filtering;determining the amplitude attribute within a specified time window for a given frequency range;determining the zero-crossing attribute within the specified time window;calculating FOD attribute by dividing amplitude attribute with zero-crossing attribute;determining FOD signal when FOD attribute exceeds a threshold;utilizing the detected FOD signals from multiple sensors and the back-projection focusing beam method to determine FOD location;utilizing the detected FOD signals from multiple sensors and the time-reversal stacking method to determine the location with the maximum stacking value.27.The method according to claim 23, wherein detecting and locating the luggage dropping can employ the same method as described in claim 23.28.The method according to claim 23, wherein monitoring aircraft takeoff and landing comprises:performing multi-frequency range bandpass filtering, including full-frequency range;applying the back-projection focusing beam method to data from three or more seismic sensors;determining the maximum stacking value to identify takeoff or landing position.29.The method according to claim 23, wherein monitoring aircraft takeoff and landing comprises:performing multi-frequency range bandpass filtering, including full-frequency range;applying time-reversal focusing method to data with three or more seismic sensors;determining the maximum stacking value to identify takeoff or landing position.30.The method according to claim 23, wherein the method further comprises:calculating the impact of an aircraft takeoff on the runway;calculating the impact of an aircraft landing on the runway.31.The method according to claim 30, wherein calculating the impact of an aircraft takeoff on the runway comprises:multi-frequency range bandpass filtering, including full frequency range;calculating energy attributes within a given time window for each sensor and frequency range;calculating energy attributes on multi-frequency range data;calculating reference energy attributes for a reference time;calculating the ratio of energy attributes to the reference energy attribute.32.The method according to claim 31, wherein calculating energy attributes within a given time window for each sensor and frequency range comprises:summation of squared amplitude;summation of the absolute value of amplitude;summation of an arbitrary exponent of amplitude;summation of an arbitrary exponent on data envelop.33.The method according to claim 30, wherein calculating the impact of an aircraft landing on the runway utilizes the same method as in claim 31.34.The method according to claims 28 and 29, wherein the method further comprises:mapping the locations of any aircraft on the ground or during taxiing;mapping the locations of any moving vehicle on the airport ground; andmapping the locations of humans on the airport ground.35.The method according to claim 34, wherein mapping the locations of any aircraft on the ground or during taxiing, comprises:preprocessing the seismic data collected from the seismic sensors along the runway and taxiway of the airport, as described in claim 20;detecting the moving aircraft along the runway, taxiway or on the apron of the airport;tracking and associating the aircraft while taxiing to create real-time aircraft moving path;locating the aircraft using focusing beam methods on seismic data collected from three or more seismic sensors with maximum stacking value;determining the aircraft stopping location by identifying the discontinuity in its moving path;analyzing seismic data recorded from aircraft taxiing to identify the point where the energy of the aircraft signal vanishes.36.The method according to claim 34, wherein mapping the locations of any moving vehicle on the airport ground, comprises:preprocessing the seismic data collected from the airside of the airport, as described in claim 20;detecting the moving vehicle along the designated routes in the airside of the airport using traditional methods and / or machine learning algorithms;tracking and associating the detected moving vehicle to create real-time vehicle locations and moving path along the designated vehicle routes;locating the vehicle using the focusing beam method by back-projection of the detected vehicle signal from three or more seismic sensors;determining the location of the vehicle with the maximum stacking value.37.The method according to claim 34, wherein mapping the locations of humans on the airport ground, comprises:preprocessing the collected seismic data, as in claim 20;detecting human footsteps using traditional template matching methods and / or machine learning algorithms;identifying, distinguishing and associating the detected human footsteps using machine learning algorithms;utilizing the focusing beam method to back-project the footstep signal detected by three or more seismic sensors from the same person and locate the individual.38.The method according to claim 23, wherein monitoring and assessing runway and taxiway health conditions further comprises:applying preprocessing to airport seismic data, as described in claim 20;generating a moving source for subsurface structure imaging; andgenerating an airport subsurface image using a seismic imaging method.39.The method according to claim 38, wherein generating a moving source for subsurface structure imaging comprises:locating aircraft’s moving position during takeoff or landing, as described in claim 34;creating aircraft source signatures, including but not limited to:utilizing a synthetic source wavelet;extracting Green’s function from a seismic sensor pair.40.The method according to claim 38, wherein generating an airport subsurface image using a seismic imaging method may comprise one or more of the following:obtaining aircraft source signatures, as created from claim 39;utilizing preprocessed airport seismic data;implementing reverse-time migration;applying full waveform inversion;utilizing seismic tomography;applying wave equation extrapolation.41.A method for monitoring the health of a building structure using seismic data, the method comprises:preprocessing of seismic data, as described in claim 22 for building monitoring data;multi-frequency range bandpass filtering;generating multi-frequency range power spectrum;calculating the power spectrum ratio attribute between different frequency band;establishing continuously monitoring system to monitor the power spectrum ratio attribute for abnormal change, providing early warning for potential hazards.42.A method for monitoring the surrounding of a building using seismic data, the method comprises:preprocessing of seismic data, as described in claim 22 for building monitoring data;multi-frequency range bandpass filtering;generating a surrounding subsurface structure image, same as described in claim 13;establishing continuously monitoring system to monitor subsurface structure changes and provide early warnings for potential hazards.43.A method for monitoring a wind turbine tower using seismic data, the method may comprise one or more:obtaining, from seismic recording devices, the seismic data;preprocessing seismic data for wind turbine tower, as in claim 22;detecting wind turbine anomaly using the method as described in claim 41;detecting wind turbine tower anomaly using the method same as described in claim 41;using multiple sensors to extract coda waves from seismic data of a wind turbine tower;using coda wave to detect turbine and wind turbine tower anomaly, as described in claim 41;detecting cracks on wind turbine tower structure;utilizing wind turbine tower data collected from multiple sensors installed on the ground to get subsurface structure image, the same steps as in claim 13.44.The method according to claim 43, wherein the seismic recording devices are arranged at fixed or variable locations, using one or multiples, one on the ground inside, one in the middle, one on the top of the tower, or multiple on the ground inside or outside, or any combination thereof.45.The method according to claim 43, wherein detecting cracks on wind turbine tower structure, comprises:using the turbine as a source and forward propagating the source signal to create forward wavefield;back propagating the recorded seismic signal from the receiver to create backward wavefield;correlating wavefields from forward and backward to create an image used for detecting cracks in wind turbine towers.46.A method for monitoring human walking, the method comprises one or more of the following steps:preprocessing of seismic data;creating a seismic signal label library, containing footstep labels;applying a traditional template matching algorithm to identify footstep;using machine learning to detect footstep;establishing a real-time warning system in the event of detected footstep activity.47.The method according to claim 46, the method further comprises monitoring human trespassing at security sites.48.The method according to claim 46, the method further comprises monitoring unauthorized human intrusion into manufacturing facilities.49.The method according to claim 13, the method further comprises:monitoring manufacturing facility’s subsurface structure change based on the seismic data;detecting illegal crossing from underground tunnel digging.50.The method according to claim 46, the method further comprises detecting illegal crossing on the ground surface.51.A method for detecting human indoor activities, the method comprises:preprocessing of seismic data;creating seismic signal label library for various activities;applying signal matching algorithms;providing real-time warning system in the event of detected falling activity.52.The method according to claim 51, wherein creating seismic signal label library for various activities including: human falling, footstep, jumping, moving chairs or tables.53.The method according to claim 51, wherein applying signal matching algorithms comprises:using template matching algorithm;using machine learning.54.An electronic device comprising:at least on processor; anda memory connected in communication with at least one processor, wherein the memory stores instructions, when executed by at least on processor, causing at least one processor to perform the method of any of the claims 3-8, 15-19, 22-36, or 38-40..55.A non-temporary computer-readable storage medium storing instructions, when executed on a computer, causing the computer to execute the method according to any one of claims 3-8, 15-19, 22-36, or 38-40.56.A computer program product comprising a computer program with instructions, when executed by a computer, these instructions cause the computer to perform the method according to any one of claims 3-8, 15-19, 22-36, or 38-40.

Images