Muscle activity data acquisition equipment, method for analyzing muscle activity, electronic device and storage medium

Abstract

The present disclosure relates to the field of image processing technology, but is not limited thereto and, in particular, to a muscle activity data acquisition equipment, a method for analyzing muscle activity, an electronic device and a storage medium. A sensing assembly includes an ultrasound probe; and a controller electrically connected to the ultrasound probe, and used to control the ultrasound probe to emit ultrasound to a target part of a user when the ultrasound probe contacts the target part of the user, so as to obtain muscle activity data of the target part, where the muscle activity data includes sonomyography (SMG) data and at least one of electromyograph (EMG) data, acceleromyograph (AMG) data, joint bending angle data and pressure data, the pressure data includes at least one of plantar pressure, residual limb-socket interface pressure, body-brace pressure, and body-exoskeleton pressure.

Description

MUSCLE ACTIVITY DATA ACQUISITION EQUIPMENT, METHOD FOR ANALYZING MUSCLE ACTIVITY, ELECTRONIC DEVICE AND STORAGE MEDIUMTECHNICAL FIELD

[0001] The present disclosure relates to the field of image processing technology, but is not limited thereto and, in particular, to a muscle activity data acquisition equipment, a method for analyzing muscle activity, an electronic device and a storage medium.BACKGROUND

[0002] Ultrasound was widely used in skeletal muscle measurement and has proven clinical significance for gaining insight into physiological mechanisms. Sonomyography (SMG) refers to quantitative muscle functional analysis based on the muscle architectural change in ultrasound images during its contraction.

[0003] However, at present, there is a lack of mature method that can provide the detailed qualitative and quantitative analysis of muscle activities. Specifically, existing methods lack acquisition of ultrasound and other signals about muscle functions and reliable SMG analysis in real time. In addition, differences in individual and acquisition equipment may reduce the performance of existing methods, resulting in unreliable analysis and low repeatability.SUMMARY

[0004] The embodiments of the present disclosure provide a muscle activity data acquisition equipment, a method for analyzing muscle activity, an electronic device and a storage medium.

[0005] A first aspect of the embodiments of the present disclosure provides a muscle activity data acquisition equipment, including: a sensing assembly including an ultrasound probe; and a controller electrically connected to the ultrasound probe, and configured to  control the ultrasound probe to emit ultrasound to a target part of a user when the ultrasound probe contacts the target part of the user, so as to obtain muscle activity data of the target part, where the muscle activity data includes sonomyography (SMG) data and at least one of electromyograph (EMG) data, acceleromyograph (AMG) data, joint bending angle data and pressure data, the pressure data includes at least one of plantar pressure, residual limb-socket interface pressure, body-brace pressure, and body-exoskeleton pressure.

[0006] Optionally, the muscle activity data acquisition equipment further including a first case and a printed circuit board, where the printed circuit board is provided in the first case, and the controller is connected to the printed circuit board.

[0007] Optionally, where the sensing assembly further includes an inertial measurement unit (IMU) , the inertial measurement unit (IMU) is connected to the first case and electrically connected to the controller, and the inertial measurement unit (IMU) responds to the muscle vibration signal of the target part to obtain the acceleromyograph (AMG) data.

[0008] Optionally, where a first socket is provided in the first case, the first socket is electrically connected to the controller, and the first socket is used to install the inertial measurement unit (IMU) .

[0009] Optionally, where a number of the first socket is two, and the two first sockets are provided on opposite sides of the first case along a length direction of the first case.

[0010] Optionally, where the sensing assembly further includes a goniometer, the goniometer is connected to the first case and is electrically connected to the controller, and the goniometer responds to a rotation signal of the target part to obtain the joint bending angle data.

[0011] Optionally, where a second socket is provided in the first case, the second socket is electrically connected to the controller, and the second socket is used to install the goniometer.

[0012] Optionally, where a number of the second socket is two, and the two second sockets are provided on opposite sides of the first case along a length direction of the first case.

[0013] Optionally, where the sensing assembly further includes a force sensor, the force sensor is provided in the first case and is electrically connected to the controller, and the force sensor responds to a pressure signal of the target part to obtain the pressure data.

[0014] Optionally, where a third socket is connected to the first case, the third socket is electrically connected to the controller, and the third socket is used to install the force sensor.

[0015] Optionally, where a number of the third socket is two, the two third sockets are provided on opposite sides of the first case along a length direction of the first case.

[0016] Optionally, where a first voltage booster is provided in the first case, and the first voltage booster is electrically connected between the ultrasound probe and the controller.

[0017] Optionally, where a signal modulation circuit is provided on the printed circuit board, the signal modulation circuit is electrically connected between the sensor assembly and the controller, and the signal modulation circuit is used to amplify a data signal from the sensor assembly.

[0018] Optionally, where the ultrasound probe includes a second case and a transducer head, the sensing assembly further includes an electromyograph (EMG) sensor, the transducer head and the electromyograph (EMG) sensor are provided in the second case and electrically connected to the controller, and the electromyograph (EMG) sensor responds to an electromyograph voltage signal of the target part to obtain the electromyograph (EMG) data.

[0019] Optionally, where the controller is electrically connected to the ultrasound probe via a flexible cable.

[0020] Optionally, where the muscle activity data acquisition equipment further includes a blue-tooth module, the blue-tooth module is provided on the printed circuit board and is electrically connected to the controller to transmit the muscle activity data to a terminal.

[0021] Optionally, where the muscle activity data acquisition equipment further includes a third case and a battery, the battery is fixed in the third case, and the battery is electrically connected to the controller.

[0022] It can be understood that the case for the muscle activity data acquisition equipment consists of four main parts. The four main parts are the first case, the second case, the third case and the IMU case respectively.

[0023] Optionally, where the sensing assembly further includes a goniometer, the goniometer responds to a rotation signal of the target part to obtain the joint bending angle data; a second voltage booster is provided in the third case, and the second voltage  booster is electrically connected between the battery and the goniometer.

[0024] A second aspect of the embodiments of the present disclosure provides a method for analyzing muscle activity, applied to the muscle activity data acquisition equipment according to the first aspect abovementioned, including the following: acquiring the ultrasound image of the target part; performing an image segmentation, a tracking and a regression on the ultrasound  image to identify a target area; obtaining the SMG data according to the ultrasound image and a morphology of  the target area; obtaining a muscle state according to the target area and the SMG data, where  the muscle state includes a relax state or a contraction state.

[0025] Optionally, where the ultrasound image includes multi-frame images, and the performing image segmentation, tracking and regression on the ultrasound image to identify a target area includes: performing an image segmentation on the ultrasound image and outputting the  target area; tracking the target area through a semi-supervised video object segmentation  (SVOS) , or obtaining a confidence score of the target area in first N frames of the multi-frame images through an image segmentation network, and when the confidence score is greater than or equal to a target threshold, using a result obtained by the image segmentation network as a tracking mask to track the target area in the ultrasound image; performing a regression analysis on the target area to obtain the SMG data.

[0026] Optionally, where the performing an image segmentation, a tracking and a regression on the ultrasound image to identify a target area; obtaining the SMG data according to the ultrasound image and a morphology  of the target area includes: outputting the SMG data through a convolutional neural network (CNN)  regression model, where the SMG data includes a fascicle angle and / or a muscle thickness.

[0027] Optionally, where performing image segmentation on the ultrasound image and outputting the target area includes: performing an image segmentation on the ultrasound image and outputting a  binary mask of the target area; identifying a target tissue of the target area based on the binary mask, where the  target tissue includes aponeurosis and / or fascicle.

[0028] Optionally, where the performing an image segmentation on the ultrasound image and outputting a binary mask of the target area; identifying a target tissue of the target area based on the binary mask includes: performing a polynomial fitting on a contour of the aponeurosis to obtain a  fitting curve, and integrating the fitting curve to obtain the muscle thickness, when the muscle thickness is greater than a preset thickness threshold, the muscle state is the contraction state.

[0029] Optionally, where the performing an image segmentation on the ultrasound image and outputting a binary mask of the target area; identifying a target tissue of the target area based on the binary mask includes: performing an individual fascicle segmentation to each fascicle in the target area  through the image segmentation network, and outputting a binary mask of each fascicle; and / or, performing a pixel regression analysis on the ultrasound image through the  image segmentation network to obtain a full-region fascicle field.

[0030] Optionally, performing an individual fascicle segmentation to each fascicle in the target area through the image segmentation network, and outputting a binary mask of each fascicle includes: performing a straight line fitting on each fascicle obtained by the individual  fascicle segmentation to obtain a virtual fascicle line, and determining a fascicle angle of each fascicle based on the slope of the virtual fascicle line.

[0031] Optionally, the method for analyzing muscle activity further includes: determining an aponeurosis angle of the aponeurosis according to a slope of the  tangent line at an intersection between the virtual fascicle line and the aponeurosis, obtaining a pennation angle of the individual fascicle based on a difference between the fascicle angle and the aponeurosis angle.

[0032] Optionally, the performing pixel regression analysis on the ultrasound image through the image segmentation network to obtain a full-region fascicle field includes: determining a fascicle orientation in the full-region fascicle field according to a  pixel value of the full-region fascicle field; and / or, determining a fascicle length according to a distance between a boundary of the  aponeurosis and a boundary of the fascicle, and when the fascicle length is less than a preset length threshold, the muscle state is the contraction state.

[0033] A third aspect of the embodiments of the present disclosure provides an electronic device, including a memory, a processor, and a computer program stored in the memory and executable by the processor, where the processor, upon executing the program, is used to implement the method according to any one of the preceding embodiments.

[0034] A fourth aspect of the embodiments of the present disclosure provides a storage medium storing an instruction thereon, where the instruction, upon being executed by a processor, is used for implementing the method as described in any of the preceding embodiments.

[0035] The muscle activity data acquisition equipment according to some embodiments of the present disclosure have at least the following beneficial effects: an highly integrated ultrasound probes and other sensors and accurate synchronization algorithm, and a variable post-processing methods and an interactive UI to quantify and visualize SMG features, which provide the advantages that, the wearable system can acquire accurate b-mode ultrasound and other signals, the post-processing algorithms clearly visualize SMG features, and an easy-to-use user interface that can display different signals and visualize SMG results.

[0036] It should be understood that the foregoing general description and the following detailed description are exemplary and explanatory only and are not restrictive of the embodiments of the present disclosure.BRIEF DESCRIPTION OF THE DRAWINGS

[0037] The accompanying drawings, which are incorporated in and constitute a part of this specification, illustrate embodiments consistent with the present disclosure and, together with the description, serve to explain the principles of the embodiments of the present disclosure.

[0038] FIG. 1 is a schematic structural diagram of a muscle activity data acquisition system according to an exemplary embodiment.

[0039] FIG. 2 is a schematic structural diagram of a muscle activity data acquisition system according to an exemplary embodiment.

[0040] FIG. 3 is a schematic structural diagram of a muscle activity data acquisition equipment with lid according to an exemplary embodiment.

[0041] FIG. 4 is a schematic structural diagram of a muscle activity data acquisition equipment without lid according to an exemplary embodiment.

[0042] FIG. 5 is a schematic structural diagram of a first shell according to an exemplary embodiment.

[0043] FIG. 6 is an exploded schematic structural diagram of a activity data acquisition equipment according to an exemplary embodiment.

[0044] FIG. 7 is a circuit schematic diagram of a force sensor according to an exemplary embodiment.

[0045] FIG. 8 is a circuit schematic diagram of a goniometer according to an exemplary embodiment.

[0046] FIG. 9 is a connection schematic structural diagram between a sensing assembly and a controller of the muscle activity data acquisition equipment according to an exemplary embodiment.

[0047] FIG. 10 is a schematic diagram of calibration of a goniometer by excel according to an exemplary embodiment.

[0048] FIG. 11 is a schematic diagram of calibration of a force sensor by excel according to an exemplary embodiment.

[0049] FIG. 12 is a user interface diagram showing schematic flow chart of muscle activity analysis according to an exemplary embodiment.

[0050] FIG. 13 is a user interface diagram for advanced setting of muscle activity analysis according to an exemplary embodiment.

[0051] FIG. 14 is a user interface diagram for advanced setting of muscle activity analysis according to an exemplary embodiment.

[0052] FIG. 15 is a user interface diagram for advanced setting of muscle activity analysis according to an exemplary embodiment.

[0053] FIG. 16 is a user interface diagram for advanced setting of muscle activity analysis according to an exemplary embodiment.

[0054] FIG. 17 is a user interface diagram for model training or fine-tuning of muscle activity analysis according to an exemplary embodiment.

[0055] FIG. 18 is a flow diagram of real-time data acquisition and processing of a muscle activity data acquisition system according to an exemplary embodiment.

[0056] FIG. 19 is a flow diagram of data loading and post-analysis of a muscle activity data acquisition system according to an exemplary embodiment.

[0057] FIG. 20 is a schematic diagram of data synchronization of a muscle activity data acquisition system according to an exemplary embodiment.

[0058] FIG. 21 is an example output format of a muscle activity data acquisition system according to an exemplary embodiment.

[0059] FIG. 22 is a diagram of SMG datasets prepared by a muscle activity data acquisition system according to an exemplary embodiment.

[0060] FIG. 23 is a diagram of tracking algorithm with a segmented first frame based on a method for analyzing muscle activity according to an exemplary embodiment.

[0061] FIG. 24 is a diagram of result of fascicle analysis algorithm referring individual fascicle based on a method for analyzing muscle activity according to an exemplary embodiment.

[0062] FIG. 25 is a diagram of result of fascicle analysis algorithm referring full-region fascicle field based on a method for analyzing muscle activity according to an exemplary embodiment.

[0063] FIG. 26 is an ultrasound image without post-processing based on a method for analyzing muscle activity according to an exemplary embodiment.

[0064] FIG. 27 is an ultrasound image only with prediction based on a method for analyzing muscle activity according to an exemplary embodiment.

[0065] FIG. 28 is an ultrasound image only with control line based on a method for analyzing muscle activity according to an exemplary embodiment.

[0066] FIG. 29 is an algorithm diagram of rendering aponeurosis and fascicle based on a method for analyzing muscle activity according to an exemplary embodiment.

[0067] FIG. 30 is a curve diagram of SMG features based on a method for analyzing muscle activity according to an exemplary embodiment.

[0068] FIG. 31 is an ultrasound image of individual fascicle based on a method for analyzing muscle activity according to an exemplary embodiment.

[0069] FIG. 32 is an ultrasound image of sparse fascicle based on a method for analyzing muscle activity according to an exemplary embodiment.

[0070] FIG. 33 is an ultrasound image of dense fascicle based on a method for analyzing muscle activity according to an exemplary embodiment.

[0071] FIG. 34 is an ultrasound image showing fascicle reconstruction based on a method for analyzing muscle activity according to an exemplary embodiment.

[0072] FIG. 35 is a SMG biofeedback diagram of normal state muscle based on a method for analyzing muscle activity according to an exemplary embodiment.

[0073] FIG. 36 is a SMG biofeedback diagram of contraction state muscle based on a method for analyzing muscle activity according to an exemplary embodiment.

[0074] FIG. 37 is a flow chart of a method for analyzing muscle activity according to an exemplary embodiment.

[0075] FIG. 38 is a block diagram of an electronic device according to an exemplary embodiment.DETAILED DESCRIPTION

[0076] Here, exemplary embodiments will be described in detail, examples of which are shown in the accompanying drawings. When the following description refers to the drawings, unless otherwise indicated, the same numbers in different drawings represent the same or similar elements. The implementations described in the following exemplary embodiments do not represent all implementations consistent with the embodiments of the present disclosure. Instead, they are only examples of apparatuses and methods consistent with some aspects of the embodiments of the present disclosure.

[0077] The terms used in the embodiments of the present disclosure are only for the purpose of describing specific embodiments, and are not intended to limit the embodiments of the present disclosure. The singular forms of "a" , "said" , and "the" used in the present disclosure are also intended to include plural forms, unless the context clearly indicates other meanings. It should also be understood that the term "and / or" used in this article refers to and includes any or all possible combinations of one or more associated items as listed.

[0078] It should be understood that although the terms first, second, third, and the like may be used to describe various information in the disclosed embodiments, these information should not be limited to these terms. These terms are only used to distinguish the same type of information from each other. For example, without departing from the scope of the disclosed embodiments, the first information may also be referred to as the second information, and similarly, the second information may also be referred to as the first information. Depending on the context, the word "if" as used herein may be interpreted as "at the time of" or "when" or "in response to determining" .

[0079] Referring to FIG. 3 to FIG. 6, which shows a schematic diagram of the structure of a muscle activity data acquisition equipment according to an embodiment of the present disclosure. The muscle activity data acquisition equipment includes a sensing assembly 100 including an ultrasound probe 110 and a controller 200 electrically connected to the ultrasound probe 110, and configured to control the ultrasound probe 110 to emit ultrasound to a target part of a user when the ultrasound probe 110 contacts the target part of the user, so as to obtain muscle activity data of the target part, where the muscle activity data includes sonomyography (SMG) data and at least one of electromyograph (EMG) data, acceleromyograph (AMG) data, joint bending angle data and pressure data, the pressure data includes at least one of plantar pressure, residual limb-socket interface pressure, body-brace pressure, and body-exoskeleton pressure. For example, the controller 200 is a microprocessor (Arduino nano) . It can be noted that there are all potential body contact interfaces, where pressure is an important parameter to measure, particularly during motion. Plantar pressure means the interface pressure between foot plantar and insole or shoes, residual limb-socket pressure means the interface between amputee subject’s residual limb and his prosthetic socket, body-brace pressure means the interface pressure between any body part with a brace covering it, such as brace for the truck for scoliosis treatment, or a brace used after the bone fracture to fix the bone, or a brace used to release pain or for other orthotic purposes.

[0080] As shown in FIG. 1 to FIG. 2, sonomyography can be integrated with different sensors including inertial measurement unit (IMU) , force sensor, electromyograph 113 (EMG) , goniometer and the like for providing more information needed for better muscle assessment. For instance, the controller 200 may be a microprocessor. The microprocessor can be utilized to process all information gathered from sensors and ultrasound devices and send it to the computer for more analysis. The microprocessor can be either integrated with the ultrasound probe 110 (FIG. 1) or can be separated (FIG. 2) .

[0081] In an embodiment of the present disclosure, the muscle activity data acquisition equipment further includes a first case 300 and a printed circuit board 400, where the printed circuit board 400 is provided in the first case 300, and the controller 200 is connected to the printed circuit board 400.

[0082] In an embodiment of the present disclosure, the sensing assembly 100 further includes an inertial measurement unit 130 (IMU) , the inertial measurement unit 130 (IMU) is provided in the first case 300 and electrically connected to the controller 200, and the inertial measurement unit 130 (IMU) responds to the muscle vibration signal of the target part to obtain the acceleromyograph (AMG) data.

[0083] To measure the vibration of the muscle during contraction, an IMU 130 is utilized. To connect the IMU 130, 5V from Arduino is connected to VCC of the IMU 130 and GND of Arduino is connected to GND of the IMU 130 to provide the power. In order to read the value of the IMU 130, the pad SCL and the pad SDA of the IMU 130 was connected to A5 and A4 inputs of the Arduino respectively. Arduino Library (MPU6050_light) is utilized to measure the IMU values.

[0084] As shown in FIG. 5, a first socket 310 is provided in the first case 300, the first socket 310 is electrically connected to the controller 200, and the first socket 310 is used to install the inertial measurement unit (IMU) . The IMU includes an IMU case 132 and an IMU module 131, the IMU module 131 is provided in the IMU case 132, as well as the IMU case 132 is connected to the first case 300 using a socket provided in the first case 300. Moreover, an IMU case lid 133 is provided on the IMU case 132 to protect the IMU module 131.

[0085] Optionally, where a number of the first socket 310 is two, and the two first socket 310s are provided on opposite sides of the first case 300 along a length direction of the first case 300.

[0086] Optionally, where the sensing assembly 100 further includes a goniometer, the goniometer is connected to the first case 300 and is electrically connected to the controller 200, and the goniometer responds to a rotation signal of the target part to obtain the joint bending angle data.

[0087] Optionally, a second socket 320 is provided in the first case 300, the second socket 320 is electrically connected to the controller 200, and the second socket 320 is used to install the goniometer.

[0088] Optionally, a number of the second socket 320 is two, and the two second sockets 320 are provided on opposite sides of the first case 300 along a length direction of the first case 300.

[0089] Optionally, where the sensing assembly 100 further includes a force sensor, the force sensor is provided in the first case 300 and is electrically connected to the controller 200, and the force sensor responds to a pressure signal of the target part to obtain the pressure data.

[0090] It can be understood that the force sensor may be calibrated. Specifically, as shown in FIG. 11, the force sensor is applied force by a machine (e.g., Instron Machine) , and measured by Arduino to obtain an output voltage, same as the goniometer. The polynomial trendline option with the order of 2 is used to convert the voltage measured by the force sensor into actual force (in unit of N) .

[0091] Exemplarily, as shown in FIG. 9 and FIG. 10, the first end (positive) of the force sensor is connected to the 5V power port of the Arduino and the second end of the force sensor connected to the PCB (the GND pin of each sensor is connected to the GND of the Arduino through a resistor) , so as to measure force. The force sensor is connected to the analogue input of Arduino (FS1 connected to A0, FS2 connected to A1, and FS3 connected to A2) through a wire, so as to measure the output voltage of the force sensor. The analog-to-digital converter inside the Arduino converts the measured voltage into a numerical value, with a range of 0 to 1023. (0V = 0 in Arduino, and 5V = 1023 in Arduino) . In order to calibrate the sensor, the force sensor is applied force by a force generator thereby measuring the force value read by Arduino. After putting the force value in Excel, the voltage measured by Arduino can be converted to the actual force through a line equation. In the FIG. 10, R2 is coefficient of determination, represents the proportion of variance in the dependent variable that is explained by the independent variable (s) in the model. It essentially indicates how well the regression model fits the observed data. R2 values range from 0 to 1 (or 0%to 100%) , with higher values indicating a better fit.

[0092] Optionally, a third socket 330 is connected to the first case 300, the third socket 330 is electrically connected to the controller 200, and the third socket 330 is used to install the force sensor.

[0093] Optionally, a number of the third socket 330 is two, the two third sockets 330 are provided on opposite sides of the first case 300 along a length direction of the first case 300.

[0094] It can be understood that the first case 300 may include six sockets. Two sockets are used for connecting two force sensors, two sockets are used for connecting two goniometer and the rest two are used for connecting two IMU sensors 130. Two sockets for each type of sensor are provided to make the first case 300 have a symmetrical function, so that the muscle activity data acquisition equipment can be used for both the left and right side of the body.

[0095] Optionally, where a first voltage booster 340 is provided in the first case 300, and the first voltage booster 340 is electrically connected between the ultrasound probe 110 and the controller 200. The first voltage booster 340 is used to boost the voltage of the battery 510 (from 2.5 to 12 v) , to provide power for the controller 200 Arduino.

[0096] Optionally, a signal modulation circuit is provided on the printed circuit board 400, the signal modulation circuit is electrically connected between the sensor assembly and the controller 200, and the signal modulation circuit is used to amplify a data signal from the sensor assembly. It can be noted that the signal modulation circuit also is named as IC for sensor. As shown in FIG. 7, in the signal modulation circuit, R1 = 10KΩ, R2 = 500Ω, R3 = 1MΩ, and R4 = 100KΩ. Each force sensor has two pins (one for voltage input and other for GND) . The Vin+ of three sensors are connected to each other and connected to 5v power port of Arduino. A resistor (R1 = 10KΩ) is connected between the GND pin of each sensor and the GND of the Arduino. To measure the voltage of the sensor, a wire before the resistor is connected to the analogue input of Arduino.

[0097] In the muscle activity data acquisition equipment of the present disclosure, sensors are resistance-based. Exemplarily, the controller 200 Arduino inputs input voltages to the sensors and measures the output voltages of the sensors based on the resistance changes. The output voltages of the sensors are small and to be amplified before measurement using the controller 200 Arduino. Simple resistors are used to measure the output signals of sensors.

[0098] Optionally, the ultrasound probe 110 includes a second case 111 and a transducer head 112, the sensing assembly 100 further includes an electromyograph 113 (EMG) sensor, the transducer head 112 and the electromyograph 113 (EMG) sensor are provided in the second case 111 and electrically connected to the controller 200, and the electromyograph 113 (EMG) sensor responds to an electromyograph 113 voltage signal of the target part to obtain the electromyograph (EMG) data. The second case 111 include a second case lid 1111, using for protecting the transducer head 112 and the EMG.

[0099] It can be noted that the EMG is used to measure the muscle activities. The positive (+) pad and negative (–) pad of the EMG are connected to the 5V power port and GND of the Arduino respectively, and the output signal port of the EMG is connected to A6 analogue input of the Arduino.

[0100] Optionally, the controller 200 is electrically connected to the ultrasound probe 110 via a flexible cable 210. Moreover, an ultrasound processor 350 is also provided in the first case 300, and the ultrasound processor 350 is electrically connected to the controller 200, and the ultrasound processor 350 is electrically connected to the ultrasonic probe through the flexible cable 210. For example, the flexible cable 210 is a 90° flexible cable.

[0101] Optionally, the muscle activity data acquisition equipment further includes a blue-tooth module 410, the blue-tooth module 410 is provided on the printed circuit board 400 and is electrically connected to the controller 200, so as to transmit the muscle activity data to a terminal.

[0102] It can be noted that a blue-tooth module 410 is used to transfer data from Arduino to terminal such as computer or laptop. For example, 5V power port and GND of Arduino are connected to VCC and GND of blue-tooth module 410 respectively and RTX of the blue-tooth module 410 connected to the TX of Arduino, so as to transfer muscle activity data from Arduino to computer / laptop.

[0103] Optionally, the muscle activity data acquisition equipment further includes a third case 500 and a battery 510, the battery 510 is fixed in the third case 500, and the battery 510 is electrically connected to the controller 200. Exemplarily, the battery 510 is a battery 510 with 3.7 V and 2200 mA / h. The third case 500 includes a detachably connected case-bottom 600 and a case-lid 700. Moreover, the first case 300 is provided with a button 360. The button 360 control the connection with the battery 510. The button 360 is used to electrically control the circuit connection between the battery 510 and the controller 200. As shown in FIG. 9, it can be noted that two wires (one from +2.5v and one from GND) are connected to the voltage booster (Vin+, and Vin-) to use the battery 510 of the ultrasound probe 110 for providing power for Arduino. A wire is connected from Vout+ to the voltage input pin of Arduino and a wire is connected from Vout-to the GND of Arduino.

[0104] Optionally, the sensing assembly 100 further includes a goniometer, the goniometer responds to a rotation signal of the target part to obtain the joint bending angle data; a second voltage booster 520 is provided in the third case 500, and the second voltage booster 520 is electrically connected between the battery 510 and the goniometer. The second voltage booster 520 is mounted to boost the voltage of the battery 510 to provide enough power for the goniometer.

[0105] It can be noted that the goniometer operates by using sensors-commonly potentiometers, accelerometers, or gyroscopes-integrated into its arms to detect angular displacement. When one arm of the goniometer moves relative to the other, the sensor detects this motion and converts it into an electrical signal proportional to the angle of rotation. This signal is then processed by a microcontroller or external device, displaying the exact angle digitally. The goniometer is used to measure the joint bending angle. The goniometer is provided power by 10V (short and long wires at leftmost of FIG. 9 represent “+ and –” respectively) . A circuit is used to amplify the voltage measured by Arduino so that the output voltage can be measured. To amplify the voltage, the output ports of the goniometer are connected to the designed PCB through positive wire (+) and negative wire (-) . The goniometer is connected to the A3 analogue input of Arduino through a LM741 op-amp so as to amplify the signal. Same as the force sensor, the voltage is measured by Arduino firstly. The measured voltage may be calibrated to measure the actual joint bending angle.

[0106] Moreover, in order to calibrate the goniometer, the voltage in different angles (-180°, 0° and 180°) can be measured by Arduino. A line equation can be calculated through putting the value of the voltage in excel. The goniometer can be calibrated by using the line equation, and actual value can be measured based on the output voltage of the goniometer.

[0107] Some embodiments of the present disclosure provide a muscle activity analysis system, including a terminal and the muscle activity data acquisition equipment as described above, where the terminal is signal-connected to the data acquisition equipment. For example, the terminal is a computer, the system is designed to communicate and send data to computer wirelessly. Sonomyography (SMG) data is sent to the computer via Wi-Fi; other data collected from sensors is sent to the computer via a blue-tooth module 410 (e.g., HC-06 Blue-tooth module 410) . Computer can pair the muscle activity data acquisition equipment through connecting the blue-tooth module 410, after the muscle activity data acquisition system is powered on and started.

[0108] Exemplarily, the muscle activity data acquisition equipment is a wearable integrated acquisition equipment, a system consists of the wearable integrated acquisition equipment and a terminal (desktop, laptop, tablet, or mobile phone) with analysis software. The muscle activity data acquisition equipment can be installed in different part of the musculoskeletal tissues to collect the sonomyograph (SMG) , electromyograph 113 (EMG) , acceleromyograph (AMG) , joint bending angle, plantar pressure, and other signals. The collected data is synchronously transmitted to the terminal for real-time processing or post-analysis. The system can be used for muscle activity analysis, biofeedback training and therapy, and control.

[0109] Exemplarily, user interface and basic workflow for processing and analysis the muscle activity data of the muscle activity data acquisition system are described as follows.

[0110] As shown in FIG. 12 to FIG. 17, a set of methods are proposed to integrate, adjust, visualize, and analyze the collected data. For a better user experience, these functions and their settings are combined into one software. The main user interface of the software includes a toolbar, slider, ultrasound image window, signal window, and status bar. The ultrasound image window and signal window are primarily used to visualize the collected data and results and to enable user interaction. Drag the slider to check the previous results in real-time processing and preview the results of different frames in post-analysis. The status bar displays information about the ultrasound image and can be used to control the signals that need to be displayed. The toolbar shows the functions and settings of all methods in basic working order, including “Load video, ” “Load images, ” “Stream, ” “Stream, ” “Serial, ” “Set depth, ” “Calibrate distance, ” “ROI setting, ” “Tracking ROI setting, ” “Advanced settings, ” “Start / Stop capture, ” “Training panel, ” “Undo, ” “Forward one frame, ” “Start / Pause, ” “Draw control line, ” “Reset, ” and “Export. ” The sub-user interface of “Advanced Settings” allows the user to make more detailed settings at the level of the customized user interface, I / O connection, model prediction, post-processing, and probe. In the post-analysis, the sub-interface of the “Training panel” can quickly train the deep learning model of analysis methods and preview the results before and after training to enhance the processing ability and accuracy of the method for a specific data type, e.g., data collected from wearable equipment of different body parts.

[0111] It should be noted that the I / O connection is the following: entering the address or device type in “Advanced settings, ” input and output devices or virtual devices are connected. In the muscle activity data acquisition equipment, blue-tooth and Wi-Fi connectivity are used to receive sensor signals and B-mode ultrasound images, respectively. In addition, other wired or wireless standard probes and sensors are also compatible with the muscle activity data acquisition system.

[0112] As shown in FIG. 18, in the workflow of real-time data acquisition and processing flow, external input or output devices are connected through blue-tooth, wi-fi, or other wired / wireless communication. Before real-time calculation of SMG features, it is to set parameters of the model and post-processing algorithm, set regions of interest (ROIs) , and calibrate distance; otherwise, default parameters will be used for calculation, and pixels will be used as display units. The visual results are illustrated on ultrasound images in a user-defined manner. The calculated SMG features are synchronized with other signals and displayed on a signal window in real time. Simultaneously, these multi-channel signals, along with SMG features, can be combined into a matrix as a control input to other devices or virtual devices. After the start and end of recording, the ultrasound video, and files of SMG features and other signals are automatically saved for post-analysis.

[0113] As shown in FIG. 19, in the post-analysis workflow, the previously captured image or video is loaded, and the algorithm will automatically match and synchronize the saved signal file. If necessary, the SMG features can be reconfigured and calculated, as is the case in real-time processing. If more accurate results are needed for analysis and study, users can fine-tune the model using new data or interactively fine-tune the results via control lines, which are described in detail in the following description of FIG. 26.

[0114] As shown in FIG. 20 and FIG. 21, the muscle activity data acquisition system can perform data receiving and synchronization. Specifically, multithreading receives the image matrix from the ultrasound probe 110 and the multi-channel one-dimensional matrix from the sensor in parallel. Acquired signals and images are sampled and synchronized according to a user-defined sampling frequency f. Based on the system time, the nearest sample is found in sample points before and after the time point at every interval time t = 1 / f. Sampled images and signal points are associated and updated synchronously in the interface and stored in real-time in videos and files. Due to different hardware and communications, the delay of receiving time is varied for different signals. Therefore, before the system is put into use, the receiving time stamp is calibrated. The data of repeated muscle contractions are collected and aligned using the Dynamic Time Wrapping algorithm, and the average shift Si is calculated as the time offset Δt.

[0115] In this way, ultrasound images, SMG features, and sensor signals all have the same corresponding system time stamp, and all information with the same timestamp can be reviewed when dragging the slider. In the output file, SMG features and sensor signals are also synchronized along with the system timestamp, which facilitates post-analysis.

[0116] The muscle activity data acquisition system of the present disclosure can perform comprehensive muscle activity analysis by analyzing relationships among multiple signals, SMG features, and ultrasound images of muscles, which can be applied in research, rehabilitation, sports science, and other fields. Since the software reserves a communication interface with external devices, the calculated SMG features can be output as a control signal to control other external terminals or virtual terminals, which can be applied in mechanical control, human-computer interaction systems, animation production, and other scenarios. In addition, real-time processing and visualization algorithms provide multiple forms of visual biofeedback, which, for example, can help stroke patients develop an awareness of maladaptive physiological responses and establish voluntary control (i.e., automation of voluntary acts) . Not only can the quantified signals displayed in the user interface in real-time be used as direct biofeedback, but the target line and muscle position can also be displayed in different colors on the ultrasound image so as to realize rehabilitation training with low learning costs. For instance, as shown in the FIG. 35 and FIG. 36, two targets of muscle thickness (i.e., high and low) will be displayed as broken lines to encourage users to correct muscle reactions. The region between aponeuroses and full-region fascicles are marked with different colors (not shown in the drawings) to indicate whether the current state exceeds a target.

[0117] As shown in FIG. 37, some embodiments of the present disclosure provide a method for analyzing muscle activity, applied to the muscle activity data acquisition equipment according to the first aspect abovementioned or the muscle activity data acquisition system according to the second aspect abovementioned, including: S100, acquiring the ultrasound image of the target part; S200, obtaining an ultrasound image of the target part according to the SMG data; S300,  performing an image segmentation, a tracking and a regression on the ultrasound image to identify a target area; S400, obtaining a muscle state according to the target area and the SMG data, where the muscle state includes a relax state or a contraction state.

[0118] It can be noted that SMG data mainly involves sequential image collected from ultrasound probe 110. Ultrasound images for SMG analysis were captured from different population during different tasks and activities. The multiple tasks were designed to observe distinct muscle mechanical change patterns. As shown in FIG. 22, the main target areas of SMG analysis include but are not limited to surface skeletal muscle (e.g., gastrocnemius, tibialis anterior, and adductor pollicis) , diaphragm, and myocardium. The SMG data preparation may include artificial processing. Specifically, the images were annotated by the experienced sonographer to obtain annotation of muscle morphology, such as aponeurosis and muscle border. Multiple SMG data consists of a SMG dataset. The real dataset of the SMG is divided into the training set and test set with a ratio of 9: 1.

[0119] Optionally, the ultrasound image includes multi-frame images, and the performing image segmentation, tracking and regression on the ultrasound image to identify a target area includes: performing an image segmentation on the ultrasound image and outputting the target area; tracking the target area through a semi-supervised video object segmentation (SVOS) , or obtaining a confidence score of the target area in first N frames of the multi-frame images through an image segmentation network, and when the confidence score is greater than or equal to a target threshold, using a result obtained by the image segmentation network as a tracking mask to track the target area in the ultrasound image; performing a regression analysis on the target area to obtain the SMG data.

[0120] Exemplarily, in the image segmentation, a lightweight Unet-like, i.e. an encoder and decoder fully convolutional network, is used to enable real-time high-speed inference. For different target areas, different models are used for targeted segmentation or text or pointer prompts to identify the target area. The model only refers the information of the current frame and outputs the binary mask of the target region of the current frame.

[0121] Moreover, in the tracking, semi-supervised video object segmentation (SVOS) methods, such as STM, STCN, and Xmem, can memorize the previous information and use flow propagation or matching-based mechanisms to segment the current frame based on prior information and tracking ROI. This mode requires the user to draw the polygon annotation of the target area, which is semi-automatic and is more suitable when the performance of single-frame segmentation is poor. To achieve fully automatic processing, it is necessary to segment the first frame for the SVOS algorithm automatically. In the tracking algorithm with a segmented first frame, a pre-trained U-net is used to segment and provide the confidence score C of the current segment of the current segmentation, which represents the probability that the result is the targeted area. Once the confidence score hits the target for N frames, the tracking will begin using segmentation result as tracking ROI mask.

[0122] Optionally, where the performing an image segmentation, a tracking and a regression on the ultrasound image to identify a target area; obtaining the SMG data according to the ultrasound image and a morphology of the target area includes: outputting the SMG data through a convolutional neural network (CNN) regression model, where the SMG data includes a fascicle angle and / or a muscle thickness.

[0123] As shown in FIG. 23, tracking algorithm with a segmented first frame is described. It should be noted that the regression of SMG features directly perform quantitative analysis of muscles based on images, which is straightforward and promising in real-time muscle analysis. In the regression task, the SMG features (e.g., fascicle length, muscle thickness) can be obtained by inputting ultrasound image to a deep-learning-based regressor. Time-consuming manual labeling and semi-automatic methods that are not completely accurate make it challenging to obtain reliable and large-scale true values of SMG features for model training. CNN is trained for different SMG features regression on synthetic SMG datasets. The CNN contains seven 3×3 convolution layers (c) , seven 2×2 max pooling layers (p) , and two dense layers (d) sequentially as follows: c16, p, c36, p, c64, p, c121, p, c169, p, c225, p, c289, p, d1024, and d1. The suffixes above indicate the number of filters or neurons. The model is trained with root-mean-square error (RMSE) loss.

[0124] Optionally, performing image segmentation on the ultrasound image and outputting the target area includes: performing an image segmentation on the ultrasound image and outputting a binary mask of the target area; identifying a target tissue of the target area based on the binary mask, where the target tissue includes aponeurosis and / or fascicle.

[0125] It can be understood that when the muscle moves, its shape, size, and position change. However, these changes are not common image transforms, such as affine, projective, rotation, and scale. Therefore, appropriate methods are used to illustrate their morphology and measure quantitative changes. As shown in FIG. 26, without post-processing, segmented fascicle and aponeurosis are overlaid directly on the ultrasound image with different colors. Fascicle contours that do not reach a certain threshold length are removed.

[0126] Optionally, performing an image segmentation on the ultrasound image and outputting a binary mask of the target area; identifying a target tissue of the target area based on the binary mask includes: performing a polynomial fitting on a contour of the aponeurosis to obtain a fitting curve, and integrating the fitting curve to obtain the muscle thickness, when the muscle thickness is greater than a preset thickness threshold, the muscle state is the contraction state.

[0127] In this way, the method for analyzing muscle activity is in the post-processing, the algorithm of the method for analyzing muscle activity start rendering and perform SMG features calculation. For aponeurosis, the superficial and deep aponeurosis contours are polynomial fitted. The order of polynomial fitting is defined by users. The fitted curve is rendered on the original ultrasound image, and the detailed algorithm can refer to the “ApoRender” functions in the pseudo-code (FIG. 29) . Muscle thickness can be obtained by integrating the difference between the horizontal coordinates of the two curves corresponding to two boundaries of the aponeurosis, as shown in FIG. 27, some features including fascicle length, pennation angle and the like are displayed.

[0128] Optionally, performing an image segmentation on the ultrasound image and outputting a binary mask of the target area; identifying a target tissue of the target area based on the binary mask includes: performing an individual fascicle segmentation to each fascicle in the target area through the image segmentation network, and outputting a binary mask of each fascicle; and / or, performing a pixel regression analysis on the ultrasound image through the image segmentation network to obtain a full-region fascicle field.

[0129] Moreover, when using the full-region fascicle orientation, an algorithm to reconstruct the complete fascicle structure for illustration and feature extraction is developed. As shown in FIG. 29, the algorithm can be found in “FascReconstruct” function in pseudocode. As shown in FIG. 34, when the fascicle's main orientation is bottom-left to top-right, the initial condition sets the base point Pb to the bottom-right position of the muscle. Then, move Pb upwards in the vertical direction to the fascicle orientation of the current position F (Pb) , with a displacement of If defined by the user. Move the cursor point (pc) along the field’s orientation in both directions with Pb as the starting point and record the displacement distance until Pb reaches the image or aponeurosis boundary. Move the Pb to the midpoint of the pc path and repeat the process until the Pb is beyond the region between two aponeuroses. Rendering the paths of pc can reconstruct the full-region fascicle. Users can reconstruct fascicle with different degrees of sparsity by adjusting the fascicle interval If of the algorithm in the settings. Moreover, as shown in FIG. 32 and FIG. 33, sparse fascicle and dense fascicle can be constructed by adjusting the fascicle interval.

[0130] Optionally, as shown in FIG. 31, the performing individual fascicle segmentation in the target area through the image segmentation network, and outputting a binary mask of an individual fascicle includes: performing a straight line fitting on each fascicle obtained by the individual fascicle segmentation to obtain a virtual fascicle line, and determining a fascicle angle of each fascicle based on the slope of the virtual fascicle line.

[0131] In this way, for fascicles, there are post-processing and rendering methods for the different analysis algorithms of fascicles. The segmented contours of individual fascicles are fitted with a straight line and extrapolate to both ends to generate a virtual fascicle, which is displayed directly with the color line on the ultrasound image (see “Individual fascicle” , as shown in FIG. 24) . Calculating the inverse tangent function for the slope of the virtual fascicle can get the fascicle angle.

[0132] Optionally, the method for analyzing muscle activity further includes: determining an aponeurosis angle of the aponeurosis according to a slope of the tangent line at an intersection between the virtual fascicle line and the aponeurosis, obtaining a pennation angle of the individual fascicle based on a difference between the fascicle angle and the aponeurosis angle.

[0133] Optionally, as shown in FIG. 35 to FIG. 36, the performing pixel regression analysis on the ultrasound image through the image segmentation network to obtain a full-region fascicle field includes: determining a fascicle orientation in the full-region fascicle field according to a pixel value of the full-region fascicle field; and / or, determining a fascicle length according to a distance between a boundary of the aponeurosis and a boundary of the fascicle, and when the fascicle length is less than a preset length threshold, the muscle state is the contraction state.

[0134] It should be noted that when calculating the length and angle of the fascicle, the upper and lower aponeurosis extrapolate twice the original length in both directions to ensure the virtual fascicle intersects the upper and lower boundaries. We select a fascicle with the longest contour or median angle for reference. The fascicle length is calculated from the Euclidean distance between the upper and lower intersections. The aponeurosis angle can be calculated from the slope of the tangent line at the lower intersection, obtaining the pennation angle calculated from the difference between the reference fascicle and the aponeurosis angle. Interactable control segmented lines are shown on the ultrasound images according to the post-processing results (FIG. 28) . As shown in FIG. 30, in the post-analysis phase, the structure that is not positioned correctly can be adjusted by dragging the handle of the control line. All calculated SMG features can be displayed and synchronized frame-by-frame in real time. During the adjustment process, SMG features shown are simultaneously recalculated and updated.

[0135] As shown in FIG. 24 and FIG. 25, for fascicle analysis in longitude view, two algorithms are used to detect or describe the morphology of the fascicle, namely individual fascicle segmentation and full-region fascicle field estimation. In the former mode, the lightweight Unet-like network described earlier is used to segment visible and apparent fascicles in ultrasound images, and the binary mask of the fascicle is obtained. Assuming that the fascicle is a tightly arranged structure with a similar orientation, the lightweight Unet-like network can perform pixel regression to get a full-region fascicle field F, where each pixel value represents the local fascicle angle, i.e., orientation of the fascicle at that location.

[0136] The main target areas of SMG analysis include but are not limited to surface skeletal muscle, diaphragm, and myocardium. SMG is often used to describe the morphological changes or displacements of muscles quantitatively and qualitatively during contraction and relaxation. Therefore, the algorithm can identify the muscle region and the SMG data can be detected to achieve the post-calculation of the displacement and cross-sectional area of the targeted regions and their changes. With the longitude placement of the probe, in addition to aponeurosis as the target area, the angle or orientation of isotropic parallel fascicle during muscle movement, as well as the length, can be quantified and analyzed. With the deep learning model, four strategies are used to detect target regions in ultrasound images and describe their morphological characteristics, namely segmentation, tracking, tracking with a segmented first frame, and regression. It can be noted that the SMG data includes the morphological characteristic of muscle in the embodiments of the present disclosure.

[0137] It can be understood that the proposed method including SMG data preparation, image segmentation and tracking, post-processing methods. Segmentation and tracking algorithms utilize different strategies to achieve full-automatic or semi-automatic muscle morphology analysis, involving aponeurosis, fascicle, muscle cross-section and the like. The algorithm is trained and tested on the augmented SMG dataset to enhance its generalization performance. Post-processing methods provide user-friendly visualization and reliable quantification of muscle morphology. The algorithm can be used for muscle activity analysis and monitoring, biofeedback training and therapy, system control and other applications related to human movement.

[0138] It should be noted that the method for analyzing muscle activity as described above can perform comprehensive muscle activity analysis by studying muscle visual rendering and quantitative SMG features, which can be applied in research, rehabilitation, sports science, and other fields. The calculated SMG features can be output as a control signal to control other external terminals or virtual terminals, which can be applied in mechanical control, human-computer interaction systems, animation production, and other scenarios. In addition, real-time processing and visualization algorithms provide multiple forms of visual biofeedback, which, for example, can help stroke patients develop an awareness of maladaptive physiological responses and establish voluntary control (i.e., automation of voluntary acts) . Not only can the quantified signals displayed in the user interface in real-time be used as direct biofeedback, but the target line and muscle position can also be displayed in different colors on the ultrasound image so as to realize rehabilitation training with low learning costs. For instance, as shown in the FIG. 35 and FIG. 36, two targets of muscle thickness (i.e., high and low) are displayed as broken lines to encourage users to correct muscle reactions. The region between aponeuroses and full-region fascicles are marked with different colors to indicate whether the current state exceeds a target.

[0139] Advantageously, the abovementioned muscle activity data acquisition equipment and the system, as well as the method for analyzing muscle activity and the storage medium enable the following potential applications: novel research platform for kinetic analysis; novel system that can provide muscle activities and other signals for providing  useful information needed in rehabilitation, physiotherapies, sports science and the like; novel system for monitoring muscle activities and other signals during  bodybuilding training, increasing the efficiency of training outputs; novel system to implement direct or visual biofeedback to enhance training or  rehabilitation; novel HMI system to control robots (prostheses, exoskeletons, surgical robots  and the like) ; novel HMI system to control electronic devices (smart phones, keyboard, mouse  and the like) ; novel system in gaming industry to control the character of the game.

[0140] Advantageously, the abovementioned muscle activity data acquisition equipment and the system, as well as the method for analyzing muscle activity and the storage medium may be widely used by: research institutes, rehabilitation centers, clinics, sport centers, sports equipment company, robotic companies, companies in gaming industry, companies in developing devices for communications.

[0141] Although not required, the embodiments described with reference to the drawings can be implemented as an application programming interface (API) or as a series of libraries for use by a developer or can be included within another software application, such as a terminal or personal computer operating system or a portable computing device operating system. Generally, as program modules include routines, programs, objects, components, and data files assisting in the performance of specific functions, the skilled person will understand that the functionality of the software application may be distributed across a number of routines, objects, or components to achieve the same functionality desired herein.

[0142] It will also be appreciated that where the methods and systems of the present disclosure are either wholly implemented by computing systems or partly implemented by computing systems then any appropriate computing system architecture may be utilized. This will include stand-alone computers, network computers and dedicated hardware devices. Where the terms “computing system” and “computing device” are used, these terms are intended to cover any appropriate arrangement of computer hardware capable of implementing the function described.

[0143] In an optional embodiment, embodiments of the present disclosure further provide an electronic device, as shown in FIG. 38, the electronic device 800 shown in FIG. 38 may be a server, including: a processor 801 and a memory 803. The processor 801 and the memory 803 are connected, such as through a bus 802. Optionally, the electronic device 800 may further include a transceiver 804. It should be noted that in actual applications, the transceiver 804 is not limited to one, and the structure of the electronic device 800 does not constitute a limitation on the embodiments of the present disclosure.

[0144] Processor 801 may be a CPU (Central Processing Unit) , a general-purpose processor, a DSP (Digital Signal Processor) , an ASIC (Application Specific Integrated Circuit) , an FPGA (Field Programmable Gate Array) or other programmable logic devices, transistor logic devices, hardware components or any combination thereof. It can implement or execute various exemplary logic blocks, modules and circuits described in conjunction with the present disclosure. Processor 801 may also be a combination that implements computing functions, such as a combination of one or more microprocessors, DSPs, microprocessors, or the like.

[0145] Bus 802 may include a path to transmit information between the above components. Bus 802 may be PCI (Peripheral Component Interconnect) bus, EISA (Extended Industry Standard Architecture) bus, or the like. Bus 802 may be divided into address bus, data bus, control bus, and the like. For ease of representation, only one thick line is used in FIG. 38, but it does not mean that there is only one bus or one type of bus.

[0146] Memory 803 may be ROM (Read Only Memory) or other types of static storage devices that can store static information and instructions, RAM (Random Access Memory) or other types of dynamic storage devices that can store information and instructions, EEPROM (Electrically Erasable Programmable Read Only Memory) , CD-ROM (Compact Disc Read Only Memory) or other optical disk storage, optical disk storage (including compressed optical disk, laser disk, optical disk, digital versatile disk, Blu-ray disk, and the like) , magnetic disk storage medium or other magnetic storage device, or any other medium that can be used to carry or store the desired program code in the form of instructions or data structures and can be accessed by a computer, but is not limited thereto.

[0147] Memory 803 is configured to store application code for executing the solution of the present disclosure, and the execution is controlled by the processor 801. The processor 801 is configured to execute the application code stored in the memory 803 to implement the content shown in the above method embodiments.

[0148] The electronic device includes, but is not limited to, mobile phones, laptop computers, digital broadcast receivers, PDAs (personal digital assistants) , PADs (tablet computers) , PMPs (portable multimedia players) , vehicle-mounted terminals (such as vehicle-mounted navigation terminals) , or the like, and fixed terminals such as digital TVs, desktop computers, or the like. The electronic device shown in FIG. 38 is only an example and should not bring any limitation to the functions and usage scope of the embodiments of the present disclosure.

[0149] The server provided by the present disclosure may be an independent physical server, or a server cluster or distributed system composed of multiple physical servers, or a cloud server that provides basic cloud computing services such as cloud services, cloud databases, cloud computing, cloud functions, cloud storage, network services, cloud communications, middleware services, domain name services, security services, CDN, and big data and artificial intelligence platforms. The terminal may be a smart phone, tablet computer, laptop computer, desktop computer, smart speaker, smart watch, or the like, but is not limited thereto. The terminal and the server may be directly or indirectly connected via wired or wireless communication, which is not limited by the present disclosure.

[0150] The present disclosure provides a computer-readable storage medium. The computer program is essentially stored therein, and when it is run on a computer, the computer can execute the corresponding contents in the aforementioned method embodiments.

[0151] It should be understood that, although the steps in the flowchart of the accompanying drawings are displayed in sequence as indicated by the arrows, these steps are not necessarily executed in sequence in the order indicated by the arrows. Unless otherwise specified herein, there is no strict order restriction on the execution of these steps, and they can be executed in other orders. Moreover, at least a part of the steps in the flowchart of the accompanying drawings may include multiple sub-steps or multiple stages, and these sub-steps or stages are not necessarily executed at the same time, but can be executed at different times; and their execution order is not necessarily sequential, but can be executed in turn or alternately with other steps or at least a part of the sub-steps or stages of other steps.

[0152] It should be noted that the computer-readable medium disclosed above may be a computer-readable signal medium or a computer-readable storage medium or any combination of the above two. The computer-readable storage medium may be, for example, but not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus or device, or any combination of the above. More specific examples of computer-readable storage medium may include, but are not limited to: an electrical connection with one or more wires, a portable computer disk, a hard disk, a random access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or flash memory) , an optical fiber, a portable compact disk read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the above. In the present disclosure, a computer-readable storage medium may be any tangible medium containing or storing a program that may be used by or in combination with an instruction execution system, apparatus or device. In the present disclosure, a computer-readable signal medium may include a data signal propagated in a baseband or as part of a carrier wave, in which a computer-readable program code is carried. This propagated data signal may take a variety of forms, including but not limited to an electromagnetic signal, an optical signal, or any suitable combination of the above. The computer readable signal medium may also be any computer readable medium other than a computer readable storage medium, which may send, propagate or transmit a program for use by or in conjunction with an instruction execution system, apparatus or device. The program code contained on the computer readable medium may be transmitted using any suitable medium, including but not limited to: wires, optical cables, RF (radio frequency) , or the like, or any suitable combination of the above.

[0153] The computer readable medium may be included in the electronic device; or it may be present separately without being not incorporated into the electronic device.

[0154] The computer-readable medium carries one or more programs. When the one or more programs are executed by the electronic device, the electronic device executes the method shown in the above embodiments.

[0155] According to one aspect of the present disclosure, a computer program product or a computer program is provided, where the computer program product or the computer program includes computer instructions, and the computer instructions are stored in a computer-readable storage medium. A processor of a computer device reads the computer instructions from the computer-readable storage medium, and the processor executes the computer instructions, thereby causing the computer device to implement the methods according to the various optional implementations as mentioned above.

[0156] Computer program code for performing the operations of the present disclosure may be written in one or more programming languages, or a combination thereof, including object-oriented programming languages, such as Java, Smalltalk, C++, and conventional procedural programming languages, such as "C" or similar programming languages. The program code may be executed entirely on the user's computer; or partially on the user's computer; or as a separate software package; or partially on the user's computer and partially on a remote computer; or entirely on a remote computer or server. In cases involving a remote computer, the remote computer may be connected to the user's computer through any type of network, including a local area network (LAN) or a wide area network (WAN) , or may be connected to an external computer (e.g., through the Internet using an Internet service provider) .

[0157] The flow chart and block diagram in the accompanying drawings illustrate the possible architecture, function and operation of the system, method and computer program product according to various embodiments of the present disclosure. In this regard, each square box in the flow chart or block diagram can represent a module, a program segment or a partial code, and the module, the program segment or the partial code contains one or more executable instructions for realizing the specified logical function. It should also be noted that in some implementations as replacements, the functions marked in the square box may also occur in a sequence different from that marked in the accompanying drawings. For example, two square boxes represented in succession can actually be executed substantially in parallel, and they can sometimes be executed in the opposite order, depending on the functions involved. It should also be noted that each square box in the block diagram and / or flow chart, and the combination of the square boxes in the block diagram and / or flow chart can be implemented with a dedicated hardware-based system that performs a specified function or operation, or can be implemented with a combination of dedicated hardware and computer instructions.

[0158] The modules involved in the embodiments of the present disclosure can be implemented by software. It can be implemented by hardware. The name of a module does not limit the module itself in some cases. For example, module A can also be described as "module A configured to perform operation B" .

[0159] The above description includes only some preferred embodiments of the present disclosure and an explanation of the technical principles used. Those skilled in the art should understand that the scope of disclosure involved in the present disclosure is not limited to the technical solutions formed by a specific combination of the above technical features, but should also cover other technical solutions formed by any combination of the above technical features or their equivalent features without departing from the above disclosed concept. For example, the above features are replaced with the technical features with similar functions disclosed in the present disclosure (but not limited to) by each other.

[0160] In an optional embodiment, embodiments of the present disclosure further provide storage medium storing an instruction thereon, where the instruction, upon being executed by a processor, is used for implementing the method as described in any of the preceding embodiments.

[0161] Those skilled in the art will readily appreciate other embodiments of the present disclosure after considering the specification and practicing the application disclosed herein. This application is intended to cover any modifications, uses or adaptations of the present disclosure, which follow the general principles of the present disclosure and include common knowledge or customary technical means in the art that are not disclosed in the present disclosure.

[0162] It should be understood that the embodiments of the present disclosure are not limited to the precise structures described above and shown in the drawings, and various modifications and changes may be made without departing from the scope thereof. The scope of the embodiments of the present disclosure is limited only by the appended claims.

Claims

1.A muscle activity data acquisition equipment, comprising:a sensing assembly comprising an ultrasound probe; anda controller electrically connected to the ultrasound probe, and configured to control the ultrasound probe to emit ultrasound to a target part of a user when the ultrasound probe contacts the target part of the user, so as to obtain muscle activity data of the target part, wherein the muscle activity data comprises sonomyography (SMG) data and at least one of electromyograph (EMG) data, acceleromyograph (AMG) data, joint bending angle data and pressure data, the pressure data comprises at least one of plantar pressure, residual limb-socket interface pressure, body-brace pressure, and body-exoskeleton pressure.2.The equipment according to claim 1, the muscle activity data acquisition equipment further comprising a first case and a printed circuit board, wherein the printed circuit board is provided in the first case, and the controller is connected to the printed circuit board.3.The equipment according to claim 2, wherein the sensing assembly further comprises an inertial measurement unit (IMU) , the inertial measurement unit (IMU) is connected to the first case and electrically connected to the controller, and the inertial measurement unit (IMU) responds to the muscle vibration signal of the target part to obtain the acceleromyograph (AMG) data.4.The equipment according to claim 3, wherein a first socket is provided in the first case, the first socket is electrically connected to the controller, and the first socket is configured to install the inertial measurement unit (IMU) .5.The equipment according to claim 4, wherein a number of the first socket is two, and the two first sockets are provided on opposite sides of the first case along a length direction of the first case.6.The equipment according to claim 2, wherein the sensing assembly further comprises a goniometer, the goniometer is connected to the first case and is electrically connected to the controller, and the goniometer responds to a rotation signal of the target part to obtain the joint bending angle data.7.The equipment according to claim 6, wherein a second socket is provided in the first case, the second socket is electrically connected to the controller, and the second socket is configured to install the goniometer.8.The equipment according to claim 7, wherein a number of the second socket is two, and the two second sockets are provided on opposite sides of the first case along a length direction of the first case.9.The equipment according to claim 2, wherein the sensing assembly further comprises a force sensor, the force sensor is provided in the first case and is electrically connected to the controller, and the force sensor responds to a pressure signal of the target part to obtain the pressure data.10.The equipment according to claim 9, wherein a third socket is connected to the first case, the third socket is electrically connected to the controller, and the third socket is configured to install the force sensor.11.The equipment according to claim 10, wherein a number of the third socket is two, the two third sockets are provided on opposite sides of the first case along a length direction of the first case.12.The equipment according to claim 2, wherein a first voltage booster is provided in the first case, and the first voltage booster is electrically connected between the ultrasound probe and the controller.13.The equipment according to claim 2, wherein a signal modulation circuit is provided on the printed circuit board, the signal modulation circuit is electrically connected between the sensor assembly and the controller, and the signal modulation circuit is configured to amplify a data signal from the sensor assembly.14.The equipment according to claim 1, wherein the ultrasound probe comprises a second case and a transducer head, the sensing assembly further comprises an electromyograph (EMG) sensor, the transducer head and the electromyograph (EMG) sensor are provided in the second case and electrically connected to the controller, and the electromyograph (EMG) sensor responds to an electromyograph voltage signal of the target part to obtain the electromyograph (EMG) data.15.The equipment according to claim 1, wherein the controller is electrically connected to the ultrasound probe via a flexible cable.16.The equipment according to claim 2, wherein the muscle activity data acquisition equipment further comprises a blue-tooth module, the blue-tooth module is provided on the printed circuit board and is electrically connected to the controller to transmit the muscle activity data to a terminal.17.The equipment according to claim 1, wherein the muscle activity data acquisition equipment further comprises a third case and a battery, the battery is fixed in the third case, and the battery is electrically connected to the controller.18.The equipment according to claim 17, wherein the sensing assembly further comprises a goniometer, the goniometer responds to a rotation signal of the target part to obtain the joint bending angle data;a second voltage booster is provided in the third case, and the second voltage booster is electrically connected between the battery and the goniometer.19.A method for analyzing muscle activity, applied to the muscle activity data acquisition equipment according to any one of claims 1 to 18, comprising the following:acquiring the ultrasound image of the target part;performing an image segmentation, a tracking and a regression on the ultrasound image to identify a target area;obtaining the SMG data according to the ultrasound image and a morphology of the target area;obtaining a muscle state according to the target area and the SMG data, where the muscle state comprises a relax state or a contraction state.20.The method according to claim 19, wherein the ultrasound image comprises multi-frame images, and the performing the image segmentation, the tracking and the regression on the ultrasound image to identify the target area comprises:performing an image segmentation on the ultrasound image and outputting the target area;tracking the target area through a semi-supervised video object segmentation (SVOS) , or obtaining a confidence score of the target area in first N frames of the multi-frame images through an image segmentation network, and when the confidence score is greater than or equal to a target threshold, using a result obtained by the image segmentation network as a tracking mask to track the target area in the ultrasound image;performing a regression analysis on the target area to obtain the SMG data.21.The method according to claim 20, wherein the performing the image segmentation, the tracking and the regression on the ultrasound image to identify the target area;obtaining the SMG data according to the ultrasound image and a morphology of the target area comprises:outputting the SMG data through a convolutional neural network (CNN) regression model, where the SMG data comprises a fascicle angle and / or a muscle thickness.22.The method according to claim 21, wherein the performing the image segmentation on the ultrasound image and outputting the target area comprises:performing an image segmentation on the ultrasound image and outputting a binary mask of the target area;identifying a target tissue of the target area based on the binary mask, where the target tissue comprises aponeurosis and / or fascicle.23.The method according to claim 22, wherein the performing the image segmentation on the ultrasound image and outputting the binary mask of the target area; identifying the target tissue of the target area based on the binary mask comprises:performing a polynomial fitting on a contour of the aponeurosis to obtain a fitting curve, and integrating the fitting curve to obtain the muscle thickness, when the muscle thickness is greater than a preset thickness threshold, the muscle state is the contraction state.24.The method according to claim 22, where the performing the image segmentation on the ultrasound image and outputting the binary mask of the target area; identifying the target tissue of the target area based on the binary mask comprises:performing an individual fascicle segmentation to each fascicle in the target area through the image segmentation network, and outputting a binary mask of each fascicle; and / or,performing a pixel regression analysis on the ultrasound image through the image segmentation network to obtain a full-region fascicle field.25.The method according to claim 24, wherein the performing the individual fascicle segmentation to each fascicle in the target area through the image segmentation network, and outputting the binary mask of each fascicle comprises:performing a straight line fitting on each fascicle obtained by the individual fascicle segmentation to obtain a virtual fascicle line, and determining a fascicle angle of each fascicle based on the slope of the virtual fascicle line.26.The method according to claim 25, wherein the method for analyzing muscle activity further comprises:determining an aponeurosis angle of the aponeurosis according to a slope of the tangent line at an intersection between the virtual fascicle line and the aponeurosis, obtaining a pennation angle of the individual fascicle based on a difference between the fascicle angle and the aponeurosis angle.27.The method according to claim 26, the performing pixel regression analysis on the ultrasound image through the image segmentation network to obtain the full-region fascicle field comprises:determining a fascicle orientation in the full-region fascicle field according to a pixel value of the full-region fascicle field; and / or,determining a fascicle length according to a distance between a boundary of the aponeurosis and a boundary of the fascicle, and when the fascicle length is less than a preset length threshold, the muscle state is the contraction state.28.An electronic device, comprising a memory, a processor, and a computer program stored in the memory and executable by the processor, wherein the processor, upon executing the program, is configured to implement the method according to any one of claims 19 to 27.29.A storage medium storing an instruction thereon, wherein the instruction, upon being executed by a processor, is configured for implementing the method as described in any of claims 19 to 27.

Images