Audio processing method and apparatus

The audio processing method detects and suppresses howling in PSAPs and hearing aids by determining a target frequency interval and applying a compensation gain, addressing the issue of sound reflections and improving user experience.

WO2025241138A1PCT designated stage Publication Date: 2025-11-27HARMAN INT IND INC +1
View PDF 3 Cites 0 Cited by

Patent Information

Application Number
PCT/CN2024/094875
Authority / Receiving Office
WO · WO
Patent Type
Applications
Current Assignee / Owner
Filing Date
2024-05-23
Publication Date
2025-11-27

AI Technical Summary

Technical Problem

Conventional personal sound amplification products (PSAPs) and hearing aids suffer from howling noise due to strong sound reflections, which existing suppression methods struggle to address effectively, leading to an unsatisfactory user experience.

Method used

An audio processing method that detects howling caused by strong reflections, determines a target frequency interval, calculates a compensation gain based on power differences, and generates a processed audio signal to suppress the howling.

Benefits of technology

The method efficiently and quickly suppresses howling noise, providing a better auditory experience by effectively managing sound reflections without significant computation load.

✦ Generated by Eureka AI based on patent content.

Smart Images

  • Figure CN2024094875_27112025_PF_FP_ABST
    Figure CN2024094875_27112025_PF_FP_ABST
Patent Text Reader

Abstract

The present disclosure provides an audio processing method, an audio processing apparatus and device, a computer-readable storage medium, and a computer program product. The audio processing method includes: receiving an audio signal; detecting the audio signal to determine whether there is howling in the audio signal, and if it is determined that there is howling, determining a target frequency interval of the audio signal containing the howling; comparing a representative power of the audio signal in the target frequency interval with a reference power to determine a power difference; determining a compensation gain for the target frequency interval of the audio signal based at least on the power difference; and generating a processed audio signal in which the howling is suppressed based at least on the compensation gain and the audio signal.
Need to check novelty before this filing date? Find Prior Art

Description

AUDIO PROCESSING METHOD AND APPARATUSTECHNICAL FIELD

[0001] The present disclosure relates to a field of audio processing, and in particular, to an audio processing method, an audio processing apparatus and device, a computer-readable storage medium, and a computer program product.BACKGROUND

[0002] With the aging of the global population and the abuse of entertainment products such as headphones, more and more people are suffering from hearing loss. A personal sound amplification product (PSAP) or a hearing-aid aims to provide a better auditory experience or compensate for hearing loss of a user. Specifically, a PSAP or a hearing-aid can amplify acoustic signals received by an in-air microphone or output by a microphone array beamformer, then playback the amplified signals via a speaker plugged into or close to the user’s ear.

[0003] For current products on the market, it is often complained that PSAPs and hearing aids will whistle or howl when they are covered by a hand or placed close to a surface such as a window, a door, etc. Such howling noise is brought by strong reflections of sounds by a hand, a surface. As PSAP functionality becomes increasingly popular in headphone products, such as true wireless stereo (TWS) headphones, it is necessary and highly beneficial to develop an approach to keep sound continuously amplified and outputted while howling caused by strong reflections is well handled.

[0004] SUMMARY OF THE DISCLOSURE

[0005] The present disclosure proposes an audio processing method, an audio processing apparatus and device, a computer-readable storage medium, and a computer program product.

[0006] According to one or more aspects of the present disclosure, there is provided an audio processing method, comprising: receiving an audio signal; detecting the audio signal to determine whether there is howling in the audio signal, and if it is determined that there is howling, determining a target frequency interval of the audio signal containing the howling; comparing a representative power of the audio signal in the target frequency interval with a reference power to determine a power difference;  determining a compensation gain for the target frequency interval of the audio signal based at least on the power difference; and generating a processed audio signal in which the howling is suppressed based at least on the compensation gain and the audio signal.

[0007] According to one or more aspects of the present disclosure, there is provided an audio processing apparatus, comprising: a receiving unit configured to receive an audio signal; a detecting unit configured to detect the audio signal to determine whether there is howling in the audio signal, and if it is determined that there is howling, determine a target frequency interval of the audio signal containing the howling; a processing unit configured to compare a representative power of the audio signal in the target frequency interval with a reference power to determine a power difference, determine a compensation gain for the target frequency interval of the audio signal based at least on the power difference, and generate a processed audio signal in which the howling is suppressed based at least on the compensation gain and the audio signal; and an output unit configured to output the processed audio signal.

[0008] According to one or more aspects of the present disclosure, there is provided an audio processing device, comprising: one or more processors; and one or more memories, wherein the one or more memories have stored therein computer-readable instructions that, when executed by the one or more processors, cause the one or more processors to perform the method as described above.

[0009] According to one or more aspects of the present disclosure, there is provided a computer-readable storage medium having stored thereon computer-readable instructions which, when executed by a processor, cause the processor to perform the method as described above.

[0010] According to one or more aspects of the present disclosure, there is provided a computer program product comprising computer readable instructions which, when executed by a processor, cause the processor to perform the method as described above.

[0011] With the audio processing method, the audio processing apparatus and device, the computer-readable storage medium, and the computer program product in the above aspects of the present disclosure, howling in audio signals of a PSAP or a hearing-aid device caused by strong reflections may be detected and suppressed quickly and effectively to provide a better  auditory experience for users.BRIEF DESCRIPTION OF THE DRAWINGS

[0012] The above and other objects, features, and advantages of embodiments of the present disclosure will become obvious from the following detailed description of embodiments of the present disclosure taken in conjunction with accompanying drawings. The accompanying drawings are used to provide further understanding of the embodiments of the present disclosure, constitute a part of the specification, explain the present disclosure together with the embodiments of the present disclosure, and do not constitute a limitation of the present disclosure. The drawings herein should not be understood as being drawn to scale unless specifically noted. Also, the drawings are often simplified and details or components are omitted for clarity of presentation and explanation. In the drawings, like reference numerals generally represent like components or steps.

[0013] FIG. 1 illustrates energy transfer function curves of an audio signal of a PSAP or a hearing-aid device with and without strong reflection in accordance with one or more examples of the present disclosure;

[0014] FIG. 2 illustrates a flow diagram of an audio processing method in accordance with one or more embodiments of the present disclosure;

[0015] FIG. 3 illustrates a spectrum of an audio signal with howling according to one or more embodiments of the present disclosure;

[0016] FIG. 4 illustrates a spectrum of an audio signal in which howling is suppressed according to one or more embodiments of the present disclosure;

[0017] FIG. 5 illustrates an example process flow of the audio processing method in accordance with one or more examples of the present disclosure; and

[0018] FIG. 6 illustrates a schematic structural diagram of an audio processing apparatus in accordance with one or more embodiments of the disclosure.

[0019] DESCRIPTION OF THE EMBODIMENTS

[0020] In order to make objectives, technical solutions, and advantages of the embodiments of the present disclosure clearer, the technical solutions in the embodiments of the present disclosure will be described clearly and thoroughly with reference to the  accompanying drawings. Obviously, these described embodiments are only a part of the present disclosure, not all of the embodiments. All other embodiments obtained by those of ordinary skill in the art based on the embodiments in the present disclosure without paying creative efforts fall into the protection scope of the present disclosure.

[0021] As used herein and in the claims, the words “a, ” “an, ” “an, ” and / or “the” do not refer to the singular, but may include the plural unless the context clearly dictates otherwise. In general, the terms “comprise” and “comprising” only imply the inclusion of steps and elements specifically identified, these steps and elements do not constitute an exclusive list and a method or apparatus may also contain other steps or elements.

[0022] Flowcharts are used herein to illustrate steps of a method according to one or more embodiments of the present disclosure. It should be understood that preceding or subsequent steps do not have to be performed exactly in order. Rather, various steps may be processed in reverse order or simultaneously, as desired. Meanwhile, other steps may also be added to the method, or certain step or steps may be removed from the method.

[0023] A PSAP or a hearing-aid device may amplify acoustic signals received by an in-air microphone or output by a microphone array beamformer, and then playback the amplified signals via a speaker plugged into or close to a user’s ear. In the process of using the PSAP or hearing-aid device, if the user puts his / her hand near or covers the device, moves his / her head or places the device close to a surface, such as a window or a door, strong reflections of sounds will occur, which leads to loud howling in the acoustic signals and brings the user a very unsatisfactory experience. Specifically, sounds from the speaker may leak from the ear channel of the user and are constrained within a small and enclosed space formed by the hand or the surface, then reflected back to the microphone and amplified again and quickly, to create a very strong howling noise in a wide frequency band. If the howling keeps increasing, it may spread to other frequency bands, even the whole spectrum of the signals.

[0024] FIG. 1 illustrates energy transfer function curves of an audio signal of a PSAP or a hearing-aid device with and without strong reflection in accordance with one or more examples of the present disclosure. An energy transfer function curve describes an energy transfer function between a playback signal output to a speaker and a signal input to a microphone versus frequencies. For both cases, a white noise signal is played in a quiet environment to a properly wearing earbud with a high standard of internal isolation. In the first  case, the earbud is normally worn by a user without being close to a hand or surface, and thus no strong reflection will occur. In the second case, all conditions remain the same but the user covered his hand on the earbud, and thus strong reflection will be caused by the cover of the hand. In FIG. 1, Curve 1 in a solid line describes the energy transfer function for the first case, and Curve 2 in a dashed line describes the energy transfer function for the second case. It can be seen that energy feedback in the second case with strong reflection is more than 25 dB higher than that in the first case without strong reflection in some frequency bands. In practice, as energy of signals are not evenly distributed in the spectrum, if there is a signal having higher energy and amplified in a wide frequency band, where the power transfer function is particularly strong, strong wide-band howling or continuous narrow-band howling may be detected, which cannot be suppressed by conventional feedback cancellation modules in the PSAP or hearing-aid device.

[0025] Howling caused by strong reflections occurs occasionally and is unpredictable to the PSAP or hearing-aid device, and is usually not in a given, fixed pattern, as it changes quickly and varies among different users and scenarios. Therefore, it is difficult for conventional howling suppression methods to solve the special strong howling problem. For example, adaptive filter cancellation methods are unable to update filter coefficients quickly enough to track varying howling and thus fail to diminish the howling immediately; notch filter methods only cancel howling in some frequency bins and cannot fully cancel howling in a wide band; frequency shift methods aim to decorrelate howling due to in-phase of input and feedback signals and would not help much on howling with high amplitudes caused by strong reflections. Some products leave this problem as normal and wait for the user to change his / her behavior, such as moving the hand away or moving the head away from the window. Some products switch the sound amplification function off or even mute the speaker output for a few seconds. However, in some cases, even if the user removes the hand or moves away from the window or door, the PSAP or hearing-aid device still cannot return to a normal working mode immediately.

[0026] To solve the howling problem caused by strong reflections of sounds, the present disclosure provides an audio processing method, which can detect the corresponding type of howling existing in audio signals and suppress the detected howling quickly and efficiently, thereby providing a better auditory experience for the user.

[0027] FIG. 2 illustrates a flow diagram of an audio processing method 200 in accordance with one or more embodiments of the present disclosure. The audio processing method 200 may be performed by stand-alone audio devices such as headphones, headsets, PSAPs, hearing-aid devices, or any other audio devices having PSAP or similar functionality, or may be performed by devices incorporating audio processing capability such as smartphones, tablets, desktop computers, smart wearable devices, televisions, and the like, which is not specifically limited by the embodiments of the present disclosure.

[0028] As shown in FIG. 2, in step S202, an audio signal is received. In one or more embodiments of the present disclosure, the audio signal is a signal to be processed, which is acquired by a microphone or output from other audio processing modules such as a microphone array beamformer. A specific origin of the audio signal to be processed is not specifically limited by the embodiments of the present disclosure.

[0029] In step S204, the audio signal is detected to determine whether there is howling in the audio signal, and if it is determined that there is howling, a target frequency interval of the audio signal containing the howling is determined. In particular, in this step, howling caused by strong reflections is detected, and the target frequency interval means an interval containing the detected howling caused by strong reflections. As shown in FIG. 1, the audio signal may have a larger power in the frequency interval where howling caused by strong reflections exists compared to an average power. Therefore, peak-to-average power ratios (PAPRs) of the audio signal at respective frequency sampling points of the spectrum may be used to decide whether and where howling exists in the spectrum of the audio signal. Specifically, a PAPR of the audio signal at each frequency sampling point within the spectrum of the audio signal may be calculated. For example, for a k-to (k is an integer greater than or equal to 1) frame of audio signal to be processed, x (k) , the PAPR of the audio signal at frequency ω may be calculated as:

[0030] where PAPR (ω, k) represents the PAPR of the k-th frame of audio signal at the frequency ω; P (ω, k) represents the power of the k-th frame of audio signal at the frequency ω; and represents an average power of the k-th frame of audio signal.

[0031] Then, an average PAPR of all frequency sampling points within the spectrum may be calculated as and a PAPR deviation at each frequency sampling point may be calculated based on the PAPR at the frequency sampling point and the average PAPR as:

[0032] where PAPRd (ω, k) represents the PAPR deviation at the frequency ω.

[0033] For any frequency window [ω1, ω2] in the spectrum of the audio signal, where ω1 and ω2 are frequencies in the spectrum and ω1 is smaller than ω2, whether the audio signal has howling in the frequency window may be determined based on PAPR deviations at each frequency sampling point within the frequency window. Specifically, whether the audio signal (e.g., howling caused by strong reflections) has howling in the frequency window may be determined by: determining a number of frequency sampling points within the frequency window of the audio signal with PAPR deviation greater than a predetermined deviation threshold; and determining that the audio signal has howling in the frequency window based at least on the number of frequency sampling points within the frequency window of the audio signal with PAPR deviation greater than the predetermined deviation threshold.

[0034] In one or more example embodiments of the present disclosure, a first ratio between the number of frequency sampling points within the frequency window of the audio signal with PAPR deviation greater than the predetermined deviation threshold and a total number of frequency sampling points within the frequency window may be calculated, and if the first ratio is greater than a predetermined ratio threshold, it is determined that the audio signal has howling (e.g., howling caused by strong reflections) in this frequency window.

[0035] In another one or more examples of the present disclosure, similarly, a second ratio between a number of frequency sampling points within the frequency window of a previous frame of audio signal with PAPR deviation greater than the predetermined deviation threshold and the total number of frequency sampling points within the frequency window is further calculated, and if both the first ratio and the second ratio are greater than the predetermined ratio threshold, it is determined that the audio signal has howling (e.g., howling caused by strong reflections) in this frequency window. For the frequency window [ω1, ω2] of the k-th frame of audio signal, the process of determining whether the audio signal has howling in the frequency window may be described as:

[0036] where PAPRd (ω, k) represents the PAPR deviation at the frequency ω of the k-th frame of audio signal; PAPRd (ω, k-1) represents the PAPR deviation at the frequency ω of the (k- 1)th frame of audio signal, i.e., the previous frame of the current audio signal; T represents the predetermined deviation threshold; R represents the predetermined ratio threshold.

[0037] In the above Formula (3) , the first condition is to compare the aforementioned first ratio of the k-th frame of audio signal with the predetermined ratio threshold R, and the second condition is to compare the aforementioned second ratio of the (k-1) th frame of audio signal with the predetermined ratio threshold R. In one or more example embodiments of the present disclosure, if the first condition in Formula (3) is satisfied, it may be determined that there is howling in the frequency window [ω1, ω2] of the k-th frame of audio signal. In another one or more examples of the present disclosure, if both conditions in Formula (3) are satisfied, it may be determined that there is howling in the frequency window [ω1, ω2] of the k-th frame of audio signal.

[0038] Return to step S204, after determining that there is howling in the frequency window of the audio signal, a target frequency interval of the audio signal containing the detected howling is further determined. In one or more examples of the present disclosure, the detected frequency window [ω1, ω2] containing the howling may be directly determined as the target frequency interval, and then subsequent howling-suppressing processing will be performed in this frequency window. In another one or more examples of the present disclosure, the audio signal is divided into a plurality of frequency bands in advance, for example, by using some frequency band division tools, to facilitate subsequent audio processing. It should be noted that overlap is allowed between these bands and widths of the bands may be variable, which is not specifically limited by the present disclosure. For example, the k-th frame of audio signal, x (k) , may be divided into N frequency bands, xn (k) , n=1, 2, …N , where N is an integer greater than 1 and n denotes an index of the n-th frequency band. In this case, the target frequency interval may be one or more frequency bands covering the frequency window [ω1, ω2] where the howling exists. For example, if the frequency window [ω1, ω2] is entirely covered in the n-th frequency band, then the n-th frequency band may be the target frequency interval. As another example, if the frequency window [ω1, ω2] is covered in the n-th frequency band and the (n+1) th frequency band, then both the n-th and the (n+1) th frequency bands may be the target frequency interval.

[0039] In step S206, a representative power of the audio signal in the target frequency interval is compared with a reference power to determine a power difference. Herein, the  representative power of the audio signal in the target frequency interval may be a peak power or an average power of the audio signal in the target frequency interval, which is not specifically limited by the embodiments of the present disclosure. The reference power is used to evaluate the representative power of the audio signal in the target frequency interval, which may be, for example, a representative power of the audio signal in another frequency interval without howling. For example, if the n-th frequency band is the target frequency interval containing howling while there is no howling in the (n-1) th frequency band, the representative power of the audio signal in the (n-1) th frequency band may be used as the reference power. Usually, a frame of an audio signal is a very small time unit, for example, a few milliseconds, while sounds like howling may be continuous, and thus a representative power of a previous frame of audio signal without howling in the target frequency interval may be used as the reference power. For example, if the k-th frame of audio signal, i.e., the current audio signal, has howling in the target n-th frequency band while the (k-1) th frame of audio signal has no howling in the target n-th frequency band, the representative power of the (k-1) th frame of audio signal in the target n-th frequency band may be used as the reference power. Alternatively, the reference signal may be a weighted combination of the representative power of the audio signal in other frequency intervals without howling and the representative power of a previous frame of audio signal without howling in the target frequency interval.

[0040] It should be noted that the methods of determining the reference power are described above by way of example rather than limitation, and the present disclosure does not limit the specific method of determining the reference power. Hereinafter, the n-th frequency band may be taken as an exemplary target frequency interval, which sometimes may be referred to as the target n-th frequency band or the target frequency band for the sake of brevity.

[0041] In one or more example embodiments of the present disclosure, if the representative power of the audio signal in the target frequency interval is the peak power within this interval, the reference power may be selected as the peak power of this audio signal in another frequency interval or in the same target frequency interval of a previous frame of audio signal, where there is no howling. In another one or more example embodiments of the present disclosure, if the representative power of the audio signal in the target frequency interval is the average power within this interval, the reference power may be selected as the average power of this audio signal in another frequency interval or in the same target frequency  interval of a previous frame of audio signal, where there is no howling.

[0042] Then, the power difference between the representative power of the audio signal in the target frequency interval and the reference power may be calculated, for example, by subtracting the reference power from the representative power of the audio signal in the target frequency interval, as shown in Formula (4) : e (n, k) =p (n, k) -d (n, k) ,    (4)

[0043] where p (b, k) represents the representative power of the k-th frame of audio signal in the n-th frequency band as the target frequency interval; d (n, k) represents the corresponding reference power; and e (n, k) represents the power difference therebetween.

[0044] In step S208, a compensation gain for the target frequency interval of the audio signal may be determined based at least on the power difference. The compensation gain is used to suppress or attenuate the howling in the target frequency interval of the audio signal. In one or more example embodiments of the present disclosure, to obtain the compensation gain, in addition to the power difference determined in step S206, an integral value and a derivative value of the power difference may be further calculated based on the power difference. Specifically, the following Formula (5) and Formula (6) may describe a process of determining the integral value and the derivative value of the power difference: Ie (n, k) =αI (n, k-1) +e (n, k) ,   (5) De (n, k) =e (n, k) -e (n, k-1) ,    (6)

[0045] where e (n, k) represents the power difference between the representative power of the k-th frame of audio signal in the target n-th frequency band and the reference power; I (n, k-1) represents an integral value of the power difference of the (k-1) th frame of audio signal in the target n-th frequency band; Ie (n, k) represents an integral value of the power difference of the k-th frame of audio signal in the target n-th frequency band; α is an integral coefficient, 0<α<1; e (n, k-1) represents the power difference between the representative power of the (k-1) th frame of audio signal in the target n-th frequency band and the reference power; and De (n, k) represents the derivative value of the power difference of the k-th frame of audio signal in the target n-th frequency band.

[0046] That is, the integral value of the power difference of the k-th frame of audio signal, Ie (n, k) , may be an iterative accumulation of the power differences of the first to k-th frames of audio signals in the target n-th frequency band, and the derivative value of the power  difference of the k-th frame of audio signal, De (n, k) , may be a difference between the power differences of the k-th and (k-1) th frames of audio signal in the target n-th frequency band.

[0047] Then, the compensation gain for the target frequency interval of the audio signal may be determined based at least on the power difference, the integral value and the derivative value of the audio signal. Specifically, the power difference, the integral value, and the derivative value of the audio signal may be weighted and summed to determine the compensation gain, for example, according to the following Formula (7) : g (n, k) =Kpe (n, k) +KIIe (n, k) +KDDe (n, k) ,     (7)

[0048] where g (n, k) represents the weighted power difference of the power difference, the integral value, and the derivative value of the k-th frame of audio signal in the target n-th frequency band; Kp , KI and KD are proportional coefficient, integral coefficient, and derivative coefficient, respectively, for the power difference e (n, k) , the integral value Ie (n, k) and the derivative value De (n, k) . These coefficients may be determined in advance with some experimental tuning or according to practical requirements and are not specifically limited by the embodiments of the present disclosure.

[0049] In one or more example embodiments of the present disclosure, the weighted power difference, g (n, k) , of the power difference, the integral value and the derivative value of the audio signal may be used as the compensation gain to suppress the howling in the target frequency interval of the audio signal. The proportional part, Kpe (n, k) , may quickly suppress the representative power of the howling signal back to the expected level as the reference power; the integral part, KIIe (n, k) , may eliminate a steady state error, which prevents the situation that the representative power of the howling signal will never reach the reference power when the power difference becomes smaller; the derivative part, KDDe (n, k) , may smooth the howling-suppressing process and avoid the representative power of the howling signal being over-suppressed.

[0050] In another one or more example embodiments of the present disclosure, to further smooth the howling suppressing process, the weighted power difference may be further linearly combined with a compensation gain of a previous frame of audio signal in the target frequency interval, for example, according to the following Formula (8) , to determine the final compensation gain: G (n, k) =βG (n, k-1) + (1-β) g (n, k) ,   (8)

[0051] where G (n, k) represents the final compensation gain for the target n-th frequency band of the k-th frame of audio signal; G (n, k-1) represents the compensation gain for the target n-th frequency band of the (k-1) th frame of audio signal; g (n, k) represents the weighted power difference of the power difference, the integral value, and the derivative value of the k-th frame of audio signal in the target n-th frequency band; β is a smooth coefficient, and 0<β<1.

[0052] After obtaining the compensation gain for the target frequency interval of the audio signal, in step S210, the audio signal is processed with the compensation gain to generate a processed audio signal in which the howling is suppressed. Specifically, the compensation gain may be combined with a processed signal output by other modules, for example, a wide dynamic range compression (WDRC) module usually applied in PSAP and hearing-aid products. WDRC is a technology that dynamically adjusts a wide range of sound levels to better adapt to a user’s hearing level and environmental noise levels. In the audio processing method 200 used to suppress howling, the received audio signal goes through steps S202 to S208 to obtain the compensation gain, while on the other hand, the received audio signal may be processed by a WDRC module to obtain a WDRC signal. Then in Step S210, the compensation gain for the target frequency interval of the audio signal may be combined with the WDRC signal in the target frequency interval to obtain a process audio signal of the target frequency interval, for example, according to the following Formula (9) : yn (k) =G (n, k) WDRC (xn (k) ) ,      (9)

[0053] where G (n, k) represents the final compensation gain for the target n-th frequency band of the k-th frame of audio signal; WDRC (xn (k) ) represents a portion of the WDRC signal of the k-th frame in the target n-th frequency band; and yn (k) represents the processed signal of the k-th frame in the target n-th frequency band.

[0054] The processed audio signal of the target frequency interval, yn (k) , then may be superposed with other portions of the WDRC signal in frequency intervals other than the target frequency interval, for example, according to the following Formula (10) :

[0055] where y (k) is the processed audio signal to be output, for example, to a speaker or other modules for further processing.

[0056] In the processed audio signal to be output, the howling, especially howling caused by strong reflections, may be significantly suppressed. The howling-suppressing effect  of the audio processing method of the present disclosure will be described in connection with FIGS. 3 and 4, which illustrate spectrums of audio signals with and without howling according to one or more embodiments of the present disclosure. In both cases, a user properly worn an earbud of a PSAP or hearing-aid device that includes an audio processing module implementing the audio processing method as described in the present disclosure, and counted from one to ten, and a speaker in the earbud playbacks the user’s sound captured by a microphone in the earbud and with amplification of about 15 dB. In the first case where the audio processing module proposed by the present disclosure was turned off while all the other feedback control modules were turned on, the user put his left hand to cover the earbud when he counted to three, and thus he heard an obvious howling. A spectrum of an audio signal captured in the first case is shown in FIG. 3, in which obvious howling may be seen around 4~5 kHz, as indicated by the elliptical box in FIG. 3. In the second case where the audio processing module proposed by the present disclosure, as well as the other feedback control modules, were turned on, the user kept covering his ear using his left hand and counted one to ten. A spectrum of an audio signal captured in the second case is shown in FIG. 4, in which no obvious howling exists in the whole spectrum. The comparison between FIG. 3 and FIG. 4 show the beneficial technical effect of the audio processing method proposed by the present disclosure, which can effectively suppress the howling introduced by strong reflections and thus provide a better auditory experience for the user. Furthermore, the audio processing method 200 of the present disclosure may suppress the howling quickly and efficiently without significant computation load, because the processing algorithm is concise enough and absorbs the advantages of quick response, high stability, and precise adjustment of traditional PID control. In addition, the audio processing method 200 of the present disclosure may be kept running in the PSAP or hearing-aid device, and thus the compensation gain used to suppress howling may be generated and updated gradually. When strong reflection terminates, for example, the user removes his hand or moves away from a window or door, he would not even notice an obvious change in received sounds.

[0057] The audio processing method 200 of the present disclosure has been described above with reference to FIGS. 1 to 4. In order to provide a better understanding of the principle of the audio processing method 200, FIG. 5 is provided to illustrate an example process flow of the audio processing method 200.

[0058] As shown in FIG. 5, an audio signal to be processed is first input to a howling detection module 502 to determine a target frequency interval with howling and frequency intervals without howling. In particular, the howling detection module 502 may detect howling caused by strong reflections, such as due to an earbud being covered by or close to a surface. The signal in the frequency intervals without howling as well as a previous frame of audio signal without howling in the same target frequency interval may be used to estimate a reference power in a reference power estimation module 504. Then a representative power of the audio signal in the target frequency interval is determined in a representative power determination module 506. A difference calculation module 508 calculates a power difference between the representative power of the audio signal in the target frequency interval and the reference power, and transmits it to a weighting and summing module 510 to obtain a weighted power difference. The weighted power difference is then smoothed by a smoothing module 512 to obtain a compensation gain for the target frequency interval of the audio signal. On the other hand, the audio signal is processed by, for example, a WDRC module 514 among any other processing modules, to generate a WDRC signal, which is combined with the compensation gain to obtain the final processed audio signal. The processed audio signal in which howling caused by strong reflections is effectively suppressed, may be output, for example, to a speaker or other modules for further processing.

[0059] It should be noted that the modules and processes shown in FIG. 5 are only examples, and do not limit the present disclosure in any sense. The audio processing method 200 of the disclosure may include more or fewer modules and processes than those shown in FIG. 5.

[0060] An audio processing apparatus according to one or more embodiments of the present disclosure will be described below with reference to FIG. 6. FIG. 6 illustrates a schematic structural diagram of an audio processing apparatus 600 in accordance with one or more embodiments of the present disclosure. As shown in FIG. 6, the audio processing apparatus 600 may include a receiving unit 602, a detecting unit 604, a processing unit 606, and an output unit 608. In addition to these four units, the audio processing apparatus 600 may further include other components, but since these components are not relevant to the present disclosure, a detailed description thereof is omitted herein. In addition, since details of a part of the functions of the audio processing apparatus 600 are similar to details of the steps of the  audio processing method 200 as described with reference to FIG. 2, repeated descriptions of some content are omitted herein for brevity. The audio processing apparatus 600 may be a stand-alone audio device such as a headphone, a headset, a PSAP, a hearing-aid device, or any other audio device having PSAP or similar functionality, or may be a device incorporating audio processing capability such as a smartphone, a tablet, a desktop computer, a smart wearable device, a television, and the like, which is not specifically limited by the embodiments of the present disclosure.

[0061] The receiving unit 602 may be configured to receive an audio signal. In one or more embodiments of the present disclosure, the audio signal is a signal to be processed, which is acquired by a microphone or output from other audio processing modules such as a microphone array beamformer. A specific origin of the audio signal to be processed is not specifically limited by the embodiments of the present disclosure.

[0062] The detecting unit 604 may be configured to detect the audio signal to determine whether there is howling in the audio signal, and if it is determined that there is howling, determine a target frequency interval of the audio signal containing the howling. In particular, in this step, the detecting unit 604 may detect howling caused by strong reflections, and the target frequency interval means an interval containing the detected howling caused by strong reflections. As shown in FIG. 1, the audio signal may have a larger power in the frequency interval where howling exists compared to an average power. Therefore, peak-to-average power ratios (PAPRs) of the audio signal at respective frequency sampling points of the spectrum may be used to decide whether and where howling caused by strong reflections exists in the spectrum of the audio signal. Specifically, the detecting unit 604 may calculate a PAPR of the audio signal at each frequency sampling point within the spectrum of the audio signal, for example, according to the above Formula (1) . Then, the detecting unit 604 may calculate an average PAPR of all frequency sampling points within the spectrum, and further determine a PAPR deviation at each frequency sampling point based on the PAPR at the frequency sampling point and the average PAPR, for example, according to the above Formula (2) .

[0063] For any frequency window [ω1, ω2] in the spectrum of the audio signal, where ω1 and ω2 are frequencies in the spectrum and ω1 is smaller than ω2, the detecting unit 604 may determine whether the audio signal has howling in the frequency window based on the PAPR deviation of the audio signal within the frequency window. Specifically, the detecting unit 604  may determine whether the audio signal has howling (e.g., howling caused by strong reflections) in the frequency window by: determining a number of frequency sampling points within the frequency window of the audio signal with PAPR deviation greater than a predetermined deviation threshold; and determining that the audio signal has howling in the frequency window based at least on the number of frequency sampling points within the frequency window of the audio signal with PAPR deviation greater than the predetermined deviation threshold.

[0064] In one or more example embodiments of the present disclosure, the detecting unit 604 may calculate a first ratio between the number of frequency sampling points within the frequency window of the audio signal with PAPR deviation greater than the predetermined deviation threshold and a total number of frequency sampling points within the frequency window, and if the first ratio is greater than a predetermined ratio threshold, the detecting unit 604 may determine that the audio signal has howling (e.g., howling caused by strong reflections) in this frequency window.

[0065] In another one or more examples of the present disclosure, similarly, the detecting unit 604 may further calculate a second ratio between a number of frequency sampling points within the frequency window of a previous frame of audio signal with PAPR deviation greater than the predetermined deviation threshold and the total number of frequency sampling points within the frequency window, and if both the first ratio and the second ratio are greater than the predetermined ratio threshold, the detecting unit 604 may determine that the audio signal has howling (e.g., howling caused by strong reflections) in this frequency window, for example, according to the above Formula (3) .

[0066] After determining that there is howling in the frequency window of the audio signal, the detecting unit 604 may determine a target frequency interval of the audio signal containing the detected howling. In one or more examples of the present disclosure, the detecting unit 604 may determine the detected frequency window [ω1, ω2 ] containing the howling as the target frequency interval directly, and then subsequent howling-suppressing processing will be performed in this frequency window. In another one or more examples of the present disclosure, the audio signal is divided into a plurality of frequency bands in advance, for example, by using some frequency band division tools, to facilitate subsequent audio processing. It should be noted that overlap is allowed between these bands and widths of the bands may be variable, which is not specifically limited by the present disclosure. In this case,  the detecting unit 604 may determine the target frequency interval as one or more frequency bands that cover the frequency window [ω1, ω2] containing the howling.

[0067] The processing unit 606 may be configured to determine a power difference based on a representative power of the audio signal in the target frequency interval and a reference power. Herein, the representative power of the audio signal in the target frequency interval may be a peak power or an average power of the audio signal in the target frequency interval, which is not specifically limited by the embodiments of the present disclosure. The reference power is used to evaluate the representative power of the audio signal in the target frequency interval, which may be, for example, a representative power of the audio signal in other frequency intervals without howling. For example, if the n-th frequency band is the target frequency interval containing howling while there is no howling in the (n-1) th frequency band, the representative power of the audio signal in the (n-1) th frequency band may be used as the reference power. Usually, a frame of an audio signal is a very small time unit, for example, a few milliseconds, while sounds like howling may be continuous, and thus a representative power of a previous frame of audio signal without howling in the target frequency interval may be used as the reference power. For example, if the k-th frame of audio signal, i.e., the current audio signal, has howling in the target n-th frequency band while the (k-1) th frame of audio signal has no howling in the target n-th frequency band, the representative power of the (k-1) th frame of audio signal in the target n-th frequency band may be used as the reference power. Alternatively, the reference signal may be a weighted combination of the representative power of the audio signal in other frequency intervals without howling and the representative power of a previous frame of audio signal without howling in the target frequency interval.

[0068] In one or more example embodiments of the present disclosure, if the representative power of the audio signal in the target frequency interval is the peak power within this interval, the reference power may be selected as the peak power of this audio signal in other frequency intervals or in the same target frequency interval of a previous frame of audio signal, where there is no howling. In another one or more example embodiments of the present disclosure, if the representative power of the audio signal in the target frequency interval is the average power within this interval, the reference power may be selected as the average power of this audio signal in other frequency intervals or in the same target frequency  interval of a previous frame of audio signal, where there is no howling.

[0069] The processing unit 606 may calculate the power difference between the representative power of the audio signal in the target frequency interval and the reference power, for example, by subtracting the reference power from the representative power of the audio signal in the target frequency interval, as shown in the above Formula (4) .

[0070] Then, the processing unit 606 may determine a compensation gain for the target frequency interval of the audio signal based at least on the power difference. The compensation gain is used to suppress or attenuate the howling in the target frequency interval of the audio signal. In one or more example embodiments of the present disclosure, to obtain the compensation gain, in addition to the power difference, the processing unit 606 may further calculate an integral value and a derivative value of the power difference based on the power difference. Specifically, the above Formula (5) and Formula (6) may describe a process of determining the integral value and the derivative value of the power difference. Next, the processing unit 606 may determine the compensation gain for the target frequency interval of the audio signal based at least on the power difference, the integral value and the derivative value of the audio signal, for example, according to the above Formula (7) .

[0071] In one or more example embodiments of the present disclosure, a weighted power difference of the power difference, the integral value and the derivative value of the audio signal may be used as the compensation gain to suppress the howling in the target frequency interval of the audio signal. In another one or more example embodiments of the present disclosure, to further smooth the howling suppressing process, the weighted power difference may be further linearly combined with a compensation gain of a previous frame of audio signal in the target frequency interval, for example, according to the above Formula (8) to determine the final compensation gain.

[0072] After obtaining the compensation gain for the target frequency interval of the audio signal, the processing unit 606 may process the audio signal with the compensation gain to generate a processed audio signal in which the howling is suppressed. Specifically, the processing unit 606 may combine the compensation gain with a processed signal output by another module, for example, a wide dynamic range compression (WDRC) module usually applied in PSAP and hearing-aid products. The processing unit 606 may combine the compensation gain for the target frequency interval of the audio signal with the WDRC signal  in the target frequency interval to obtain a process audio signal of the target frequency interval, for example, according to the above Formula (9) .

[0073] Then, the processing unit 606 may superpose the processed audio signal of the target frequency interval with other portions of the WDRC signal in frequency intervals other than the target frequency interval, for example, according to the above Formula (10) , to obtain the processed audio signal to be output.

[0074] The output unit 608 may be configured to output the processed audio signal, for example, to a speaker or other modules for further processing. In the processed audio signal to be output, the howling, especially howling caused by strong reflections, may be significantly suppressed. The audio processing apparatus 600 can effectively suppress the howling introduced by strong reflections and thus provide a better auditory experience for users. Furthermore, the audio processing apparatus 600 of the present disclosure may suppress the howling quickly and efficiently without significant computation load, because the processing algorithm is concise enough and absorbs the advantages of quick response, high stability, and precise adjustment of traditional PID control. In addition, the function of the audio processing apparatus 600 of the present disclosure may be kept running, and thus the compensation gain used to suppress howling may be generated and updated gradually. When strong reflection terminates, for example, the user removes his hand or moves away from a window or door, he would not even notice an obvious change in received sounds.

[0075] In one or more embodiments of the present disclosure, there is further provided an audio processing device comprising one or more processors and one or more memories, where the one or more memories have stored therein computer-readable instructions which, when executed by the one or more processors, cause the one or more processors to execute the audio processing method as described above.

[0076] In one or more embodiments of the present disclosure, there is further provided a computer-readable storage medium having stored thereon computer-readable instructions which, when executed by a processor, cause the processor to perform the audio processing method as described above.

[0077] In one or more embodiments of the present disclosure, there is further provided a computer program product comprising computer readable instructions which, when executed by a processor, cause the processor to perform the audio processing method as described above.

[0078] The following is a non-limiting list of examples that are in accordance with one or more techniques of this disclosure.

[0079] Example 1. An audio processing method comprising: receiving an audio signal; detecting the audio signal to determine whether there is howling in the audio signal, and if it is determined that there is howling, determining a target frequency interval of the audio signal containing the howling; comparing a representative power of the audio signal in the target frequency interval with a reference power to determine a power difference; determining a compensation gain for the target frequency interval of the audio signal based at least on the power difference; and generating a processed audio signal in which the howling is suppressed based at least on the compensation gain and the audio signal.

[0080] Example 2. The method of Example 1, wherein detecting the audio signal to determine whether there is howling in the audio signal comprises: calculating a peak-to-average power ratio PAPR of the audio signal at each frequency sampling point of a spectrum of the audio signal and an average PAPR of all frequency sampling points of the spectrum; calculating a PAPR deviation at each frequency sampling point of the spectrum based on the PAPR at the frequency sampling point and the average PAPR; and for any frequency window in the spectrum of the audio signal, determining whether the audio signal has howling in the frequency window based on the PAPR deviation at each frequency sampling point within the frequency window.

[0081] Example 3. The method of any one of Examples 1-2, wherein determining whether the audio signal has howling in the frequency window based on the PAPR deviation at each frequency sampling point within the frequency window comprises: determining a number of frequency sampling points within the frequency window of the audio signal with PAPR deviation greater than a predetermined deviation threshold; and determining that the audio signal has howling in the frequency window based at least on the number of frequency sampling points within the frequency window of the audio signal with PAPR deviation greater than the predetermined deviation threshold.

[0082] Example 4. The method of any one of Examples 1-3, wherein determining that the audio signal has howling in the frequency window based at least on the number of frequency sampling points within the frequency window of the audio signal with PAPR deviation greater than the predetermined deviation threshold comprises: calculating a first ratio between the  number of frequency sampling points within the frequency window of the audio signal with PAPR deviation greater than the predetermined deviation threshold and a total number of frequency sampling points within the frequency window; determining that the audio signal has howling in the frequency window based at least on that the first ratio is greater than a predetermined ratio threshold.

[0083] Example 5. The method of any one of Examples 1-4, wherein determining that the audio signal has howling in the frequency window based at least on that the first ratio is greater than the predetermined ratio threshold further comprises: determining that the audio signal has howling in the frequency window if a) the first ratio is greater than the predetermined ratio threshold; and b) a second ratio between a number of frequency sampling points within the frequency window of a previous frame of audio signal with PAPR deviation greater than the predetermined deviation threshold and the total number of frequency sampling points within the frequency window is greater than the predetermined ratio threshold.

[0084] Example 6. The method of any one of Examples 1-5, wherein determining the target frequency interval of the audio signal containing the howling comprises: determining the frequency window containing the howling as the target frequency interval.

[0085] Example 7. The method of any one of Examples 1-6, wherein determining the target frequency interval of the audio signal containing the howling comprises: dividing the audio signal into a plurality of frequency bands; determining one or more frequency bands covering the frequency window containing the howling as the target frequency interval.

[0086] Example 8. The method of any one of Examples 1-7, wherein the representative power of the audio signal in the target frequency interval is a peak power or an average power of the audio signal in the target frequency interval.

[0087] Example 9. The method of any one of Examples 1-8, wherein the reference power is one of: a representative power of the audio signal in other frequency intervals without howling, a representative power of a previous frame of audio signal without howling in the target frequency interval, and a weighted combination thereof.

[0088] Example 10. The method of any one of Examples 1-9, wherein determining the compensation gain for the target frequency interval of the audio signal based at least on the power difference comprises: determining an integral value of the power difference of the audio signal in the target frequency interval and power differences of previous frames of audio signals  in the target frequency interval; determining a derivative value between the power difference of the audio signal in the target frequency interval and a power difference of a previous frame of audio signal in the target frequency interval; and determining the compensation gain for the target frequency interval of the audio signal based at least on the power difference, the integral value and the derivative value of the audio signal.

[0089] Example 11. The method of any one of Examples 1-10, wherein determining the compensation gain for the target frequency interval of the audio signal based at least on the power difference, the integral value, and the derivative value of the audio signal comprises: weighting and summing the power difference, the integral value, and the derivative value of the audio signal to obtain a weighted power difference in the target frequency interval; and determining the compensation gain for the target frequency interval of the audio signal based on the weighted power difference in the target frequency interval.

[0090] Example 12. The method of any one of Examples 1-11, wherein determining the compensation gain for the target frequency interval of the audio signal based at least on the power difference, the integral value, and the derivative value of the audio signal comprises: weighting and summing the power difference, the integral value, and the derivative value of the audio signal to obtain a weighted power difference in the target frequency interval; and weighting and summing the weighted power difference in the target frequency interval and a compensation gain of a previous frame of audio signal in the target frequency interval to determine the compensation gain for the target frequency interval of the audio signal.

[0091] Example 13. The method of any one of Examples 1-12, wherein generating the processed audio signal in which the howling is suppressed based at least on the compensation gain and the audio signal comprises: performing wide dynamic range compression (WDRC) processing on the audio signal to obtain a WDRC signal; determining a processed audio signal of the target frequency interval based on the compensation gain and a portion of the WDRC signal in the target frequency interval; and superposing the processed audio signal of the target frequency interval with other portions of the WDRC signal in other frequency intervals to obtain the processed audio signal.

[0092] Example 14. An audio processing apparatus comprising means for performing the method of any one of Examples 1-13.

[0093] Example 15. An audio processing device comprising: one or more processors;  and one or more memories having stored therein computer-readable instructions which, when executed by the one or more processors, cause the one or more processors to perform the method of any one of Examples 1-13.

[0094] Example 16. A computer-readable storage medium having stored thereon computer-readable instructions which, when executed by a processor, cause the processor to perform the method of any one of Example 1-13.

[0095] Example 17. A computer program product comprising computer readable instructions which, when executed by a processor, cause the processor to perform the method of any of Example 1-13.

[0096] It is to be recognized that depending on the examples, certain acts or events of any of the techniques described herein can be performed in a different sequence, may be added, merged, or left out altogether (e.g., not all described acts or events are necessary for the practice of the techniques) . Moreover, in certain examples, acts or events may be performed concurrently, e.g., through multi-threaded processing, interrupt processing, or multiple processors, rather than sequentially.

[0097] Program portions of the technology may be considered to be “product” or “article” that exists in the form of executable codes and / or related data, which are embodied or implemented by a computer-readable medium. A tangible, permanent storage medium may include an internal memory, or a storage used by computers, processors, or similar devices or associated modules. For example, various semiconductor memories, tape drivers, disk drivers, or any similar devices capable of providing storage functionality for software.

[0098] All software or parts of it may sometimes communicate over a network, such as the Internet or other communication networks. Such communication can load software from one computer device or processor to another. For example, loading from one server or host computer to a hardware environment of one computer environment, or other computer environment implementing the system, or a system having a similar function associated with providing information needed for the communication method. Therefore, another medium capable of transmitting software elements can also be used as a physical connection between local devices, such as light waves, electric waves, electromagnetic waves, etc., to be propagated through cables, optical cables, or air. A physical medium used for carrying the waves such as  cables, wireless connections, or fiber optic cables may also be considered as a medium for carrying the software. In usage herein, unless a tangible “storage” medium is defined, other terms referring to a computer or machine “readable medium” mean a medium that participates in the execution of any instruction by the processor.

[0099] The present application uses specific words to describe embodiments of the present disclosure. Reference to “an embodiment, ” “one or more embodiments, ” and / or “some embodiments” means a feature, structure, or characteristic in connection with at least one embodiment of the present disclosure. Therefore, it should be emphasized and noted that two or more references to “an embodiment, ” “one embodiment, ” or “an alternative embodiment” in various places throughout this specification do not necessarily refer to the same embodiment. Furthermore, certain features, structures, or characteristics may be combined as suitable in one or more embodiments of the application.

[0100] Moreover, one skilled in the art will appreciate that aspects of the present disclosure may be illustrated and described in terms of a number of patentable categories or instances, including any new and useful process, machine, manufacture, or combination of matter, or any new and useful improvement thereof. Accordingly, aspects of the present disclosure may be performed entirely by hardware, entirely by software (including firmware, resident software, micro-code, etc. ) , or by a combination of hardware and software. The above hardware or software may each be referred to as a “data block, ” “module, ” “engine, ” “unit, ” “component, ” or “system. ” Furthermore, aspects of the present disclosure may be embodied as a computer product embodied in one or more computer-readable media including computer-readable program code.

[0101] Unless otherwise defined, all terms (including technical and scientific terms) used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this disclosure belongs. It will be further understood that terms, such as those defined in commonly used dictionaries, should be interpreted as having a meaning that is consistent with their meaning in the context of the relevant art and will not be interpreted in an idealized or extremely formal sense unless expressly so defined herein.

[0102] While various embodiments of the disclosure have been described, it will be apparent to those of ordinary skill in the art that many more embodiments and implementations are possible that are within the scope of the disclosure. Accordingly, the disclosure is not to be  restricted except in light of the attached claims and their equivalents.

Claims

1.An audio processing method, comprising:receiving an audio signal;detecting the audio signal to determine whether there is howling in the audio signal, and if it is determined that there is howling, determining a target frequency interval of the audio signal containing the howling;comparing a representative power of the audio signal in the target frequency interval with a reference power to determine a power difference;determining a compensation gain for the target frequency interval of the audio signal based at least on the power difference; andgenerating a processed audio signal in which the howling is suppressed based at least on the compensation gain and the audio signal.2.The method of claim 1, wherein detecting the audio signal to determine whether there is howling in the audio signal comprises:calculating a peak-to-average power ratio PAPR of the audio signal at each frequency sampling point of a spectrum of the audio signal and an average PAPR of all frequency sampling points of the spectrum;calculating a PAPR deviation at each frequency sampling point of the spectrum based on the PAPR at the frequency sampling point and the average PAPR; andfor any frequency window in the spectrum of the audio signal, determining whether the audio signal has howling in the frequency window based on the PAPR deviation at each frequency sampling point within the frequency window.3.The method of claim 2, wherein determining whether the audio signal has howling in the frequency window based on the PAPR deviation at each frequency sampling point within the frequency window comprises:determining a number of frequency sampling points within the frequency window of the audio signal with PAPR deviation greater than a predetermined deviation threshold; anddetermining that the audio signal has howling in the frequency window based at least on the number of frequency sampling points within the frequency window of the audio signal with PAPR deviation greater than the predetermined deviation threshold.4.The method of claim 3, wherein determining that the audio signal has howling in the frequency window based at least on the number of frequency sampling points within the frequency window of the audio signal with PAPR deviation greater than the predetermined deviation threshold comprises:calculating a first ratio between the number of frequency sampling points within the frequency window of the audio signal with PAPR deviation greater than the predetermined deviation threshold and a total number of frequency sampling points within the frequency window;determining that the audio signal has howling in the frequency window based at least on that the first ratio is greater than a predetermined ratio threshold.5.The method of claim 4, wherein determining that the audio signal has howling in the frequency window based at least on that the first ratio is greater than the predetermined ratio threshold further comprises:determining that the audio signal has howling in the frequency window if a) the first ratio is greater than the predetermined ratio threshold; and b) a second ratio between a number of frequency sampling points within the frequency window of a previous frame of audio signal with PAPR deviation greater than the predetermined deviation threshold and the total number of frequency sampling points within the frequency window is greater than the predetermined ratio threshold.6.The method of claim 4, wherein determining the target frequency interval of the audio signal containing the howling comprises:determining the frequency window containing the howling as the target frequency interval.7.The method of claim 4, wherein determining the target frequency interval of the audio signal containing the howling comprises:dividing the audio signal into a plurality of frequency bands;determining one or more frequency bands that cover the frequency window containing the howling as the target frequency interval.8.The method of claim 1, wherein the representative power of the audio signal in the target frequency interval is a peak power or an average power of the audio signal in the target frequency interval.9.The method of claim 1, wherein the reference power is one of: a representative power of the audio signal in other frequency intervals without howling, a representative power of a previous frame of audio signal without howling in the target frequency interval, and a weighted combination thereof.10.The method of claim 1, wherein determining the compensation gain for the target frequency interval of the audio signal based at least on the power difference comprises:determining an integral value of the power difference of the audio signal in the target frequency interval and power differences of previous frames of audio signals in the target frequency interval;determining a derivative value between the power difference of the audio signal in the target frequency interval and a power difference of a previous frame of audio signal in the target frequency interval; anddetermining the compensation gain for the target frequency interval of the audio signal based at least on the power difference, the integral value and the derivative value of the audio signal.11.The method of claim 10, wherein determining the compensation gain for the target frequency interval of the audio signal based at least on the power difference, the integral value and the derivative value of the audio signal comprises:weighting and summing the power difference, the integral value, and the derivative value of the audio signal to obtain a weighted power difference in the target frequency interval; anddetermining the compensation gain for the target frequency interval of the audio signal based on the weighted power difference in the target frequency interval.12.The method of claim 9, wherein determining the compensation gain for the target frequency interval of the audio signal based at least on the power difference, the integral value and the derivative value of the audio signal comprises:weighting and summing the power difference, the integral value, and the derivative value of the audio signal to obtain a weighted power difference in the target frequency interval; andweighting and summing the weighted power difference in the target frequency interval and a compensation gain of a previous frame of audio signal in the target frequency interval to determine the compensation gain for the target frequency interval of the audio signal.13.The method of claim 1, wherein generating the processed audio signal in which the  howling is suppressed based at least on the compensation gain and the audio signal comprises:performing wide dynamic range compression (WDRC) processing on the audio signal to obtain a WDRC signal;determining a processed audio signal of the target frequency interval based on the compensation gain and a portion of the WDRC signal in the target frequency interval; andsuperposing the processed audio signal of the target frequency interval with other portions of the WDRC signal in other frequency intervals to obtain the processed audio signal.14.An audio processing apparatus, comprising:a receiving unit configured to receive an audio signal;a detecting unit configured to detect the audio signal to determine whether there is howling in the audio signal, and if it is determined that there is howling, determine a target frequency interval of the audio signal containing the howling;a processing unit configured to compare a representative power of the audio signal in the target frequency interval with a reference power to determine a power difference, determine a compensation gain for the target frequency interval of the audio signal based at least on the power difference, and generate a processed audio signal in which the howling is suppressed based at least on the compensation gain and the audio signal; andan output unit configured to output the processed audio signal.15.An audio processing device, comprising:one or more processors; andone or more memories having stored therein computer-readable instructions which, when executed by the one or more processors, cause the one or more processors to perform the method of any of claims 1-13.16.A computer-readable storage medium having stored thereon computer-readable instructions which, when executed by a processor, cause the processor to perform the method of any of claims 1-13.17.A computer program product comprising computer readable instructions which, when executed by a processor, cause the processor to perform the method of any of claims 1-13.

Citation Information

Patent Citations

  • Howling detection and prevention circuit and a loudspeaker system employing the same

    EP0843502A1

  • Detecting and reducing feedback

    US20180350378A1

  • Reducing acoustic feedback over variable-delay pathway

    US20190356984A1