Method and system for optimizing speaker outputs of PSAP and hearing aid

Abstract

The disclosure relates to a method and system for improving the auditory experience of the wearer's own voice by optimizing the speaker output of PSAPs or hearing aids. The method may comprise determining, based on a bone conduction signal received by a bone conduction sensor, whether a user's own voice exists or not; determining, based on an in-air microphone signal received by an in-air microphone, whether an environmental sound exists or not, in response to determining that the user's own voice exists; and performing, based on the bone conduction signal, the in-air microphone signal and transfer functions, a first adjustment operation to the speaker outputs, in response to determining that no environmental sound exists. The method may further comprise performing a second adjustment operation to the speaker output in response to determining that the environmental sound exists.

Description

METHOD AND SYSTEM FOR OPTIMIZING SPEAKER OUTPUTS OF PSAP AND HEARING AID

[0001] TECHINICAL FIELD

[0002] The present disclosure relates to techniques for improving the experience of hearing one's own voice. Specifically, the present disclosure involves a method and system for optimizing speaker outputs of Personal Sound Amplification Products (PSAPs) and hearing aids, thereby improving the auditory experience of the wearer's own voice by using a bone sensor.BACKGROUND

[0003] At present, there are two kinds of products on the market that amplify sound for users, such as Personal Sound Amplification Products (PSAPs) and hearing aids. These two kinds of products have different intended uses. PSAPs are electronic devices designed for user with normal hearing to amplify sound in certain environments. For example, PSAPs may amplify received sounds and play them through a speaker that is typically plugged into the user's ear. In contrast, hearing aids may also amplify received sounds but are designed to compensate for a wearer's hearing loss.

[0004] When wearing PSAPs or hearing aids, users often experience dissatisfaction with the sound of their own voice, even after undergoing professional fitting for PSAPs or hearing aids. This problem is commonly described as the wearer hearing their own voice too loudly, or environmental sounds or the voices of others are insufficiently loud. Additionally, the sound of the wearer's own voice may be perceived as unnatural, with excessive low frequencies, muffled, boomy, or boxy. The reasons for these issues include the following several aspects.

[0005] Firstly, there is bone conduction of the wearer's own voice. In addition to air-conducted sounds, there are also bone-conducted sounds that travel directly to the ear canal and cochlea, whereas other environmental sounds, including others' voices, do not travel through the bone-conducted path.

[0006] Secondly, an Occlusion Effect is a major contributing factor. Since PSAPs and hearing aids use closed ear molds that block the ear canal, the low-frequency sound pressure in the ear canal increases due to an increase in acoustic impedance, resulting in a louder sound feeling, particularly in the low-frequency range. The energy of voice signals propagates through bone conduction (BC) to ear drum drops significantly as the frequency increases, while users with hearing loss normally have a normal sensitivity in lower frequency bands but weak in high frequency bands.

[0007] Thirdly, the air-conducted own voice (i.e., air conduction (AC) own voice) may be louder. When the air conduction microphone picks up the wearer's own voice, it is usually louder compared to other voices due to the shorter distance and less sound energy loss during propagation in the air.

[0008] Additionally, due to the beamforming gain of the wearer's own voice, some PSAPs may enhance the wearer's own voice more than others. For example, differential beamforming with the maximum response angle near the wearer's mouth (designed for phone call purpose) is commonly used in PSAPs, such as TWS (True Wireless Stereo) earbuds, which can result in a further amplification of the wearer's own voice.

[0009] So far, no perfect solution for the abovesaid problems have been found for PSAPs and hearing aids with ear-blocking structure, especially in regard to the occlusion effect. Wearers may have to eventually get used to it.

[0010] As PSAP functionality becomes increasingly popular in TWS products, and more individuals with hearing loss use hearing aids, it is necessary and highly beneficial to develop an approach to overcome these issues and provide users of such devices with a better auditory experience of their own voices.SUMMARY

[0011] According to one or more embodiments of the present disclosure, a method for improving the auditory experience of the wearer's own voice by optimizing the speaker output of PSAPs or hearing aids is provided. The method may comprise determining, based on a bone conduction signal received by a bone conduction sensor, whether a  user’s own voice exists or not; determining, based on an in-air microphone signal received by an in-air microphone, whether an environmental sound exists or not, in response to determining that the user’s own voice exists; and performing, based on the bone conduction signal, the in-air microphone signal and transfer functions, a first adjustment operation to the speaker outputs, in response to determining that no environmental sound exists.

[0012] According to another aspect of the present disclosure, a system for improving the auditory experience of the wearer's own voice by optimizing the speaker output of PSAPs or hearing aids is provided. The system may comprise at least one bone conduction sensor configured to receive a bone conduction signal; at least one in-air microphone configured to receive an in-air microphone signal; a memory storing pre-estimated transfer functions; and at least one processor coupled to the at least one bone conduction sensor, the at least one in-air microphone and the memory. The at least one processor may be configured to determine, based on the bone conduction signal, whether a user’s own voice exists or not; determine, based on the in-air microphone signal, whether an environmental sound exists or not, in response to determining that the user’s own voice exists; and perform, based on the bone conduction signal, the in-air microphone signal and the transfer functions, a first adjustment operation to the speaker outputs, in response to determining that no environmental sound exists.

[0013] According to yet another aspect of the present disclosure, a non-transitory computer-readable storage medium comprising computer-executable instructions is provided which, when executed by a computer, causes the computer to perform the method disclosed herein.BRIEF DESCRIPTION OF THE DRAWINGS

[0014] FIG. 1 illustrates a human ear and two different paths through which sounds can reach the cochlear.

[0015] FIG. 2 illustrates an example of a device or system equipped with both an air conduction microphone and a bone conduction sensor according to one or more embodiments of the present disclosure.

[0016] FIG. 3 illustrates an example of estimating a transfer function between acoustic pressure measurements at an ear reference point (ERP) and a drum reference point (DRP) with ear open.

[0017] FIG. 4 illustrates an example of estimating a transfer function between acoustic pressure measurements at the ERP and the DRP with ear closed.

[0018] FIG. 5 illustrates an example of estimating a transfer function between an own voice signal received by the bone conduction sensor (such as a Voice Pick Up (VPU) bone sensor) and the own voice signal received at the DRP with ear closed.

[0019] FIG. 6 illustrates an example of estimating a transfer function between an own voice signal received by the bone conduction sensor (such as the VPU bone sensor) and the own voice signal received at the DRP with ear open.

[0020] FIG. 7 illustrates a flowchart of the method for optimizing speaker outputs of PSAPs (such as TWS earbuds) or hearing aids according to one or more embodiments of the present disclosure.

[0021] It is contemplated that elements disclosed in one embodiment may be beneficially utilized on other embodiments without specific recitation. The drawings referred here should not be understood as being drawn to scale unless specifically noted. Also, the drawings are often simplified and details or components omitted for clarity of presentation and explanation. The drawings and discussion serve to explain principles discussed below, where like designations denote like elements.

[0022] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS

[0023] Examples will be provided below for illustration. The descriptions of the various examples will be presented for purposes of illustration but are not intended to be exhaustive or limited to the embodiments disclosed. Many modifications and variations will be apparent to those of ordinary skill in the art without departing from the scope and spirit of the described embodiments.

[0024] To address the problem of dissatisfaction with auditory experience of own voice for PSAPs (such as TWS earbuds with such a function) or hearing aids, this  disclosure proposes a new method and system for optimizing speaker outputs of PSAPs or hearing aids to improve the auditory experience of the wearer's own voice. Particularly, the method may detect the wearer’s own voice activities (OVA) using signals captured by at least one in-air microphone and a bone conduction sensor. The method may pre-estimate some transfer functions. Based on the estimated transfer functions and signals received by the at least one in-air microphone and the bone conduction sensor, the speaker outputs for the PSAPs or hearing aids will be automatically adjusted. The adjustments of the speaker outputs may include switching operators (which are process functions) , based on different conditions. The adjustments of the speaker outputs may further include performing a compensation function for the speaker output, especially for signals captured by the bone conduction sensor, based on the transfer functions. The proposed method and system will be explained in detail referring to FIGS. 1-7 as follows.

[0025] Human hearing perception is related to the vibration of the cochlea. Vibration can be caused by sounds. Sound can reach the cochlea in the inner ear in the following manners: 1) air conduction, which uses the ear canal as a propagation path, 2) bone conduction, which goes through the bones of the skull and tissue, and 3) mixture of air and bone conduction. FIG. 1 shows the human ear and illustrates two different propagation paths through which sounds can reach the cochlear. For example, the bone conducted signal 102 may reach the cochlea through the bones and tissue, and the air conducted signal 104 may reach the cochlea through the ear canal. FIG. 1 also shows the general locations of an ear reference point (ERP) 106 and a drum reference point (DRP) 108, which will be further described later.

[0026] PSAPs or hearing aids usually add gains to signals received by the in-air microphone, and the gains at different frequency bands may be different according to the received signal loudness. For example, this can be achieved by a wide dynamic range compressor (WDRC) and other modules. As is known, although PSAPs and hearing aids work differently such as for different purposes and different target uses, they have some similar electronics parts, e.g., at least an in-air microphone and a speaker. This device or system (e.g., PSAPs or hearing aids, or parts thereof) may be partly plugged into the user’s ear. As used herein, the term “user” may be referred to  interchangeably as a “wearer” , and the term device may be referred to interchangeably as a “system” , “PSAP” , “hearing aid” or “part thereof” .

[0027] FIG. 2 illustrates an example of a device or system equipped with both an air conduction microphone and a bone conduction sensor according to one or more embodiments. As shown in FIG. 2, the device or system may include a bone conduction sensor 202, an in-air microphone 204, a processor 206 and a speaker 208. It can be understood that FIG. 2 is just for illustrating the principle of the proposed method and system and therefore only shows basic components for clarity purpose. The skilled in the art can understand that the device or system may include other necessary components to implement the PSAP or hearing-aid function. For example, the device or system may further include a memory (not shown) for storing information or executable code or instructions used by the processor to perform the proposed method in this disclosure. Note that although FIG. 2 only illustrates one bone conduction sensor 202, one in-air microphone 204, one processor 206 and one speaker 208, more bone conduction sensors, in-air microphones, processors and speakers may be included in the device or system.

[0028] According to one or more embodiments, the processor 206 may perform some processes (methods or algorithms as described later) based on signals received by the in-air microphone 204 or signals from an in-air microphone array and further processed by a module, such as a beamformer and signals received by the bone conduction sensor 202, and provide the processed signals to the speaker 208 for playback, which can provide a better auditory experience of the user's own voice.

[0029] It is not easily accessible or even impossible to directly measure the vibration of the cochlea. However, as the ear canal is close to the cochlea, it is believed that the same vibrations to the cochlea also reach the ear canal, and it is relatively easy to measure the ear-canal sound pressure (ECSP) . Although there may be some differences in the vibrations in the cochlea and ear canal, the ECSP measurement may be the best way to estimate the vibration of the cochlea. The ECSP could be measured by a probe microphone which is plugged into the ear canal close to the eardrum.

[0030] A transfer function between own voice signals received by the in-air microphone and the bone conduction sensor, such as a VPU bone sensor, may be easily estimated. For example, human subjects wear the device in an Anechoic chamber room and speak and read. The mathematical relationship between the recorded signals from the in-air microphone and the VPU bone sensor is estimated as H1 (f) , where f is the frequency which depends on the performance of the VPU and is normally below 1500 Hz. Due to the variation of skulls and tissues, there might be some variation of different subjects, but an averaged transfer function could be estimated, and this could be adaptively updated for a user when he / she is talking in a quiet environment.

[0031] A transfer function between acoustic pressure measurements at an ear reference point (ERP) and a drum reference point (DRP) with ear open, may be estimated. FIG. 3 illustrates an example of estimating the transfer function between acoustic pressure measurements at the ERP 306 and the DRP 308 with ear open. An in-air microphone 302 is placed near the ear of a subject. For the same ear, a probe microphone 304 is plugged into the subject’s ear canal and is close to the eardrum, a tube 310 is required for safety reasons drawn in FIG. 3. Then, sounds are played in an Anechoic chamber room and the signals from the two microphones are recorded, while keeping the ear-open status. The mathematical relationship between the recorded signals from the in-air microphone 302 and the probe microphone 304 is estimated as H2 (f) , where f is symbol for frequency. This experiment can also be done using a Head and Torso Simulator (HATS) and some reference functions are available from IEEE Standard. Notice in practice that there may be a slight difference between a signal received at the in-air microphone of a device and ERP, due to the physical size of the microphone and the device, but it would not have significant affection on the performance.

[0032] A transfer function between acoustic pressure measurements at the ERP and the DRP with ear closed may be estimated. FIG. 4 illustrates an example of estimating the transfer function between acoustic pressure measurements at the ERP 406 and the DRP 408 with ear open. There are two manners can be used to measure the signals at ERP 406 and DRP 408 for the case that an ear canal is well isolated. The first manner is to plug an earbud into an ear, then to play a sound using its own speaker and record the signals from the two microphones near ERP 406 and DRP 408 respectively, which  is similar to the manner described with reference to FIG. 3. Alternatively, the second manner is to place noise isolating earmuffs 410 which provide high quality sound over ears, then to play a sound using its own speaker (s) and record the signals from the two microphones 402, 404 near ERP 406 and DRP 408 respectively. Both manners should be carried out in an Anechoic chamber room to avoid any extra sound. FIG. 4 shows the second manner. The mathematical relationship between the recorded signals from the in-air microphone 402 and the probe microphone 404 is estimated as H3 (f) , where f is the frequency. This experiment may also be done using a Head and Torso Simulator (HATS) and some reference functions are available from IEEE Standard. Notice the manner of isolating the ear is not limited to the two listed manners or the manner shown in FIG. 4.

[0033] A transfer function between an own voice signal received by the bone conduction sensor and the own voice signal received at the drum reference point (DRP) with ear closed can be estimated. FIG. 5 illustrates an example of estimating a transfer function between an own voice signal received by the bone conduction sensor 502 (such as a VPU bone sensor) and the own voice signal received at the DRP 506 with ear closed. Similar to the above measurement for estimating H1 (f) , human subjects wear the device in an Anechoic chamber room and speak and read. The mathematic relationship between the recorded signals from the bone conduction sensor 502 (such as a VPU bone sensor) and the probe microphone 504 is estimated as H4 (f) , where f is the frequency. A tube 508 is required for safety reasons and is easy to control open and close status in the ear canal. For example, some soft silicon may be filled for close status and no sound could leak out. The silicon is the shaded area drawn in FIG. 5. Notice that the isolation way could be the same as the way in FIG. 4, but without playing any sounds.

[0034] A transfer function between an own voice signal received by the bone conduction sensor and the own voice signal received at the drum reference point (DRP) with ear open can be estimated. FIG. 6 illustrates an example of estimating a transfer function between an own voice signal received by the bone conduction sensor 602 (such as the VPU bone sensor) and the own voice signal received at the DRP 606 with ear open. Similar to the above measurement for estimating H4 (f) , human subjects  wear the device and speak and read in the Anechoic chamber room, but a soft tube 608 is added to allow the sound inside the ear canal to leak out. The long soft tube is put far away from subject’s mouth and in different direction which avoid the air conduction voice into the ear canal. The mathematic relationship between the recorded signals captured by the bone conduction sensor 602 and the probe microphone 604 is estimated as H5 (f) , where f is the frequency. With careful design, such as using different diameters (with calculations) at two sides of the soft tube, and placing the soft tube such as toward the opposite direction of the mouth, the ear canal is in a nearly open status, wherein bone conducted signals of own voice could leak out but very little air conduction signals go into the ear canal.

[0035] Here the five transfer functions are listed together as below

[0036] The approach proposed in this disclosure aims to process signals received by the in-air microphone and the bone conduction sensor, so that the processed signal sounds closer to the expected target sound when played by the speaker in the worn device. In the above modeling and discussion of transfer functions, the transfer functions with the human ear in the open or closed state have been considered. In this disclosure, it can be understood that the own voice heard by the human ear in the closed state is the actual voice, while the own voice heard by the human ear in the open state  is the expected target voice. Therefore, for the convenience of explanation, the present disclosure will below give some definitions of signals and some equations representing relationships among the signals in different cases, to clearly explain the basic principles of the present invention in combination with the above transfer functions.

[0037] When a user speaks, the own voiced signal S (f) reaches the air conduction microphone (i.e., the in-air microphone near to ERP) with a very light loss and the own voiced signal received by the in-air microphone (it may be referred to interchangeably as an in-air microphone signal received by the in-air microphone when only user speaks) is denoted as Sa (f) . Then, the signal goes though the ear canal and reaches the drum (DRP) and the reached signal is denoted as SDa (f) . The own voiced signal reaches the bone conduction sensor through skull and tissue, and the own voiced signal received by the bone conduction sensor (it may be referred to interchangeably as a bone conduction signal received by the bone conduction sensor) is denoted as Sb (f) . The own voiced signal also reaches the ear drum through the pathway of bone conduction and the reached signal is denoted as SDb (f) . An environmental sound (which can be voice signals from others or non-voice signals from the environment) reaches the in-air microphone (i.e., reaches the ERP) and the environmental sound received by the in-air microphone is denoted as I (f) and, then the environmental sound goes though the ear canal and reaches the drum (DRP) and the reached environmental sound is denoted as IDa (f) . For a simple notation, the symbol (f) is omitted in the following description. Although the transfer functions and signals are expressed in frequency domain, those of ordinary skill in the art may clearly understand that the transfer functions and signals may be processed in a time domain. Some equations and relationships can be denoted as Sb=SaH1.           (1)

[0038] When the ear is open SDa0=SaH2,       (2) SDb0=SbH5,       (3) IDa0=IH2.       (4)

[0039] When the ear is closed and the speaker plays the same signal received by the in-air microphone, then SDa1=SaH3,    (5) SDb1=SbH4,    (6) IDa1=IH3.   (7)

[0040] PSAPs or hearing aids process function is denoted as an operator W (·) , such as a WDRC. Notice that W here denotes a series of operations, rather than a simple matrix multiplication operator. It processes the signal X received by the in-air microphone and generates an output Y accordingly to the speaker in the device or system, which is as follows. and Y=W (X)        (8)

[0041] When the ear is open, the sound measurement for the speaker output of the device at the DRP is denoted as YDa0=W (X) H2.        (9)

[0042] Additionally, when the user speaks, the own voice goes through the pathway of bone conduction and reaches the DRP, and the mixed signal at the DRP is denoted as YD0=YDa0+SDb0=W (X) H2+SbH5.         (10)

[0043] When the ear is closed, the sound measurement for the speaker output of the device at the DRP is denoted as YDa1=W (X) H3.                 (11)

[0044] Additionally, the signal at the DRP mixed with the bone conducted own voice signal at the DRP is denoted as YD1=YDa1+SDb1=W (Sa+I) H3+SbH4.       (12)

[0045] As mentioned, the extra bone conduction (BC) signals and the occlusion effect make the own voice signal reach the DRP as W (Sa) H3+SbH4 , which has much stronger low frequency parts and sounds loud, muffled and unnatural. The disclosure will address this problem to improve the auditory experience of the wearer's own voice.

[0046] The disclosure proposes to automatically change the operator W in two cases, i.e., only the user speaks or there is another voice from others while the user speaks. These two cases can be detected by using the bone conduction sensor and the in-air microphone. At present, there are many well-developed voice activity detection (VAD) algorithms based on air conduction signals, but it is difficult for these algorithms to distinguish whether signals are from the wearer's voice or from other people nearby or played in media (such as TV and radio) . Generally speaking, the own voice is usually louder than other sounds, but it is not always the case. The voice detection based on bone conduction signal has the following advantages in identifying the wearer's own voice signal. The wearer's own voice signals captured by the bone conduction sensor usually have high signal-to-noise ratios (SNRs) , and the voiced signals have obvious harmonic structure. In addition, voice signals from other people nearby or played in the media will not be captured by the bone conduction sensor.

[0047] The following descriptions with reference to FIG. 7 will continue to introduce how to automatically optimize and adjust the output of the speaker in the worn device (e.g., the PSAP or hearing aid, or parts thereof) by using the in-air microphone and the bone conduction microphone, based on the pre-estimated transfer functions, and according to the different usage cases of the worn device, for example, only the user (i.e., the wearer) speaks or there is another voice from others while the user speaks.

[0048] FIG. 7 illustrates a flowchart of the method for optimizing speaker outputs according to one or more embodiments of the present disclosure. At S702, the method may determine whether the user’s own voice exists based on the bone conduction signal received by the bone conduction sensor. As described above, this determination can be made based on any well-developed voice activity detection (VAD) algorithms.

[0049] In some examples, if it determines that the user’s own voice does not exist, the method goes to S704. At S704, the default operator is used and no additional operation is performed. It can be understood that the described device or system (for example, the PSAP or hearing aid, or parts thereof) may be normally designed in advance or turned for hearing the environmental sound well in fitting, thus getting a good setting of the default operator W for an individual regardless of the user’s own voice case. When the user does not speak, the method will not perform any additional operation, but only use the default operator which represents a series of default operations or processing functions (such as the WDRC function) predefined in the PSAPs or hearing aids.

[0050] In some embodiments, if it determines that the user’s own voice exists, then the method goes to S706. At S706, the method may determine whether any environmental sound exists based on the in-air microphone signal received by the in-air microphone. In some examples, the determination may be made based on a correlation between the bone conduction signal received by the bone conduction sensor and the in-air microphone signal received by the in-air microphone. In a preferable example, the determination may be made based on a correlation between the bone conduction signal and a convolution of the in-air microphone signal and the first transfer function.

[0051] In some examples, when the user speaks and no anyone else speaks (here X=Sa) , the own voice activity (OVA) would be detected in both the bone conduction signal received by the bone conduction sensor and the in-air microphone signal received by the in-air microphone. In this case, there is a very high correlation between these two signals. More specifically, there is a very high correlation between the bone conduction signal Sb and  SaH1, a convolution  of the in-air microphone signal and the first transfer function.

[0052] In some embodiments, if it determines that the environmental sound does not exist, then the method goes to S708. At S708, the method may perform a first adjustment operation to the speaker output based on the bone conduction signal, the in-air microphone signal and transfer functions. In some examples, the first adjustment operation includes a first change of the default operator and a compensation for the bone conduction signal.

[0053] In some examples, based on the above equations and the corresponding descriptions, it can be known that the mixed signal at DRP with the default operator may be described as the following equation, Yactual0=W (X) H3+SbH4.        (13)

[0054] The target sound signal which sounds as natural as the sound heard in the state with ear open is given by the following equation Ytarget0=W (X) H2+SbH5,       (14)

[0055] To achieve the above target, the first operation is performed by using a new operator Wov0 described as the following equation, Wov0 (X, Sb) =W (X) H2 / H3+Sb (H5-H4)  / H3.      (15)

[0056] wherein the air conduction compensation function for ear cannel transparency, i.e., H2 / H3, may be used to adjust the default operator W, and the bone conduction compensation function for the ear cannel transparency, i.e., H5-H4, may be used to compensate for the bone conduction signal.

[0057] Then, the optimized speaker output is described as the following equation, Yov0=Wov0 (X, Sb) ,           (16)

[0058] Thus, the mixed signal at the DRP by using the new operator Wov0 is expected to be close to the target sound signal described as the above equation (14) .

[0059] Since the default W is usually used for hearing environmental sounds and the own voice signal captured by the in-air microphone usually has a higher loudness, also there is bone conducted own voice in the ear canal, therefore the own voice would be too loud if there is no further process. In order to improve the loudness of the own voice, a further adjustment is performed, which may be described as the following equation, Wov0 (X, Sb) = αW (X) H2 / H3+Sb (H5-H4)  / H3.        (17)

[0060] where  α represents a loudness compensation coefficient vector and the elements of αis in range (0, 1) . The value of α is tuned in advance for each model of the device or system, and two sets of values of α are used for beamforming on and off cases respectively. Notice α is a function over frequency, f, and it varies at each frequency bin. In practice, the process of applying α can be an equalizer filter. Here α is used to compensate for the case that the own voice is louder than environmental sound due to shorter distance and extra bone conduction, and also cover the case that the loudness is increased by beamforming technology. The transfer functions (such as H2, H3, H4, H5) are used together to compensate for the occlusion effect.

[0061] In some embodiments, if it determines that the environmental sound exists, then the method goes to S710. At S710, the method may perform a second adjustment operation to the speaker output based on the bone conduction signal, the in-air microphone signal and transfer functions. In some examples, the second adjustment operation includes a second change of the default operator and the compensation for the bone conduction signal.

[0062] In some examples, in the case that there is another voice from others (in other words, the environmental sound exists) while the user speaks, the VAD module uses the signal (s) captured from the bone conduction sensor (or the bone conduction sensor and the in-air microphone together) , and thus can detect the own voice accurately. Based on the VAD results, the sections containing own voiced signals in the two signals (captured by the bone conduction sensor and the in-air microphone) can be localized. In each of these sections, a correlation ρ between Sb and (Sa+I) H1 may be calculated and used to estimate a ratio of power of the own voiced signal to the in-air microphone signal received by the in-air microphone (for example, the ratio is described as r=Sa / X) , as it is believed that the own voice Sa is independent with the environmental sound I.

[0063] In some examples, based on the above equations and the corresponding descriptions, it can be known that the mixed signal at DRP with the default operator may be described as the following equation, Yactual1=W (X) H3+SbH4.          (18)

[0064] The target sound signal which sounds as natural as the sound heard in the state with ear open is given by the following equation, Ytarget1=W (X) H2+SbH5,            (19)

[0065] To achieve the above target, the second operation is performed by using a new operator Wov1 described as the following equation, Wov1 (X, Sb) =W (X) H2 / H3+Sb (H5-H4)  / H3,  (20)

[0066] wherein the air conduction compensation function for ear cannel transparency, i.e., H2 / H3, may be used to adjust the default operator W, and the bone conduction compensation function for the ear cannel transparency, i.e., H5-H4, may be used to compensate for the bone conduction signal.

[0067] Then, the optimized speaker output is described as the following equation (16) .

[0068] In order to balance the loudness of own voice and the environmental sound, a further adjustment is performed, which may be described as the following equation, Wov1 (X, Sb) = (1+αρ-ρ) W (X) H2 / H3+Sb (H5-H4)  / H3        (21)

[0069] where the values of elements in α is same as equation (17) . Here α and ρ are used to compensate for the case that the own voice is louder than environmental sound due to shorter distance and extra bone conduction, and also cover the case that the loudness is increased by beamforming technology. The transfer functions (such as H2, H3, H4, H5) are used together to compensate for the occlusion effect.

[0070] Notice that the bone conduction sensor can only detect the vibration at low frequency due to the vibration frequency of bone and tissue, so the modification to W is mainly in low frequency bands, but it will still solve the problem and provide a better auditory experience of hearing one’s own voice when the user wears the product.

[0071] In case a bone conduction sensor might not be able to detect sufficiently high frequency that matches the frequency range of the bone conduction sound in ear canal, a spectrum expansion with F0 estimation operation can be carried out to compensate for the missing of signal components at a range of slightly higher frequencies.

[0072] The disclosure as above describes the proposed method and system that can implement the proposed method from various aspects. To overcome the problem of occlusion effect which is caused by the device plugged in, one’s own voice containing extra bone conduction voice and higher loudness of one’s own voice due to shorter distance, the method pre-estimates five transfer functions among signals which are captured or measured using at least one in-air sensor, a bone conduction sensor and an in-ear probe microphone in the ear-open or ear-closed case respectively. Based on the five transfer functions, the loudness compensation coefficient vector, and the signal to interference ratio estimated by a correlation between the bone conduction signal and the in-air microphone signal, processing functions (i.e., operators) of PSAPs or hearing aids are calculated and adaptively applied accordingly for the scenarios of environmental sound only, own voice only or mixed sound cases.

[0073] It can be recognized that the discussed method above may be realized by at least one processor included in system for Personal Sound Amplification Products (PSAPs) or hearing aids. For example, the system may comprise a memory and at least one processor. The memory may be configured to store computer-readable instructions or codes for causing the at least one processor to carry out the above said aspects of the present disclosure. The processor may be any technically feasible hardware unit configured to process data and execute software applications, including without limitation, a central processing unit (CPU) , a microcontroller unit (MCU) , an application specific integrated circuit (ASIC) , a digital signal processor (DSP) chip and so forth.

[0074] In the detailed description above it can be seen that different features are grouped together in examples. This manner of disclosure should not be understood as an intention that the example clauses have more features than are explicitly mentioned in each clause. Rather, the various aspects of the disclosure may include fewer than all features of an individual example clause disclosed. Therefore, the following clauses should hereby be deemed to be incorporated in the description, wherein each clause by itself can stand as a separate example. Although each dependent clause can refer in the clauses to a specific combination with one of the other clauses, the aspect (s) of that dependent clause are not limited to the specific combination. It will be appreciated that  other example clauses can also include a combination of the dependent clause aspect (s) with the subject matter of any other dependent clause or independent clause or a combination of any feature with other dependent and independent clauses. The various aspects disclosed herein expressly include these combinations, unless it is explicitly expressed or can be readily inferred that a specific combination is not intended (e.g., contradictory aspects, such as defining an element as both an electrical insulator and an electrical conductor) . Furthermore, it is also intended that aspects of a clause can be included in any other independent clause, even if the clause is not directly dependent on the independent clause.

[0075] Implementation examples are described in the following numbered clauses:

[0076] Clause 1. A method for optimizing speaker outputs of Personal Sound Amplification Products (PSAPs) or hearing aids, comprising: determining, based on a bone conduction signal received by a bone conduction sensor, whether a user’s own voice exists or not; determining, based on an in-air microphone signal received by an in-air microphone, whether an environmental sound exists or not, in response to determining that the user’s own voice exists; and performing, based on the bone conduction signal, the in-air microphone signal and transfer functions, a first adjustment operation to the speaker outputs, in response to determining that no environmental sound exists.

[0077] Clause 2. The method of claim 1, further comprises: performing, based on the bone conduction signal, the in-air microphone signal and transfer functions, a second adjustment operation to the speaker output, in response to determining that the environmental sound exists.

[0078] Clause 3. The method of any one of clauses 1-2, wherein the first adjustment operation includes a first change of a default operator and a compensation for the bone conduction signal, wherein the default operator includes a series of processing functions predefined in the PSAPs or hearing aids.

[0079] Clause 4. The method of any one of clauses 1-3, wherein the second adjustment operation includes a second change of the default operator and the compensation for the bone conduction signal.

[0080] Clause 5. The method of any one of clauses 1-4, wherein the transfer functions are pre-estimated and include: a first transfer function that is a transfer function between own voice signals received by the in-air microphone and the bone conduction sensor; a second transfer function that is a transfer function between acoustic pressure measurements at an ear reference point (ERP) and a drum reference point (DRP) in an ear-open state; a third transfer function that is a transfer function between acoustic pressure measurements at the ERP and the DRP in an ear-closed state; a fourth transfer function that is a transfer function between an own voice signal received by the bone conduction sensor and the own voice signal received at the DRP in the ear-closed state; and a fifth transfer function that is a transfer function between the own voice signal received by the bone conduction sensor and the own voice signal received at the drum reference point (DRP) in the ear-open state.

[0081] Clause 6. The method of any one of clauses 1-5, wherein the first change of the default operator is calculated based on a loudness compensation coefficients vector, an air conduction compensation function for ear cannel transparency, and the in-air microphone signal; wherein the in-air microphone signal includes only the user’s own voice; and wherein the air conduction compensation function is based on the second transfer function and the third transfer function.

[0082] Clause 7. The method of any one of clauses 1-6, wherein the second change of the default operator is calculated based on the loudness compensation coefficient vector, a correlation between the bone conduction signal and a convolution of the in-air microphone signal and the first transfer function, the air conduction compensation function for ear cannel transparency, and the in-air microphone signals; and wherein the in-air microphone signal includes the user’s own voice and the environmental sound.

[0083] Clause 8. The method of any one of clauses 1-7, wherein the compensation for the bone conduction signal is calculated based on the bone conduction signal, the third transfer function, the fourth transfer function and the fifth transfer function.

[0084] Clause 9. The method of any one of clauses 1-8, wherein the determining whether the environment sound exists comprises: calculating the correlation between  the bone conduction signal and a convolution of the in-air microphone signal and the first transfer function; and estimating a ratio of power of own voiced signals contained in the bone conduction signal and the in-air microphone signal to power of the in-air microphone signal.

[0085] Clause 10. The method of any one of clauses 1-9, further comprises using the default operator in response to determining that the user’s own voice does not exist.

[0086] Clause 11. A system for optimizing speaker outputs of Personal Sound Amplification Products (PSAPs) or hearing aids, comprising: at least one bone conduction sensor configured to receive a bone conduction signal; at least one in-air microphone configured to receive an in-air microphone signal; a memory storing pre-estimated transfer functions; and at least one processor coupled to the at least one bone conduction sensor, the at least one in-air microphone and the memory, and configured to determine, based on the bone conduction signal, whether a user’s own voice exists or not; determine, based on the in-air microphone signal, whether an environmental sound exists or not, in response to determining that the user’s own voice exists; and perform, based on the bone conduction signal, the in-air microphone signal and the transfer functions, a first adjustment operation to the speaker outputs, in response to determining that no environmental sound exists.

[0087] Clause 12. The system of claim 11, wherein the at least one processor is further configured to perform, based on the bone conduction signal, the in-air microphone signal and transfer functions, a second adjustment operation to the speaker output, in response to determining that the environmental sound exists.

[0088] Clause 13. The system of any one of clauses 11-12, wherein the first adjustment operation includes a first change of a default operator and a compensation for the bone conduction signal, wherein the default operator includes a series of processing functions predefined in the PSAPs or hearing aids.

[0089] Clause 14. The system of any one of clauses 11-13, wherein the second adjustment operation includes a second change of the default operator and the compensation for the bone conduction signal.

[0090] Clause 15. The system of any one of clauses 11-14, wherein the pre-estimated transfer functions include: a first transfer function that is a transfer function between own voice signals received by the in-air microphone and the bone conduction sensor; a second transfer function that is a transfer function between acoustic pressure measurements at an ear reference point (ERP) and a drum reference point (DRP) in an ear-open state; a third transfer function that is a transfer function between acoustic pressure measurements at the ERP and the DRP in an ear-closed state; a fourth transfer function that is a transfer function between an own voice signal received by the bone conduction sensor and the own voice signal received at the DRP in the ear-closed state; and a fifth transfer function that is a transfer function between the own voice signal received by the bone conduction sensor and the own voice signal received at the drum reference point (DRP) in the ear-open state.

[0091] Clause 16. The system of any one of clauses 11-15, wherein the first change of the default operator is calculated based on a loudness compensation coefficients vector, an air conduction compensation function for ear cannel transparency, and the in-air microphone signal; wherein the in-air microphone signal includes only the user’s own voice; and wherein the air conduction compensation function is based on the second transfer function and the third transfer function.

[0092] Clause 17. The system of any one of clauses 11-16, wherein the second change of the default operator is calculated based on the loudness compensation coefficient vector, a correlation between the bone conduction signal and a convolution of the in-air microphone signal and the first transfer function, the air conduction compensation function for ear cannel transparency, and the in-air microphone signals; and wherein the in-air microphone signal includes the user’s own voice and the environmental sound.

[0093] Clause 18. The system of any one of clauses 11-17, wherein the compensation for the bone conduction signal is calculated based on the bone conduction signal, the third transfer function, the fourth transfer function and the fifth transfer function.

[0094] Clause 19. The system of any one of clauses 11-18, wherein the at least one processor is further configured to: calculate the correlation between the bone  conduction signal and a convolution of the in-air microphone signal and the first transfer function; and estimate a ratio of power of own voiced signals contained in the bone conduction signal and the in-air microphone signal to power of the in-air microphone signal.

[0095] Clause 20. A non-transitory computer-readable storage medium comprising computer-executable instructions which, when executed by a computer, causes the computer to perform the method according to any one of clauses 1-10.

[0096] The descriptions of the various embodiments have been presented for purposes of illustration, but are not intended to be exhaustive or limited to the embodiments disclosed. The terminology used herein was chosen to best explain the principles of the embodiments, the practical application or technical improvement over technologies found in the marketplace, or to enable others of ordinary skill in the art to understand the embodiments disclosed herein.

[0097] In the preceding, reference is made to embodiments presented in this disclosure. However, the scope of the present disclosure is not limited to specific described embodiments. Instead, any combination of the preceding features and elements, whether related to different embodiments or not, is contemplated to implement and practice contemplated embodiments. Furthermore, although embodiments disclosed herein may achieve advantages over other possible solutions or over the prior art, whether or not a particular advantage is achieved by a given embodiment is not limiting of the scope of the present disclosure. Thus, the preceding aspects, features, embodiments and advantages are merely illustrative and are not considered elements or limitations of the appended claims except where explicitly recited in a claim (s) .

[0098] Aspects of the present disclosure may take the form of an entirely hardware embodiment, an entirely software embodiment (including firmware, resident software, micro-code, etc. ) or an embodiment combining software and hardware aspects that may all generally be referred to herein as a “circuit, ” “module” , “unit” or “system. ”

[0099] The present disclosure may be a system, a method, and / or a computer program product. The computer program product may include a computer  readable storage medium (or media) having computer readable program instructions thereon for causing a processor to carry out aspects of the present disclosure.

[0100] The computer readable storage medium can be a tangible device that can retain and store instructions for use by an instruction execution device. The computer readable storage medium may be, for example, but is not limited to, an electronic storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device, or any suitable combination of the foregoing. A non-exhaustive list of more specific examples of the computer readable storage medium includes the following: a portable computer diskette, a hard disk, a random access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , a static random access memory (SRAM) , a portable compact disc read-only memory (CD-ROM) , a digital versatile disk (DVD) , a memory stick, a floppy disk, a mechanically encoded device such as punch-cards or raised structures in a groove having instructions recorded thereon, and any suitable combination of the foregoing. A computer readable storage medium, as used herein, is not to be construed as being transitory signals per se, such as radio waves or other freely propagating electromagnetic waves, electromagnetic waves propagating through a waveguide or other transmission media (e.g., light pulses passing through a fiber-optic cable) , or electrical signals transmitted through a wire.

[0101] Computer readable program instructions described herein can be downloaded to respective calculating / processing devices from a computer readable storage medium or to an external computer or external storage device via a network, for example, the Internet, a local area network, a wide area network and / or a wireless network. The network may comprise copper transmission cables, optical transmission fibers, wireless transmission, routers, firewalls, switches, gateway computers and / or edge servers.

[0102] Aspects of the present disclosure are described herein with reference to flowchart illustrations and / or block diagrams of methods, apparatus (systems) , and computer program products according to embodiments of the disclosure. It will be understood that each block of the flowchart illustrations and / or block diagrams, and  combinations of blocks in the flowchart illustrations and / or block diagrams, can be implemented by computer readable program instructions.

[0103] These computer readable program instructions may be provided to a processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus to produce a machine, such that the instructions, which execute via the processor of the computer or other programmable data processing apparatus, create means for implementing the functions / acts specified in the flowchart and / or block diagram block or blocks.

[0104] The flowchart and block diagrams in the drawings illustrate the architecture, functionality, and operation of possible implementations of systems, methods, and computer program products according to various embodiments of the present disclosure. In this regard, each block in the flowchart or block diagrams may represent a module, segment, or portion of instructions, which comprises one or more executable instructions for implementing the specified logical function (s) . In some alternative implementations, the functions noted in the block may occur out of the order noted in the figures. For example, two blocks shown in succession may, in fact, be executed substantially concurrently, or the blocks may sometimes be executed in the reverse order, depending upon the functionality involved. It will also be noted that each block of the block diagrams and / or flowchart illustration, and combinations of blocks in the block diagrams and / or flowchart illustration, can be implemented by special purpose hardware-based systems that perform the specified functions or acts or carry out combinations of special purpose hardware and computer instructions.

[0105] While the foregoing is directed to embodiments of the present disclosure, other and further embodiments of the disclosure may be devised without departing from the basic scope thereof, and the scope thereof is determined by the claims that follow.

Claims

1.A method for optimizing speaker outputs of Personal Sound Amplification Products (PSAPs) or hearing aids, comprising:determining, based on a bone conduction signal received by a bone conduction sensor, whether a user’s own voice exists or not;determining, based on an in-air microphone signal received by an in-air microphone, whether an environmental sound exists or not, in response to determining that the user’s own voice exists; andperforming, based on the bone conduction signal, the in-air microphone signal and transfer functions, a first adjustment operation to the speaker outputs, in response to determining that no environmental sound exists.2.The method of claim 1, further comprises:performing, based on the bone conduction signal, the in-air microphone signal and transfer functions, a second adjustment operation to the speaker output, in response to determining that the environmental sound exists.3.The method of any one of claims 1-2, wherein the first adjustment operation includes a first change of a default operator and a compensation for the bone conduction signal, wherein the default operator includes a series of processing functions predefined in the PSAPs or hearing aids.4.The method of any one of claims 1-3, wherein the second adjustment operation includes a second change of the default operator and the compensation for the bone conduction signal.5.The method of any one of claims 1-4, wherein the transfer functions are pre-estimated and include:a first transfer function that is a transfer function between own voice signals received by the in-air microphone and the bone conduction sensor;a second transfer function that is a transfer function between acoustic pressure measurements at an ear reference point (ERP) and a drum reference point (DRP) in an ear-open state;a third transfer function that is a transfer function between acoustic pressure measurements at the ERP and the DRP in an ear-closed state;a fourth transfer function that is a transfer function between an own voice signal received by the bone conduction sensor and the own voice signal received at the DRP in the ear-closed state; anda fifth transfer function that is a transfer function between the own voice signal received by the bone conduction sensor and the own voice signal received at the drum reference point (DRP) in the ear-open state.6.The method of any one of claims 1-5,wherein the first change of the default operator is calculated based on a loudness compensation coefficients vector, an air conduction compensation function for ear cannel transparency, and the in-air microphone signal;wherein the in-air microphone signal includes only the user’s own voice; andwherein the air conduction compensation function is based on the second transfer function and the third transfer function.7.The method of any one of claims 1-6,wherein the second change of the default operator is calculated based on the loudness compensation coefficient vector, a correlation between the bone conduction signal and a convolution of the in-air microphone signal and the first transfer function, the air conduction compensation function for ear cannel transparency, and the in-air microphone signals; andwherein the in-air microphone signal includes the user’s own voice and the environmental sound.8.The method of any one of claims 1-7, wherein the compensation for the bone conduction signal is calculated based on the bone conduction signal, the third transfer function, the fourth transfer function and the fifth transfer function.9.The method of any one of claims 1-8, wherein the determining whether the environment sound exists comprises:calculating the correlation between the bone conduction signal and a convolution of the in-air microphone signal and the first transfer function; andestimating a ratio of power of own voiced signals contained in the bone conduction signal and the in-air microphone signal to power of the in-air microphone signal.10.The method of any one of claims 1-9, further comprises using the default operator in response to determining that the user’s own voice does not exist.11.A system for optimizing speaker outputs of Personal Sound Amplification Products (PSAPs) or hearing aids, comprising:at least one bone conduction sensor configured to receive a bone conduction signal;at least one in-air microphone configured to receive an in-air microphone signal;a memory storing pre-estimated transfer functions; andat least one processor coupled to the at least one bone conduction sensor, the at least one in-air microphone and the memory, and configured todetermine, based on the bone conduction signal, whether a user’s own voice exists or not;determine, based on the in-air microphone signal, whether an environmental sound exists or not, in response to determining that the user’s own voice exists; andperform, based on the bone conduction signal, the in-air microphone signal and the transfer functions, a first adjustment operation to the speaker outputs, in response to determining that no environmental sound exists.12.The system of claim 11, wherein the at least one processor is further configured to perform, based on the bone conduction signal, the in-air microphone signal and transfer functions, a second adjustment operation to the speaker output, in response to determining that the environmental sound exists.13.The system of any one of claims 11-12, wherein the first adjustment operation includes a first change of a default operator and a compensation for the bone  conduction signal, wherein the default operator includes a series of processing functions predefined in the PSAPs or hearing aids.14.The system of any one of claims 11-13, wherein the second adjustment operation includes a second change of the default operator and the compensation for the bone conduction signal.15.The system of any one of claims 11-14, wherein the pre-estimated transfer functions include:a first transfer function that is a transfer function between own voice signals received by the in-air microphone and the bone conduction sensor;a second transfer function that is a transfer function between acoustic pressure measurements at an ear reference point (ERP) and a drum reference point (DRP) in an ear-open state;a third transfer function that is a transfer function between acoustic pressure measurements at the ERP and the DRP in an ear-closed state;a fourth transfer function that is a transfer function between an own voice signal received by the bone conduction sensor and the own voice signal received at the DRP in the ear-closed state; anda fifth transfer function that is a transfer function between the own voice signal received by the bone conduction sensor and the own voice signal received at the drum reference point (DRP) in the ear-open state.16.The system of any one of claims 11-15,wherein the first change of the default operator is calculated based on a loudness compensation coefficients vector, an air conduction compensation function for ear cannel transparency, and the in-air microphone signal;wherein the in-air microphone signal includes only the user’s own voice; andwherein the air conduction compensation function is based on the second transfer function and the third transfer function.17.The system of any one of claims 11-16,wherein the second change of the default operator is calculated based on the loudness compensation coefficient vector, a correlation between the bone conduction signal and a convolution of the in-air microphone signal and the first transfer function, the air conduction compensation function for ear cannel transparency, and the in-air microphone signals; andwherein the in-air microphone signal includes the user’s own voice and the environmental sound.18.The system of any one of claims 11-17, wherein the compensation for the bone conduction signal is calculated based on the bone conduction signal, the third transfer function, the fourth transfer function and the fifth transfer function.19.The system of any one of claims 11-18, wherein the at least one processor is further configured to:calculate the correlation between the bone conduction signal and a convolution of the in-air microphone signal and the first transfer function; andestimate a ratio of power of own voiced signals contained in the bone conduction signal and the in-air microphone signal to power of the in-air microphone signal.20.A non-transitory computer-readable storage medium comprising computer-executable instructions which, when executed by a computer, causes the computer to perform the method according to any one of claims 1-10.

Images