Method and system allowing user to hear own real voice

Abstract

A method allowing a user to hear own real voice is provided herein. The method may eliminate a part of the user's voice which is conducted through the user's bone vibrations from his / her throat and can be heard by the user. Such bone signal can be superimposed and neutralized by playing a reversed bone signal to the user's ear. The reversed bone signal can be generated with opposite phase and same amplitude and frequency as the bone signal, and played through a signal player to the user's ear. A system allowing a user to hear own real voice is also provided herein.

Description

METHOD AND SYSTEM ALLOWING USER TO HEAR OWN REAL VOICETECHNICAL FIELD

[0001] The present invention relates generally to audio technology. More particularly, the present invention relates to a method allowing a user to hear own real voice and a system therefor.BACKGROUND

[0002] As can be understood by those skilled in the art, sound is produced by the vibration of the sound body and then propagated through the medium. The sound propagation in the medium will produce sound waves.

[0003] Usually, when people speak to others, their voice can be transferred to their own ears mainly via two ways, one is through air vibrations, and the other is through bone vibrations. What the people own voice heard by themselves will be the combination of the air and bone signals, while the others can only hear the air signals. Those speakers cannot hear the same voice as what they expressed to the other listeners, this problem can be especially awkward for those practitioners who pursue their pronunciation and timbre, such as singers, reciters or announcers, when training their vocal technique.

[0004] Therefore, it may probably be a surprised option to provide a solution that allows a user to only hear his / her own voice propagated through air vibrations, so that he / she can adjust his / her voice timely when he / she is not satisfied with his / her own real voice.SUMMARY OF THE INVENTION

[0005] The present invention overcomes some of the above drawbacks by providing a method and system allowing a user to hear own real voice.

[0006] In one aspect, the present inventive subject matter provides the method allowing a user to hear own real voice. The provided method comprises steps as follows. Firstly, a bone signal can be picked up via at least one bone vibration sensor. The bone signal is conducted to his / her ear through bone vibrations from the user’ throat. A reversed bone signal can be generated via at least one reversed bone signal generator, and then, the reversed bone signal can be played to the user’s ear via at least one signal player, to eliminate the bone signal heard by the user.

[0007] In another aspect, the present inventive subject matter further provides the system allowing a user to hear own real voice. The provided system comprises at least one bone vibration sensor arranged to pick up a bone signal. The bone signal is conducted to his / her ear through bone vibrations from the user’ throat. The system further comprises at least one reversed bone signal generator configured to generate a reversed bone signal, and at least one signal player arranged to replay the reversed bone signal to the user’s ear, thereby eliminating the bone signal heard by the user.

[0008] Additionally and alternatively, the reversed bone signal can be generated to be in opposite phase and the same amplitude and frequency as the bone signal.

[0009] In an example, the system can be implemented in a sidetone audio path which is equipped in a headphone, thereby allowing the user to hear his / her own real voice in the headphone.BRIEF DESCRIPTION OF THE DRAWINGS

[0010] The present invention may be better understood from reading the following description of non-limiting embodiments, with reference to the attached drawings. In the figures, like reference numeral designates corresponding parts, wherein below:

[0011] FIG. 1 is a schematic diagram illustrating a speaker usually hearing his / her own voice;

[0012] FIG. 2 is a flowchart illustrating a method allowing a user to hear his / her own real voice, according to one or more embodiments of the present inventive subject matter;

[0013] FIG. 3 is a schematic diagram illustrating a system allowing a user to hear his / her own real voice, according to one or more embodiments of the present inventive subject matter; and

[0014] FIG. 4 is a schematic diagram illustrating the system allowing a user to hear his / her own  real voice, according to one or more embodiments of the present inventive subject matter, being implemented in a headphone.DETAILED DESCRIPTION OF THE INVENTION

[0015] The detailed description of one or more embodiments of the present invention is disclosed hereinafter; however, it is understood that the disclosed embodiments are merely exemplary of the invention that may be embodied in various and alternative forms. The figures are not necessarily to scale; some features may be exaggerated or minimized to show details of particular components. Therefore, specific structural and function details disclosed herein are not to be interpreted as limiting, but merely as a representative basis for teaching one skilled in the art to variously employ the present invention.

[0016] FIG. 1 is a schematic diagram 100 illustrating a speaker 110 usually hearing his / her own voice. As shown in FIG. 1, when the speaker 110 is talking to others, his / her voice from his / her throat usually can propagate to his / her own ear mainly through two ways: one is through the air vibrations 120 to conduct the voice to his / her ear, and the other is through his / her own bone vibrations 130. In other words, in addition to the voice being able to propagate through the air medium in external environment, the voice can be received in the ear of the speaker 110 which may be also conducted through his / her own bone vibrations 130, which may be the vibrations in his / her the throat appendage, head bones, in-ear bones, or the other bones.

[0017] As shown in FIG. 1, what the signal in ears 140 for the speaker’s voice heard by the speaker 110 his / herself shall be a combination of the air signal conducted through the air vibrations to his / her ear 120 plus the bone signal conducted through the bone vibrations 130, while the others, such as one or more listeners, can however only hear the air signal from the speaker’s voice propagating through the air vibrations, as shown by the label “air vibration to listener” 150 in FIG. 1. In this situation, the speaker cannot hear the same voice as what he / she expressed to the other listeners. Such voice transferred in the air and heard by these other listeners can be considered as the speaker’s own real voice. This problem shall be especially awkward for those practitioners who pursue their pronunciation and timbre, such  as singers, reciters or announcers, when practicing their vocal techniques, for example.

[0018] Accordingly, in such specific scenarios, for those practitioners who pursue pronunciation and timbre, they may want to only hear and / or monitor their own real voice when training vocal skills. Therefore, the ideal environment built for such practitioners should be able to enhance only the air signal portion, while removing the bone signal portion, from the voice they heard.

[0019] The purpose of this inventive subject matter is to provide a method for allowing a user to hear his / her own real voice easily. In the present inventive subject matter, the method can be provided to allow the user to only hear his / her own real voice in the air signal by removing the bone signal conducted to his / her ear. In one or more embodiments of the present inventive subject matter, the bone signal can be eliminated by superposing and neutralizing the bone signal using a reversed bone signal being played near and to the ear. In one example, this solution can be implemented as a new feature in a headphone.

[0020] FIG. 2 is a schematic diagram 200 illustrating a system allowing a user to hear his / her own real voice, according to one or more embodiments of the present inventive subject matter.

[0021] The basic idea on the solution is to pick up the bone signal and feedback a reversed bone signal to the user’s ear. In particular, when the user speaks, the bone vibrations conducting his / her own voice can be picked up using at least one bone vibration sensor 210 by attaching it on the user’s head, preferably near around the ear, or the like. The at least one bone vibration sensor 210 may pick up the bone vibrations and convert them into electrical, i.e., a bone signal. Then, the bone signal can be transmitted into a reversed bone signal generator 220, in which a reversed bone signal can be calculated with a opposite in phase, and the same in amplitude and frequency as the bone signal, accordingly. In this way, when replaying the reversed bone signal to the user’s ear, the bone signal that can be heard by the user shall be superimposed and neutralized with the reversed bone signal, thereby being eliminated in the user’s ear.

[0022] In normal usages, a reversed bone signal generator can be used to generate such reversed bone signal, and then, along with the air signal directly transferred into the user’s ear, the generated reversed bone signal can be simultaneously transmitted to the ear of the user, from a signal player 230, to cancel out and eliminate the bone signal that can be heard by the user.  Therefore, in this way, the user can only hear his / her own voice in the air signal, conducted through the art vibrations, which is his / her own real voice, without percept of any bone signal.

[0023] In an example, the reversed bone signal generator can be directly implemented in hardware. Additionally or alternative, the reversed bone signal generator can be configured using a digital signal processor (DSP) . As to such general hardware implementation, its latency may be relatively lower than that in other manners.

[0024] FIG. 3 is a flowchart 300 illustrating the method for a user to hear his / her own real voice, according to one or more embodiments of the present inventive subject matter. As shown in FIG. 3, at the step S310, when the user speaks, in addition to propagating the use’s voice to the user’s ear in the air, as mentioned earlier, the user’s voice signal may also be transferred to his / her own ear through bone conduction. The bone vibrations from user’s throat can be conducted to the his / her ears, and such bone signal conducted to the user’s ears through the bone vibrations can be picked up using at least one bone vibration sensor, as shown in step S320.

[0025] At the step S320, the bone signal can be captured by the at least one bone vibration sensor. Voice Pick-up Units (VPU) or Gravity Sensors (G-sensor) , or other accelerometers, can be used as the bone vibration sensors, for example. They both can be used to pick up the bone vibrations and convert them into a bone signal in electrical. In one or more embodiments, by attaching at least one such bone vibration sensor on the user’s head or in the user’s ear canal, for example, the bone vibrations generated during the user’s speaking can be picked up, i.e., as the bone signal. The bone vibrations may not only exist in the user’s ear canal, but also can be picked up on somewhere of the entire head, including the throat appendage, and the like. In an example, attaching the at least one bone vibration sensor around the user’s ears to pick up the bone signal may better approximate the bone signal heard in the user’s actual ear canal.

[0026] Such bone signal that can be heard by the user’s ear can be considered as a noise in the present inventive subject matter which attempts the user to hear only his / her own real voice. The beneficial technical effect of the present inventive subject matter lies in the ability to effectively remove the bone signal, thereby allowing the user to only hear his / her own real voice.

[0027] Accordingly, the bone signal shall be reversed, at step S330, to obtain a reversed bone signal thereof. In this step, a reversed bone signal generator, for example, can be used to calculate a signal in a reverse form of the bone signal. In particular, the reversed bone signal generator may analyze the waves of the bone signal, such as that was picked up by the at least one bone vibration sensor, and then superimpose and neutralize it by generating and transmitting opposite waves to the user’s ear, to achieve the effect of cancelling out the bone signal heard therein. The opposite waves generated and transmitted herein can be considered as the reversed bone signal. In one and more embodiments, the bone signal detected through the at least one bone vibration sensor can be transmitted to the reversed bone signal generator for real-time calculation, and according to its characteristics, the reversed bone signal should be correspondingly emitted with the opposite phase and the same amplitude and frequency to offset the bone signal, so as to eliminate it.

[0028] At step S340, a signal player can be used to play the reversed bone signal into the user’s ear. In this step, the reversed bone signal may superimpose and neutralize the bone signal that can be heard by the user therein. For example, such reversed bone signal can be played in the user’s ear canal when he / she speaks and attempts to hear his / her own voice. Accordingly, the user now may hear his / her own real voice, which is the part only conducted by the air, while the part of his / her voice conducted through the user’s bone vibrations, i.e., the bone signal can be heard by the user previously, can have been eliminated by cancelling out with the reversed bone signal.

[0029] In an example, a vibrator can be used as the signal player to play the reversed bone signal. The vibrator shall be adhered around the user’s ears, preferably in the user’s ear canal, and plays the reversed bone signal by emitting vibrations in the opposite phase but the same amplitude and frequency as the bone signal, so that the vibrations of the bone signal and the reverse bone signal cancel out with each other in the user's ear cannel, making the user unable to percept the voice part conducted through the bone vibrations, but only can hear the part of the user's voice propagated through the air.

[0030] Additionally or alternatively, the reversed bone signal shall be fine-tuned with EQ and / or gain adjustments, which can be a fine tuning of the difference between the entire system and the actual conducted bone signal, in order to cancel out the bone signal well. Fine-tuned EQ and Gain adapted herein may compensate for the difference between the bone vibration signal  of the system, which is picked up by the bone vibration sensor (VPU / G sensor) and replayed by the vibrator, and the actual bone signal heard in the user’s ear canal, and further compensate for the frequency response difference of the vibrator for playback, as well as the difference in the transfer function from the vibrator to the user’s eardrum. In an example, the gain adjustment can be performed separately according to frequency points, as can be conceived by those skilled in the art.

[0031] Referring to the example, the at least one bone vibration sensor, such as the VPU or G sensor, should be mounted apart from the vibrator to avoid vibration interference.

[0032] FIG. 4 is a schematic diagram 400 illustrating the system for a user to hear his / her own real voice, according to one or more embodiments of the present inventive subject matter, being implemented in a headphone. For headphone products, due to the usage of physical noise cancellation, the air signal may be blocked from entering the users’ ears by the headphones with such as earmuffs, earcups, earbuds, or the like. Accordingly, a headphone may be usually equipped with sidetone feature, and a sidetone audio path for such sidetone feature can be arranged in the headphone, through which at least one speaker of the headphone for replaying audio signals may also feedback some of the user’s own voice into the user’s ear. Therefore, the system of FIG. 4 can be designed for such headphone products to implement the method (as described referring to FIG. 3) in the sidetone audio path thereof, to eliminate the users’ voice conducted to the user’s ear through bone vibrations, and thereby allowing the user to hear own real voice in the headphone.

[0033] As shown in FIG. 4, the system may still need at least one bone vibration sensor 410, such as VPU and / or G sensor, or other accelerometer, to pick up the bone signal 412 around the user’s ear area, for example. Then, the bone signal 412 can be transmitted to a reversed bone signal generator 414 to calculate and generate a reversed bone signal with opposite phase and the same amplitude and frequency as the bone signal that is picked up by the at least one bone vibration sensor 410.

[0034] In an exemplary scenario, when the user is practicing his / her voice while wearing the headphone, his / her voice may propagate through an air signal 422 and simultaneously through the bone signal to his / her ear. In the example, a microphone located near the user’s mouth, such as a talk microphone coupled to the headphone, can be used to pick up the air signal 422 of the user’s voice. Such air signal 422 picked up by the microphone of the  headphone can be directly transferred, for example, through the sidetone feature of the headphone, and then replayed to the user’s ear via at least one speaker 430 of the headphone. Accordingly, based on such headphone architecture, the at least one speaker can also function as a signal player, and the reversed bone signal can be synchronously added into the air signal 422, and be played to the user’s ear through the at least one speaker, directly, together with the playback of the air signal 422.

[0035] As noted, the air signal 422 is the part of the user’s voice propagating in the air, which can be picked up by the at least one talk microphone and then replayed through the at least one speaker in the headphone. At the same time, the reversed bone signal has been synchronously added into the air signal 422 and played together with the air signal 422 through the same at least one speaker 430, as shown in FIG. 4. Since the reversed bone signal is generated with the opposite phase but the same amplitude and frequency as the bone signal, and played to the user in synchronous with the bone signal, so the bone signal and the reverse bone signal may cancel out each other in the user's ear canal, thereby making the user unable to perceive the voice part from the bone signal, but only can hear the part of the user's voice of the air signal 422.

[0036] Additionally or alternatively, the air signal 422 picked up by the talk microphone can be amplified, for example through a gain amplifier 424, in prior to the playback of the mixed air signal and reversed bone signal. In this way, compared to the reversed and cancelled bone signal, the air signal 422 carrying the real voice of the user can occupy more of the speaker’ playback, allowing the user to hear this part of the real voice at a higher sound pressure level.

[0037] Additionally or alternatively, the reversed bone signal shall be fine-tuned with EQ and / or gain adjustments, in order to cancel out the bone signal well.

[0038] As to the system provided herein that allows a user to hear own real voice, its system delay, such as a delay of the reversed bone signal to the bone signal, should be zero ideally. It is better to realize it in the corresponding system using hardware components. Nevertheless, if the method and its system shall be implemented using DSP, it is necessary to minimize the system delay, preferably to lower than 5ms.

[0039] The method and system allow a user to hear own real voice herein provide a solution on remove the bone conduction signal to the ear when someone is speaking, so that he / she can her the same voice as what he / she expresses to the other listeners.

[0040] The inventive subject matter comprises, but not limited to, the items listed hereinafter.

[0041] Item 1: A method for allowing a user to hear own real voice, comprising the steps of:

[0042] picking up, via at least one bone vibration sensor, a bone signal, wherein the bone signal is conducted to his / her ear through bone vibrations;

[0043] generating, via at least one reversed bone signal generator, a reversed bone signal;

[0044] playing, via at least one signal player, the reversed bone signal to the user’s ear, to eliminate the bone signal that can be heard by the user.

[0045] Item 2: The method according to item 1, wherein the reversed bone signal is generated with opposite phase and same amplitude and frequency as the bone signal.

[0046] Item 3: The method according to items 1 or 2, wherein the reversed bone signal is fine-tuned with EQ or gain adjustments to cancel out the bone signal.

[0047] Item 4: The method according to any of items 1 to 3, wherein the at least one bone vibration sensor is attached to a head or ear canals of the user to pick up the bone signal.

[0048] Item 5: The method according to any of items 1 to 4, wherein the at least one bone vibration sensor is located near the user’s ear, but apart from the at least one signal player to avoid vibration interference.

[0049] Item 6: The method according to any of items 1 to 5, wherein a delay of the reversed bone signal to the bone signal is minimized to less than 5ms, and wherein the delay is ideally zero.

[0050] Item 7: The method according to any of items 1 to 6, wherein the at least one bone vibration sensor comprises at least one accelerometer, wherein the at least one bone vibration sensor comprises at least one Voice Pick-up Unit (VPU) or Gravity sensor (G-sensor) .

[0051] Item 8: The method according to any of items 1 to 7, wherein the method is implemented in a sidetone audio path of a headphone.

[0052] Item 9: The method according to any of items 1 to 8, further comprising the steps of:

[0053] picking up, via at least one microphone of the headphone, the air signal of the user’ voice propagated by air, and

[0054] playing, via at least one speaker of the headphone, the air signal to the user’s ear,

[0055] wherein the reversed bone signal is played through the at least one speaker along with the air signal.

[0056] Item 10: The system according to any of items 1 to 9, wherein the air signal is  amplified via a gain amplifier in prior of playing via the at least one speaker.

[0057] Item 11: A system for allowing a user to hear own real voice, comprising:

[0058] at least one bone vibration sensor for picking up a bone signal, wherein the bone signal is conducted to his / her ear through bone vibrations;

[0059] at least one reversed bone signal generator for generating a reversed bone signal;

[0060] at least one signal player for playing the reversed bone signal to the user’s ear, to eliminate the bone signal that can be heard by the user.

[0061] Item 12: The system according to item 11, wherein the reversed bone signal is generated with opposite phase and same amplitude and frequency as the bone signal.

[0062] Item 13: The system according to item 11 or 12, wherein the reversed bone signal is fine-tuned with EQ or gain adjustments to cancel out the bone signal.

[0063] Item 14: The system according to any one of items 11 to 13, wherein the at least one bone vibration sensor is attached to a head or ear canals of the user to pick up the bone signal.

[0064] Item 15: The system according to any one of items 11 to 14, wherein the at least one bone vibration sensor is located near the user’s ear, but apart from the at least one signal player to avoid vibration interference.

[0065] Item 16: The system according to any one of items 11 to 15, wherein a delay of the reversed bone signal to the bone signal is minimized to less than 5ms, and wherein the delay is ideally zero.

[0066] Item 17: The system according to any one of items 11 to 16, wherein the at least one bone vibration sensor comprises at least one accelerometer, wherein the at least one bone vibration sensor comprises at least one Voice Pick-up Unit (VPU) or Gravity sensor (G-sensor) .

[0067] Item 18: The system according to any one of items 11 to 17, wherein the method is implemented in a sidetone audio path of a headphone.

[0068] Item 19: The system according to any one of items 11 to 18, further comprising the steps of:

[0069] picking up, via at least one microphone of the headphone, the air signal of the user’ voice propagated by air, and

[0070] playing, via at least one speaker of the headphone, the air signal to the user’s ear,

[0071] wherein the reversed bone signal is played through the at least one speaker along  with the air signal.

[0072] Item 20: The system according to any one of items 11 to 19, wherein the air signal is amplified via a gain amplifier in prior of playing via the at least one speaker.

[0073] As used in this application, an element or step recited in the singular and proceeded with the word “a” or “an” should be understood as not excluding plural of said elements or steps, unless such exclusion is stated. Furthermore, references to “one embodiment” or “one example” of the present disclosure are not intended to be interpreted as excluding the existence of additional embodiments that also incorporate the recited features. The terms “first, ” “second, ” and “third, ” etc. are used merely as labels, and are not intended to impose numerical requirements or a particular positional order on their objects.

[0074] While exemplary embodiments are described above, it is not intended that these embodiments describe all possible forms of the invention. Rather, the words used in the specification are words of description rather than limitation, and it is understood that various changes may be made without departing from the spirit and scope of the invention. Additionally, the features of various implementing embodiments may be combined to form further embodiments of the invention.

Claims

1.A method for allowing a user to hear own real voice, comprising the steps of:picking up, via at least one bone vibration sensor, a bone signal, wherein the bone signal is conducted to his / her ear through bone vibrations;generating, via at least one reversed bone signal generator, a reversed bone signal;playing, via at least one signal player, the reversed bone signal to the user’s ear, to eliminate the bone signal that can be heard by the user.2.The method of claim 1, wherein the reversed bone signal is generated with opposite phase and the same amplitude and frequency as the bone signal.3.The method of claim 1, wherein the reversed bone signal is fine-tuned with EQ or gain adjustments to cancel out the bone signal.4.The method of claim 1, wherein the at least one bone vibration sensor is attached to a head or ear canals of the user to pick up the bone signal.5.The method of claim 1, wherein the at least one bone vibration sensor is located near the user’s ear, but apart from the at least one signal player to avoid vibration interference.6.The method of claim 1, wherein a delay of the reversed bone signal to the bone signal is minimized to less than 5ms, and wherein the delay is ideally zero.7.The method of claim 1, wherein the at least one bone vibration sensor comprises at least one accelerometer, wherein the at least one bone vibration sensor comprises at least one Voice Pick-up Unit (VPU) or Gravity sensor (G-sensor) .8.The method of claim 1, wherein the method is implemented in a sidetone audio path of a headphone.9.The method of claim 8, further comprising the steps of:picking up, via at least one microphone of the headphone, the air signal of the user’ voice propagated by air, andplaying, via at least one speaker of the headphone, the air signal to the user’s ear,wherein the reversed bone signal is played through the at least one speaker along with the air signal.10.The method of claim 9, wherein the air signal is amplified via a gain amplifier in prior of playing via the at least one speaker.11.A system for allowing a user to hear own real voice, comprising:at least one bone vibration sensor for picking up a bone signal, wherein the bone signal is conducted to his / her ear through bone vibrations;at least one reversed bone signal generator for generating a reversed bone signal;at least one signal player for playing the reversed bone signal to the user’s ear, to eliminate the bone signal that can be heard by the user.12.The system of claim 11, wherein the reversed bone signal is generated with opposite phase and same amplitude and frequency as the bone signal.13.The system of claim 11, wherein the reversed bone signal is fine-tuned with EQ or gain adjustments to cancel out the bone signal.14.The system of claim 11, wherein the at least one bone vibration sensor is attached to a head or ear canals of the user to pick up the bone signal.15.The system of claim 11, wherein the at least one bone vibration sensor is located near the user’s ear, but apart from the at least one signal player to avoid vibration interference.16.The system of claim 11, wherein a delay of the reversed bone signal to the bone signal is minimized to less than 5ms, and wherein the delay is ideally zero.17.The system of claim 11, wherein the at least one bone vibration sensor comprises at least one accelerometer, wherein the at least one bone vibration sensor comprises at least one Voice Pick-up Unit (VPU) or Gravity sensor (G-sensor) .18.The system of claim 11, wherein the method is implemented in a sidetone audio path of a headphone.19.The system of claim 18, further comprising the steps of:picking up, via at least one microphone of the headphone, the air signal of the user’ voice propagated by air, andplaying, via at least one speaker of the headphone, the air signal to the user’s ear,wherein the reversed bone signal is played through the at least one speaker along with the air signal.20.The system of claim 19, wherein the air signal is amplified via a gain amplifier in prior of playing via the at least one speaker.

Images