Steerable beamformer for linear microphone array with directional and omidirectional micrpophones

Abstract

A linear differential microphone array (LDMA) may include a number M of uniformly-distributed omnidirectional microphones and a number M' of uniformly-distributed directional microphones on a linear platform, wherein the omnidirectional microphones form a first uniform linear array (ULA), and the directional microphones form a second ULA. A target beampattern of Nth-order may be specified for the LDMA, wherein M ≥ N+1, M' ≥ N, and the target beampattern for the LDMA comprises a first beampattern associated with the first ULA and a second beampattern associated with the second ULA. A first beamformer for the first ULA may be generated based on the first beampattern and a second beamformer for the second ULA may be generated based on the second beampattern. An Nth-order beamformer for the LDMA, that is steerable in the two-dimensional space, may be generated based on the first beamformer and the second beamformer.

Description

STEERABLE BEAMFORMER FOR LINEAR MICROPHONE ARRAY WITH DIRECTIONAL AND OMIDIRECTIONAL MICRPOPHONESTECHNICAL FIELD

[0001] The present disclosure relates to beamforming with microphone arrays and, in particular, to designing a steerable beamformer for a linear differential microphone array (LDMA) with directional and omnidirectional microphones.BACKGROUND

[0002] The need for high-fidelity sound acquisition in numerous voice-related applications, such as teleconferencing and human-machine interaction, has spurred advancements in microphone arrays and associated beamforming techniques. The design of a microphone array may involve considerations, such as, the selection of sensor elements (e.g., as omnidirectional and directional based on their directivity) and the selection of an array geometry (e.g., linear, planar, and volumetric) . The narrower linear array geometry may be especially suitable for integration into slim electronic devices such as televisions and tablets and many beamforming methods may be used with a linear array geometry, including differential beamforming. Microphone arrays employing differential beamforming are may be referred to as differential microphone arrays (DMAs) .

[0003] The conventional design of linear DMAs (LDMAs) typically limits the look direction to the endfire direction at an end of the linear array geometry (e.g., in the expected direction of the sound source) , neglecting a steering ability to look in other directions. However, there is a growing demand for LDMAs with steering flexibility in various practical applications, such as directing the look to the broadside for a linear array embedded in a television or tracking a speaker's location in an audio-conferencing scenario. Approaches to enhancing LDMA steering capabilities may include using planar or volumetric arrays (however, these array geometries may not be suitable for many slimmer commercial devices) and / or changing the type of sensor elements in the array (e.g., directional microphones such as bidirectional, cardioid, hypercardioid, and supercardioid could be used together with omnidirectional microphones) .BRIEF DESCRIPTION OF THE DRAWINGS

[0004] A more detailed understanding of the examples disclosed herein may be had from the following descriptions, given by way of example in conjunction with the accompanying drawings.

[0005] FIG. 1 shows a simplified diagram of a linear differential microphone array (LDMA) consisting of a first uniform linear array (ULA) with omnidirectional microphones and a second ULA with directional microphones.

[0006] FIG. 2 shows a graph of the truncation error for a truncated Jacobi-Anger series expansion of a beampattern as a function of the truncation order for different array sizes and / or frequencies.

[0007] FIG. 3 shows a flow diagram of a method for beamforming with an LDMA consisting of a first ULA with omnidirectional microphones and a second ULA with directional microphones.

[0008] FIG. 4 shows a simplified diagram of the geometry of a linear super array (LSA-I) consisting of omnidirectional and supercardioid microphones.

[0009] FIGS. 5A-5C show third-order hypercardioid differential beamformers for the LSA-I, with FIG. 5A showing the beampattern and the target beampattern for a first ULA, FIG. 5B showing the beampattern and the target beampattern for a second ULA, and FIG. 5C showing the beampattern and the target beampattern for the entire LSA-I.

[0010] FIGS. 6A-6D show the broadband beampatterns of second-order cardioid differential beamformers designed for the LSA-I as a function of the frequency for different steering directions.

[0011] FIGS. 7A-7D show the broadband beampatterns of a partially steerable linear differential microphone array (PSLDMA) and the LSA-I as a function of the frequency for different steering directions.

[0012] FIGS. 8A-8B show graphs of the respective directivity factors (DFs) and white noise gains (WNGs) of the LSA-I and the PSLDMA as a function of the frequency.

[0013] FIG. 9 shows a simplified diagram of the geometry of a linear super array (LSA-II) consisting of omnidirectional and directional microphones.

[0014] FIGS. 10A-10B show graphs of the respective DFs and WNGs of first-order cardioid differential beamformers, designed for the LSA-II with different types of directional microphones, as a function of the look direction.

[0015] FIGS. 11A-11B show graphs of the respective DFs and WNGs of second-order cardioid differential beamformers designed, for the LSA-II with the different types of directional microphones, as a function of the frequency.

[0016] FIGS. 12A-12B show graphs of the respective approximation errors of the second-order cardioid differential beamformer, for the LSA-II, as a function of the look direction and as a function of the frequency, with the different types of directional microphones.

[0017] FIGS. 13A-13B show graphs of the respective approximation errors of a second-order supercardioid differential beamformer, for the LSA-II with hypercardioid microphones, as a function of the look direction and as a function of the frequency with different truncation orders.

[0018] FIGS. 14A-14B show graphs of the respective broadband DFs and WNGs of the second-order differential beamformer, designed for the LSA-II with different truncation orders, as a function of the frequency.

[0019] FIG. 15 is a block diagram illustrating a computer system, within which a set or sequence of instructions may be executed to cause the system to perform any one of the methodologies discussed herein.DETAILED DESCRIPTION

[0020] The present disclosure is illustrated by way of example, and not by way of limitation, in the figures of the accompanying drawings.

[0021] Traditional LDMAs consisting solely of omnidirectional microphones are limited in terms of look direction steering capability, however this limitation may be addressed by including directional microphones in the array. The resulting LDMA, combining both types of microphones may exhibit enhanced directivity and robustness as compared to the traditional one. The inclusion of redundant microphones has the potential to amplify errors between a designed beampattern and a desired beampattern and therefore it is important to  determine the optimal number of each type of microphone in order to mitigate these potential errors.

[0022] FIG. 1 shows a simplified diagram of a linear differential microphone array 100 (LDMA) consisting of a first uniform linear array (ULA-I) with omnidirectional microphones and a second ULA (ULA-II) with directional microphones.

[0023] A linear differential microphone array 100 (LDMA) that includes a number M of uniformly-distributed omnidirectional microphones and a number M′ of uniformly-distributed directional microphones, may be referred to as a linear super array (LSA) . All the microphones (e.g., omnidirectional and directional) may be uniformly-distributed along an x-axis as illustrated in FIG. 1. The M omnidirectional microphones and M′ directional microphones may form, respectively, two ULAs, i.e., ULA-I and ULA-II. ULA-I May consist of M omnidirectional microphones with an interelement spacing of δ, while ULA-II may consist of M′ directional microphones with an interelement spacing of δ′. The centers of the two ULAs may coincide with the origin of the x-axis and the positions of the microphones should not overlap, as illustrated in FIG. 1. Angles with respect to the LDMA 100 may be measured in an anti-clockwise direction from the x-axis and may be represented by θ. In one embodiment, all of the M′ directional microphones in ULA-II may have identical directivity patterns, with their look direction set at θ=π / 2. These directivity patterns may be assumed to be frequency invariant and may be modeled using the following general form

[0024] where a0 and a1=1-a0 are real parameters determined by the type of directional microphones. For example, based on the four classical types of directional microphones, the coefficients may be as follows: 1) bidirectional: a0=0, a1=1; 2 ) cardioid: a0=1 / 2, a1=1 / 2; 3 ) hypercardioid: a0=1 / 3, a1=2 / 3; and 4) supercardioid:

[0025] In the far-field case, where the source of interest (e.g., sound source) is far from the LDMA 100. The phase-delay vector for the LDMA 100 with a signal incident to the LDMA 100 from θ may be written as

[0026] where

[0027] are, respectively, the phase-delay vectors for ULA-I and ULA-II, the superscript T is the transpose operator, J denotes the imaginary unit,

[0028] f denotes the temporal frequency, and c=340 m / s is the speed of sound. The wavelength (e.g., of the sound source) is λ=c / f. In order to avoid spatial aliasing, δ and δ′ may be assumed to be smaller than half of the shortest wavelength. The dependence on f may be omitted throughout the subsequent disclosure so as to simplify the notation.

[0029] Based on a sound source of interest located in the far field and the incidence angle being denoted as θs, the signals received at the LDMA 100 may be expressed, in the frequency domain, as

[0030] where y1= [Y1, 1 Y1, 2 …Y1, M] T = d1 (θs) X+v1,       (8) y2= [Y2, 1 Y2, 2 …Y2, M′] T = d2 (θs) X+v2       (9)

[0031] are, respectively, the signal vectors received at ULA-I and ULA-II, X is the source signal of interest, and

[0032] is the additive noise vector, with v1= [V1, 1 V1, 2 …V1, M] T,     (11) v2= [V2, 1 V2, 2 …V2, M′] T      (12)

[0033] being, respectively, the noise vectors at ULA-I and ULA-II. The variance of the desired signal X is where E (·) denotes the mathematical expectation. In the context of FIG. 1, it may be assumed that the noise received by every microphone has the same variance, i.e., E (|V1, m|2) = E (|V2, m′|2) =φV, m=1, 2, …, M, m′=1, 2, …, M′.

[0034] Applying a beamforming filter of length to the array observation signal vector in order to extract the desired signal from the noisy observations results in Z =hHy      (13)

[0035] where the superscript H is the conjugate-transpose operator, and

[0036] with h1= [H1, 1 H1, 2…H1, M] T,    (15) h2= [H2, 1 H2, 2…H2, M′] T      (16)

[0037] being filters of length M and M′, respectively. In order for the signal incident from θs to pass through the beamformer without being distorted, the beamformer filter should be designed with a distortionless constraint, i.e., hHd (θs) =1. # (17)

[0038] Three metrics that may be used to evaluate the performance of a beamformer are the beampattern, directivity factor (DF) , and white noise gain (WNG) . In the context of LDMA 100, the beampattern (e.g., the spatial response of the beamformer) may be defined as

[0039] where the superscript *denotes the conjugate operator. The beampattern denoted in (18) may be decomposed into the sum of two terms, i.e.,

[0040] where

[0041] is the spatial response of ULA-I, which is always symmetrical with respect to the x-axis, i.e.,

[0042] and

[0043] is the spatial response of ULA-II. Accordingly,  is the product of two spatial responses: the beampattern of the directional microphone, i.e.,  and the beampattern corresponding to a ULA with the same array configuration as ULA-II but consisting of only omnidirectioal microphones, i.e, the summation term on the right-hand side of (22) .

[0044] According to (7) , the input signal-to-noise ratio (SNR) may be defined as

[0045] According to (13) , the output SNR may be written as

[0046] where and are the covariance and coherence matrices of v, respectively. Therefore, the SNR gain may be determined as

[0047] Based on the noise being assumed to be temporally and spatially white, i.e.,  where is the identity matrix of size the SNR gain may be referred to as the white noise gain (WNG) , which quantifies the robustness of the beamformer against the model error and may be expressed as

[0048] The directivity factor (DF) assesses the directive nature of the beamformer. In the two-dimensional space, it may be expressed as

[0049] where

[0050] Furthermore, it may be derived that

[0051] where the (i, j) th (i, j=1, 2, …, M) element of Γ11 is

[0052] the (i, j′) th (i=1, 2, …, M, j′=1, 2, …, M′) element of Γ12 may be derived as

[0053] and the (i′, j′) th (i′, j′=1, 2, …, M′) element of Γ22 may be derived as

[0054] with Jn (·) being the nth-order Bessel function of the first kind and Jn (·) = (-1) nJ-n (·) .

[0055] The ideal (e.g., target) beampattern of an Nth-order steerable DMA with its mainlobe being steered to the desired direction θs may be expressed as

[0056] where αn, n=1, 2, …, N are real parameters, with

[0057] Using the sum-to-product identities of the cosine function, (33) may be expressed as

[0058] where

[0059] According to the Euler's formula, i.e.,

[0060] (36) may be expressed as

[0061] where

[0062] Now, according to the following relation:

[0063] where

[0064] with and with being the operator of taking the integer part, it may be deduced that

[0065] where ζn, k (θs) =an sin nθsvn, k. # (44)

[0066] Applying Euler's formula expressed in (38) , it follows that

[0067] where

[0068] Based on substituting (45) into (43) , it follows that

[0069] where

[0070] Furthermore, based on denoting that n′=n-2k-1-2κ, it may be seen in (47) that 0≤κ≤n-2k-1,  and 0≤n≤N and therefore it follows that -N+1≤n′≤N-1. Accordingly, (47) may be expressed as

[0071] where κ′= (n-2k-1-n′)  / 2,

[0072] wherein represents the set of natural numbers, and

[0073] Based on substituting (39) and (49) into (35) , it follows that

[0074] The expression in (52) may be further expressed as

[0075] where

[0076] with

[0077] According to (53) , the ideal beampattern may be expressed as the sum of two terms:  and The first term may be achieved by employing an LDMA consisting of at least N+1 omnidirectional microphones. The second term  may be achieved by using an LDMA consisting of at least N directional microphones, with the beampattern being Based on the preceding theoretical analysis, an integration of omnidirectional microphones and various types of directional microphones may be implemented to achieve a steerable spatial response within a linear array geometry.

[0078] Based on LDMA 100 as shown in FIG. 1, where ULA-I consists of M≥N+1 omnidirectional microphones and ULA-II consists of M′≥N directional microphones, with the beampattern being abeamforming filter may be designed to make the beampattern of LDMA 100 approach the ideal (e.g., target) beampattern described above as closely as possible. According to (19) and (53) , this beamforming filter may be designed in three steps. The first step may include identifying the filter h1 that makes the beampattern of ULA-I, i.e.,  in (20) , approach the target in (54) . The second step may include identifying the filter h2 that makes the beampattern of ULA-II, i.e.,  in (22) , approach the target in (55) . The third step may include summing the outputs of ULA-I and ULA-II together to form the beampattern of the entire LDMA 100, i.e., (19) , which is expected to match closely the ideal directivity pattern (e.g., target beampattern)  in (33) .

[0079] The least-squares error criterion may be used to derive the optimal approximation of the exponential function in (20) and (22) to a linear combination of circular harmonics. This results in the Jacobi-Anger expansion of the exponential function, i.e.,

[0080] where βn (·) =JnJn (·) and JnJn (·) =J-nJ-n (·) .

[0081] The infinite summation in (58) and (59) may be truncated to a finite summation as follows:

[0082] Due to the introduction of the truncation orders and there are truncation errors, which may be expressed as

[0083] FIG. 2 shows a graph 200 of the truncation error,  for a truncated Jacobi-Anger series expansion of a beampattern as a function of the truncation order for different values of  (e.g., based on the frequency and / or the array size) .

[0084] As shown in FIG. 2,  decreases rapidly as the value of increases. Therefore, it is reasonable to represent the infinite summations in (58) and (59) with the finite summations in (60) and (61) , and with a reasonable value of the truncation order the truncation error may be negligible. Furthermore, it is also clear that the error increases as the value of increases, suggesting that the truncation error becomes more significant as the frequency and / or the array size increases. Therefore, the steerable linear microphone array should be a small-size array with a minimum number of microphones as described herein.

[0085] Based on substituting (60) and (61) , respectively, into (20) and (22) , the Jacobi-Anger series expansion may be obtained for the following beampatterns:

[0086] which may be reorganized in vector forms as

[0087] where

[0088] Based on the series expansion of the beampatterns, the optimal beamformer filter that approximates the ideal beampattern may be identified. It may be assumed that and  Comparing (66) with (54) and also (67) with (55) , and since β-n (·) =βn (·) , it follows that

[0089] where

[0090] are matrices of sizes and respectively, and

[0091] are vectors of length and respectively.

[0092] The expression in (70) may be expressed as Bh=c (θs) , # (75)

[0093] where

[0094] is a matrix of and

[0095] is a vector of length Assuming that and the solution of (75) is the identified differential beamformer filter, i.e., h=BH (BBH) -1c (θs) . # (78)

[0096] FIG. 3 shows a flow diagram of a method 300 for beamforming with an LDMA (e.g., LDMA 100 of FIG. 1) consisting of a first ULA with omnidirectional microphones and a second ULA with directional microphones.

[0097] The method 300 may start and then perform the following operations. At operation 302, uniformly-distributing a number M of omnidirectional microphones and a number M′ of directional microphones on a linear platform, wherein the omnidirectional microphones form a first ULA (e.g., ULA-I of FIG. 1) , and the directional microphones (e.g., bidirectional, cardioid, hypercardioid or supercardioid) form a second ULA (e.g., ULA-II of FIG. 1) .

[0098] At operation 304, coupling a processing device to the omnidirectional microphones and the directional microphones for communication of electronic signals.

[0099] At operation 306, obtaining, responsive to a sound source, first electronic signals generated by the first ULA and second electronic signals generated by the second ULA.

[0100] At operation 308, specifying a target beampattern of Nth-order for the LDMA (e.g., LDMA 100 of FIG. 1) , wherein M ≥ N+1, M′≥ N, and the target beampattern for the LDMA comprises a first beampattern associated with the first ULA and a second beampattern associated with the second ULA.

[0101] At operation 310, determining a first beamformer for the first ULA based on the first beampattern.

[0102] At operation 312, determining a second beamformer for the second ULA based on the second beampattern.

[0103] At operation 314, determining an Nth-order beamformer for the LDMA, that is steerable in the two-dimensional space, based on the first beamformer and the second beamformer.

[0104] At operation 316, executing the beamformer for the LDMA to calculate an estimate of the sound source based on the first electronic signals and the second electronic signals. The method 300 may then end, for example, based on no further sound signals being received.

[0105] SIMULATIONS

[0106] FIG. 4 shows a simplified diagram of the geometry of a linear super array (LSA-I) consisting of omnidirectional and supercardioid microphones.

[0107] The LSA denoted as LSA-I in FIG. 4 also consists of two ULAs (e.g., like LDMA 100 of FIG. 1) , namely ULA-I and ULA-II, where ULA-I is composed of M=4 omnidirectional microphones (shown in solid color pattern) with interelement spacing δ=1 cm, and ULA-II is composed of M′=3 supercardioid microphones (shown in striped pattern) with interelement spacing δ′=1.2 cm, The truncation orders are set to and  and the proposed beamformer is obtained through the expression in (78) .

[0108] FIGS. 5A-5C show third-order hypercardioid differential beamformers for LSA-I (e.g., of FIG. 4) , with FIG. 5A showing the beampattern and the target beampattern for ULA-I, FIG. 5B showing the beampattern and the target beampattern for ULA-II, and FIG. 5C showing the beampattern and the target beampattern for the entire LSA-I.

[0109] The ULA-I and ULA-II in LSA-I act as two separate subarrays that cooperatively form steerable differential beamformers. Therefore, in order to investigate the individual contributions of these two subarrays, a third-order hypercardioid (α0=1 / 7, α1=2 / 7, α2=2 / 7, and α3=2 / 7 ) differential beamformer may be designed, where the desired look direction is set as θs=75°. The output beampatterns (shown with a solid line) of ULA-I and ULA-II at 1kHz, as defined in (20) and (22) , and their corresponding ideal (e.g., target)  beampatterns (shown with a dashed line) defined in (54) and (55) , are respectively shown in FIG. 5A and FIG. 5B. The outputs of ULA-I and ULA-II may be summed together to obtain the output (shown with a solid line) of the overall LSA-I in FIG. 4C. It is clear from Fig. 5C that the beampattern of the designed beamformer matches the target beampattern (shown with the dashed line) as defined in (33) .

[0110] FIGS. 6A-6D show the broadband beampatterns of second-order cardioid differential beamformers designed for LSA-I (e.g., of FIG. 4) as a function of the frequency for different steering directions.

[0111] In order to investigate the steering flexibility and broadband performance of LSA-I, a differential beamformer with the second-order cardioid pattern (α0=1 / 4, α1=1 / 2, and α2=1 / 4 ) as the target beampattern may be designed with the mainlobe being steered to four different look directions: θs=30°, θs=75°, θs=90°, and θs=135°. As shown across FIGS. 6A-6D, the shape of the beampattern remains consistent regardless of the look direction. Accordingly, the methodologies described above are capable of designing fully steerable differential beamformers with a linear array geometry. Moreover, it is apparent from FIGS. 6A-6D that the broadband beampatterns do not vary much with frequency when steered towards different look directions, i.e., with different values of θs.

[0112] FIGS. 7A-7D show the broadband beampatterns of a partially steerable linear differential microphone array (PSLDMA) and LSA-1 as a function of the frequency for different steering directions.

[0113] In order to compare the performance of LSA-I with the conventional partially steerable linear differential microphone array (PSLDMA) that only uses omnidirectional microphones, a differential beamformer with a second-order supercardioid pattern (α0=0.309, α1=0.484, and α2=0.207) may be designed with the mainlobe being steered to two directions, i.e., θs=50° and θs=75° (this pattern has two nulls at θs+106° and θs+153° ) . The conventional array consisting of only omnidirectional microphones (e.g., the PSLDMA) , may have the same geometry as LSA-I (e.g., as shown in FIG. 4) . The broadband beampatterns of PSLDMA and LSA-I as shown across FIGS. 7A-7B, indicate that both the LSA-I and the PSLDMA can form beampatterns that are nearly frequency-invariant,  however, the PSLDMA has lower directivity, with beampatterns being confined to being symmetrical with respect to

[0114] FIGS. 8A-8B show graphs 800A and 800B of the respective directivity factors (DFs) and white noise gains (WNGs) of the LSA-I and the PSLDMA as a function of the frequency.

[0115] As shown in FIGS. 8A and 8B, the LSA-I is superior to the PSLDMA in both directivity DF and robustness WNG. Notably, LSA-I achieves consistent broadband directivity factors across the different look directions.

[0116] FIG. 9 shows a simplified diagram of the geometry of a linear super array (LSA-II) consisting of omnidirectional and directional microphones.

[0117] In order to investigate the influence of different types of directional microphones (e.g., bidirectional, cardioid, hypercardioid or supercardioid) , a second LSA, referred to as LSA-II in the following simulations, may be designed with a first ULA-I consisting of M = 5 omnidirectional microphones (shown in solid color pattern) with the interelement spacing being δ = 1 cm, and a second ULA-II consisting of M′=4 (e.g., M′=M-1) directional microphones (shown in striped pattern) of the same type with interelement spacing also being δ′=1 cm.

[0118] The impact of using different types of directional microphones on DFs and WNGs may be investigated using a differential beamformer for LSA-II with a first-order cardioid (α0=1 / 2, α1=1 / 2 ) pattern being the target beampattern. The truncation orders may be set to with the look direction θs = 0° ～ 360°. The following four scenarios may be considered in the following simulations: 1) all of the directional microphones in LSA-II are bidirectional; 2) all of the directional microphones in LSA-II are of cardioid patterns; 3) all of the directional microphones in LSA-II are of hypercardioid patterns; and 4) all of the directional microphones in LSA-II are of supercardioid patterns.

[0119] FIGS. 10A-10B show graphs 1000A and 1000B of the respective DFs and WNGs of first-order cardioid differential beamformers, designed for the LSA-II with different types of directional microphones, as a function of the look direction.

[0120] The DFs and WNGs of LSA-II at f=1kHz are plotted respectively in graphs 1000A and 1000B of FIGS. 10A and 10B. Because these differential beamformers are designed to approximate the same target beampattern, the DFs are the same with different types of directional microphones and across various steering directions. However, the choice of directional microphone type appears to have a great impact on the array robustness, particularly at the broadside direction, i.e., θ=90° and θ=270°. As shown in the graphs 1000A and 1000B, the LSA-II equipped with bidirectional microphones demonstrates the highest level of WNGs, while the one with cardioid microphones exhibits the lowest level of WNGs.

[0121] FIGS. 11A-11B show graphs 1100A and 1100B of the respective DFs and WNGs of second-order cardioid differential beamformers, designed for the LSA-II with different types of directional microphones, as a function of the frequency.

[0122] The second-order cardioid differential beamformer may be designed with truncation orders and the mainlobe being steered to θs=45°. As shown in graph 1100A, there is negligible difference in the respective DFs of the LSA-II equipped with the different directional microphones. As shown in graph 1100B, the LSA-II equipped with bidirectional microphones exhibits the highest level of robustness, which is consistent with the results of the previous simulations.

[0123] FIGS. 12A-12B show graphs 1200A and 1200B of the respective approximation errors of the second-order cardioid differential beamformer, for the LSA-II, as a function of the look direction, θs, and as a function of the frequency, f, with the different types of directional microphones.

[0124] In order to investigate the impact of using different types of directional microphones on the error between the beampattern of the designed beamformer and the target beampattern, which is defined as

[0125] is plotted as a function of the function of the look direction, θs, and the frequency, f, respectively with the truncation orders set to As seen in the graphs 1100A and 1100B, the LSA-II consisting of bidirectional microphones has the smallest beampattern error, which suggests that using bidirectional microphones for ULA-II may be able to achieve the best beampattern approximation.

[0126] FIGS. 13A-13B show graphs 1300A and 1300B of the respective approximation errors of a second-order supercardioid differential beamformer, for the LSA-II with hypercardioid microphones, as a function of the look direction, θs, and as a function of the frequency, f, with the different truncation orders.

[0127] In order to examine the impact of the truncation orders, i.e., the values of and  a differential beamformer, for the LSA-II with hypercardioid microphones, may be designed with the second-order supercardioid being the target beampattern and the steering direction is set to θs=0°. For the different truncation orders, the following three cases may be considered: 1)  and 2)  and and 3)  and

[0128] As shown in graphs 1300A and 1300B increasing the truncation orders, i.e., the values of and effectively reduces the beampattern error. Furthermore, according to graph 1300B the beampattern error increases as the frequency f increases. This increase is based on the application of the Jacobi-Anger series expansion to the exponential function in the beampattern as in (60) and (61) , wherein the truncation error increases as the frequency increases as noted above with respect to FIG. 2.

[0129] FIGS. 14A-14B show graphs 1400A and 1400B of the respective broadband DFs and WNGs of the second-order differential beamformer, designed for the LSA-II with different truncation orders and as a function of the frequency f.

[0130] As shown in graphs 1400A and 1400B, the values of and play an important role wherein an increase in the values of and results in the DF becoming more frequency invariant, however, this improvement comes at the expense of a corresponding decrease in the WNG.

[0131] FIG. 15 is a block diagram illustrating a computer system 1500, within which a set or sequence of instructions may be executed to cause the system to perform any one of the methodologies discussed herein.

[0132] The computer system 1500 may operate as a standalone device or may be connected (e.g., networked) to other systems. In a networked deployment, the computer system 1500 may operate in the capacity of either a server or a client in server-client network environments, or it may act as a peer in peer-to-peer (or distributed) network environments. The computer system 1500 may be an onboard vehicle system, wearable device, personal computer (PC) , a tablet PC, a hybrid tablet, a personal digital assistant (PDA) , a mobile telephone, or any machine (s) capable of executing instructions (sequential or otherwise) that specify actions to be taken by the machine (s) . Furthermore, while only a single system is illustrated, the term “system” shall also be taken to include any collection of machines that individually or jointly execute a set (or multiple sets) of instructions to perform any one or more of the methodologies discussed herein. Similarly, the term “processor-based system” shall be taken to include any set of one or more machines that are controlled by or operated by a processor (e.g., a computer) to individually or jointly execute instructions to perform any one or more of the methodologies discussed herein (e.g., method 300 of FIG. 3) .

[0133] Example computer system 1500 includes at least one processor 1502 (e.g., a central processing unit (CPU) , a graphics processing unit (GPU) or both, processor cores, compute nodes, etc. ) , a main memory 1504 and a static memory 1506, which communicate with each other via a link 1508 (e.g., bus) . The computer system 1500 may further include a video display unit 1510, an alphanumeric input device 1512 (e.g., a keyboard) , and a user interface (UI) navigation device 1514 (e.g., a mouse) . In one embodiment, the video display unit 1510, input device 1512 and UI navigation device 1514 are incorporated into a touch screen display. The computer system 1500 may additionally include a storage device 1516 (e.g., a drive unit) , a signal generation device 1518 (e.g., a speaker) , a network interface device 1520, and one or more sensors 1522, such as a global positioning system (GPS) sensor, accelerometer, gyrometer, magnetometer, or other such sensor.

[0134] The storage device 1516 includes a machine-readable medium 1524 on which is stored one or more sets of data structures and instructions 1526 (e.g., software) embodying or utilized by any one or more of the methodologies or functions described herein. The  instructions 1326 may also reside, completely or at least partially, within the main memory 1504, static memory 1506, and / or within the processor 1502 during execution thereof by the computer system 1500, with main memory 1504, static memory 1506, and the processor 1502 comprising machine-readable media.

[0135] While the machine-readable medium 1524 is illustrated in an example embodiment to be a single medium, the term “machine-readable medium” may include a single medium or multiple media (e.g., a centralized or distributed database, and / or associated caches and servers) that store the one or more instructions 1526. The term “machine-readable medium” shall also be taken to include any tangible medium that is capable of storing, encoding or carrying instructions for execution by the machine and that cause the machine to perform any one or more of the methodologies of the present disclosure or that is capable of storing, encoding or carrying data structures utilized by or associated with such instructions. The term “machine-readable medium” shall accordingly be taken to include, but not be limited to, solid-state memories, and optical and magnetic media. Specific examples of machine-readable media include volatile or non-volatile memory, including but not limited to, by way of example, semiconductor memory devices (e.g., electrically programmable read-only memory (EPROM) , electrically erasable programmable read-only memory (EEPROM) ) and flash memory devices; magnetic disks such as internal hard disks and removable disks; magneto-optical disks; and CD-ROM and DVD-ROM disks.

[0136] The instructions 1526 may further be transmitted or received over a communications network 1528 using a transmission medium via the network interface device 1520 utilizing any one of a number of well-known transfer protocols (e.g., HTTP) . Examples of communication networks include a local area network (LAN) , a wide area network (WAN) , the Internet, mobile telephone networks, plain old telephone (POTS) networks, and wireless data networks (e.g., Wi-Fi, 3G, and 16G LTE / LTE-A or WiMAX networks) . The term “transmission medium” shall be taken to include any intangible medium that is capable of storing, encoding, or carrying instructions for execution by the machine, and includes digital or analog signals or other intangible medium to facilitate communication of such software.

[0137] Example computer system 1500 may also include an input / output controller 1530 to receive input and output requests from at least one central processor 1502, and then send  device-specific control signals to the device they control. The input / output controller 1530 may free at least one central processor 1502 from having to deal with the details of controlling each separate kind of device.

[0138] The term “computer-readable storage medium” used herein may include any tangible medium that is capable of storing or encoding a set of instructions for execution by a computer that cause the computer to perform any one or more of the methods described herein. The term “computer-readable storage medium” used herein may include, but not be limited to, solid-state memories, optical media, and magnetic media.

[0139] The methods, components, and features described herein may be implemented by discrete hardware components or may be integrated in the functionality of other hardware components such as ASICS, FPGAs, DSPs or similar devices. In addition, the methods, components, and features may be implemented by firmware modules or functional circuitry within hardware devices. Further, the methods, components, and features may be implemented in any combination of hardware devices and computer program components, or in computer programs.

[0140] While this disclosure has been described in terms of certain embodiments and generally associated methods, alterations and permutations of the embodiments and methods will be apparent to those skilled in the art. Accordingly, the above description of example embodiments does not constrain this disclosure. Other changes, substitutions, and alterations are also possible without departing from the spirit and scope of this disclosure. In addition, unless specifically stated otherwise, discussions utilizing terms such as “analyzing, ” “determining, ” “enabling, ” “identifying, ” "modifying" or the like, refer to the actions and processes of a computer system, or similar electronic computing device, that manipulates and transforms data represented as physical (e.g., electronic) quantities within the computer system's registers and memories into other data represented as physical quantities within the computer system memories or other such information storage, transmission or display devices.

[0141] It is to be understood that the above description is intended to be illustrative, and not restrictive. Many other implementations will be apparent to those of skill in the art upon reading and understanding the above description.

Claims

1.A linear differential microphone array (LDMA) comprising:a number M of uniformly-distributed omnidirectional microphones and a number M′of uniformly-distributed directional microphones on a linear platform, wherein the omnidirectional microphones form a first uniform linear array (ULA) , and the directional microphones form a second ULA; anda processing device, communicatively coupled to the omnidirectional microphones and the directional microphones, to:responsive to a sound source, obtain first electronic signals generated by the first ULA and second electronic signals generated by the second ULA;specify a target beampattern of Nth-order for the LDMA, wherein M ≥ N+1, M′≥ N, and the target beampattern for the LDMA comprises a first beampattern associated with the first ULA and a second beampattern associated with the second ULA;determine a first beamformer for the first ULA based on the first beampattern;determine a second beamformer for the second ULA based on the second beampattern;determine an Nth-order beamformer for the LDMA, that is steerable in the two-dimensional space, based on the first beamformer and the second beamformer; andexecute the beamformer for the LDMA to calculate an estimate of the sound source based on the first electronic signals and the second electronic signals.2.The linear differential microphone array of claim 1, wherein a beampattern associated with each directional microphone is aligned in a direction θ = π / 2 with respect to the linear platform.3.The linear differential microphone array of claim 1, wherein each of the directional microphones has a cardioid-shaped beampattern, a hypercardioid-shaped beampattern, or a supercardioid-shaped beampattern.4.The linear differential microphone array of claim 1, wherein M′= M-1 and each of the directional microphones is associated with a dipole-shaped beampattern.5.The linear differential microphone array of claim 4, wherein the LDMA comprises a device embedded in a television device and wherein the dipole-shaped beampattern is aligned in a direction perpendicular to a side of the television device.6.The linear differential microphone array of claim 1, wherein the LDMA comprises a device configured to receive voice commands or a device configured for teleconferencing.7.The linear differential microphone array of claim 1, wherein a spacing between each of the uniformly distributed microphones of the first ULA and the second ULA is smaller than half of a smallest acoustic wavelength of a specified frequency band.8.The linear differential microphone array of claim 1, wherein the first beamformer is determined based on a beampattern associated with the first beamformer being equal to the first beampattern and the second beamformer is determined based on a beampattern associated with the second beamformer being equal to the second beampattern.9.The linear differential microphone array of claim 8, wherein a Jacobi-Anger series expansion is used to approximate the first beampattern and the second beampattern according to a least-squares error criterion.10.The linear differential microphone array of claim 9, wherein the Jacobi-Anger series expansions of the beampattern associated with the first beamformer and the beampattern associated with the second beamformer are truncated at and respectively and wherein and 11.A method for beamforming with a linear differential microphone array (LDMA) , comprising:uniformly-distributing a number M of omnidirectional microphones and a number M′of directional microphones on a linear platform, wherein the omnidirectional microphones form a first uniform linear array (ULA) , and the directional microphones form a second ULA;coupling a processing device to the omnidirectional microphones and the directional microphones for communication of electronic signals;obtaining, responsive to a sound source, first electronic signals generated by the first ULA and second electronic signals generated by the second ULA;specifying a target beampattern of Nth-order for the LDMA, wherein M ≥ N+1, M′≥ N, and the target beampattern for the LDMA comprises a first beampattern associated with the first ULA and a second beampattern associated with the second ULA;determining a first beamformer for the first ULA based on the first beampattern;determining a second beamformer for the second ULA based on the second beampattern;determining an Nth-order beamformer for the LDMA, that is steerable in the two-dimensional space, based on the first beamformer and the second beamformer; andexecuting the beamformer for the LDMA to calculate an estimate of the sound source based on the first electronic signals and the second electronic signals.12.The method of claim 11, wherein a beampattern associated with each directional microphone is aligned in a direction θ = π / 2 with respect to the linear platform.13.The method of claim 11, wherein each of the directional microphones has a cardioid-shaped beampattern, a hypercardioid-shaped beampattern, or a supercardioid-shaped beampattern.14.The method of claim 11, wherein M′= M-1 and each of the directional microphones is associated with a dipole-shaped beampattern.15.The method of claim 14, wherein the LDMA comprises a device embedded in a television device and wherein the dipole-shaped beampattern is aligned in a direction perpendicular to a side of the television device.16.The method of claim 11, wherein the LDMA comprises a device configured to receive voice commands or a device configured for teleconferencing.17.The method of claim 11, wherein a spacing between each of the uniformly distributed microphones of the first ULA and the second ULA is smaller than half of a smallest acoustic wavelength of a specified frequency band.18.The method of claim 11, wherein the first beamformer is determined based on a beampattern associated with the first beamformer being equal to the first beampattern and the second beamformer is determined based on a beampattern associated with the second beamformer being equal to the second beampattern.19.The method of claim 18, wherein a Jacobi-Anger series expansion is used to approximate the first beampattern and the second beampattern according to a least-squares error criterion.20.The method of claim 19, wherein the Jacobi-Anger series expansions of the beampattern associated with the first beamformer and the beampattern associated with the second beamformer are truncated at and respectively and wherein and

Images