Image sensor

Abstract

An image sensor is provided. The image sensor includes a pixel array composed of a plurality of rectangle units, each containing a plurality of pixels. The image sensor is configured to operate in different resolution modes in response to the number of pixels read out from each rectangle unit.

Description

IMAGE SENSORTECHNICAL FIELD

[0001] The present disclosure generally relates to an image sensor, and more particular to an image sensor capable of switching resolution mode.BACKGROUND

[0002] An image sensor such as a CMOS image sensor that converts light to an electric signal has a plurality of photoelectric conversion elements in a matrix form for each color of an array of color filters. The photoelectric conversion elements can be implemented by, for example, photodiodes, and converts incident light to charges corresponding to the amount of light and stores the charges. The stored charges are converted to a voltage, which is in turn converted to a digital signal for each corresponding color and output.

[0003] However, conventional image sensors have a problem that power consumption and noise cannot be sufficiently reduced. There is also a problem that the focusing performance in the dark is not good.SUMMARY

[0004] The present invention provides an image sensor that can switch resolution mode. According to the present invention, the power consumption and the noise can be reduced, and the focusing performance can be improved, especially in the dark.

[0005] According to the first aspect of the present disclosure, an image sensor, including:

[0006] a pixel array composed of a plurality of rectangle units, each containing a plurality of pixels; and

[0007] the image sensor is configured to operate in different resolution modes in  response to the number of pixels read out from each rectangle unit.

[0008] According to a possible implementation of the first aspect, the number of pixels in the x direction or the y direction of each unit is an even number.

[0009] According to a possible implementation of the first aspect, each even number of pixels in each rectangle unit shares one floating node which converts signal electron to voltage signal.

[0010] According to a possible implementation of the first aspect, for each even number of pixels in each rectangle unit, a microlens for autofocus is arranged.

[0011] According to a possible implementation of the first aspect, each pixel pair in each rectangle unit shares the one floating node.

[0012] According to a possible implementation of the first aspect, the microlens is arranged on each pixel pair in each rectangle unit, for the entire pixels in the pixel array.

[0013] According to a possible implementation of the first aspect, each four pixels of 2 x 2 configuration in each rectangle unit shares the one floating node.

[0014] According to a possible implementation of the first aspect, the microlens is arranged on each four pixels of 2 x 2 configuration in each rectangle unit, for the entire pixels in the pixel array.

[0015] According to a possible implementation of the first aspect, all floating nodes in each rectangle unit are connected.

[0016] According to a possible implementation of the first aspect, each pixel in each rectangle unit has substantially the same spectral sensitivity characteristic.

[0017] According to a possible implementation of the first aspect, at least a part of the plurality of rectangle units are square-shaped.

[0018] According to a possible implementation of the first aspect, the pixel array is repeated at an equal pitch in the x direction and the y direction.BRIEF DESCRIPTION OF DRAWINGS

[0019] To describe the technical solutions in the embodiments more clearly, the following briefly describes the accompanying drawings required for describing the present embodiments. Apparently, the accompanying drawings in the following description depict merely some of the possible embodiments, and a person of ordinary skill in the art may still derive other drawings, without creative efforts, from these accompanying drawings, in which:

[0020] Fig. 1 shows a pixel array of an image sensor of the Bayer arrangement.

[0021] Fig. 2 shows a pixel array having four pixels (2 x 2) for one color.

[0022] Fig. 3 shows a pixel array having nine pixels (3 x 3) for one color.

[0023] Fig. 4 shows a typical structure of a 4-T COMS image sensor.

[0024] Fig. 5 shows a layout of 4-T readout circuits provided per pixel in the pixel array.

[0025] Fig. 6 shows an example arrangement of 4-T readout circuits in the pixel array.

[0026] Fig. 7 shows an example arrangement of 4-T readout circuits in the pixel array.

[0027] Fig. 8 shows a cross-sectional view of an example configuration of a 2 x 1 image plane phase difference pixel.

[0028] Fig. 9 shows a layout of 2 x 1 image plane difference pixels in a 3 x 3 configuration of the pixel array.

[0029] Fig. 10 shows an example pixel array of an image sensor according to an embodiment of the present invention.

[0030] Fig. 11 shows an example arrangement of 4-T readout circuits in the pixel array shown in Fig. 10, according to an embodiment of the present invention.

[0031] Fig. 12 shows an example arrangement of 2 x 1 image plane phase difference pixels in the pixel array shown in Fig. 10, according to an embodiment of the present invention.

[0032] Fig. 13 shows an example of other pixel arrangement according to an embodiment of the present invention.

[0033] Fig. 14 shows an example of other pixel arrangement according to an embodiment of the present invention.

[0034] Fig. 15 shows an example of other pixel arrangement according to an embodiment of the present invention.

[0035] Fig. 16 shows an example of other pixel arrangement according to an embodiment of the present invention.

[0036] Fig. 17 shows an example of other pixel arrangement according to an embodiment of the present invention.

[0037] Fig. 18 shows an example of other pixel arrangement according to an embodiment of the present invention.

[0038] Fig. 19 shows an example of other pixel arrangement according to an embodiment of the present invention.

[0039] Fig. 20 shows an example of other pixel arrangement according to an embodiment of the present invention.

[0040] Fig. 21 shows an example of a sensor output and a reproduced RGB color image according to an embodiment of the present invention.

[0041] Fig. 22 shows an example of a sensor output and a reproduced RGB color image according to an embodiment of the present invention.

[0042] Fig. 23 shows an example of a sensor output and a reproduced RGB color image according to an embodiment of the present invention.

[0043] Fig. 24 shows an example of a sensor output and a reproduced RGB color image according to an embodiment of the present invention.

[0044] Fig. 25 shows other example arrangement of 4-T readout circuits in the pixel array shown in Fig. 10, according to an embodiment of the present invention.

[0045] Fig. 26 shows an example of image plane phase difference pixels with microlenses mounted on 2 x 2 pixels.

[0046] Fig. 27 shows an example arrangement of 2 x 2 image plane phase difference  pixels in the pixel array shown in Fig. 10, according to an embodiment of the present invention.

[0047] Fig. 28 shows an example of a sensor output and a reproduced RGB color image according to an embodiment of the present invention.

[0048] Fig. 29 shows an example of a sensor output and a reproduced RGB color image according to an embodiment of the present invention.

[0049] Fig. 30 shows an example of a sensor output and a reproduced RGB color image according to an embodiment of the present invention.

[0050] Fig. 31 shows an example of a sensor output and a reproduced RGB color image according to an embodiment of the present invention.

[0051] Fig. 32 shows other example arrangement of 4-T readout circuits in the pixel array shown in Fig. 18, according to an embodiment of the present invention.

[0052] Fig. 33 shows an example arrangement of 2 x 1 image plane phase difference pixels inn the pixel array shown in Fig. 18, according to an embodiment of the present invention.

[0053] Fig. 34 an example of a sensor output and a reproduced RGB color image according to an embodiment of the present invention.

[0054] Fig. 35 an example of a sensor output and a reproduced RGB color image according to an embodiment of the present invention.

[0055] Fig. 36 an example of a sensor output and a reproduced RGB color image according to an embodiment of the present invention.DESCRIPTION OF EMBODIMENTS

[0056] To make persons skilled in the art understand the technical solutions in the present disclosure better, the following clearly and completely describes the technical solutions in the embodiments of the present disclosure with reference to the accompanying drawings in the modes of the present disclosure. Apparently, the  described embodiments are merely a part rather than all of the embodiments of the present disclosure. All other embodiments obtained by persons of ordinary skill in the art based on the embodiments of the present disclosure without creative efforts shall fall within the protection scope of the present disclosure.

[0057] (Overview)

[0058] Fig. 1 shows a pixel array 10 of an image sensor of a normal Bayer array. An RGB color filter for receiving a single color is included for a single picture element.

[0059] On the other hand, there is a configuration in which a plurality of pixels are arranged for a color filter in one color. Fig. 2 shows a pixel array 20 having four pixels (2 x 2) for one color. Fig. 3 shows a pixel array 30 having nine pixels (3 x 3) for one color.

[0060] When pixels in one unit are combined and read out, a low-resolution mode is selected. When all pixels are read out separately, a high-resolution mode is selected. For example, in Fig. 2, a ratio of the number of pixels of low resolution to high resolution is 4, and a ratio of resolution is doubled   In Fig. 3, the ratio of the number of pixels of low resolution to high resolution is 9, and the ratio of resolution is tripled

[0061] In Figs. 2 and 3, when the pixels in one unit are added together and read out, the performance of resolution and sensitivity is the same as that of pixels that are not divided in Fig. 1.

[0062] The 3 x 3 pixel configuration of Fig. 3 has the following problems.

[0063] Each pixel reads out a signal charge in a four-transistor (4-T) structure, for example, as shown in Fig 4. For example, in the configuration of Fig. 1, a set of 4-T readout circuits is provided per pixel, as shown in Fig. 5. Fig. 5 shows a layout of 4-T readout circuits provided per pixel in the pixel array 10.

[0064] In the 3 x 3 pixel configuration shown in Fig. 3, if one 4-T circuit is provided  for each pixel, the area of the 4-T circuit becomes small, and it may not be arranged. In addition, when nine pixels are combined and read out as one pixel, it is necessary to operate a source follower (SF) nine times in total, compared with the 1 x 1 pixel configuration shown in Fig. 5. Thus, the power consumption is nine times greater.

[0065] In order to overcome said problems in the 3 x 3 pixel configuration, it is considered that three pixels in one unit of the pixel array share one floating diffusion (FD) and SF, as shown in Fig. 6. Fig. 6 shows an example arrangement of 4-T readout circuits in the pixel array 30. As a result, the number of elements decreases, a capacitance of FD increases slightly and a noise deteriorates slightly. In addition, the number of SF decreases, although it is still three times that of the 1 x 1 pixel configuration shown in Fig. 5.

[0066] Furthermore, it is considered that nine pixels in one unit of the pixel array share one FD and SF, as shown in Fig. 7. Fig. 7 shows an example arrangement of 4-T readout circuits in the pixel array 30. As a result, the number of elements further decreases, the capacitance of FD further increases and the noise further deteriorates. Since the number of SF for one color is the same as that of the 1 x 1 pixel configuration shown in Fig. 5, the power consumption when combining them is the same as that of the 1 x 1 pixel configuration shown in Fig. 5.

[0067] As described above, sharing FD and SF in the 3 x 3 pixel configuration can reduce one or both of the number of elements and power consumption. However, the noise may deteriorate.

[0068] Also, the pixel array of the image sensor includes image plane phase difference pixels for focusing. Fig. 8 shows a cross-sectional view of an example configuration of a 2 x 1 image plane phase difference pixel. The 2 x 1 image plane phase difference pixel 80 includes two pixels 81, 82 and one microlens 83. Fig. 9 shows a layout of 2 x 1 image plane phase difference pixels in the 3 x 3 configuration of the pixel array 30. In the 3 x 3 pixel configuration of the pixel array, the 2 x 1 image plane phase difference  pixels cannot be placed on an entire surface of the pixel array because the number of pixels in one unit is odd, as shown in Fig. 9. Therefore, the focusing performance in the dark is not good.

[0069] The present invention provides an image sensor that can switch resolution mode. According to the present invention, the power consumption and the noise can be reduced, and the focusing performance can be improved, especially in the dark.

[0070] (First Embodiment)

[0071] Fig. 10 shows an example pixel array 100 of an image sensor according to an embodiment of the present invention. The image sensor may include a two-dimensional pixel array formed by repeating the pixel array 100. The repeat pitch of the pixel array 100 in the x and y directions may be equal. That is, the pixel array 100 may be repeated at an equal pitch in the x direction and the y direction. The pixel array 100 includes a plurality of rectangular units, each containing a plurality of pixels. In the present embodiment, each one unit for each color, illustrated as enclosed by a bold line in Fig. 10, contains eight pixels in a form of a 4 x 2 rectangle. When the eight pixels in one unit are combined and read out, a low-resolution mode is selected. When each pixel in one unit is read out individually, a high-resolution mode is selected. The ratio of the number of pixels of low resolution to high resolution is 8, and the ratio of resolution is   That is, the ratio of resolution is almost equal to 3 times of a 3 x 3 pixel configuration.

[0072] Fig. 11 shows an example arrangement of 4-T readout circuits in the pixel array 100 shown in Fig. 10, according to an embodiment of the present invention. In this example arrangement, two pixels in one unit of the pixel array 100 share one FD. Since the FD is arranged between a pair of pixels in one unit, the capacitance of the FD does not increase so much and the noise does not deteriorate so much. Also, since the two pixels in one unit share one FD, the number of FD is reduced when the eight pixels  in one unit are combined to achieve low resolution. When reading of the pixels, the power consumption is reduced.

[0073] Fig. 12 shows an example arrangement of 2 x 1 image plane phase difference pixels in the pixel array 100 shown in Fig. 10, according to an embodiment of the present invention. Since the pixels in the pixel array 100 form 2 x 1 pairs, 2 x 1 image plane phase difference pixels can be arranged on the entire surface of the pixel array 100. Therefore, the accuracy of focusing in the dark is improved.

[0074] The effects of the first embodiment of the present invention can include the following.

[0075] (1) The image sensor can switch 2.8 times the resolution, which is almost the same as the 3 x 3 configuration of the pixel array.

[0076] (2) Since one FD is shared by a pair of pixels in one unit of the pixel array, the capacitance of FD can be reduced and the degradation of the noise is small.

[0077] (3) Since all pixels in one unit of the pixel array share FD and SF, the power consumption in the low-resolution mode is small.

[0078] (4) Since 2 x 1 image plane phase difference pixels are placed on the entire surface of the pixel array, focusing performance in the dark is good.

[0079] (Alternative Pixel Arrangements)

[0080] Figs. 13 to 15 show examples of other pixel arrangements 130, 140, 150, in which each one unit for each color contains eight pixels in the form of the 4 x 2 rectangle. These pixel arrangements can also switch 2.8 times the resolution as well as the pixel arrangement shown in Fig. 10.

[0081] Figs. 16 to 18 show examples of other pixel arrangements 160, 170, 180, in which each one unit for each color contains eight pixels in the form of a 4 x 2 rectangle or six pixels in the form of a 3 x 2 rectangle. Since the average number of pixels per unit is 7.1 to 7.2, the resolution is switched by

[0082] Figs. 19 and 20 show examples of other pixel arrangements 190, 200, in which each one unit for each color contains eight pixels in the form of a 4 x 2 rectangle or ten pixels in the form of a 5 x 2 rectangle. Since the average number of pixels per unit is 9 to 9.1, the resolution is switched by

[0083] As described above, the number of pixels in the x direction or the y direction of each rectangle unit may be an even number.

[0084] These pixel arrangements shown in Figs. 13 to 20 can also include 4-T readout circuits and 2 x 1 image plane phase difference pixels, similar to the above shown in Figs. 11 and 12.

[0085] According the alternative pixel arrangements, the image sensor can switch around 3 times the resolution.

[0086] Alternatively, at least a part of the plurality of rectangle units may be square-shaped.

[0087] (Other Resolution Modes)

[0088] Figs. 21 to 24 show a signal output of the image sensor of Fig. 10 when pixels in one unit of the pixel array are combined and read out, and the final result after the signal processing for interpolating pixels. In particular, Fig. 21 shows a signal output 211 and a reproduced RGB color image 212 with interpolated pixels. Fig. 22 shows a signal output 221 and a reproduced RGB color image 222 with interpolated pixels. Fig. 23 shows a signal output 231 and a reproduced RGB color image 232 with interpolated pixels. Fig. 24 shows a signal output 241 and a reproduced RGB color image 242 with interpolated pixels.

[0089] Fig. 21 shows a one times resolution mode, in which the eight pixels in one unit of the pixel array are combined and read out.

[0090] Fig. 24 shows a 2.8 times resolution mode, in which each pixel in one unit of the pixel array is read out individually.

[0091] Fig. 22 shows a 1.4 times resolution mode, in which four pixels in one unit of the pixel array are combined and read out. In this case, two signals are output per unit, and the resolution is 1.4 times

[0092] Fig. 23 shows a two times resolution mode, in which two pixels in one unit of the pixel array are combined and read out. In this case, four signals are output per unit, and the resolution is doubled

[0093] As described above, by changing the way of pixel composition, not only 1 x and 3 x resolution modes, but also 1.4 x and 2 x resolution modes in between can be implemented.

[0094] In a case where the repeat pitch of the pixel array 100 is equal, the pitch of interpolation processing units is equal in the x direction and the y direction, and an unnatural image is less likely to appear.

[0095] (Alternative Arrangements of 4-T Readout Circuits)

[0096] Fig. 25 shows other example arrangement of 4-T readout circuits in the pixel array 100 shown in Fig. 10. In this example, four pixels in the form of a 2 x 2 rectangle shares one FD. Compared with the arrangement shown in Fig. 11, the capacitance of the FD is further reduced and the noise degradation is suppressed. This example may be applied in a case where the number of pixels in the x direction and the y direction of each rectangular unit of the pixel array 100 are both even numbers.

[0097] (Alternative Arrangements of Phase Difference Pixels)

[0098] As shown in Fig. 26, phase-difference pixels 260 with microlenses 261 mounted on 2 x 2 pixels enables focusing in four directions, improving focus accuracy.

[0099] As shown in Fig. 27, by placing 2 x 2 On-Chip Lens (OCL) phase difference pixels on the entire surface of the pixel array 100 shown in Fig. 10, the focusing performance can be further improved.

[0100] According to this arrangements of 4-T readout circuits, since the four pixels in the form of 2 x 2 rectangle shares one FD, the capacitance of FD is further reduced and noise degradation is suppressed. Further, by placing 2 x 2 OCL phase difference pixels on the entire surface of the pixel array, the focusing performance can be further improved. This example may be applied in a case where the number of pixels in the x direction and the y direction of each rectangular unit of the pixel array 100 are both even numbers.

[0101] (Other Resolution Modes in Other Pixel Arrangements)

[0102] Figs. 28 to 31show a signal output of the image sensor of Fig. 15 when pixels in one unit of the pixel array are combined and read out, and the final result after the signal processing for interpolating pixels. In particular, Fig. 28 shows a signal output 281 and a reproduced RGB color image 282 with interpolated pixels. Fig. 29 shows a signal output 291 and a reproduced RGB color image 292 with interpolated pixels. Fig. 30 shows a signal output 301 and a reproduced RGB color image 302 with interpolated pixels. Fig. 31 shows a signal output 311 and a reproduced RGB color image 312 with interpolated pixels.

[0103] Fig. 28 shows a one times resolution mode, in which eight pixels in one unit of the pixel array are combined and read out.

[0104] Fig. 31 shows a 2.8 times resolution mode, in which each pixel in one unit of the pixel array is read out individually.

[0105] Fig. 29 shows a 1.4 times resolution mode, in which four pixels in one unit of the pixel array are combined and read out. In this case, two signals are output per unit, and the resolution is 1.4 times

[0106] Fig. 30 shows a two times resolution mode, in which two pixels in one unit of the pixel array are combined and read out. In this case, four signals are output per unit,  and the resolution is doubled

[0107] As described above, by changing the way of pixel composition, not only 1 x and 3 x resolution modes, but also 1.4 x and 2 x resolution modes in between can be implemented.

[0108] In a case where the repeat pitch of the pixel array 100 is equal, the pitch of interpolation processing units is equal in the x direction and the y direction, and an unnatural image is less likely to appear.

[0109] (Alternative Arrangements of 4-T Readout Circuits in Other Pixel Arrangements)

[0110] Fig. 32 shows an example layout of 4-T readout circuits in the pixel array 180 shown in Fig. 18, according to an embodiment of the present invention. In this example layout, one unit of the pixel array includes six or eight pixels. In each unit, two pixels share one FD. Since the FD is arranged between a pair of pixels in one unit, the capacitance of FD does not increase so much and the noise does not deteriorate so much. Also, since the two pixels in one unit share one FD, the number of FD is reduced when the six or eight pixels in one unit are combined to achieve low resolution. When reading of the pixels, the power consumption is reduced.

[0111] Fig. 33 shows an example arrangement of 2 x 1 image plane phase difference pixels in the pixel array 180 shown in Fig. 18, according to an embodiment of the present invention. Since the pixels in the pixel array 180 form 2 x 1 pairs, 2 x 1 image plane phase difference pixels can be arranged on the entire surface of the pixel array 180. Therefore, the accuracy of focusing in the dark is improved.

[0112] (Other Resolution Modes in Other Pixel Arrangements)

[0113] Figs. 34 to 36 show a signal output of the image sensor of Fig. 18 when the pixel in one unit of the pixel array are combined and read out, and the final result after the signal processing for interpolating pixels. In particular, Fig. 34 shows a signal  output 341 and a reproduced RGB color image 342 with interpolated pixels. Fig. 35 shows a signal output 351 and a reproduced RGB color image 352 with interpolated pixels. Fig. 36 shows a signal output 361 and a reproduced RGB color image 362 with interpolated pixels.

[0114] Fig. 34 shows a one times resolution mode, in which eight pixels in one unit of the pixel array are combined and read out.

[0115] Fig. 36 shows a 2.7 times resolution mode, in which each pixel in one unit of the pixel array is read out individually.

[0116] Fig. 35 shows a two times resolution mode, in which two pixels in one unit of the pixel array are combined and read out. In this case, four signals are output per unit, and the resolution is doubled

[0117] As described above, by changing the way of pixel composition, not only 1 x and 3 x resolution modes, but also 2 x resolution mode in between can be implemented.

[0118] In a case where the repeat pitch of the pixel array 100 is equal, the pitch of interpolation processing units is equal in the x direction and the y direction, and an unnatural image is less likely to appear.

[0119] (Other Embodiments)

[0120] Although the foregoing embodiments have been described using the RGB layout by way of example, the present disclosure can be applied to another color layout such as black and white.

[0121] The foregoing descriptions are merely specific implementation manners of the present invention, but are not intended to limit the protection scope of the present invention. Any variation or replacement readily figured out by a person skilled in the art within the technical scope disclosed shall fall within the protection scope of the present invention. Therefore, the protection scope of the present invention shall be  subject to the protection scope of the claims.

Claims

1.An image sensor, comprising:a pixel array composed of a plurality of rectangle units, each containing a plurality of pixels; andthe image sensor is configured to operate in different resolution modes in response to the number of pixels read out from each rectangle unit.2.The image sensor according to claim 1, wherein the number of pixels in the x direction or the y direction of each unit is an even number.3.The image sensor according to claim 1 or 2, wherein each even number of pixels in each rectangle unit shares one floating node which converts signal electron to voltage signal.4.The image sensor according to claim 1 or 2, wherein, for each even number of pixels in each rectangle unit, a microlens for autofocus is arranged.5.The image sensor according to claim 3, wherein each pixel pair in each rectangle unit shares the one floating node.6.The image sensor according to claim 4, wherein the microlens is arranged on each pixel pair in each rectangle unit, for the entire pixels in the pixel array.7.The image sensor according to claim 3, wherein each four pixels of 2 x 2 configuration in each rectangle unit shares the one floating node.8.The image sensor according to claim 4, wherein the microlens is arranged on each four pixels of 2 x 2 configuration in each rectangle unit, for the entire pixels in the pixel array.9.The image sensor according to any one of claims 1 to 8, wherein all floating nodes in each rectangle unit are connected.10.The image sensor according to any one of claims 1 to 9, wherein each pixel in each rectangle unit has substantially the same spectral sensitivity characteristic.11.The image sensor according to any one of claims 1 to 10, wherein at least a part of the plurality of rectangle units are square-shaped.12.The image sensor according to any one of claims 1 to 11, wherein the pixel array is repeated at an equal pitch in the x direction and the y direction.

Images