浅谈无透镜芯片数字显微成像技术

作者简介：杨程，博士，南京九川科学技术有限公司总经理。南京市高层次创业人才，江苏省双创博士，江苏省生物技术协会委员，江苏省仪器仪表学会理事。

笔者首先简单总结了传统基于光学透镜的显微成像技术的发展和遇到的瓶颈，引入了解决传统光学显微镜大视野和高分辨率矛盾的片上显微成像技术，并重点介绍了九川科技所采用的技术路线——基于超大像素规模超小像素尺寸的垂直电荷转移成像芯片的投影式片上显微成像，我们将之命名为无透镜芯片数字显微成像技术。笔者试图从原理的角度介绍相关技术的来龙去脉，自知能力有限，偏颇和疏忽在所难免，敬请批评指正。

传统光学显微成像技术蓬勃发展

随着光学成像技术的发展，人类从未停止过对微观世界的探寻。传统的光学显微镜自1590s发明以来一直作为显微观测的核心工具，距今已经400多年的历史，仍旧广泛用于现在的生物研究和医学诊断等领域^[2]。

在过去的几百年里，无数的研究人员和工程师针对显微镜的结构设计、镜头制作工艺等方面在不懈努力，尤其是在最近的一个多世纪中，显微镜的成像分辨率和成像质量得到了大幅提升，涌现出了非常多显微成像技术方面的重大成果。

比如荷兰物理学家Zernike(泽尼克)在上个世纪三十年代提出的相衬显微方法（Phase Contrast Microscopy）^[3][4], 其关键技术是通过在物镜的后焦面上增加相位环，同时在照明聚光镜上添加环状光阑，照明透射光和样品散射光发生干涉，使得照明光线通过样品时产生的相位差变化转换为光强变化，从而得到样品的相位信息，创造性地提升了显微镜对于透明样本观察时的对比度^[5]，正是由于这一重大突破，Zernike荣获了1953年的诺贝尔物理学奖。

在Zernike获奖后的第四年，也就是1957年，美国科学家Marvin Minsky发表了一项命名为共聚焦显微镜(Confocal Microscopy)的新技术^[6]，通过使用点光源照明和点探测器共轭，利用针孔过滤掉非焦平面以及焦平面上非焦点处杂散光的干扰，实现了更为清晰的显微成像^[7][8]。

后来随着高性能光源技术、成像芯片以及计算能力的大幅提升，出现了利用荧光突破阿贝衍射极限的超分辨显微成像技术，譬如一类是基于荧光单分子定位原理的随机光学重建显微镜（Stochastic Optical Reconstruction Microscopy, STORM）^[9]和光激活定位显微术（Photoactive Localization Microscopy，PALM）^[10][11]。一类是基于点扩散函数“瘦身”原理的受激发射损耗显微镜（Stinulated Emission Depletion Microscopy, STED）^[12]和基态耗散显微技术（Ground State Depletion, GSD）^[13]。这两种方法都需要专门的荧光分子，在一定程度上限制了这些技术手段的应用。此外还有一类称作结构光照明显微镜（Structured Illumination Microscopy, SIM）^[14][15]，利用“摩尔条纹”的拍频原理，通过结构光照明样品，将样品的高频信息编码到低频的“摩尔条纹”中，再通过后期的数据处理和算法重构。结构光照明的方法对荧光分子没有特别的要求，但是其系统的分辨率最多只能超越衍射极限一倍。

尽管传统的光学显微镜的成像能力已经达到了非常高的水平，但是其成像的机理并没有突破，始终受限于光学系统的空间带宽积(Space-Bandwidth Product, SBP)^[16]。空间带宽积代表了一个光学系统所能传递的信息量的大小，可以将“空间”理解为光学系统所能观察到的视场，而“带宽”则表示光学系统的分辨率，也就是对所观察物体的细节分辨能力^[17]。

因此传统光学显微镜一直存在着大视场和高分辨率之间的固有矛盾，放大倍数越大，能观察到的目标细节越清楚，但是所能看到的视野也会越小。

在过去的几十年里，在传统光学显微镜中同时实现亚微米级的高分辨率和厘米级的大视场是极其困难的。

而在许多临床医学诊断中，例如肿瘤病理组织切片的诊断，高分辨率和大视场又必须兼得^[18][19]。现有的实现方案是在传统光学显微镜的基础上，增加一个高精度机械扫描的位移台以及用于图像采集的CCD（Charge-Coupled Device）或者CMOS(Complementary-Metal-Oxide Semiconductor)图像采集模块，通过连续的高精度移动样品，将采集到的几百个视野下面的高分辨率图像利用后期算法拼接成一幅全视野的显微图像^[20][21]。

但是这样的一套显微成像系统不仅结构复杂、价格昂贵，而且费时和无法动态成像，这些不足限制了高端显微镜的大规模普及和使用。

无透镜片上显微成像技术兴起

为了实现大空间带宽积的显微成像，在最近的十几年间，无透镜片上显微成像技术开始兴起，逐步发展成为传统光学显微镜的有力竞争者。由于其具有解耦成像视场和分辨率的特点，而且系统结构简单，无需任何光学透镜即可实现大视场和高分辨率兼得，具有低成本、小型化、便携等优势，能够极大地弥补现有传统光学显微镜的不足^[22]。

无透镜片上显微成像技术是在样品和图像传感器芯片之间不设置任何光学透镜，直接利用CCD或者CMOS图像传感器来记录样品的投影或者是照明光源穿过样品的散射光与背景光的干涉图案^[24][25]。根据样品和图像传感器芯片之间的距离，明场无透镜片上显微成像技术通常可以分为两大类：（1）投影式片上显微成像技术和（2）衍射式片上显微成像技术^[23]。

图1.1 (a)投影式片上显微成像技术结构示意图（b）衍射式片上显微成像技术结构示意

在衍射式片上显微成像系统中，图像传感器芯片记录的是样品散射的光线和未散射的背景光线的干涉图案，然后再通过数字的处理和重建得到目标的显微图像。

衍射式片上显微成像技术其本质还是数字同轴全息的原理^[40][41]，利用图像传感器记录下全息图，因为图像传感器芯片只能记录强度信息，无法获取相位信息。所以衍射式片上显微成像技术的关键在于相位恢复技术，即利用采集到的强度信息恢复出样品的相位信息^{[44]-[45][46][47][48]}。

最经典的相位恢复的算法便是Gerchberg-Saxton(G-S)算法^[49]，通过将记录的强度信息作为波前复函数中的幅值，然后设定波前复函数中的初始相位，利用角谱传播理论^[50][51]，将像面复振幅反向传播到物面，再利用物面的约束条件或者是阈值化以后的复振幅正向传播回像面，如此反复传播和迭代，获得信噪比较高的样品的像^[52][53][54]。

关于衍射式片上显微成像技术国外代表性的研究团队是UCLA的Aydogan Ozcan教授团队，国内最具代表性的是南京理工大学的左超教授团队，他们对整个衍射片上显微成像技术的发展起到了非常大的推动作用，读者可自行拜读他们的相关研究成果。

投影式片上显微成像技术是最简单的一种无透镜片上显微成像技术，其关键在于要尽可能的缩小样品到图像传感器芯片之间的距离（理想情况下小于1微米最好），这样照明光源穿过样品之后的光学衍射可以被忽略，由图像传感器芯片直接记录样品的二维投影，不需要任何图像重建步骤。

图1.1 (a)所示为投影式片上显微成像系统的硬件示意图，样品紧贴在图像传感器芯片表面，样品正上方的光源为普通的LED(Light-Emitting-Diode)光源即可。

由于是通过图像传感器芯片直接记录投影，根据奈奎斯特采样定理[^26]，此系统的分辨率直接由成像芯片的单个像素物理尺寸决定，而视场就是整个图像传感器芯片的感光区。并且，由于要尽可能的缩小样品到芯片之间的距离，消除样品光学衍射的影响。

投影式片上显微成像技术的分辨率受限于所使用的图像传感器芯片的单个像素物理尺寸，因此，在最近十几年中，投影式片上显微成像技术的发展伴随着图像传感器芯片的发展而进步。

早期的Lange等人实现了用于研究线虫的小型化微流体投影成像装置，承载有线虫的样品腔直接放在单色成像芯片上，所使用的成像芯片的像素尺寸超过了10微米，同时像素数目也只有320×240个，这个早期的系统是非常小巧和新颖的，但是由于其分辨率超过了10微米，应用起来有很多限制^[28]，如图1.2所示。

图1.2 Lange等人用于研究线虫的小型化微流体投影成像装置及成像结果^[28]

这个早期的系统是非常小巧和新颖的，但是由于其分辨率超过了10微米，采用相同的思路， Ozcan等人提出了片上监测细胞的系统LUCAS (Lensfree Ultra-wide0field Cell monitoring Array platform based on Shadow imaging)，这个系统通过记录细胞在芯片表面的投影的不同，来对不同类型的细胞进行计数和分类，虽然实现了37.25mm×25.7mm的大视场观测，但是系统的空间分辨率同样受限于成像芯片的像素尺寸在9μm^[29]，如图1.3所示。

图1.3 Ozcan等人提出的片上监测细胞的系统LUCAS^[29]

研究人员开始尝试各种办法来突破像素尺寸对分辨率的限制，Heng等人提出了光流体显微镜（Optofluidic Microscopes, OFM）的概念，拓展了成像过程中的时间维度，通过在CMOS成像芯片的表面制作倾斜的亚微米金属孔阵列，金属孔在像素的中间位置，然后装载有线虫的微流体腔放置在表面，线虫流过以后，芯片记录线虫透过小孔的投影图像，这样整个装置的分辨率由小孔的大小和孔间距来决定。

通过OFM的方法，投影式片上显微技术的分辨率提升到了亚微米级，但是这种方面在大规模应用上也存在一些挑战，比如样品在流动过程中存在的旋转以及流速的均匀性都会影响最后重建的质量^[30][31][32]。

在此基础上，得益于Zheng等人提出的像素超分辨方法，实现了亚像素分辨率的光流体显微镜(Sub-pixel Resolving Optofluidic Microscope, SROFM)，将分辨率提升到了0.75微米^[33][34]，和早期的OFM相比，SPOFM不再需要小孔阵列，而是通过样品在微流控腔体中流动产生亚像素的偏移，然后将这些低分辨率的图像通过算法重建为高分辨率的图像。

随着消费类电子产品市场的爆炸式发展，推动了所使用的CMOS图像传感器芯片的性能提升，Lee等人在手机上基于投影式片上显微成像原理的手持式显微成像装置，并且通过多个角度的照明实现了亚像素的分辨率^[35]。

近年来，随着CMOS工艺节点的持续缩小，单个像素的尺寸也在不断减小，但是从2008年开始，由于CMOS图像传感器的单个像素包含的晶体管数量较多，像素尺寸的缩小变得非常困难，CMOS图像传感器的单个像素尺寸一直在1μm左右徘徊^[36][37][38]，与此同时CMOS图像传感器随着像素尺寸的减小，图像的信噪比也会急剧下降^[39]。

九川科技：无透镜芯片数字显微成像技术

九川科技采用的是投影式片上显微成像的技术路线，我们将其命名为无透镜芯片数字显微成像技术。

由前文可知，无透镜芯片数字显微成像技术最依赖的就是所使用的图像传感器芯片的单个像素尺寸，得益于九川科技所采用的垂直电荷转移成像芯片，其使用了全新的像素结构，能够在像素尺寸大幅缩小的同时保持优良的图像的信噪比。

我们采用了6亿像素、500nm像素尺寸的成像芯片，能够实现单个视野150mm2、分辨率500nm/pixel的显微成像，从最初的原理创新、方法建立（详见前期报道：CACLP 2021 | 探秘医疗数字化黑科技-全视野高分辨数字显微芯片和CACLP 2022 | 医疗器械创新的思考与风险应对）， 到各个细分领域的应用，我们进行了大量的探索（详见前期报道：Gotrium！在无透镜芯片数字显微技术道路上持续精进！）。在后面的文章中，我们也将进一步介绍和展示九川科技的相关产品和应用成果，敬请期待。

参考文献

[1] Baeg K J, Binda M, Natali D, et al. Organic light detectors: photodiodes and phototransistors[J]. Advanced materials, 2013, 25(31): 4267-4295.

[2] Z. Grcs and A. Ozcan. On-chip biomedical imaging. IEEE Reviews in Biomedical Engineering, 6:29–46, 2013.

[3] Zernike, F. How I Discovered Phase Contrast[J]. Science, 1955, 121(3141):345-349.

[4] Zernike F. Phase contrast, a new method for the microscopic observation of transparent objects part II[J]. Physica, 1942, 9(10):974-986.

[5] Zernike F. Phase contrast[J]. Ζ. Tech. Physik., 1935, 16: 454.

[6] Minsky M. Microscopy apparatus US patent 3013467[M], 1961.

[7] Confocal and two-photon microscopy: foundations, applications, and advances[M]. New York: Wiley-Liss, 2002.

[8] Handbook of biological confocal microscopy[M]. Springer Science & Business Media, 2010.

[9] Rust M J, Bates M, Zhuang X. Sub-diffraction-limit imaging by stochastic optical reconstruction microscopy (STORM)[J]. Nature methods, 2006, 3(10): 793.

[10] Hess S T, Girirajan T P K, Mason M D. Ultra-high resolution imaging by fluorescence photoactivation localization microscopy[J]. Biophysical journal, 2006, 91(11): 4258-4272.

[11] Betzig E, Patterson G H, Sougrat R, et al. Imaging intracellular fluorescent proteins at nanometer resolution[J]. Science, 2006, 313(5793): 1642-1645.

[12] Hell S W, Wichmann J. Breaking the diffraction resolution limit by stimulated emission: stimulated-emission-depletion fluorescence microscopy[J]. Optics letters, 1994, 19(11): 780-782.

[13] Hell S W, Kroug M. Ground-state-depletion fluorscence microscopy: A concept for breaking the diffraction resolution limit[J]. Applied Physics B, 1995, 60(5): 495-497.

[14] Heintzmann R, Cremer C G. Laterally modulated excitation microscopy: improvement of resolution by using a diffraction grating[C]//Optical Biopsies and Microscopic Techniques III. International Society for Optics and Photonics, 1999, 3568: 185-196.

[15] Gustafsson M G L. Surpassing the lateral resolution limit by a factor of two using structured illumination microscopy[J]. Journal of microscopy, 2000, 198(2): 82-87.

[16] Lohmann A W, Dorsch R G, Mendlovic D, et al. Space–bandwidth product of optical signals and systems[J]. JOSA A, 1996, 13(3): 470-473.

[17] Greenbaum A, Luo W, Khademhosseinieh B, et al. Increased space-bandwidth product in pixel super-resolved lensfree on-chip microscopy[J]. Scientific reports, 2013, 3: 1717.

[18] Maricq H R, LeRoy E C. Patterns of finger capillary abnormalities in connective tissue disease by “wide‐field” microscopy[J]. Arthritis & Rheumatism, 1973, 16(5): 619-628.

[19] Huisman A, Looijen A, van den Brink S M, et al. Creation of a fully digital pathology slide archive by high-volume tissue slide scanning[J]. Human pathology, 2010, 41(5): 751-757.

[20] Ma B, Zimmermann T, Rohde M, et al. Use of autostitch for automatic stitching of microscope images[J]. Micron, 2007, 38(5): 492-499.

[21] Yang F, Deng Z S, Fan Q H. A method for fast automated microscope image stitching[J]. Micron, 2013, 48: 17-25.

[22] Kim S B, Bae H, Koo K, et al. Lens-free imaging for biological applications[J]. Journal of laboratory automation, 2012, 17(1): 43-49.

[23] Zhu H, Isikman S O, Mudanyali O, et al. Optical imaging techniques for point-of-care diagnostics[J]. Lab on a Chip, 2013, 13(1): 51-67.

[24] Göröcs Z, Ozcan A. On-chip biomedical imaging[J]. IEEE reviews in biomedical engineering, 2012, 6: 29-46.

[25] Ozcan A, McLeod E. Lensless imaging and sensing[J]. Annual review of biomedical engineering, 2016, 18: 77-102.

[26] Shannon C E. Communication in the presence of noise[J]. Proceedings of the IRE, 1949, 37(1): 10-21.

[27] Ozcan A, Demirci U. Ultra wide-field lens-free monitoring of cells on-chip[J]. Lab on a Chip, 2008, 8(1): 98-106.

[28] Lange D, Storment C W, Conley C A, et al. A microfluidic shadow imaging system for the study of the nematode Caenorhabditis elegans in space[J]. Sensors and Actuators B: Chemical, 2005, 107(2): 904-914.

[29] Ozcan A, Demirci U. Ultra wide-field lens-free monitoring of cells on-chip[J]. Lab on a Chip, 2008, 8(1): 98-106.

[30] Heng X, Erickson D, Baugh L R, et al. Optofluidic microscopy—a method for implementing a high resolution optical microscope on a chip[J]. Lab on a Chip, 2006, 6(10): 1274-1276.

[31] Cui X, Lee L M, Heng X, et al. Lensless high-resolution on-chip optofluidic microscopes for Caenorhabditis elegans and cell imaging[J]. Proceedings of the National Academy of Sciences, 2008, 105(31): 10670-10675.

[32] Pang S, Cui X, DeModena J, et al. Implementation of a color-capable optofluidic microscope on a RGB CMOS color sensor chip substrate[J]. Lab on a Chip, 2010, 10(4): 411-414.

[33] Zheng G, Lee S A, Yang S, et al. Sub-pixel resolving optofluidic microscope for on-chip cell imaging[J]. Lab on a Chip, 2010, 10(22): 3125-3129.

[34] Lee S A, Zheng G, Yang S, et al. Color-capable sub-pixel resolving optofluidic microscope for on-chip cell imaging[C]//IEEE Winter Topicals 2011. IEEE, 2011: 93-94.

[35] Lee S A, Yang C. A smartphone-based chip-scale microscope using ambient illumination[J]. Lab on a Chip, 2014, 14(16): 3056-3063.

[36] Agranov G, Mauritzson R, Ladd J, et al. Pixel continues to shrink.... Pixel development for novel CMOS image sensors[C]//International Image Sensor Workshop. 2009: 69-72.

[37] Fossum E R, Hondongwa D B. A review of the pinned photodiode for CCD and CMOS image sensors[J]. IEEE Journal of the electron devices society, 2014.

[38] Ahn J C, Lee K, Kim Y, et al. 7.1 A 1/4-inch 8Mpixel CMOS image sensor with 3D backside-illuminated 1.12 μm pixel with front-side deep-trench isolation and vertical transfer gate[C]//2014 IEEE International Solid-State Circuits Conference Digest of Technical Papers (ISSCC). IEEE, 2014: 124-125.

[39] Ahn J C, Moon C R, Kim B, et al. Advanced image sensor technology for pixel scaling down toward 1.0 µm[C]//2008 IEEE International Electron Devices Meeting. IEEE, 2008: 1-4.