显微镜数码相机技术简介

2022-10-22 12:36:27 Pooher Inc.

数码相机技术简介

本原则,属性,可能性和妥协

大多数现代光学显微技术需要使用数码相机。通过使用数字设备,研究人员可以实时观察屏幕上的标本,或者获取和存储图像和可量化的数据。从基本明场成像到高级*分辨率技术的广泛应用都需要相机。

可用数码相机技术的性能和种类大大增加,为研究人员提供了广泛的探测器,以满足他们的科学需求。数字成像传感器的选择会对图像特征产生重大影响,因此必须对它们如何工作和彼此不同有基本的了解。在这里,我们介绍科学成像中常见的数码相机技术背后的基本原理。

基本面

成像传感器的任务是将光信号转换为电信号。成像传感器的这一原理基于所谓的光伏效应,其描述了光子如何与材料相互作用以释放电子,从而导致电荷的累积。在大多数相机中,硅是用于此目的的基板。在所有情况下,通过吸收光子从其结合中除去电子。

硅的自然特性使其成为大多数成像传感器基本单元的主要组成部分的理想选择:像素。

像素

与传感器的类型无关,可以将像素视为基本单元。反过来,像素的主要元素是光敏光电二极管,其中硅耦合到电子存储阱(图1)。硅负责产生电子,然后可以收集,移动并*终转换成数字信号。像素的附加组件包括电控制电路和颜料层,以排除不需要的或破坏性的波长。

奥林巴斯显微镜|奥林巴斯生物显微镜|奥林巴斯金相显微镜|奥林巴斯倒置显微镜|OLYMPUS显微镜|上海普赫光电科技有限公司官网 

1:光电二极管。光敏二极管的主要复合材料是光电硅。入射光子能量用于激发硅的电子,然后将其收集在存储阱(橙色)中,然后转移到放大器。完整的数字成像传感器(右)通常由嵌入在单个像素中的数百万个光电二极管组成。

在成像过程中,撞击光电二极管的光子被转换成电子。这些电子存储在电子存储阱中,以便随后传输 - 读出 - 到放大器(图2)。该放大器读出累积的电子,并将它们转换成电压,而在相邻的模拟-数字(AD)转换器做数字化,并产生等效的数字信号。

奥林巴斯显微镜|奥林巴斯生物显微镜|奥林巴斯金相显微镜|奥林巴斯倒置显微镜|OLYMPUS显微镜|上海普赫光电科技有限公司官网 

2:基本成像原理。入射光以光子的形式撞击图像传感器,从而产生电子。它们逐像素地传输到串行寄存器,然后通过放大器运行。所产生的电压可以通过模数转换器(未示出)转换为数字图像信号。

像素中产生的电荷与撞击传感器的光子数成正比,这通常受到曝光持续时间(积分时间),检测波长以及*重要的光强度的影响。根据经验,像素大小定义了可以在不使像素饱和的情况下收集的电子数量。对于显微镜成像传感器,像素的大小通常在2-24μm2之间变化。

由于典型的像素架构,不是像素的整个表面是光敏的。图像传感器的填充因子描述了像素的光敏区域与其整个区域的关系。可以将微透镜添加到像素中以更好地将光聚焦到光敏区域上以改善填充因子。

完整的数字成像传感器由以几何阵列组织的数百万个像素组成。通常,像素的数量与“分辨率”混合在一起。值得注意的是,它不仅仅是像素的数量,而是它们的尺寸,它决定了相机芯片的分辨率。通常,较小的像素将提供比大的像素更高的分辨率。*后,显微镜系统的分辨率不仅取决于传感器阵列,还取决于完整的光学系统。

噪音和信噪比

奥林巴斯显微镜|奥林巴斯生物显微镜|奥林巴斯金相显微镜|奥林巴斯倒置显微镜|OLYMPUS显微镜|上海普赫光电科技有限公司官网 

3:冷却。热能导致暗噪声意味着像素中的电子是随机产生的。针对暗噪声的措施是例如借助Peltier元件和散热片来冷却相机。

不幸的是,噪声是影响所有信号的物理学的基础。不同传感器类型的主要噪声的影响和类型各不相同。通常可以根据其来源将相机噪声分为三大类:

暗噪声 - 也称为暗电流 - 是传感器中存在的基本噪声。暗噪声是由硅中的热能随机产生像素中的电子引起的。暗曝光以像素为单位建立曝光时间。它以每像素每秒的电子数(e- / px / sec)表示。对于曝光时间短的快速应用而言,这不是一个问题。当涉及长曝光时间,例如弱荧光信号的一秒或更长时间时,这种噪声类型可能成为主要问题。通过冷却传感器可以降低暗噪声,每8度冷却一次将暗电流减半(图3)。

读取噪声源自涉及量化信号的传感器的电读出电路。根据经验,可以通过降低像素读出速率来降低读取噪声。该像素读出速率定义了从传感器读取电荷的速度(单位:MHz)。由于这决定了相机的帧速率,因此对于快速实验(如活细胞的高速延时)必须考虑读取噪声。一些相机提供了改变读出速率的可能性,使得相机能够针对快速读出模式进行优化,或者针对低光应用进行更慢的低噪声模式。读取噪声的单位是e -并且与积分时间无关。读取噪声和暗噪声可用于确定特定相机是否适合低光荧光应用。

作为另一个噪声源的光子散射噪声是基于计数入射光子的不确定性。换句话说,它源于光子对传感器的影响的随机性质,但不是传感器本身引入的。*好的解释是想象你正试图抓住雨水滴。即使每个桶具有相同的尺寸和形状,也不是每个桶都能捕获完全相同数量的液滴,因此芯片上的光子检测可以被视为泊松分布。

在低光条件下,例如当信号强度低时荧光成像,不同的噪声源会对图像质量产生重大影响,因为它们会影响信噪比。因此,使用适合应用的相机对于拍摄出色的图像至关重要。

的信噪比(SNR)是图像,该图像在很大程度上受该传感器类型的影响的总体质量的度量。从广义上讲,它可以被指定为其敏感性。虽然这可能相当复杂,但SNR表示感兴趣的信号与背景噪声的区别(图4)。这里有几个要探索的因素,因为信号取决于到达传感器的光子数量,以及传感器将这些光子转换成信号的能力以及相机能够抑制不需要的噪声的能力。这就是为什么例如填充因子和微透镜在这里发挥重要作用,以及传感器的量子效率(参见“量子效率”部分)。

奥林巴斯显微镜|奥林巴斯生物显微镜|奥林巴斯金相显微镜|奥林巴斯倒置显微镜|OLYMPUS显微镜|上海普赫光电科技有限公司官网 

4:信噪比(SNR):上图显示了SNR增加时的相同对象。在左边,很难区分真实信号和背景。中间图像显示改善的SNR。右边的图像具有*佳的SNR,也可以从上图中解释,其中沿着绿线测量像素强度。左图中的峰值很少将背景噪声分开,右边的峰值可以很容易地区分。

*后,重要的是要提到样品的光学噪声,自动荧光或不良染色 通常是图像中的主要噪声源。使用*的传感器无法帮助您克服准备不足的样品。

全井容量

全阱容量很大程度上取决于像素的物理尺寸。它指的是单个像素的电荷存储容量。这是饱和前可以收集的*大电子数。达到全井容量可以与装满水的桶进行比较(图5)。

奥林巴斯显微镜|奥林巴斯生物显微镜|奥林巴斯金相显微镜|奥林巴斯倒置显微镜|OLYMPUS显微镜|上海普赫光电科技有限公司官网 

5:全井容量。可以将FWC与填充水的弯曲进行比较。更大的水桶 像素可以容纳更多的水分。电子比小电子。

较大的像素具有比小像素更大的全阱容量(通常为18,000 e -对于6.45μm像素对比300,000 e -对于24μm像素)。对于较大的全井容量,牺牲了空间分辨率,进而影响动态范围(参见“动态范围”部分)。

*过全井容量的电子无法量化。在某些情况下,电荷可能泄漏到相邻的像素中,从而产生称为模糊的效应(图6)。一些传感器包含抗晕光电子器件,其试图消除多余的电荷以抑制晕染伪影。

 

1532589222367093.png 1532589221153006.png

6:盛开的人工制品。在左图中,水桶的容积足以容纳所有进水滴。相应的显微图像显示在它旁边。如果进水*过铲斗的容量,水将溢出并填充相邻的容器。溢出的电子可以导致在显微图像上看到的晕染伪影。

动态范围

与全井容量直接相关的特性是动态范围。这描述了传感器同时记录低强度和高强度信号的能力。在实际意义上,这意味着较弱的信号不会在噪声中丢失,并且*亮的信号不会使传感器饱和。以数学术语表示,动态范围定义为全井容量(FWC)除以相机噪声。

奥林巴斯显微镜|奥林巴斯生物显微镜|奥林巴斯金相显微镜|奥林巴斯倒置显微镜|OLYMPUS显微镜|上海普赫光电科技有限公司官网 

它通常以分贝为单位(dB)描述:

奥林巴斯显微镜|奥林巴斯生物显微镜|奥林巴斯金相显微镜|奥林巴斯倒置显微镜|OLYMPUS显微镜|上海普赫光电科技有限公司官网 

如果全井容量更高且相机噪声更低,则动态范围会改善。可以说,在第一个近似值中,以下参数会影响动态范围:

像素尺寸(全井容量)

温度(暗噪声)

读出率(读出噪声)

对于荧光应用,大的动态范围是在深色背景下记录明亮荧光信号的主要好处(图7),尤其是在量化信号时。

奥林巴斯显微镜|奥林巴斯生物显微镜|奥林巴斯金相显微镜|奥林巴斯倒置显微镜|OLYMPUS显微镜|上海普赫光电科技有限公司官网 

7:动态范围。大动态范围 - 传感器同时记录低强度和高强度信号的能力 - 有助于在暗背景下成像明亮的荧光信号。

动态范围直接受所应用的增益影响。这里的术语“增益”用于表示所生成信号的放大。如果您将传感器的增益加倍,则有效地将全井容量减半,这反过来会降低动态范围。因此,通常需要在灵敏度和动态范围之间进行权衡。

如果传感器的固有动态范围不足以应用 - 分别是样本 - 可以考虑采用“ 高动态范围 ”(HDR)。在此过程中,以不同的曝光强度获取一系列图像。*终通过应用不同的算法计算得到的图像(图8)。这种方法的缺点是获取图像所需的时间延长。因此,这对于快速移动或光敏样品不是优选的。

1532589320972600.png 1532589325597766.png 1532589320900842.png 

8:HDR采集。该标本(Tilia spec。)具有强荧光信号(上部)和弱荧光信号(下部)的区域。相机的动态范围不足以同时在明亮区域同时记录暗区。因此,曝光强度只能被优化以对强(左)或弱(中)荧光信号成像。HDR图片(右)由一系列图像组成,这些图像是通过将不同的曝光强度组合在一起而获得的。

量子效率

在理想世界中,可以假设100个光子能够产生100个电子。当与传感器相互作用时,光子可能被吸收,反射甚至直接通过。传感器吸收特定波长的光并将其转换成电子的能力称为量子效率(QE)。

传感器的量子效率受许多因素的影响,包括:

填充因子

微透镜的添加/性能

防反射涂层

传感器格式(背面或前面照明)

量子效率总是入射光波长的函数。*常用于科学成像的硅探测器能够探测*出可见光范围(~400至1000nm)的波长。通过查看QE曲线,您可以看到特定传感器在将特定波长转换为信号时的效率(图9)。

奥林巴斯显微镜|奥林巴斯生物显微镜|奥林巴斯金相显微镜|奥林巴斯倒置显微镜|OLYMPUS显微镜|上海普赫光电科技有限公司官网 

9:量子效率(QE)。光子到电子的转换从来不是100%,而是由几个因素衰减。传感器吸收光子并将光子转换成电子的能力称为QE。QE总是取决于波长,可以描述为曲线。

大多数相机传感器是前照式的,其中入射光从像素的前面进入,在撞击光敏硅之前必须通过包含像素电路的半透明层(图1)。这些层会导致一些光损失,因此前照式传感器的*大QE通常约为50-60%。由于传感器表面上的电子器件仅能够产生局部电场,因此它们无法控制在硅晶片中形成更深的电荷(图10)。

在背照式传感器的情况下,光从“背面”直接照射到光敏硅,而不必通过像素电路,提供*大QE接近95%。为了制造背照式传感器,也称为背面减薄,这种额外的硅被磨掉 - 这是一个昂贵的工艺 - 以创建一个非常薄的硅层,其中所有的电荷都可以由像素的电子设备操纵。

奥林巴斯显微镜|奥林巴斯生物显微镜|奥林巴斯金相显微镜|奥林巴斯倒置显微镜|OLYMPUS显微镜|上海普赫光电科技有限公司官网 

10:正面和背面照明。光电二极管的照明可以发生在“前侧”(左侧)或“后侧”(右侧)。由于光子猝灭层较少,在背照明的情况下,电子产生的效率高于前照式二极管。

比特深度

位深度可以与动态范围相关,但不应该与动态范围相混淆,并且指的是模拟信号如何被数字化或者斩波为灰度值或灰度级。数码相机传感器的动态范围取决于其FWC和噪声。位深度取决于AD转换器将生成的电子数转换为灰度值的能力。它可以输出的灰度越多,可以再现的细节越多(图11)。

一些相机提供的灰度值大于光子可以产生的*大电子数(例如,16位数字化将信号切换成~65K灰度单位)。在极端情况下,传感器可能在1,000光子/像素以下饱和,但图像仍然显示65,000灰度值。此外,计算机屏幕通常只能显示8位数据。这就是必须按比例缩小显示*过8位的相机信号的原因。用户可以在查找表(LUT)的帮助下影响此过程。使用它通常可以揭示图像中隐藏的细节。

1532589397152412.png

1532589397939570.png

11:动态范围与位深度。传感器的动态范围是指其同时记录低强度和高强度信号的能力。这可以追溯到它的像素'FWC及其噪声特性。高FWC有利于检测高强度信号,其中许多光子撞击像素。另一方面,低噪声有利于检测低强度信号。动态范围主要是指像素的特性,而位深度是AD转换器的特性。位深度越大,图像的完整动态范围就越好。使用2位AD转换器,数字成像传感器可输出4个灰度级,带有4位AD转换器16等。

成像速度和分档

以表示为每秒帧数(fps)的帧速率测量数码相机的成像速度。这是相机在一秒钟内可以获取的图像(帧)数。许多因素会影响相机的*大可实现帧速率。在给定的曝光时间,需要考虑以下参数:

像素数

像素读数率

电脑界面(USB 2.0 / USB 3.0 / CamLink等)

提高帧速率的*简单方法是通过切换到较小的感兴趣区域(ROI)来减少读出的像素数。随着帧速率的增加,撞击传感器的光子数量将减少,因此根据样本类型,需要额外的灵敏度。可用于提高速度和降低噪声的一个技巧是“片上合并”。

在分箱期间,不是分别从每个像素读出数据,来自几个相邻像素的数据在串行寄存器中的芯片上组合,并作为“*像素”读出。以这种方式,可以组合来自2x2,3x3或4x4和更多像素的数据(图12)。

奥林巴斯显微镜|奥林巴斯生物显微镜|奥林巴斯金相显微镜|奥林巴斯倒置显微镜|OLYMPUS显微镜|上海普赫光电科技有限公司官网 

12:分箱。对于低光应用,数码相机芯片能够总结一定量的相邻像素的信息(左)。在2×2合并处理的情况下,4个相邻方形有序像素的信息被视为一个大的“*像素”等。利用该方法,可以以空间分辨率为代价来提高速度和SNR。右边的序列说明了片上合并的过程。t1表示将要组合的四个像素。在t2,下一行被传送到串行寄存器。在t3,下一行被传送到串行寄存器,它们的电子被组合(用较浅的颜色表示)。在t4,来自串行寄存器的两个像素被组合,进一步增加了像素的亮度。

分档以牺牲分辨率为代价提高了信噪比。假设每个像素包含100个电子并且读取噪声为10个电子,则逐个读出信噪比为10/1。如果装箱2x2,则读出的信号现在为400,读取噪声仍为10,因此信噪比急剧增加到40/1。由于读出电子设备必须处理较少的数据点(在2x2合并的情况下减少4倍),帧速率也会增加。分箱的主要缺点是分辨率损失,因为有效像素大小增加了bin值的平方(图13)。

奥林巴斯显微镜|奥林巴斯生物显微镜|奥林巴斯金相显微镜|奥林巴斯倒置显微镜|OLYMPUS显微镜|上海普赫光电科技有限公司官网 

13:分箱。用binning记录右边的图像。以分辨率为代价达到改善的SNR。

使用分级是快速荧光成像的标准,例如快速延时。目的是降低噪声,数据大小并减少曝光时间。后者尤其值得一提,因为这可以减少漂白和光诱导的活细胞损伤。

对于诸如染色病理组织的文档的明场应用,通常将分级应用于实时图像,从而在移动显微镜台时允许平滑的屏幕上图像。

传感器类型

大多数上述特征和参数对于显微镜中的所有类型的成像传感器都是通用的。然而 - 基于历史发展和技术改进,显微镜师可以分别在不同类型的传感器和相机之间进行选择。它们在原理架构(例如CCDCMOS),增强信号(例如EMCCD与CCD)和图像质量(例如CMOS与sCMOS)的能力方面存在差异。

CCD传感器 - 电荷耦合器件:基于这种传感器类型的相机是明场和荧光成像的主力。特征在于,像素中产生的电荷通过表面从一个像素移动到另一个像素,进入串行寄存器(图14)。从串行寄存器中,电荷一个接一个地传递到读出电子器件,在那里信号被转换成电压,放大,量化和数字化。因此, CCD传感器内的所有数据通常通过单个输出节点读出。

EMCCD传感器 - 电子倍增CCD: EMCCD传感器基本上是CCD传感器,在传感器和读出电子器件之间增加了EM增益寄存器。该EM增益寄存器放大信号遇到读出电子前。除此之外,EMCCD摄像机采用背面薄型传感器技术,典型的峰值QE> 90%。这些类型的相机用于极低光应用,并且可以是单光子敏感的。这些相机的价格通常远高于普通CCD相机的价格。

CMOS -  互补金属氧化物半导体:近年来, CMOS技术*初用于手机和低端相机,显着改善,已成为显微镜中标准明场应用的重要成像设备。与CCD相比的主要差异是像素电子器件和节省时间的传感器读出原理,与传统 CCD传感器中使用的单个读出节点相比,具有数千个读出节点。

sCMOS - 科学CMOS:几年前推出的这种传感器克服了CMOS传感器的常见缺点,如高噪声水平。这种类型的传感器用于高端荧光成像,这得益于快速帧速率,高动态范围和低噪声。

奥林巴斯显微镜|奥林巴斯生物显微镜|奥林巴斯金相显微镜|奥林巴斯倒置显微镜|OLYMPUS显微镜|上海普赫光电科技有限公司官网 

14:传感器的类型。CCD(左):入射光以光子的形式撞击图像传感器,从而产生电子。它们逐像素地传输到串行寄存器,然后通过放大器运行。例如,所产生的电压可以通过模数转换器(未示出)转换成数字图像信号,以显示在计算机屏幕上。EMCCD(中):根据传统的CCD传感器,EMCCD中的光诱导电子被传输到串行寄存器。在通往放大器的路上,它们通过一个额外的寄存器,电子倍增(EM寄存器,其中电子数量增加高达1000倍。sCMOS(右):在sCMOS传感器内,每个像素都有自己的放大器。此外,每列在每侧具有附加放大器和自己的模数转换器(未示出)。这种架构可以固定读出,因为电子不必将单个下游像素传递到串行寄存器。

概要

没有数码相机技术,现代光学显微镜是不可想象的。大多数显微镜用户要么想在监视器上观看他们的标本,要么想在计算机上保存和处理他们的发现。此外,如果没有数码相机传感器的兴起,甚至不可能有一些微观技术,例如定位显微镜。本文的读者应该已经了解了如何生成数字显微图像。这反过来将有助于正确使用数码相机以及如何以正确的方式解释生成的数据。