bob综合体育app下载苹果版自然博客的录音

通过这项研究，我希望了解各种低级图像采样和相关过程，包括像素宾分，像素跳过和Bayer demosaic算法，特别是关于混叠和Moiré的外观，如何影响图像质量。

这里的重点是单反视频系统，通常使用质量妥协的方法来减少计算负荷时，多mp传感器设计为静止图像。随着传感器像素数的增加，向下缩放的要求越来越高，计算量也越来越大。

虽然新的数码单反相机似乎已经在解决这个问题上取得了很大的进展，但混叠仍然是许多数码相机的主要问题，要找到有关底层进程的信息并不是一件容易的任务。拥有这些信息对于设计与各种单反摄像机相匹配的光学抗混叠滤波器(低通滤波器)至关重要。

在这篇(相当长的)文章中，我将展示一系列不同的像素分组，像素跳过和demosaic方案的模拟结果。色度子采样(不包括)，以查看对图像质量的影响，并查看是否有可能复制尼康d5100最佳的观察到的混叠和Moiré。这也可以用来评估其他摄像机的采样方法，当使用相同的视频测试时，并与模拟结果进行比较。

混叠和Moiré视频观察

让我们先看看尼康d5100的一些原始视频片段，当时拍摄了一个非常容易走样和Moiré的测试折线图。所有这些都是用一个18-55mm的工具包镜头拍摄的。典型的f=22mm和f/5.6。

取1,f=22mm

用2，重复取1，但不同的闪电条件。F = 28毫米http://youtu.be/0qe4CYwl9_s

需要3，重复现在使用抗混叠滤波器，CYL 75在f=22mm, 1/f = 6.3http://youtu.be/j22JPZs0oeE

测试图

所使用的测试图表是一个定制的图表，用于快速概述水平和垂直线的混叠和Moiré性能，并说明总体图像质量。这里使用了类似的测试图表像素填充因子．

测试图包含垂直和水平的线模式，线密度逐渐增加，范围从0.5到4倍奈奎斯特频率(Nq= Fs/2)。图中箭头表示这一点。注意，奈奎斯特频率与采样图像的采样率有关。对于视频片段，测试图表是根据原始的高分辨率打印出来的(A2尺寸)图像．

视频观察总结

典型的混叠和Moiré模式在图像帧的中心

图的捕获-以及所有以下内容-都是在特定的缩放级别上拍摄的，其中主要的Moiré共振根据测试图表上的指示似乎与Nq x1和Nq x2相匹配。知道奈奎斯特频率就能得到采样率，从而得到有效的视频分辨率，在本例中是1642 x 923 px。这相当于将整个图像传感器的分辨率降低了3倍。为了使图像达到1980 x 1080的全高清分辨率，在后期处理过程中，图像显然被放大了16%。这与之前的观察是一致的关于Moiré测试的博客文章．

水平线:大量的条带和着色，在Nq的谐波附近最强。在nqx1，线是模糊的，非常丰富的粉红色和绿色带。在nqx2上，表带的颜色减少了，现在是黑白相间的表带，还有蓝色和棕色的元素。

垂直的线: Moiré频带在整个频率中都存在，在Nq的谐波附近最强，但通常比水平线弱得多。许多相同的颜色组合和干涉可以识别为水平和垂直的线。

在底部边缘位置使用别名和Moiré

这是一个清晰的，可重复的观察，当线条图案从中心移到图像帧的底部时，Moiré带的颜色从根本上增强。这可能与镜头的色差有关，或当光线以斜角照射传感器时的OPLF有关。这种效应解释了为什么Moiré的颜色对于不同类型和长度的透镜有如此大的不同。对于静态图像，这种效果通常由镜头模型来补偿，但在视频模式中显然没有使用这些。

应用抗混叠滤镜(模糊滤镜)

当一个抗混叠滤波器(模糊滤波器)是应用带和着色是强烈衰减。“MTF”曲线现在显示频率高于Nq的最小振幅，无论是垂直线还是水平线。nqx1的颜色带仍然可以看到，但所有其他的带都被删除了。光学模糊方法清楚地消除了在后期处理中很难去除的条纹和着色。

抽样模拟

为了更好地了解这些Moiré工件是如何创建的，我尝试模拟图像采样过程。通过在模拟中集成不同的装箱，像素跳过和演示过程，我将看到哪个过程最好地复制观察到的工件。

抽样模型

对于模拟，我假设如下图所示的抽样模型。我知道，这是实际单反相机的简化模型，不同的相机模型可能会增加/省略各种步骤。在这7个步骤中，模拟只包括采样模型的步骤1-5，因此没有图像后处理，色度子采样或视频编码。

1. 光域滤波器和变换在传感器着陆之前。光学抗混叠滤波器可以插入到这一点，以产生图像的低通滤波。
2. 光学低通滤波器OPLF是传感器的内置滤波器，用于将光传播到覆盖所有四个RGGB拜耳单元。它由图像传感器顶部的一层薄双折射层组成，它将光线分成四束，击中四个拜耳子像素。这是用x和y位移距离参数化的。
3. 光学图像然后通过拜耳彩色掩模进行采样，该掩模具有4个RGGB平方像素孔径。图像现在以颜色过滤器数组(CFA)格式描述。步骤1-3的所有光学滤光片——光学模糊、OPLF和像素孔径——都在模拟中由一个组合采样滤波器表示。
4. 像素分盒和/或像素跳过过程发生在传感器CMOS级别，从而节省计算成本。分箱过程通过添加收集到的电荷来组合相同颜色像素的电荷。这将产生一个新的CFA矩阵，现在具有较低的分辨率。在此步骤中还包括跳过像素或像素行。
5. demosaic (debayer)过程通过应用各种平滑滤波器将CFA数据转换为RGB像素。这些都是算术运算，因此计算量比较大。输出通常是与CFA子像素具有相同分辨率的RGB数组。在模拟中，采用双线性demosaic (BD)方法作为标准。
6. 图像处理和增强清晰度，颜色，对比度等。
7. 视频编码过程，包括色度子采样和缩放

像素分组是一种有效的降低传感器分辨率的方法，同时改善弱光和噪声性能。并不是所有的单反图像传感器都应用像素分箱。例如，本作品中使用的尼康D5100，使用了索尼MX071图像传感器，似乎不使用像素宾分。然而，尽管如此，该传感器的详细数据表和规格并不容易找到。同样的传感器也用于尼康7000、富士X-Pro1、宾得K-5、宾得K-01、宾得K-30、索尼a580、索尼A55、索尼nexx - 5n、富士X-Pro1、索尼nexx - 5n、富士X-Pro1。的Aptina mt9h004是一个使用2×2 bin的图像传感器示例。

模拟结果

采样模型(步骤1-5)在Scilab中实现。使用高分辨率测试图像(与视频测试相同)作为输入，表示入射光学图像。该图像的每个采样像素(拜耳子像素)有4×4个像素。

Moiré着色似乎对色差效应非常敏感。在模拟中，这已经通过一个简单的棱镜颜色位移(相移)在CFA采样，对应的结果称为' Chr。上的．

由于重点是水平线的混叠效果，下面我将重点介绍以不同方式组合或跳过的像素方案行像素的。只在垂直方向上跳跃。

在尼康d5100的情况下，原来的16MP传感器分辨率必须缩小到1/3，这意味着每个最终RGB像素覆盖3×3 CFA子像素的区域。当然，其他型号的相机也可能采用其他方案。但在这种情况下，只有3×3方案才能导致正确的最终解决方案。2 × 2方案将产生分辨率过高的图像，除非应用了额外的图像向下缩放。

2×2像素分类

从2×2分箱方案开始，该方案按照图中所示降低了分辨率。分箱在这里-以及所有以下的分箱模拟-随后是一个标准的双线性演示过程。结果名为' Chr。上。’增加了牙齿畸变。

在下面的分箱图中，左边所有相同数字的像素被合并到右边相同数字的像素中。

Binning 2.0 + BD:标准，空空的。上。(6 px)

Binning 2.1 + BD:标准，空空的。上。(6 px)

只要没有跳过像素，2 x 2的分箱可以产生相对较好的图像质量。

Binning 2×2 Binning方案将分辨率降低了2 x 2，与尼康d5100(需要3 x 3的缩放)相比，会产生太大的图像。然而，这种分箱方案可能适用于其他相机。

Binning 2.0 + BD，然后是33%的线性向下缩放:标准(4 px)

这就产生了正确的采样分辨率可能是现实的。但条带线上的特征与观察到的视频片段的模式非常不同。目前的采样方法不太可能涉及2×2分箱过程。

3×3像素分类

的3。X分箱过程与标准双线性debayer过程相结合可以产生正确的分辨率，并且可以很容易地应用于传感器以节省图像计算。3.0使用了所有的传感器像素。，而3.0x跳过行。

Binning 3.0 + BD:标准，空空的。上。

Binning 3.01 + BD:标准，空空的。上。

Binning 3.02 + BD:标准，空空的。上。

Binning 3.03 + BD:标准，空空的。上。

像素分类方案3.0-3.03结合了跳行产生强烈的彩色Moiré图案。然而，这些由视频测试产生的模式与视频测试产生的模式有一些不同。有一些特定的区别，特别是对于nqx1和nqx2。

让我们试试其他的组合:

Binning 3.3 + BD:标准，空空的。上。

Binning方案3.3跳过了3行中的2行，产生了Moiré模式，实际上与视频观测有很多相似之处，但分辨率似乎较低。

3.13 + BD:标准，空空的。上。

Binning 3.11 + BD标准，空空的。上。

Binning 3.2 + BD:标准，空空的。上。

Binning方案3.13-2.3也显示出与视频观测的良好相似性。这些方案似乎在同一主题上产生了变化。方案3.11有最接近的匹配。同样，这些结果的整体分辨率似乎比视频中的观测值要低。

特殊演示方案

另一种将CFA数据降级为RGB的处理方法是使用专用的demosaic算法，而不使用bin。这种方法可能计算量更大，因为必须通过算术运算处理更高数量的像素(高达所有像素的66到100%)。另一方面，不需要后续的demosaic过程。下面是一组专门的演示方案和模拟结果。

特别全辩手:标准，Chr.abr。

特殊b1辩手:标准, (+平滑C)人力资源。上。（+平滑）

特殊b1.1 debayer:标准，空空的。上。

这种方法产生更多的细节，似乎是更高的分辨率。特殊的debayer方案B1给出了与视频测试非常相似的结果，特别是当结果略微平滑时。B1采样的传感器像素与binning 3.11相同，结果似乎属于同一家族。

结论

没有找到完美的匹配，但是模拟能够相当准确地再现所观察到的干扰和Moiré特征，并且具有几乎相同的颜色。采样滤波器的最佳候选变量为binning type 3.11, 3.3和demosaic B1，其中B1总体上是最佳匹配。在对后模糊滤镜进行了一些微调之后，下面的图表给出了与原始视频屏幕捕捉相比的不同方法的概述。

正常的颜色:

增强的颜色在底部边缘(Chr。上):

通过模拟，可以很好地再现所观察到的Moiré特征。在模拟结果中，对比度和颜色通常更强。大多数Moiré干扰遵循完全相同的模式。demosaic方法B1与binning 3.3和3.11相比，似乎具有更高的分辨率。3.3有非常饱和的颜色。由于在模拟结果中没有进行颜色处理，颜色可能会有轻微的误导。

模拟CYL混叠滤波器

在这里最后，我将提出一个使用简单的光学模糊滤光片作为抗混叠滤光片的效果的快速调查。这样的过滤器在这里通过添加一个给定直径的模糊磁盘(添加到采样滤波器)在模拟中建模。当模糊盘的直径从6个像素逐渐增加到24个像素(对应0.75 - 3.0像素的视频分辨率)时像素分组3.3方案和B1 demosaic方案的结果为:

使用增强的边缘颜色版本(Chr。上)。

分箱3.3和B1 -没有混叠滤波器

Binning 3.3和B1- 0.75 px模糊

Binning 3.3和B1- 1.5 px模糊

Binning 3.3和B1- 2.0 px模糊

Binning 3.3和B1- 2.5 px模糊

Binning 3.3和B1 - 3像素模糊

对于3.3 binning和demosaic B1两种采样方案，当应用2-3像素(视频分辨率)直径的模糊圆时，混叠伪影和着色被有效地衰减。与此同时，很难注意到图像的细节或清晰度被降级。然而，图像变得明显流畅。结果与视频观测结果相当。

基于仿真，有一个很好的迹象表明，一个2-3视频像素宽模糊圈的抗混叠滤波器，相对于所使用的采样分辨率，将适用于尼康d5100。当为其他相机设计抗混叠滤波器时，重要的是要知道实际的采样分辨率(即从奈奎斯特共振等来看)，并知道所使用的像素宾分/像素跳过的水平。通过使用本文中给出的测试图表，并与仿真结果进行比较，我相信应该可以确定其他相机的关键因素，从而估计最佳的抗混叠滤波器设计。