宜配屋

在早先的章节里，我们看到很多图像平滑技术如高斯模糊，Median模糊等，它们在移除数量小的噪音时在某种程度上比较好用。在这些技术里，我们取像素周围的一小部分邻居，做一些类似于高斯平均权重，中值等替换掉中间的元素。简单说，移除一个像素的噪音是基于本地邻居的。

噪音有一个属性，噪音一般被认为是具有零平均值的随机变量。假设一个像素噪音，p = p0 + n, 其中p0是像素的真实值，n是那个像素的噪音。你可以从不同图像取大量的同一个像素(N)并计算他们的平均值，理想情况下，你应该得到p=p0，因为均值是0.

你可以自己通过一个简单例子验证一下。保持一个静止的摄像机对准一个位置多呆几秒，这会给你很多帧，或者是对一个场景的很多图像。然后写一些代码来找到视频里所有帧的平均值。比较最终的结果和第一帧。你可以看到噪点被去掉了。不幸的是这个简单的方法对于摄像机和场景的运动来说就不健壮了。而且经常你也只有一个噪音图像可用。

Image Denoising

OpenCV提供了这种技术的四种变体。

cv2.fastNlMeansDenoising（） - 使用单个灰度图像
cv2.fastNlMeansDenoisingColored（） - 使用彩色图像。
cv2.fastNlMeansDenoisingMulti（） - 用于在短时间内捕获的图像序列（灰度图像）
cv2.fastNlMeansDenoisingColoredMulti（） - 与上面相同，但用于彩色图像。

Common arguments:

h：参数决定滤波器强度。较高的h值可以更好地消除噪声，但也会删除图像的细节 (10 is ok)
hForColorComponents：与h相同，但仅适用于彩色图像。（通常与h相同）
templateWindowSize：应该是奇数。（recommended 7）
searchWindowSize：应该是奇数。（recommended 21）

cv2.fastNlMeansDenoisingColored()

如上所述，它用于从彩色图像中去除噪声。（噪音预计是高斯噪音）

import numpy as np
import cv2
import matplotlib.pyplot as plt


img = cv2.imread('img.jpg')

dst = cv2.fastNlMeansDenoisingColored(img,None,10,10,7,21)

plt.subplot(121),plt.imshow(img)
plt.subplot(122),plt.imshow(dst)
plt.show()

cv2.fastNlMeansDenoisingMulti（）

现在我们将相同的方法应用于视频。第一个参数是嘈杂帧的列表。第二个参数imgToDenoiseIndex指定我们需要去噪的帧，因为我们在输入列表中传递了frame的索引。第三个是temporalWindowSize，它指定了用于去噪的附近帧的数量。在这种情况下，使用总共temporalWindowSize帧，其中中心帧是要去噪的帧。例如，传递了5个帧的列表作为输入。设imgToDenoiseIndex = 2和temporalWindowSize = 3.然后使用frame-1，frame-2和frame-3对帧-2进行去噪

import numpy as np
import cv2
import matplotlib.pyplot as plt


cap = cv2.VideoCapture('test.mp4')

# create a list of first 5 frames
img = [cap.read()[1] for i in range(5)]

# convert all to grayscale
gray = [cv2.cvtColor(i, cv2.COLOR_BGR2GRAY) for i in img]

# convert all to float64
gray = [np.float64(i) for i in gray]

# create a noise of variance 25
noise = np.random.randn(*gray[1].shape)*10

# Add this noise to images
noisy = [i+noise for i in gray]

# Convert back to uint8
noisy = [np.uint8(np.clip(i,0,255)) for i in noisy]

# Denoise 3rd frame considering all the 5 frames
dst = cv2.fastNlMeansDenoisingMulti(noisy, 2, 5, None, 4, 7, 35)

plt.subplot(131),plt.imshow(gray[2],'gray')
plt.subplot(132),plt.imshow(noisy[2],'gray')
plt.subplot(133),plt.imshow(dst,'gray')
plt.show()