• 1782 •
系 统 仿 真 学 报 V ol. 17 No. 7
JOURNAL OF SYSTEM SIMULATION July 2005
基于稀疏编码的自然图像特征提取及去噪
尚 丽1,2，郑春厚1,2
(1 中国科学院合肥分院智能机械研究所，安徽合肥 230031；2中国科学技术大学自动化系，安徽合肥 230026)
摘 要：主要讨论稀疏编码在自然图像统计特性中的应用，利用稀疏编码实现图像的特征提取以及消除图像中的高斯噪声。文中利用双梯度算法对自然图像的基向量进行迭代学习。实验表明，提取的基向量在时域和频域上都有方向性和局部性。与小波收缩 法相比，稀疏编码法提取的特征要优于小波法提取的特征。对特征提取的实际应用，就是利用稀疏编码收缩法对图像消噪，并通过仿真实验证明稀疏编码收缩法去噪效果要优于任何低通滤波方法。 关键词：稀疏编码；独立分量分析；基向量；特征提取；图像消噪
文章编号: 1004-731X(2005)07-1782-03 中图分类号：TN911.73 文献标识码：A
Image Feature Extraction and Denoising Based on Sparse Coding
SHANG Li1, 2, ZHENG Chun-hou 1, 2
(1Automation Department of USTC, Hefei 230031, China; 2 Institute of Intelligence Machines, Chinese Academy of Sciences, Hefei 230031, China)
Abstract: The application of sparse coding in the natural images statistics was discussed. Sparse coding is applied to image
feature extraction and image denoising. The basis vectors of the natural images were obtained by using fast conjugate gradient algorithm. The experiments show that the basis vectors are localized and oriented in space and in frequency. Compared with wavelet shrinkage method, the features obtained based on sparse coding have important benefit over wavelet ones. As an application of such a feature extraction scheme, the sparse coding shrinkage was applied to reduce Gaussian noise. The simulative experiment shows that the result using sparse coding to denoise is better than that of other low-pass filters. Key words: sparse coding; independent component analysis; basis vectors; feature extraction; image denoising
引 言
稀疏编码是对多维数据进行线性分解的一种表示方法。目前在稀疏编码模型的研究领域中，Simocelli 从小波变换的Olshausen 和 Field把超完角度进行神经表示和有效编码[1]；
备基引入到稀疏编码[2]；Oja 和Hyvärinen则围绕多维独立分量分析－ICA (Independent Components Analysis) 模型和不变特征子空间展开深入研究[3]。在稀疏编码方法中，数据特征仅依赖于数据的统计特性；而小波变换很大程度上依赖于某一确定的抽象数学特性，且此特性和自然数据统计特性几乎没有关系，所以基于稀疏编码的特征提取方法要优于小波方法。
在自然图像统计中，用稀疏编码方法可以实现图像的特征提取以及消除图像中的高斯噪声。此法和ICA 技术非常类似[4]。本文表明了如何用稀疏编码去提取自然图像数据中类似小波基的特征。对特征提取方法的实际应用，就是利用稀疏编码收缩法去除高斯噪声。实验证明：稀疏编码方法可以有效地提取自然图像的特征；稀疏编码收缩法去噪效果要优于任何低通滤波方法。
1 稀疏编码和独立分量分析
模式识别的最根本问题是如何对分析数据找到一种合适的表示方法。在数字图像处理中，数据的表示法通常是基于观测数据的线性转换，解决问题的关键是如何找到最优的线性转换矩阵。
1.1 稀疏编码模型
若令输入数据x =(x 1, x 2, …, x n ) T 为n 维随机向量，即向量χ表示一个图像窗口的像素灰度值；用s =(s 1, s 2, …, s m ) T 表示线性转换后的m 维向量，假设m ≤n ，那么线性转换矩阵则为m ×n 维，记为M 。则线性转换表示式如下：
s =Mx (1) 线性转换后的s i 满足稀疏分布的要求。当随机变量s i 在零点有尖峰值，且在接近水平坐标轴正负方向有长长的延伸时，s i 称为稀疏的。典型的稀疏分布如双指数分布或拉普拉斯分布，见图1，其中实线表示稀疏分布；作为对比，给出用点线表示的标准高斯分布。这样的分布有较低的熵值，故可以减少分量s i 之间的相关性。公式(1)中矩阵M 即是稀疏变换矩阵，其每一行向量对应稀疏变换中的一个基向量。s i
是像素间独立的稀疏分量，在同一时刻，只有少数的s i 分量不是零，即意味着一个给定的分量有“稀疏”的特性（在大部分。稀疏编码方法也是一种自适应方法：对一时间内，s i ＝0）
类给定的数据估计最优稀疏变换矩阵M ，以使分量s i 尽可能是稀疏的。
收稿日期: 2004-06-07 修回日期: 2004-09-23
作者简介： 尚丽(1973-)，女，讲师, 在职博士生，研究方向为模式识别，人工智能，数字图像处理等；郑春厚(1973-)，男，山东曲阜人，讲师，在职博士生，研究方向为模式识别，人工智能，图像处理等。
V ol. 17 No. 7
July 2005 尚 丽, 等：基于稀疏编码的自然图像特征提取及去噪
g (u )=−
• 1783 •
21 (5) exp ⎛⎜−a u ⎞⎟⎝⎠a
采用双梯度的稀疏编码算法得到式(1)中的变换矩阵M 。当(2)式中A 与M 均为正交方阵时，A =M T ，即得到基函数A 。A 的每一列对应图像的一个子窗口，即每个子窗口就是一个特征基向量。图2即是利用此稀疏编码方法得到的基向量, 子窗口大小为16×16_pixels，经过降维处理，维数由256维降到160维。稀疏编码法提取到的特征类似小波软阈值法得到
图1 稀疏分布(实线) 和高斯分布（点线）示意图
的结果，因为二者都在时域和频域中进行局部变换
[4]。实际上，稀疏编码被认为是基于数据单独选择一个小波基的主要方法，也称为小波收缩方法(最早由Donoho 等人提出) 。在实际应用中就是利用稀疏特征消除图像噪声。
1.2 独立分量分析和像素独立模型
稀疏编码模型和标准ICA 模型[5]有很大联系。标准ICA 模型为：
x =As (2)
式(2)中，观测数据x 看作是独立分量s 的线性组合。对(2)式求逆，把M 看作是矩阵A 的伪逆矩阵。已经证明：通过搜寻那些尽可能是非高斯分布的分量的不相关的方向，可以估计出标准的ICA 模型[5]。如果独立分量为稀疏分布的，更准确地讲，若独立分量是超高斯分布的话，即是搜寻那些稀疏分量的非相关投影。所以稀疏数据的标准ICA 模型近似为非相关分量的稀疏编码。
把(2)式中的自然图像的分布很显然是非高斯性分布[4]。
而每个随机独立像独立分量s i 看作是统计独立的随机像素，
素表示其对应的独立基对自然图像的作用，无噪声自然图像的统计模型为：
I (x , y )=∑a i (x , y )s i (3)
i n
图2 基于稀疏编码的自然图像数据的基向量. 子窗口大小
16x16_pixels，基维数由256维降低到160维。
式(3)与式(2)形式一样, 可用任何已知的ICA 方法来求解I (x , y )。若A =(a 1, a 2, …, a n ) ，其中列向量a i (i =1, 2, 3, …, n ) 代表了一组N 2×1的基图像，它是N 2×1的向量。通过ICA 算法，求出分离矩阵（即恢复矩阵）W , 就能得到每幅图像
ˆ即为稀疏分量s 的 ˆ=WI (x , y )。s 在独立基上的投影系数：s
估计值，也代表了图像I 的特征(注意：像素独立也即是空间独立) 。
3 稀疏编码收缩法实现图像去噪
选择最优的稀疏编码转换矩阵是解决稀疏收缩法问题的关键(已由Hyvärinen证明) 。能够使稀疏分量的Fisher 信息之“和”最大化的矩阵即被认为是最优的转换矩阵。
3.1 算法
式(1)s =Mx 和式(2)x =As 中，若观测数据x 加入高
此处~斯加性白噪声n 时，则输入信号表示为x =~x x +n ，表示无噪声信号。用一个双指数或拉普拉斯分布来近似(1)式中s i 的稀疏分布：
p (s )=
⎛12⎞ exp ⎜−s ⎟⎜⎟d 2d ⎝⎠
2 双梯度的稀疏编码算法
随机选取F 幅自然图像，用p ×p _pixels的子窗口随机对一副图像截取b 次，得到p 2×b ×F 矩阵组成观测数据集合。对数据经过白化和归一化处理。令白化向量为v ，分离矩阵为W 。对白化向量v 采用双梯度算法进行独立分量分析。其分离矩阵的在线估计公式为：
⎧∆w (t +1)=w (t )v (t )2g w (t )T v +γ(t )w (t )I −w (t )T w (t )
(4) ⎪
⎨w (t +1) ⎪w (t +1) =w (t +1) ⎩
(6)
显然，p (s ) 是一个稀疏分布，d 为尺度值参数。假设变换
矩阵M 为正交方阵(此假设条件并不很强，对一个方阵可以ˆ由用正交化方法使其变为正交阵) ，则s 的最大似然估计值s
()()
下式给出：
s ˆ=f (Mx ) (7)
f 为尺度函数，由下式定义：
上式中γ(t ) 是增益参数，通常取为0.5或1。非线性函数g (⋅) 选择为：
• 1784 •
V ol. 17 No. 7
系 统 仿 真 学 报 July 2005
2σ2
f (u )=sign (u ) max(0, −
) (8)
合。第一个集合用于估计给出稀疏编码变换矩阵M ；第二个集合用作测试数据矩阵。测试矩阵被人为加入高斯噪声。利用上述的稀疏编码收缩算法可以去除此噪声。采用一个16×16_pixels的子窗口随机截取一幅图像1000次，任一子窗口被转换为一个256维的列向量，基A 大小为256×256，
上式中，σ2为噪声n 的变化量。当σ2一定时，选定参数d ，
2σ2是一个确定的数。当变量u 较小时，令f (u ) ＝0；对稀疏随机变量，f (u ) 收缩函数可以减少高斯噪声。f (u ) 的输
入输出特性示意图如图3所示。
x 被用于输入数据矩阵x 则为256×10000的图像序列矩阵。
标准ICA 模型中的观测数据，对其必须进行预处理：首先，这可以去掉图像中的低对x 中每一列减去图像灰度平均值，
频成分；其次，为了避免陷入高频域，再使列向量归一化，即得到均值为零，方差为1的向量；最后，降维处理。减均值操作使数据的维数减少了1，因此对白化后的数据采用PCA 方法使输入数据的维数减少1[5]。
4.2 实验结果
图3 稀疏分量的输入输出特性
对标准ICA 模型采用的稀疏学习算法是双梯度算法。混合矩阵A 的转置矩阵即是稀疏编码线性转换矩阵M 。利
考虑到不同程度的超高斯性，密度分布函数p (s ) 用一个通式表达：
⎞a 2
p (s )=C exp ⎛⎜−s −b s ⎟
⎝⎠
ˆ，s ˆ即代表了图像I 的用模型s =Mx ，估计出稀疏分量s
特征。M 的每一行即是一个基向量，可以绘出图2。
采用3.1中所述的稀疏编码收缩算法消除图像噪声。选用式(10)所示的非线性函数，对参数a ，b 分别进行估计。具体消噪步骤是：首先，由模型s (t )=Mx (t )计算稀疏分量的初始值；第二，执行稀疏分量的收缩；最后，用得到的稀疏
ˆ(t )=M ~分量重构图像的灰度值~x (t )求逆得x (t )，~x (t )由s 到。~x (t )为消噪后像素近似灰度值。对随机选择的一幅图像的每个子窗口重复上述三步，由于子窗口是重叠的，每个像素都可能出现在不同的子窗口中, 所以在图像恢复时，对每个像素的多个恢复值取平均，用平均值作为该位置上的像素重构值~x (t )。图4是图像重构的实验结果, 实验图像分别被随机截取5000次，10000次和
50000次。可以看出，随机截取的子窗口越多，像素重构值就越接近相应位置上的原像素值，图像重构的效果就越好。
(9)
上式中，C 为一个任意的常数；a 和b 是要估计的值。非线性函数f (u ) 的表示式为：
f (u ) =
11+σ2a
sign (u ) max(0, u −b σ2)
(10)
式(10)表明收缩参数b σ2和尺度系数+σ2a 相对于稀疏分量的密度分布是自适应变化的。上述结果都表明了下面的稀疏编码收缩方法可以消除噪声影响：
首先，选用已知的稀疏编码算法计算正交矩阵M ，以使分量s i (t ) 尽可能为稀疏分布，s (t )=Mx (t )，其中x (t ) 为含有噪音的像素，x (t ) =~x (t ) +n ；
在每个观察时刻t ，采用(8)式或(10)式定义的非线
性函数f (⋅) ，对观测数据x 的每个分量x (t ) 计算相应的噪声稀
疏分量s i (t ) 。
对第一步中s =Mx 求逆，得到x (t ) 的新的估计值
ˆ(t )。即x ˆ(t )=M T s ˆ(t )。 x
实际上，上述三步操作等价于小波收缩方法。小波收缩方法最早是由Donoho 等人提出的。他们考虑到了函数子空间的最小最大估计问题，并且找到了一个非常近似的最小最大估计器。对小波变换的系数选用不同的软门限，应用上述收缩步骤就可以构成估计器。稀疏编码收缩法和小波法的主要不同点是线性变换的选择不同：前者选用自然数据的统计特性，后者选用预测的小波变换；另一个重要的不同点则是二者用不同的方法估计收缩参数。
4 试验
4.1 输入数据
输入图像数据由真实的自然景色图像组成。试验中选用10幅256×512_pixels自然图像，随机得到两个图像数据集
图4 图像重构实验结果
稀疏编码收缩法去噪实验结果如图5所示。原图像仍为
σ=0.05 图4中a 图所示；b 1、b 2分别是加入标准偏差σ=0.5、
（下转第1787页）
V ol. 17 No. 7
July 2005 李茂宽, 等：基于模糊C 均值的支持向量机数据分类识别
• 1787 •
参考文献:
[1] [2] [3] [4]
边肇祺，张学工. 模式识别(2版)[M]. 北京：清华大学出版社,2000. 高新波，李杰. 模糊C 均值聚类算法中参数m 的优选[J]. 模式识别与人工智能，2000，13(1)：7-11.
V Vapnik. The Nature of Statistical Learning Theory[M]. New York: Springer-Verlag, 1995.
P S Bradley, O L Mangasarian, Massive data discrimination via linear support vector machines[J]. Optimization methods and software , 2000,13: 1-10.
图3 支持向量、决策边界与分类结果
[5] C J C Burges. A Tutorial on Support Vector Machines for Pattern Recognition, submitted to Data Mining and Knowledge Discovery[EB/OL]. http://svm.research.bell-labs.com/SVMdoc.html, 1998.
4 结论
基于模糊C 均值的支持向量机分类算法不同与常规的支持向量机算法，它不需要数据的先验知识，即能够间接通过模糊C 均值对无标识数据进行训练和识别。此方法能够快速、准确地对数据进行分类识别，提高了支持向量机的分类能力，在自动文本分类等数据挖掘领域将有很好的应用前景。但是对于支持向量机，不同的核函数会形成不同的算法，且精度受核函数的影响较大。如何选取这些参数，例如径向基函数的宽度、多项式核函数的阶数，以及模糊C 均值中参数c 与b 的选取。目前尚无比较成熟的算法，需要多次试验来确定，这是一个值得研究的问题。 （上接第1784页）
的高斯噪声污染后的图像（原图像的标准偏差σ处理为1）；c 1、c 2是对应不同时采用低通Wiener 滤波器滤波后的结果；d 1、d 2则是对应稀疏编码收缩法去噪的结果。很容易看出，稀疏编码收缩方法可以有效去除噪声，图像轮廓和较明显的细节都被保留下来。高斯噪声污染程度越低，稀疏编码收缩方法去噪效果越好。相对低通滤波器而言，此法消噪的目视效果也很明显。
[6] O L Mangasarian. Mathematical programming in data mining[J].
Data Mining and Knowledge Discovery, 1997, 1,183-201. [7]
O L Mangasarian, D R Musicant. Data Discrimination via Nonlinear Generalized Support Vector Machines[R]. Technical Report 99-03, Computer Sciences Department, University of Wisconsin, 1999. [8] [9]
C Cortes, V Vapnik. Support vector networks[J]. Machine Learning, 1995, 20:1-25.
E Osuna, R Freund, F. Girosi. Training Support Vector Machines: An Application to Face Detection[C]. Proc. Computer Vision and Pattern Recognition ’97, 1997.130-136.
[10] T Joachims. Text Categorization with Support Vector Machines[R].
LS VIII Technical Report, No. 23, University of Dortmund.
中在少数几个分量上，其余分量都为零。相应于每一个观测向量，这些稀疏分量都不相同。使稀疏分量的绝对值收缩到零（即软门限法），就可以减少图像中所含的噪声。试验结果证明了稀疏编码可以有效地提取自然图像的特征；也表明了稀疏编码收缩法去噪要优于低通滤波器消噪。近年来，由于收缩操作有较强的非线性性质，利用自然图像固有的统计结构进行数据挖掘或独立基向量分析已经成为可能。
参考文献：
[1] E. P. Simoncelli, B. A. Olshausen. Natural Image Statistics and
Neural Representation [J]. Annual Review of Neuroscience, 2001, 24: 193-216. [2]
Bruno A Olshausen, D J Field. Sparse Coding with An Overcomplete Basis Set: A Strategy Employed by V1? [J]. Vision Research, 1997, 37: 3313-3325. [3]
Hyvärinen, A., Hoyer, P O. A Two-layer Sparse Coding Model Learn Simple and Complex Cell Receptive Fields and Topography from Natural Images [J]. Vision Research, 2002, 41(18): 2413-2423. [4]
A. Hyvärinen. Sparse code shrinkage: Denoising of nongaussian data by maximum likelihood estimation [J]. Neural Computation, 1999, 11 (7): 1739-1768. [5] [6]
Aapo Hyvärinen, Juha Karhunen, Erkki Oja. Independent Component Analysis [M]. New York: John Wiley & Sons, INC, 2001.
L. Wiskott, T. J. Sejnowski. Slow Feature Analysis: Unsupervised learning of invariances [J]. Neural Computation, 2002, 14(4): 715-770.
图5 稀疏编码收缩去噪实验结果
5 结论
应用稀疏编码实现自然图像的特征提取，对图像子窗口而言就产生了基向量。对这个基向量的具体应用就是稀疏编码收缩法去噪。此法依据是：在稀疏编码中，信号能量仅集
• 1782 •
系 统 仿 真 学 报 V ol. 17 No. 7
JOURNAL OF SYSTEM SIMULATION July 2005
基于稀疏编码的自然图像特征提取及去噪
尚 丽1,2，郑春厚1,2
(1 中国科学院合肥分院智能机械研究所，安徽合肥 230031；2中国科学技术大学自动化系，安徽合肥 230026)
摘 要：主要讨论稀疏编码在自然图像统计特性中的应用，利用稀疏编码实现图像的特征提取以及消除图像中的高斯噪声。文中利用双梯度算法对自然图像的基向量进行迭代学习。实验表明，提取的基向量在时域和频域上都有方向性和局部性。与小波收缩 法相比，稀疏编码法提取的特征要优于小波法提取的特征。对特征提取的实际应用，就是利用稀疏编码收缩法对图像消噪，并通过仿真实验证明稀疏编码收缩法去噪效果要优于任何低通滤波方法。 关键词：稀疏编码；独立分量分析；基向量；特征提取；图像消噪
文章编号: 1004-731X(2005)07-1782-03 中图分类号：TN911.73 文献标识码：A
Image Feature Extraction and Denoising Based on Sparse Coding
SHANG Li1, 2, ZHENG Chun-hou 1, 2
(1Automation Department of USTC, Hefei 230031, China; 2 Institute of Intelligence Machines, Chinese Academy of Sciences, Hefei 230031, China)
Abstract: The application of sparse coding in the natural images statistics was discussed. Sparse coding is applied to image
feature extraction and image denoising. The basis vectors of the natural images were obtained by using fast conjugate gradient algorithm. The experiments show that the basis vectors are localized and oriented in space and in frequency. Compared with wavelet shrinkage method, the features obtained based on sparse coding have important benefit over wavelet ones. As an application of such a feature extraction scheme, the sparse coding shrinkage was applied to reduce Gaussian noise. The simulative experiment shows that the result using sparse coding to denoise is better than that of other low-pass filters. Key words: sparse coding; independent component analysis; basis vectors; feature extraction; image denoising
引 言
稀疏编码是对多维数据进行线性分解的一种表示方法。目前在稀疏编码模型的研究领域中，Simocelli 从小波变换的Olshausen 和 Field把超完角度进行神经表示和有效编码[1]；
备基引入到稀疏编码[2]；Oja 和Hyvärinen则围绕多维独立分量分析－ICA (Independent Components Analysis) 模型和不变特征子空间展开深入研究[3]。在稀疏编码方法中，数据特征仅依赖于数据的统计特性；而小波变换很大程度上依赖于某一确定的抽象数学特性，且此特性和自然数据统计特性几乎没有关系，所以基于稀疏编码的特征提取方法要优于小波方法。
在自然图像统计中，用稀疏编码方法可以实现图像的特征提取以及消除图像中的高斯噪声。此法和ICA 技术非常类似[4]。本文表明了如何用稀疏编码去提取自然图像数据中类似小波基的特征。对特征提取方法的实际应用，就是利用稀疏编码收缩法去除高斯噪声。实验证明：稀疏编码方法可以有效地提取自然图像的特征；稀疏编码收缩法去噪效果要优于任何低通滤波方法。
1 稀疏编码和独立分量分析
模式识别的最根本问题是如何对分析数据找到一种合适的表示方法。在数字图像处理中，数据的表示法通常是基于观测数据的线性转换，解决问题的关键是如何找到最优的线性转换矩阵。
1.1 稀疏编码模型
若令输入数据x =(x 1, x 2, …, x n ) T 为n 维随机向量，即向量χ表示一个图像窗口的像素灰度值；用s =(s 1, s 2, …, s m ) T 表示线性转换后的m 维向量，假设m ≤n ，那么线性转换矩阵则为m ×n 维，记为M 。则线性转换表示式如下：
s =Mx (1) 线性转换后的s i 满足稀疏分布的要求。当随机变量s i 在零点有尖峰值，且在接近水平坐标轴正负方向有长长的延伸时，s i 称为稀疏的。典型的稀疏分布如双指数分布或拉普拉斯分布，见图1，其中实线表示稀疏分布；作为对比，给出用点线表示的标准高斯分布。这样的分布有较低的熵值，故可以减少分量s i 之间的相关性。公式(1)中矩阵M 即是稀疏变换矩阵，其每一行向量对应稀疏变换中的一个基向量。s i
是像素间独立的稀疏分量，在同一时刻，只有少数的s i 分量不是零，即意味着一个给定的分量有“稀疏”的特性（在大部分。稀疏编码方法也是一种自适应方法：对一时间内，s i ＝0）
类给定的数据估计最优稀疏变换矩阵M ，以使分量s i 尽可能是稀疏的。
收稿日期: 2004-06-07 修回日期: 2004-09-23
作者简介： 尚丽(1973-)，女，讲师, 在职博士生，研究方向为模式识别，人工智能，数字图像处理等；郑春厚(1973-)，男，山东曲阜人，讲师，在职博士生，研究方向为模式识别，人工智能，图像处理等。
V ol. 17 No. 7
July 2005 尚 丽, 等：基于稀疏编码的自然图像特征提取及去噪
g (u )=−
• 1783 •
21 (5) exp ⎛⎜−a u ⎞⎟⎝⎠a
采用双梯度的稀疏编码算法得到式(1)中的变换矩阵M 。当(2)式中A 与M 均为正交方阵时，A =M T ，即得到基函数A 。A 的每一列对应图像的一个子窗口，即每个子窗口就是一个特征基向量。图2即是利用此稀疏编码方法得到的基向量, 子窗口大小为16×16_pixels，经过降维处理，维数由256维降到160维。稀疏编码法提取到的特征类似小波软阈值法得到
图1 稀疏分布(实线) 和高斯分布（点线）示意图
的结果，因为二者都在时域和频域中进行局部变换
[4]。实际上，稀疏编码被认为是基于数据单独选择一个小波基的主要方法，也称为小波收缩方法(最早由Donoho 等人提出) 。在实际应用中就是利用稀疏特征消除图像噪声。
1.2 独立分量分析和像素独立模型
稀疏编码模型和标准ICA 模型[5]有很大联系。标准ICA 模型为：
x =As (2)
式(2)中，观测数据x 看作是独立分量s 的线性组合。对(2)式求逆，把M 看作是矩阵A 的伪逆矩阵。已经证明：通过搜寻那些尽可能是非高斯分布的分量的不相关的方向，可以估计出标准的ICA 模型[5]。如果独立分量为稀疏分布的，更准确地讲，若独立分量是超高斯分布的话，即是搜寻那些稀疏分量的非相关投影。所以稀疏数据的标准ICA 模型近似为非相关分量的稀疏编码。
把(2)式中的自然图像的分布很显然是非高斯性分布[4]。
而每个随机独立像独立分量s i 看作是统计独立的随机像素，
素表示其对应的独立基对自然图像的作用，无噪声自然图像的统计模型为：
I (x , y )=∑a i (x , y )s i (3)
i n
图2 基于稀疏编码的自然图像数据的基向量. 子窗口大小
16x16_pixels，基维数由256维降低到160维。
式(3)与式(2)形式一样, 可用任何已知的ICA 方法来求解I (x , y )。若A =(a 1, a 2, …, a n ) ，其中列向量a i (i =1, 2, 3, …, n ) 代表了一组N 2×1的基图像，它是N 2×1的向量。通过ICA 算法，求出分离矩阵（即恢复矩阵）W , 就能得到每幅图像
ˆ即为稀疏分量s 的 ˆ=WI (x , y )。s 在独立基上的投影系数：s
估计值，也代表了图像I 的特征(注意：像素独立也即是空间独立) 。
3 稀疏编码收缩法实现图像去噪
选择最优的稀疏编码转换矩阵是解决稀疏收缩法问题的关键(已由Hyvärinen证明) 。能够使稀疏分量的Fisher 信息之“和”最大化的矩阵即被认为是最优的转换矩阵。
3.1 算法
式(1)s =Mx 和式(2)x =As 中，若观测数据x 加入高
此处~斯加性白噪声n 时，则输入信号表示为x =~x x +n ，表示无噪声信号。用一个双指数或拉普拉斯分布来近似(1)式中s i 的稀疏分布：
p (s )=
⎛12⎞ exp ⎜−s ⎟⎜⎟d 2d ⎝⎠
2 双梯度的稀疏编码算法
随机选取F 幅自然图像，用p ×p _pixels的子窗口随机对一副图像截取b 次，得到p 2×b ×F 矩阵组成观测数据集合。对数据经过白化和归一化处理。令白化向量为v ，分离矩阵为W 。对白化向量v 采用双梯度算法进行独立分量分析。其分离矩阵的在线估计公式为：
⎧∆w (t +1)=w (t )v (t )2g w (t )T v +γ(t )w (t )I −w (t )T w (t )
(4) ⎪
⎨w (t +1) ⎪w (t +1) =w (t +1) ⎩
(6)
显然，p (s ) 是一个稀疏分布，d 为尺度值参数。假设变换
矩阵M 为正交方阵(此假设条件并不很强，对一个方阵可以ˆ由用正交化方法使其变为正交阵) ，则s 的最大似然估计值s
()()
下式给出：
s ˆ=f (Mx ) (7)
f 为尺度函数，由下式定义：
上式中γ(t ) 是增益参数，通常取为0.5或1。非线性函数g (⋅) 选择为：
• 1784 •
V ol. 17 No. 7
系 统 仿 真 学 报 July 2005
2σ2
f (u )=sign (u ) max(0, −
) (8)
合。第一个集合用于估计给出稀疏编码变换矩阵M ；第二个集合用作测试数据矩阵。测试矩阵被人为加入高斯噪声。利用上述的稀疏编码收缩算法可以去除此噪声。采用一个16×16_pixels的子窗口随机截取一幅图像1000次，任一子窗口被转换为一个256维的列向量，基A 大小为256×256，
上式中，σ2为噪声n 的变化量。当σ2一定时，选定参数d ，
2σ2是一个确定的数。当变量u 较小时，令f (u ) ＝0；对稀疏随机变量，f (u ) 收缩函数可以减少高斯噪声。f (u ) 的输
入输出特性示意图如图3所示。
x 被用于输入数据矩阵x 则为256×10000的图像序列矩阵。
标准ICA 模型中的观测数据，对其必须进行预处理：首先，这可以去掉图像中的低对x 中每一列减去图像灰度平均值，
频成分；其次，为了避免陷入高频域，再使列向量归一化，即得到均值为零，方差为1的向量；最后，降维处理。减均值操作使数据的维数减少了1，因此对白化后的数据采用PCA 方法使输入数据的维数减少1[5]。
4.2 实验结果
图3 稀疏分量的输入输出特性
对标准ICA 模型采用的稀疏学习算法是双梯度算法。混合矩阵A 的转置矩阵即是稀疏编码线性转换矩阵M 。利
考虑到不同程度的超高斯性，密度分布函数p (s ) 用一个通式表达：
⎞a 2
p (s )=C exp ⎛⎜−s −b s ⎟
⎝⎠
ˆ，s ˆ即代表了图像I 的用模型s =Mx ，估计出稀疏分量s
特征。M 的每一行即是一个基向量，可以绘出图2。
采用3.1中所述的稀疏编码收缩算法消除图像噪声。选用式(10)所示的非线性函数，对参数a ，b 分别进行估计。具体消噪步骤是：首先，由模型s (t )=Mx (t )计算稀疏分量的初始值；第二，执行稀疏分量的收缩；最后，用得到的稀疏
ˆ(t )=M ~分量重构图像的灰度值~x (t )求逆得x (t )，~x (t )由s 到。~x (t )为消噪后像素近似灰度值。对随机选择的一幅图像的每个子窗口重复上述三步，由于子窗口是重叠的，每个像素都可能出现在不同的子窗口中, 所以在图像恢复时，对每个像素的多个恢复值取平均，用平均值作为该位置上的像素重构值~x (t )。图4是图像重构的实验结果, 实验图像分别被随机截取5000次，10000次和
50000次。可以看出，随机截取的子窗口越多，像素重构值就越接近相应位置上的原像素值，图像重构的效果就越好。
(9)
上式中，C 为一个任意的常数；a 和b 是要估计的值。非线性函数f (u ) 的表示式为：
f (u ) =
11+σ2a
sign (u ) max(0, u −b σ2)
(10)
式(10)表明收缩参数b σ2和尺度系数+σ2a 相对于稀疏分量的密度分布是自适应变化的。上述结果都表明了下面的稀疏编码收缩方法可以消除噪声影响：
首先，选用已知的稀疏编码算法计算正交矩阵M ，以使分量s i (t ) 尽可能为稀疏分布，s (t )=Mx (t )，其中x (t ) 为含有噪音的像素，x (t ) =~x (t ) +n ；
在每个观察时刻t ，采用(8)式或(10)式定义的非线
性函数f (⋅) ，对观测数据x 的每个分量x (t ) 计算相应的噪声稀
疏分量s i (t ) 。
对第一步中s =Mx 求逆，得到x (t ) 的新的估计值
ˆ(t )。即x ˆ(t )=M T s ˆ(t )。 x
实际上，上述三步操作等价于小波收缩方法。小波收缩方法最早是由Donoho 等人提出的。他们考虑到了函数子空间的最小最大估计问题，并且找到了一个非常近似的最小最大估计器。对小波变换的系数选用不同的软门限，应用上述收缩步骤就可以构成估计器。稀疏编码收缩法和小波法的主要不同点是线性变换的选择不同：前者选用自然数据的统计特性，后者选用预测的小波变换；另一个重要的不同点则是二者用不同的方法估计收缩参数。
4 试验
4.1 输入数据
输入图像数据由真实的自然景色图像组成。试验中选用10幅256×512_pixels自然图像，随机得到两个图像数据集
图4 图像重构实验结果
稀疏编码收缩法去噪实验结果如图5所示。原图像仍为
σ=0.05 图4中a 图所示；b 1、b 2分别是加入标准偏差σ=0.5、
（下转第1787页）
V ol. 17 No. 7
July 2005 李茂宽, 等：基于模糊C 均值的支持向量机数据分类识别
• 1787 •
参考文献:
[1] [2] [3] [4]
边肇祺，张学工. 模式识别(2版)[M]. 北京：清华大学出版社,2000. 高新波，李杰. 模糊C 均值聚类算法中参数m 的优选[J]. 模式识别与人工智能，2000，13(1)：7-11.
V Vapnik. The Nature of Statistical Learning Theory[M]. New York: Springer-Verlag, 1995.
P S Bradley, O L Mangasarian, Massive data discrimination via linear support vector machines[J]. Optimization methods and software , 2000,13: 1-10.
图3 支持向量、决策边界与分类结果
[5] C J C Burges. A Tutorial on Support Vector Machines for Pattern Recognition, submitted to Data Mining and Knowledge Discovery[EB/OL]. http://svm.research.bell-labs.com/SVMdoc.html, 1998.
4 结论
基于模糊C 均值的支持向量机分类算法不同与常规的支持向量机算法，它不需要数据的先验知识，即能够间接通过模糊C 均值对无标识数据进行训练和识别。此方法能够快速、准确地对数据进行分类识别，提高了支持向量机的分类能力，在自动文本分类等数据挖掘领域将有很好的应用前景。但是对于支持向量机，不同的核函数会形成不同的算法，且精度受核函数的影响较大。如何选取这些参数，例如径向基函数的宽度、多项式核函数的阶数，以及模糊C 均值中参数c 与b 的选取。目前尚无比较成熟的算法，需要多次试验来确定，这是一个值得研究的问题。 （上接第1784页）
的高斯噪声污染后的图像（原图像的标准偏差σ处理为1）；c 1、c 2是对应不同时采用低通Wiener 滤波器滤波后的结果；d 1、d 2则是对应稀疏编码收缩法去噪的结果。很容易看出，稀疏编码收缩方法可以有效去除噪声，图像轮廓和较明显的细节都被保留下来。高斯噪声污染程度越低，稀疏编码收缩方法去噪效果越好。相对低通滤波器而言，此法消噪的目视效果也很明显。
[6] O L Mangasarian. Mathematical programming in data mining[J].
Data Mining and Knowledge Discovery, 1997, 1,183-201. [7]
O L Mangasarian, D R Musicant. Data Discrimination via Nonlinear Generalized Support Vector Machines[R]. Technical Report 99-03, Computer Sciences Department, University of Wisconsin, 1999. [8] [9]
C Cortes, V Vapnik. Support vector networks[J]. Machine Learning, 1995, 20:1-25.
E Osuna, R Freund, F. Girosi. Training Support Vector Machines: An Application to Face Detection[C]. Proc. Computer Vision and Pattern Recognition ’97, 1997.130-136.
[10] T Joachims. Text Categorization with Support Vector Machines[R].
LS VIII Technical Report, No. 23, University of Dortmund.
中在少数几个分量上，其余分量都为零。相应于每一个观测向量，这些稀疏分量都不相同。使稀疏分量的绝对值收缩到零（即软门限法），就可以减少图像中所含的噪声。试验结果证明了稀疏编码可以有效地提取自然图像的特征；也表明了稀疏编码收缩法去噪要优于低通滤波器消噪。近年来，由于收缩操作有较强的非线性性质，利用自然图像固有的统计结构进行数据挖掘或独立基向量分析已经成为可能。
参考文献：
[1] E. P. Simoncelli, B. A. Olshausen. Natural Image Statistics and
Neural Representation [J]. Annual Review of Neuroscience, 2001, 24: 193-216. [2]
Bruno A Olshausen, D J Field. Sparse Coding with An Overcomplete Basis Set: A Strategy Employed by V1? [J]. Vision Research, 1997, 37: 3313-3325. [3]
Hyvärinen, A., Hoyer, P O. A Two-layer Sparse Coding Model Learn Simple and Complex Cell Receptive Fields and Topography from Natural Images [J]. Vision Research, 2002, 41(18): 2413-2423. [4]
A. Hyvärinen. Sparse code shrinkage: Denoising of nongaussian data by maximum likelihood estimation [J]. Neural Computation, 1999, 11 (7): 1739-1768. [5] [6]
Aapo Hyvärinen, Juha Karhunen, Erkki Oja. Independent Component Analysis [M]. New York: John Wiley & Sons, INC, 2001.
L. Wiskott, T. J. Sejnowski. Slow Feature Analysis: Unsupervised learning of invariances [J]. Neural Computation, 2002, 14(4): 715-770.
图5 稀疏编码收缩去噪实验结果
5 结论
应用稀疏编码实现自然图像的特征提取，对图像子窗口而言就产生了基向量。对这个基向量的具体应用就是稀疏编码收缩法去噪。此法依据是：在稀疏编码中，信号能量仅集