模式识别期末复习总结
总结是一次反思过程，是一种记录工作情况、回顾工作不足的重要方式，在总结写作的过程中，我们需要全面化的分析工作情况，这有利于我们的工作成长。怎么写出有效的总结呢？下面是小编为大家整理的《模式识别期末复习总结》，希望对大家有所帮助。
第一篇：模式识别期末复习总结
模式识别总结
监督学习与非监督学习的区别：
监督学习方法用来对数据实现分类，分类规则通过训练获得。该训练集由带分类号的数据集组成，因此监督学习方法的训练过程是离线的。
非监督学习方法不需要单独的离线训练过程，也没有带分类号(标号)的训练数据集，一般用来对数据集进行分析，如聚类，确定其分布的主分量等。
(实例：道路图)就道路图像的分割而言，监督学习方法则先在训练用图像中获取道路象素与非道路象素集，进行分类器设计，然后用所设计的分类器对道路图像进行分割。
使用非监督学习方法，则依据道路路面象素与非道路象素之间的聚类分析进行聚类运算，以实现道路图像的分割。
1、写出K-均值聚类算法的基本步骤, 算法：
第一步：选K个初始聚类中心，z1(1)，z2(1)，…，zK(1)，其中括号内的序号为寻找聚类中心的迭代运算的次序号。聚类中心的向量值可任意设定，例如可选开始的K个模式样本的向量值作为初始聚类中心。 第二步：逐个将需分类的模式样本{x}按最小距离准则分配给K个聚类中心中的某一个zj(1)。 假设i=j时，Dj(k)min{xzi(k),i1,2,K}，则xSj(k)，其中k为迭代运算的次序号，第一次迭代k=1，Sj表示第j个聚类，其聚类中心为zj。 第三步：计算各个聚类中心的新的向量值，zj(k+1)，j=1,2,…,K zj(k1)1NjxSj(k)x,j1,2,,K 求各聚类域中所包含样本的均值向量：
其中Nj为第j个聚类域Sj中所包含的样本个数。以均值向量作为新的聚类中心，
JjxSj(k)xzj(k1),2j1,2,,K可使如下聚类准则函数最小：
在这一步中要分别计算K个聚类中的样本均值向量，所以称之为K-均值算法。 第四步：若zj(k若zj(k 1)zj(k)，j=1,2,…,K，则返回第二步，将模式样本逐个重新分类，重复迭代运算;
1)zj(k)，j=1,2,…,K，则算法收敛，计算结束。
T线性分类器三种最优准则：
wSFisher准则：maxJ(w)wSwFTbwww根据两类样本一般类内密集, 类间分离的特点，寻找线性分类器最佳的法线向量方向，使两类样本在该方向上的投影满足类内尽可能密集，类间尽可能分开。该种度量通过类内离散矩阵Sw和类间离散矩阵Sb实现。感知准则函数：准则函数以使错分类样本到分界面距离之和最小为原则。其优点是通过错分类样本提供的信息对分类器函数进行修正，这种准则是人工神经元网络多层感知器的基础。支持向量机：基本思想是在两类线性可分条件下，所设计的分类器界面使两类之间的间隔为最大, 它的基本出发点是使期望泛化风险尽可能小。
写出两类和多类情况下最小风险贝叶斯决策判别函数和决策面方程。
什么是特征选择?. 什么是Fisher线性判别?
答：1. 特征选择就是从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的。
2. Fisher线性判别：可以考虑把d维空间的样本投影到一条直线上，形成一维空间，即把维数压缩到一维，这在数学上容易办到，然而，即使样本在d维空间里形成若干紧凑的互相分得开的集群，如果把它们投影到一条任意的直线上，也可能使得几类样本混在一起而变得无法识别。但是在一般情况下，总可以找到某个方向，使得在这个方向的直线上，样本的投影能分开得最好。问题是如何根据实际情况找到这条最好的、最易于分类的投影线，这就是Fisher算法所要解决的基本问题。
请论述模式识别系统的主要组成部分及其设计流程，并简述各组成部分中常用方法的主要思想。 信息获取：通过测量、采样和量化，可以用矩阵或向量表示二维图像或以为波形。预处理：去除噪声，加强有用的信息，并对输入测量仪器或其他因素造成的退化现象进行复原。特征选择和提取：为了有效地实现分类识别，就要对原始数据进行变换，得到最能反映分类本质的特征。分类决策：在特征空间中用统计方法把识别对象归为某一类。
定性说明基于参数方法和非参数方法的概率密度估计有什么区别?
答：基于参数方法：是由已知类别的样本集对总体分布的某些参数进行统计推断 非参数方法：已知样本所属类别，但未知总体概率密度函数形式 简述支持向量机的基本思想。
答：SVM从线性可分情况下的最优分类面发展而来。最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0)，且使分类间隔最大。SVM考虑寻找一个满足分类要求的超平面，并且使训练集中的点距离分类面尽可能的远，也就是寻找一个分类面使它两侧的空白区域(margin)最大。过两类样本中离分类面最近的点，且平行于最优分类面的超平面上H1，H2的训练样本就叫支持向量。
(1)贝叶斯估计算法思想：准则，求解过程
(A)准则：通过对第i类学习样本X的观察，使概率密度分布P(X/θ)转化为 后验概率P(θ/X) ，再求贝叶斯估计;
(B)求解过程： ① 确定θ的先验分布P(θ),待估参数为随机变量。
② 用第i类样本x=(x1, x2,…. xN)求出样本的联合概率密度分布P(x|θ)，它是θ的函数。
i
T
ii
i
i
P(|X) ③ 利用贝叶斯公式,求θ的后验概率
iP(Xi|).P()
P(Xi|)P()d ④ 求贝叶斯估计P(|Xi)d
2、模式识别系统的基本构成单元包括： 模式采集 、 特征提取与选择 和 模式分类 。
3、统计模式识别中描述模式的方法一般使用 特真矢量 ;句法模式识别中模式描述方法一般有 串 、
树 、 网 。
4、聚类分析算法属于 无监督分类
;判别域代数界面方程法属于统计模式识别方法 。
5、若描述模式的特征量为0-1二值特征量，则一般采用 匹配测度 进行相似性度量。
6、下列函数可以作为聚类分析中的准则函数的有
、、、、、、
7、Fisher线性判别函数的求解过程是将N维特征矢量投影在 一维空间 中进行 。
8、下列判别域界面方程法中只适用于线性可分情况的算法有 感知器算法 ;线性可分、不可分都适用的有
积累位势函数法 。
9、影响层次聚类算法结果的主要因素有( 计算模式距离的测度、(聚类准则、类间距离门限、预定的类别数目))。
10、欧式距离具有(平移不变性、旋转不变性);马式距离具有(平移不变性、旋转不变性尺度缩放不变性、不受量纲影响的特性)。
11、线性判别函数的正负和数值大小的几何意义是(正(负)表示样本点位于判别界面法向量指向的正(负)半空间中;绝对值正比于样本点到判别界面的距离。)
12、积累势函数法较之于H-K算法的优点是(该方法可用于非线性可分情况(也可用于线性可分情况)
K(x)位势函数K(x,xk)与积累位势函数K(x)的
~xkXkK(x,xk)
13、在统计模式分类问题中，聂曼-皮尔逊判决准则主要用于( 某一种判决错误较另一种判决错误更为重要)情况;最小最大判决准则主要用于( 先验概率未知的)情况。
14、特征选择的主要目的是(从n个特征中选出最有利于分类的的m个特征(m>n )的条件下，可以使用分支定界法以减少计
m算量。
15、散度Jij越大，说明i类模式与j类模式的分布(差别越大);当i类模式与j类模式的分布相同时，Jij=(0)。
16、影响聚类算法结果的主要因素有(②分类准则 ③特征选取 ④模式相似性测度。)。
19、模式识别中，马式距离较之于欧式距离的优点是(③尺度不变性 ④考虑了模式的分布)。 20、基于二次准则函数的H-K算法较之于感知器算法的优点是(①可以判别问题是否线性可分 ③其解的适应性更好)。
21、影响基本C均值算法的主要因素有(④初始类心的选取 ①样本输入顺序 ②模式相似性测度)。
22、位势函数法的积累势函数K(x)的作用相当于Bayes判决中的(②后验概率 ④类概率密度与先验概率的乘积)。
23、统计模式分类问题中，当先验概率未知时，可使用(②最小最大损失准则 ④N-P判决)
24、在(①Cn>>n,(n为原特征个数，d为要选出的特征个数)③选用的可分性判据J对特征数目单调不减)情况下，用分支定界法做特征选择计算量相对较少。
25、 散度JD是根据(③类概率密度)构造的可分性判据。
26、似然函数的概型已知且为单峰，则可用(①矩估计②最大似然估计③Bayes估计 ④Bayes学习⑤Parzen窗法)估计该似然函数。
27、Kn近邻元法较之Parzen窗法的优点是(②稳定性较好)。
28、从分类的角度讲，用DKLT做特征提取主要利用了DKLT的性质：(①变换产生的新分量正交或不相关③使变换后的矢量能量更趋集中)。
29、一般，剪辑k-NN最近邻方法在(①样本数较大)的情况下效果较好。 d
29、如果以特征向量的相关系数作为模式相似性测度，则影响聚类算法结果的主要因素有(②分类准则 ③特征选取)。 30、假设在某个地区细胞识别中正常(w1)和异常(w2)两类先验概率分别为 P(w1)=0.9，P(w2)=0.1，现有一待识别的细胞，其观察值为x，从类条件概率密度分布曲线上查得P(xw1)0.2，P(xw2)0.4，并且已知110，126，211，220
试对该细胞x用一下两种方法进行分类： 1. 基于最小错误率的贝叶斯决策; 2. 基于最小风险的贝叶斯决策; 请分析两种结果的异同及原因。
第二篇：模式识别课程报告
模式识别文献综述报告
一，文献综述报告
阅读至少5篇论文(最好包含1篇英文论文;自己去学校电子图书馆下载，考虑中国知网;IEEE，Elsevier等数据库)，写一篇文献综述报告。
1. 选题不限，可以是任何一种模式识别算法(例如k-means，kNN，bayes，SVM，PCA，LDA等)，阅读所选题方面的相关文献(论文都是关于一个主题的，例如都是svm算法方面的)。
2. 写一份文献综述报告，包括：每篇论文主要使用什么算法实现什么，论文有没有对算法做出改进(为什么改进，原算法存在什么问题，改进方法是什么)，论文中做了什么对比试验，实验结论是什么?注意，尽量用自己的话总结，不要照抄原文。可以加入自己的分析和想法，例如这篇论文还存在什么问题或者缺点，这篇论文所作出的改进策略是否好，你自己对算法有没有什么改进的想法?
3. 把阅读的参考文献写在报告后面。(包括：作者;论文名称;期刊名称;出版年，卷号(期号)，页码。例如：[1] 赵银娣，张良培，李平湘，一种纹理特征融合分类算法，武汉大学学报，信息科学版，2006,31(3):278-281. )
二、写一下学习这门课的心得体会(占分数)。
学习这门课有什么收获?老师在教学中还应该加入些什么教学内容?或者有哪些教学内容需要删减?需要调整?对于作业(上机实验)内容有什么意见和建议?目前内容过多过难还是适中?你希望出什么样的上机题目(可以得到好的锻炼和能力的提高)?完成作业过程中有什么收获和体会?有没有对模式识别或者某种模式识别的算法比较感兴趣?有什么想法?
第三篇：数字图像模式识别
王丽霞
深圳市南山区学府路;135308813
56、lixia_2011@126.com
求职意向
数字图像处理、模式识别算法工程师 教育经历
汕头大学 电子工程系 信号与信息处理专业 硕士2007.9—2010.6 汕头市
·在校期间成绩优良，分别一次获汕头大学一等、二等奖学金;2008 09担任女生部部长负责统筹管理，成立特色学科及基础学科研讨组，积极开拓学生的思维并提高他们的学习成绩，更贴近社会的新路线。
潍坊学院 信息与控制工程学院 电子信息工程 学士2003.9—2007.6 潍坊市
·2007年9月以第一名成绩考入汕头大学攻读硕士研究生;在校期间担任班级学习委员负责不同类学生的学习方法指导;2004-9-2007-6担任学院文艺部部长，负责迎新晚会筹划，锻炼了团队领导能力、协调能力、临场反应能力以及创新思维。 英语及专业技能
●熟练掌握了数字信号处理及它的常用算法、有良好的数学功底;熟悉图像处理的基本算法、熟悉模式识别基础知识与智能系统理论及它们的应用，在模式识别和运动跟踪方面有较深的理解;熟悉光伏应用系统的结构、性能原理;曾在核心期刊系统仿真技术发表文章(基于神经网络应用的光伏最大功率跟踪)。
●英语：六级考试 362;四级考试 473;具有较强的相关专业学科的英文文献阅读能力; ●能熟练使用计算机，会用电路仿真软件、LabVIEW软件、熟练掌握Visual C++的MFC程序设计和MATLAB仿真工具，能够做算法的设计和仿真;并能应用LabVIEW软件进行信号处理(波形测量、时频域分析与数学分析(概率统计拟合最优化等)。 工作经历
2010 6-2010 8深圳市辉锐天眼科技有限公司担任核心研发工程师 ●职位为智能监控核心研发工程师
●负责计算机视觉方面的IEEE文章的讲解及不同算法的实现研究，负责机器视觉系统图像处理、分析及识别算法设计、实现，参与图像处理技术研究与设计，对已有算法进行优化改进。使用OpenCV进行背景/前景提取、检测识别、了解运动跟踪的常用算法、设计相关信号特征提取算法及其设计模式识别分类器等。 项目经验
2008 09-2009 11模式识别与智能系统理论的算法研究 ●算法在MATLAB仿真，并在SIMULINK中建模，最后把这个算法用C++语言编程，在VC++中生成了可执行文件。
2009 01-2009 06生物细胞图像病变检测算法研究 ●在MATLAB中仿真了算法，正确率达到82%。
2009 07-2009 09图像压缩算法编码器设计 ●在FPGA芯片上实现并验证了方案，对比得出了FPGA比DSP在神经网络实现上的明显优势，前者采用指令顺序执行的方式，数据位宽固定，FPGA处理数据的方式是基于硬件的并行处理方式，即一个时钟周期内可并行完成多次运算，特别适合于神经网络的并行特点。 2010 02在科进生物识别公司 ●了解了不同二维条码尤其QR code的特点，探讨了定位图形的方法，了解了指纹识别，探讨了小波变换及gabor变换在纹理图像的特征提取的优劣。 自我评价及爱好
●很强的责任心创新能力、自学能力及应用知识能力;诚实善良，勤奋刻苦，进取精神、团队协作精神;爱好户外运动、国学研究，齐白石大师的画。
第四篇：模式识别与智能系统
模式识别与智能系统属控制科学和工程一级学科，以信息处理与模式识别的理论技术为核心，以数学方法与计算机为主要工具，研究对各种媒体信息进行处理、分类和理解的方法，并在此基础上构造具有某些智能特性的系统。
学科概况
模式识别与智能系统是20世纪60年代以来在信号处理、人工智能、控制论、计算机技术等学科基础上发展起来的新型学科。该学科以各种传感器为信息源，以信息处理与模式识别的理论技术为核心，以数学方法与计算机为主要工具，探索对各种媒体信息进行处理、分类、理解并在此基础上构造具有某些智能特性的系统或装置的方法、途径与实现，以提高系统性能。模式识别与智能系统是一门理论与实际紧密结合，具有广泛应用价值的控制科学与工程的重要学科分支。
培养目标
本学科培养从事模式识别与智能系统的研究、开发、设计等方面工作的高级专门人才。
1.博士学位
应具有模式识别、信息处理、人工智能与认知科学及有关数学领域坚实宽广的基础理论和系统深入的专门知识;对于模式识别与智能系统主要前沿领域有深入了解;能独立开展模式识别与智能系统中有关研究方向的专题研究工作，并取得具有创造性的研究成果;学风严谨;至少掌握一门外国语，能熟练地阅读本专业的外文资料，具有一定的写作能力和进行国际学术交流的能力。
2.硕士学位
应具有坚实的模式识别与智能系统学科的基础理论和系统的专门知识;对于模式识别与智能系统某一研究领域的进展和学术动态有较深的了解;能够熟练利用计算机解决本学科的有关问题;具有从事模式识别与智能系统中的某一研究方向的科学研究或独立担负专门技术工作的能力，并取得有意义的成果;较为熟练地掌握一门外国语。
业务范围
1.学科研究范围 模式识别，图象处理与分析，计算机视觉，智能机器人，人工智能，计算智能，信号处理。
2.课程设置 随机过程与数理统计，矩阵论，优化理论，近世代数，数理逻辑，数字信号处理，图象处理与分析，模式识别，计算机视觉，人工智能，机器人学，计算智能，非线性理论(如分形、混沌等)，控制理论，系统分析与决策，计算机网络理论等。
第五篇：模式识别作业-小论文
《模式识别》学习心得
模式识别(Pattern Recognition)技术也许是最具有挑战性的一门技术了，模式识别有时又被称为分类技术，因为模式识别说到底就是对数据进行分类。说到识别，最为常用的便是模仿人的视觉的图像识别(当然还有语音识别)，也许你会想当然地认为那还不简单，觉得我们用我们的眼睛可以轻而易举地识别出各种事物，但是当你想用计算机中的程序来实现它时，于是你便会觉得很沮丧，甚至于有无从下手的感觉，至此你再也不会觉得电脑有多聪明，你会觉得电脑是多么的低能。是的，现在的电脑智能，即人工智能还远不如蟑螂的智能，这其中最为根本的原因是模式识别技术还是处于较为低层次的发展阶段，很多的识别技术还无法突破，甚至有人还断言，再过30年也不会有本质的飞跃。当然，世事总是让人难以预料，我们也用不着这么地悲观，科学技术总是向前发展的，没有人可以阻档得了的。在这里，我把我对模式识别技术的学习和研究心得拿出来与大家分享一下。
模式识别具有较长的历史，在20世纪60年代以前，模式识别主要是限于统计学领域中的理论研究，还无法有较强的数学理论支持，20世纪80年代神经网络等识别技术得到了突破，计算机硬件技术更是有了长足的发展，模式识别技术便得到了较为广泛的应用，光学字符识别(OCR)是模式识别技术最早得到成功应用的技术，之后的应用还有如DNA序列分析、化学气味识别、图像理解力、人脸检测、表情识别、手势识别、语音识别、图像信息检索、数据挖掘等。
模式识别是一门与数学结合非常紧密的科学，所应用到的数学知识非常多，最基本的便是概率论和数理统计了，模式识别技术到处都充满了概率和统计的思想，我们经常所说的识别率，其实就是概率的表达：在大数据量(严格地说应当是数据量无穷大)测试中识别成功的概率，还有常用的贝叶斯决策分类器便是运用了概率公式。模式识别还用到了线性代数，因为运用线性代数可以较为方便表达具有多特征的事物，我们一般会用向量来表达一个事物的特征，对于向量的计算是一定会用到线性代数的知识的。还有一个较为高层次的数学知识是泛函分析，泛函分析是研究无限维线性空间上的泛函数和算子理论，SVM(支持向量机)便是以泛函分析中的理论为基础的，SVM技术还运用到了最优化理论数学知识，最近中科院王守觉院士提出的多维空间仿生模式识别技术是以拓扑学为理论基础的。所以说模式识别科学是应用到数学知识最多的一门学科之一，在我们研究模式识别技术过程中会碰到一个又一个的数学知识，有时需要我们重新拿起大学时的数学书来学习，有时还需要我们去寻找和学习我们也许从未学习过的数学知识，这时你会感觉到你真的是在做研究，仿佛又回到了大学学习时光，你更会感觉到要学好模式识别技术需要多年的积累，浮躁不得，当然，如果你越是坚持下来，你的价值就会越大，因为这是个可以不断得到积累的技术，不像研究上层应用，研究多年并不意味着你就会有多厉害，一下子没有跟进便会被淘汰掉，而后面进来研究的人很容易超越前面研究的人，所以说，模式识别技术是一个喜欢做研究的人的一个很好的选择。 模式识别大体上可以分为统计模式识别和句法模式识别，统计模式识别是对大量的样本进行统计或学习而最后得到一个分类器，如贝叶斯分类器、神经网络、
1 SVM、K近邻法则等都是属于统计模式识别的方法，句法模式识别则是依据一定的逻辑规则进行判别，如图像形状判断、语法类型判断、地址细分等，句法模式识别也可以称为结构模式识别，一般是应用于逻辑清楚、不易混淆的识别应用中，识别方法也比较简单，所以现在研究的大部分都是统计模式识别的方法，而且在这其中研究比较集中的是机器学习，因为人们相信：像人类辨别新事物一样，都需要一个学习过程，对于计算机也可以像人类那样地去学习而具有辨识能力。神经网络技术便是基于模仿人类的学习而产生的。说了这么多，其实我想表达的是统计方法在模式识别中的重要性，在这一节我们主要就来讨论一下概率论和统计在模式识别中的应用。
说到概率和统计就不得不提贝叶斯决策理论，它是解决模式分类问题的一种基本统计途径，贝叶斯决策理论的基本公式可做如下描述：
某个特征被判断为某类的概率 =该类中出现这个特征的概率 × 该类存在的概率 / 这个特征出现的概率
上面这个公式是一个条件概率公式的推导，这里用文字来描述，以便更好理解，要想了解更多这方面的知识可以查找有关模式识别的理论书，几乎每种理论书的第一个部分就是描述这方面的内容。
概率上的应用还有较为常用的理论是马尔可夫模型(Markov model)和稳马尔可夫模型(HMM)，这个是分词技术和语音识别中的基本理论工具之一，其中词频统计是其基本统计需要。马尔可夫模型和稳马尔可夫模型都是多条件概率的应用，追求的也是大概率结果。马尔可夫模型又可以分为一阶马夫可夫模型(Bigram模型)、二阶马尔可夫模型(Trigram模型)、n阶马尔可夫模型(n-gram模型)，阶数越大，则需要统计的数据越多，计算的复杂度也会猛增。HMM运用了前向计算法(Viterbi算法)，计算复杂度大大降低了下来，所以得到了较为广泛的应用，当今的语音识别算法就是采用HMM理论模型实现的。
统计分析中有个协方差矩阵，它可以应用于PCA(主成分分析)降维方法中。可以很容易理解，当特征越多时，计算则越复杂，而且计算结果准确性则越低，所以我们总是要想方设法把特征维数降下来，较为常用的方法则是用PCA降维方法(另一个方法VQ也是个很好的降维方法)，这个方法是通过大量的样本统计，统计出方差最小的特征，方差越小，则说明这种特征越易混淆，越无助于分类，于是就可以把这些特征去掉，以此降低了特征维数。
类似于神经网络的机器学习方法也是属于统计模式识别一种，机器学习方法大大简化了我们对样本数据的统计工作量，采用了自动化的方法根据大量样本生成一个分类器，在这其中，统计分析的应用较为稳性，以至于让你无法承认它是属于统计模式识别的方法，但是对于大量样本的学习也可以算是统计方法的范畴，如神经网络中的每个神经节点的系数的形成是依据一定算法(如LMS算法)通过大量样本修正出来的，这个修正的过程也可以算是统计分析的过程。
既然模式识别技术与概率和统计分析密不可分，所以在设计分类器之前，首先要准备好大量的、周全的、能够覆盖各种情况的训练样本和测试样本，然后对训练样本进行统计分析，分析样本的特点，分析样本的特征值分布规律，得到各种统计数据，最后再来确定模式识别的方法，测试样本用来检验分类器的合理性
2 问题，根据测试样本测试出来的问题，需要返回去修改分类器，这是一个反复的过程，直至最后达到分类器的性能目标。
我们在表示某个事物的特征时，其特征数一般有三个以上的，甚至有好几百个特征，为了表示方便，对于特征值一般采用向量的形式来表示，所以我们在研究模式识别时会有很多的矩阵运算，对于特征值的运算我们可以把它想象成是一个高维空间中的运算，矩阵运算可以方便地表达高维空间中的运算，所以说线性代数是研究模式识别的数学基础，更高层次的数学理论是泛函分析，它是研究无限维空间的几何学和分析学。
对于三维以下空间，我们可以较容易地想象出来，但是三维以上的空间超出了我们的感知能力，很多在三维以下空间的计算，推广到高维空间时，则不灵了，出现了所谓的“维数灾难”，这是因为高维空间中出现了稀疏性和空空间的现象，即高维空间中的数据分布会非常地稀疏，且可能出现密度会很高的空区域中点，维数灾难是Bellman首先提出来的，它泛指在数据分析中遇到的由于变量过多而引起的一系列问题，有点像“指数爆炸”，随着指数的递增，数据会迅速膨胀到难以想象的大。
SVM模式识别技术利用核方法，在高维空间中进行变换，巧妙地解决了维数灾难的问题，所以很多实验表明SVM分类算法总是能够优于其它分类算法。虽然有如此的好办法，但是我们还是得想办法降低维数，降低了维数，不仅可以降低计算的复杂度，也可以排除不必要的干扰特征，在众多的特征中也许有些特征是没有用的，即可能存在不是特征的特征，把这些无用的特征去掉，可以改善分类器的性能，目前降低维数主要应用的办法是PCA方法，很多人在描述这个方法时总要扯上协方差矩阵，让人陷入一大堆公式的推导中，其实核心思想就是把方差最小的那些特征排除掉，如果你知道这一点，可以不用理协方差矩阵，直接通过统计样本的特征值方差来实现PCA方法。
两组特征之间的距离可以有很多种表示方法，如欧氏距离、绝对值距离、切比雪夫距离、马氏距离、兰氏距离、相似系数、定性指标的距离等，大家比较熟悉的是欧氏距离，其实这种距离在高维空间并不常用，不仅是因为计算量大，还因为不同特征的值，其计算单位不一样，不可以把每种特征同等看待，在模式识别中采用哪种距离计算方式很重要，会关系到分类器设计的成败。计算距离的方式需要根据实际情况灵活应用，有时甚至可以自己设计距离计算方式，只要满足距离的四个条件即可：
1.当且仅当两点重合时距离才会等于0; 2.距离值必需是大于或等于0;
3.对称性：从A点到B点求得的距离等于从B点到A点求得的距离; 4.三角不等式：三个点形成的三角距离关系中，任两边的和大于第三边。
学习模式识别我个人觉得从神经网络入手可能是个较好的选择，一方面可以避免一下子就陷入复杂的公式推导中，另一方面可以让我们较快就能体验到模式识别是个什么样的技术，因为我们可以利用 Matlab或 openCV 非常方便地进行实践(学习一种技术，多去实践非常有助于对理论知识的理解)。神经网络技术是从仿生的角度来思考模式识别技术，探寻模仿人类的智能一直以来是科学界所研究的目标，神经网络技术就是基于此而产生的，但是神经网络能够得到应用还是
3 因为数学问题方面得到了解决，最优化理论中的梯度下降法便是神经网络实现原理的核心，梯度下降算法是一个循环的计算过程：
1. 为算法模型参数值选择初始值，或随机选择些初始值; 2. 计算每个参数对应的损失函数的变化梯度;
3. 根据梯度值改变参数值，使得错误值变得更小; 4. 重复第二和第三步骤直至梯度值接近于0。
神经网络方法就是通过训练样本进行学习来拟合出一条分割线(对于维数是三维的识别，则是个平面或曲面，三维以上则是超平面或超曲面)，如果这条分割线是一条直线(或平面，或超平面)，则称为线性神经网络，否则为非线性神经网络，线性神经网络较好理解，理解了线性神经网络，对于非线性神经网络则能够更易理解，所以这里先以线性神经网络为例来解释神经网络的原理，下图是一个二维特征分布图，中间的一条直线是分割线，我们现在要关心的问题是这条分割线是如何计算出来，如果学过数学，我们知道可以用最小二乘法把它计算出来，但这里我们将要用神经网络的学习方法来把它学习出来
从上图我们可以知道，只要我们能够得到w1,w2,b的值，则这条直线我们就可以求出来了，据此我们构造出如下所示的神经网络拓扑图：
4
从上图中的w1,w2，我们把它们称为权值，b称为阈值，神经网络的学习过程便是不断地调整权值和阈值，直至最后达到最小的错误率，对于线性神经网络，我们可以采用LMS算法，即最小均方差算法来求出权值和阈值，如下是LMS算法的描述：
原理：通过调整线性神经网络的权值(w)和阈值(b)，使得均方差最小。已知有样本集：{p1，t1}，{p2，t2}，{p3，t3}……{pn，tn}，(如果样本特征值是多维的，则p是个向量表达式)。
求出均方差：mse = sum( e( i )2 ) / n = sum(t(i) – a(i))2 / n, 其中i = 1~n，a(i) = pi × w + b。假设第k步已分别求出权值梯度(Gw)和阈值梯度(Gb)，则第k+1步权值和阈值分别为：
w(k+1) = w(k) – Gw×α;
b(k+1) = b(k) – Gb×α; α为学习率
下一步就是要怎么算出梯度，如果权值和阈值的变化能够使得均方差趋向最小，则便可以达到我们的目标，依此我们可以对均方差公式求对权值和阈值的偏导，这个偏导值便是我们所要的梯度值，它反应了权值或阈值变化与均方差的关系，偏导公式的演变(推导)如下：
əe2(i)/əw = 2e(i) ×əe(i)/əw = 2e(i) ×ə(t(i) – a(i))/əw = 2e(i) ×ə[t(i) – (w×p + b)]/əw
= –2e(i) ×p;
əe2(i)/əb = 2e(i) * əe(i)/əb = 2e(i) ×ə(t(i) – a(i))/əb = 2e(i) ×ə[t(i) – (w×p + b)]/əb
= – 2e(i);
第k步的平均差值表示为：e(k) = sum(e(i))/n;于是最后我们就可以得到权值和阈值的变化方程式：
w(k+1) = w(k) – Gw×α = w(k) + 2×e(k) ×p×α; b(k+1) = b(k) – G b×α = b(k) + 2×(k) ×α;
5 其实，上面所描述的神经网络是一种单层的神经网络，早在1969年，M.Minsky和S.Papert所著的《感知机》书中对单层神经网络进行了深入分析，并且从数学上证明了这种网络功能有限，甚至不能解决象"异或"这样的简单逻辑运算问题。同时，他们还发现有许多模式是不能用单层网络训练的，真正让神经网络得到广泛应用的是1985年发展了BP网络学习算法，实现了Minsky的多层网络设想，BP网络是一种多层前馈型神经网络，其神经元的传递函数是S型函数(非线性函数)，它可以实现从输入到输出的任意非线性映射，由于权值的调整采用反向传播(Back Propagation)学习算法，因此被称为BP网络，目前，在人工神经网络应用中，大部分是采用BP网络及其变化形式，它也是前向网络的核心部分，体现了人工神经网络的精华。BP神经网络不仅可用于模式识别，还可用于函数逼近、数据压缩应用中。
BP算法跟上面介绍的算法非常相似，也是根据均方差求权值和阈值的调整方向，也是通过对权值变量和阈值变量分别求偏导得到权值和阈值的修正梯度方向，差别在于BP神经网络有好几层，要从输出层开始，一层一层地计算出每层的权值变化和阈值变化(所以称为反向传播学习算法)，另一个差别是有些网络层的神经元的传递函数采用log-sigmoid型非线性函数，对于这类函数需要对其进行求导。
BP算法的主要缺点是：收敛速度慢、存在多个局部极值、难以确定稳层个数和稳层节点的个数。所以在实际应用中，BP算法很难胜任，需要进行改进，主要有两种途径进行改进：一种是启发式学习算法(对表现函数梯度加以分析以改进算法)，另一种是更有效的优化算法(基于数值最优化理论的训练算法)。启发式学习算法有这些：有动量的梯度下降法、有自适应lr的梯度下降法、有动量和自适应的梯度下降法、能复位的BP训练法等，基于最优化理论的算法有这些：共轭梯度法、高斯-牛顿法、Levenberg-Marquardt方法，这些改进的算法在Matlab中都可以找得到，Matlab提供了丰富的神经网络算法，除了BP神经网络，还有基于径向基函数的神经网络(如广义回归神经网络、概率神经网络)、反馈型神经网络(如Hopfield网络、Elman神经网络)、竞争型神经网络(如自组织特征映射神经网络、学习向量量化神经网络)，所以学习神经网络，Matlab是个非常好的工具，如果想看具体的实现方法，openCV提供了BP算法的实现，可惜目前openCV只实现BP算法，很希望有更多的神经网络算法能够在openCV中被实现。
对于神经网络，万不可过于迷信它的厉害，对于样本种类多、神经网络节点多，神经网络的收敛速度会很慢，导致学习要花费很长时间，由于存在多个局部极值点，导致初值不同和学习样本不同时，学习效果也不同，所以经常要多次学习才能够得到较好的效果，根据问题的复杂度，设计合适的神经网络的网络拓扑结构也是一个非常难的问题。神经网络是人类模仿生物神经网络原理的一个成果，但是还远远无法达到生物的神经网络功能，现在的人工智能技术甚至连蟑螂都不如，也比不上小小的蚂蚁，人工智能技术的研究还有非常漫长的路要走。
6