聚类分析的定义
各指标之间具有一定的相关关系。
聚类分析(cluster analysis)是一组将研究对象分为相对同质的群组(clusters)的统计分析技术。 聚类分析区别于分类分析(classification analysis) ，后者是有监督的学习。
变量类型：定类变量、定量（离散和连续）变量 1,层次聚类（Hierarchical Clustering）
合并法、分解法、树状图
2. 非层次聚类
划分聚类、谱聚类
聚类方法特征： 聚类分析简单、直观。 聚类分析主要应用于探索性的研究，其分析的结果可以提供多个可能的解，选择最终的解需要研究者的主观判断和后续的分析； 不管实际数据中是否真正存在不同的类别，利用聚类分析都能得到分成若干类别的解； 聚类分析的解完全依赖于研究者所选择的聚类变量，增加或删除一些变量对最终的解都可能产生实质性的影响。 研究者在使用聚类分析时应特别注意可能影响结果的各个因素。 异常值和特殊的变量对聚类有较大影响 当分类变量的测量尺度不一致时，需要事先做标准化处理。 当然，聚类分析不能做的事情是： 自动发现和告诉你应该分成多少个类——属于非监督类分析方法
期望能很清楚的找到大致相等的类或细分市场是不现实的；
样本聚类，变量之间的关系需要研究者决定；
不会自动给出一个最佳聚类结果；
我这里提到的聚类分析主要是谱系聚类（hierarchical clustering）和快速聚类（K-means）、两阶段聚类（Two-Step）；
根据聚类变量得到的描述两个个体间（或变量间）的对应程度或联系紧密程度的度量。 可以用两种方式来测量： 1、采用描述个体对（变量对）之间的接近程度的指标，例如“距离”，“距离”越小的个体（变量）越具有相似性。
2、采用表示相似程度的指标，例如“相关系数”，“相关系数”越大的个体（变量）越具有相似性。
计算聚类——距离指标D(distance)的方法非常多：按照数据的不同性质，可选用不同的距离指标。欧氏距离(Euclidean distance)、欧氏距离的平方(Squared Euclidean distance)、曼哈顿距离(Block)、切比雪夫距离(Chebychev distance)、卡方距离(Chi-Square measure) 等；相似性也有不少，主要是皮尔逊相关系数了！ 聚类变量的测量尺度不同，需要事先对变量标准化； 聚类变量中如果有些变量非常相关，意味着这个变量的权重会更大 欧式距离的平方是最常用的距离测量方法； 聚类算法要比距离测量方法对聚类结果影响更大； 标准化方法影响聚类模式： 变量标准化倾向产生基于数量的聚类； 样本标准化倾向产生基于模式的聚类； 一般聚类个数在4－6类，不易太多，或太少； 群重心
群中心
群间距离 定义问题与选择分类变量
聚类方法
确定群组数目
聚类结果评估
结果的描述、解释 属于非层次聚类法的一种
（1）执行过程
初始化：选择（或人为指定）某些记录作为凝聚点
循环：
按就近原则将其余记录向凝聚点凝集
计算出各个初始分类的中心位置（均值）
用计算出的中心位置重新进行聚类
如此反复循环，直到凝聚点位置收敛为止
（2）方法特点
通常要求已知类别数
可人为指定初始位置
节省运算时间
样本量大于100时有必要考虑
只能使用连续性变量 特点：
处理对象：分类变量和连续变量
自动决定最佳分类数
快速处理大数据集
前提假设：
变量间彼此独立
分类变量服从多项分布，连续变量服从正态分布
模型稳健 第一步：逐个扫描样本，每个样本依据其与已扫描过的样本的距离，被归为以前的类，或生成一个新类
第二步，对第一步中各类依据类间距离进行合并，按一定的标准，停止合并
判别分析 Discriminant Analysis
介绍： 判别分析
分类学是人类认识世界的基础科学。聚类分析和判别分析是研究事物分类的基本方法，广泛地应用于自然科学、社会科学、工农业生产的各个领域。
判别分析DA
概述
DA模型
DA有关的统计量
两组DA
案例分析
判别分析
判别分析是根据表明事物特点的变量值和它们所属的类，求出判别函数。根据判别函数对未知所属类别的事物进行分类的一种分析方法。核心是考察类别之间的差异。
判别分析
不同：判别分析和聚类分析不同的在于判别分析要求已知一系列反映事物特征的数值变量的值，并且已知各个体的分类。
DA适用于定类变量（因）、任意变量（自）
两类：一个判别函数；
多组：一个以上判别函数
DA目的
建立判别函数
检查不同组之间在有关预测变量方面是否有显著差异
决定哪个预测变量对组间差异的贡献最大
根据预测变量对个体进行分类
初一数学问题
1. 统计学的三个基本发展趋势及其启示
朱永平 文献来自: 中国统计 2001年 第08期 CAJ下载 PDF下载
与统计学中的判别分析也存在一些可相互借鉴的方面。特别是关于质度函数与可拓变换理论,都有可能应用于统计指标的计算,目前也有文献在这方面取得了一定的成绩。神经网络方法被广泛应用于统计预测与多指标统计综合评价。此外,管 ...
被引用次数: 6 文献引用-相似文献-同类文献
2. 评价判别模型诊断效果的ROC分析
李康,林一帆 文献来自: 中国卫生统计 1996年 第03期 CAJ下载 PDF下载
判别模型,累积比数模型ROC分析已成为评价诊断试验的一种重要方法。本文介绍了ROC分析的基本思想,提出用ROC分析评价判别模型的优劣,给出了ROC曲线回归估计的方法,并且导出了估计ROC曲线下面积A及标准误SE ...
被引用次数: 13 文献引用-相似文献-同类文献
3. 基于Fisher准则的判别分析
陈峰,祝绍琪 文献来自: 中国卫生统计 1994年 第03期 CAJ下载 PDF下载
基于Fisher准则的判别分析@陈峰@祝绍琪$南通医学院医学统计学教研室$华西医科大学卫生统计学教研室Fisher准则,多类判别本文较全面地阐述了Fisher准则下的多类判别,及其与Bayes判别、回归分析之关系。由于Fisher判 ...
被引用次数: 4 文献引用-相似文献-同类文献
4. 基于PCA与LDA的说话人识别研究
章万锋 文献来自: 浙江大学 2004年 硕士论文 CAJ下载 在线阅读 分章下载 分页下载
判别分析方法有多种,包括距离判别、Bayes判别以及线性判别。其中 线性判别分析(LDA),又称费歇判别分析、基于类的K一L变换,由Fisher第一次提出,可以表 示不同的特征变量,在多元统计分析中 ...
被引用次数: 1 文献引用-相似文献-同类文献
5. 综合评价的多元统计分析方法
祁洪全 文献来自: 湖南大学 2001年 硕士论文 CAJ下载 在线阅读 分章下载 分页下载
本文针对主成分分析、因子分析两种紧密相关的多元统计分析方法, 从理论和实践两方面作了一定的研究;除了分析和改进两种多元分析方法 之外,还建立了应用它们进行综合评价的数学模型,并且应用这些模型对 实际问题进行了综合评价 ...
被引用次数: 3 文献引用-相似文献-同类文献
6. 分析化学计量学
吴海龙,梁逸曾,俞汝勤 文献来自: 分析试验室 1999年 第06期 CAJ下载 PDF下载
罗宏杰编著成《中国古陶瓷与多元统计分析》一书[B4],从多元统计的数学方法入手,侧重于对应分析、聚类分析以及判别分析等数学方法在中国古陶瓷研究中的应用。3 试验设计与优化正交试验设计和单纯形优化法目前仍然是试验设计和优化的主要方法。其目 ...
被引用次数: 12 文献引用-相似文献-同类文献
7. 综合评价的多元统计分析方法
祁洪全 文献来自: 湖南大学 2001年 硕士论文 CAJ下载 在线阅读 分章下载 分页下载
本文针对主成分分析、因子分析两种紧密相关的多元统计分析方法, 从理论和实践两方面作了一定的研究;除了分析和改进两种多元分析方法 之外,还建立了应用它们进行综合评价的数学模型,并且应用这些模型对 实际问题进行了综合评价 ...
被引用次数: 3 文献引用-相似文献-同类文献
8. 逐步判别分析法的计算机实现
常进荣,任翔,赵磊峰 文献来自: 云南农业大学学报 1995年 第03期 CAJ下载 PDF下载
摘要用汉字Foxbase开发一个操作界面好、通用性强的逐步判别分析计算程序.关键词逐步判别分析,算法,程序本国分类号TP311.52逐步判别分析法是多元统计学中的一类重要方法。它在生物学、农学、医学等领域中有着广泛的应用,以前的多元统计分析计算程序大多是在pc-150 ...
被引用次数: 2 文献引用-相似文献-同类文献
9. 小样本数据信用风险评估研究
王春峰,李汶华 文献来自: 管理科学学报 2001年 第01期 CAJ下载 PDF下载
普通的判别分析方法可能导致较大的判别误差 ,因此采用本文提出的CV方法来构建判别分析模型 ,试图提高判别精度 ...
被引用次数: 29 文献引用-相似文献-同类文献
10. 研发项目中止决策分析与判别
侯强 文献来自: 辽宁工程技术大学 2003年 硕士论文 CAJ下载 在线阅读 分章下载 分页下载
从项目中止决策内涵入手,结合国内外研究现状,以直观经 济分析和投资可靠性分析为切入点,分析了项目中止决策的必要 性,从价值评估理论角度分析了项目中止决策的价值基础,从自 主开发和委托代理角度分析了项目中止决策的运行机制。 依据研究与开发项目的...
被引用次数: 2 文献引用-相似文献-同类文献
查判别分析 的定义
查统计学 的定义
搜多元统计 的学术趋势
搜思想 的学术趋势
搜索相关数字
股票交易统计上市股票数目
股票交易统计上市公司数目
股票交易统计股票流通市值
数据分类和聚类有什么区别
简单地说，分类(Categorization or Classification)就是按照某种标准给对象贴标签(label)，再根据标签来区分归类。
简单地说，聚类是指事先没有“标签”而通过某种成团分析找出事物之间存在聚集性原因的过程。
区别是，分类是事先定义好类别 ，类别数不变 。分类器需要由人工标注的分类训练语料训练得到，属于有指导学习范畴。聚类则没有事先预定的类别，类别数不确定。 聚类不需要人工标注和预先训练分类器，类别在聚类过程中自动生成 。分类适合类别或分类体系已经确定的场合，比如按照国图分类法分类图书；聚类则适合不存在分类体系、类别数不确定的场合，一般作为某些应用的前端，比如多文档文摘、搜索引擎结果后聚类(元搜索)等。
分类的目的是学会一个分类函数或分类模型(也常常称作分类器 ),该模型能把数据库中的数据项映射到给定类别中的某一个类中。 要构造分类器，需要有一个训练样本数据集作为输入。训练集由一组数据库记录或元组构成，每个元组是一个由有关字段(又称属性或特征)值组成的特征向量，此外，训练样本还有一个类别标记。一个具体样本的形式可表示为：(v1,v2,...,vn; c)；其中vi表示字段值，c表示类别。分类器的构造方法有统计方法、机器学习方法、神经网络方法等等。
聚类(clustering)是指根据“物以类聚”原理，将本身没有类别的样本聚集成不同的组，这样的一组数据对象的集合叫做簇，并且对每一个这样的簇进行描述的过程。它的目的是使得属于同一个簇的样本之间应该彼此相似，而不同簇的样本应该足够不相似。与分类规则不同，进行聚类前并不知道将要划分成几个组和什么样的组，也不知道根据哪些空间区分规则来定义组。其目的旨在发现空间实体的属性间的函数关系，挖掘的知识用以属性名为变量的数学方程来表示。聚类技术正在蓬勃发展，涉及范围包括数据挖掘、统计学、机器学习、空间数据库技术、生物学以及市场营销等领域，聚类分析已经成为数据挖掘研究领域中一个非常活跃的研究课题。常见的聚类算法包括：K-均值聚类算法、K-中心点聚类算法、CLARANS、 BIRCH、CLIQUE、DBSCAN等。
【紧急求助，给1000分】尊敬的SPSS王子。 主因子分析法 聚类 ..
这里有。
如何进行大数据分析及处理？
1.可视化分析
大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。
2. 数据挖掘算法
大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计 学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如 果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。
3. 预测性分析
大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。
4. 语义引擎
非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。
5.数据质量和数据管理。 大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。
大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。
大数据的技术
数据采集： ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
数据存取： 关系数据库、NOSQL、SQL等。
基础架构： 云存储、分布式文件存储等。
数据处理： 自然语言处理(NLP，Natural Language Processing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机”理解”自然语言，所以自然语言处理又叫做自然语言理解也称为计算语言学。一方面它是语言信息处理的一个分支，另一方面它是人工智能的核心课题之一。
统计分析： 假设检验、显著性检验、差异分析、相关分析、T检验、 方差分析 、 卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、 因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。
数据挖掘： 分类 （Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)
模型预测 ：预测模型、机器学习、建模仿真。
结果呈现： 云计算、标签云、关系图等。
大数据的处理
1. 大数据处理之一：采集
大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的 数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除 此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户 来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间 进行负载均衡和分片的确是需要深入的思考和设计。
2. 大数据处理之二：导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这 些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使 用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。
导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。
3. 大数据处理之三：统计/分析
统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通 的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于 MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。
统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
4. 大数据处理之四：挖掘
与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数 据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于 统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并 且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。
整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。