1、上级需要在活动之前就看到预期的效果，“活动效用”指标或者“净活动效用”指标是比较好的选择。如果你是这场活动的策划者，我相信你会把最乐观的“活动效用”指标拿给上级看，因为活动效用比净活动效用从数值上大很多，大部分的人还是喜欢接受好看的数据。不过这是一种不自信的做法，净活动效用或许才是我们需要关注的。【活动影响力】每场促销活动一般都会有一个主推的主题，围绕这个主题策划人员配备了相应的产品。一场成功的活动不仅能做好主推产品，顺带着提升了其他品类的销售，也就是活动的拉动能力，这样的营销策划影响力会从活动开始一直延续到活动结束之后，使品牌或者商场的整体销售被提高到另一个高度，从活动前、活动中到活动后，销
2、售呈现出一种向上提升的趋势。以上是本博总结的几个常见评估方法，不一定正确，需要结合不同行业、不同活动类型来应用。关于活动评估，推荐阅读：数据化管理的如何科学的进行五一促销活动评估另：更新内容茵曼文案lala凤根据自己在工作中的实践与摸索，总结了15种促销方式，她没想到的是，这个图迅速在微博上疯传，并被许多网友惊呼为“目前看起来最全的促销图”。数据分析预处理的方法SPSS、Clementine如何处理缺失值、离群值、极值？数据预处理的方法SPSS、Clementine如何处理缺失值、离群值、极值？【一】什么是预处理、预分析？高质量数据是数据分析的前提和分析结论可靠性的保障。尽管在获取数据源时数据
3、分析师格外谨慎，耗费大量的时间，但数据质量仍然需持续关注。不管是一手还是二手数据源，总是会存在一些质量问题。同时，为了满足数据分析、挖掘的实际需要，对噪声数据如何处理，是丢弃还是补充，或者重新计算新的数据变量，这些不是随意决定的，这就是数据预处理的一个过程，是在数据分析、挖掘开始前对数据源的审核和判断，是数据分析必不可少的一项。本文暂只简单讨论一下缺失值、异常值的处理。【二】如何发现数据质量问题，例如，如何发现缺失值？1、SPSS是如何做到的？（1）系统缺失值、空白值每一个变量均有可能出现系统缺失或者空白，当数据量巨大时我们根本无法用眼睛看出是否有缺失，最明智的做法是把这项任务交给数据分析工具
4、，比如Excel，可通过数据有效性、筛选、查找、计数等功能去实现，如果是SPSS数据源，可以通过描述统计之“频率”项来实现。上图，五个变量中，家庭人均收入有效样本94，有6个无效样本，在spss数据区域显示为空白值。其他变量均没有缺失，对于这6个缺失值是留是踢需要谨慎。（2）变量取值分布这一项不容忽视，一般由于输入错误、数据本身或者其他原因造成。这里分分类变量和数值变量进行检查。分类变量取值分布检查：描述统计之“频率”项，可以对变量以及变量取值进行频次统计汇总，因此，此处仍然采用“频率”项。上图，我们已经确认是否献血样本全部有效，但是不代表这个变量没有其他噪声。通过此变量取值分布的考察，我们可
5、以发现是否献血有4个水平，分别为“0”“1”“No”“Yes”，但实际上，该变量的取值至于两个水平，“No”“Yes”，其余两个取值是错误操作导致的，这是系统缺失值，可以通过重新赋值进行处理。数值变量取值分布检查：数值变量取值分布不宜采用“频次”的统计，一般可通过直方图、含有正态检验的直方图来实现。上图，数值变量的直方图，可以清楚的看到其分布情况。可以初步判断存在异常值。（3）离群值、极值在SPSS中可以通过“箱图”直观的看到异常值，探索分析项或者箱图功能可实现。上图，为spss探索分析结果，还可以设置分组变量。可以直观的发现，家庭人均收入存在极值，编号为66，可以快速查找定位。2、Cleme
6、ntine是怎么做到的？DataAudit，数据审核节点示例：以下数据流看图不解释。首先，建立以上数据流。最后一个为“数据审核”节点，右键选择并打开编辑：上图，为clementine变量诊断结果，非常直观，图文并茂，而且一张图几乎说明了数据源各种质量问题。是否无偿献血，取值水平有4个，家庭人均收入最大值有异常，且明确显示有6个无效值。其他变量正常。上图，是clementine变量诊断结果中的另外一张图表，我们可以发现家庭人均收入有一枚极值，六枚无效值。通过上述诊断，数据质量问题一目了然。【三】如何处理缺失值、离群值、极值？1、SPSS实现方法上图，为spss变量转换菜单下的重新编码为相同变量选
7、项卡。可以轻松实现变量重新赋值。主要实现方法：重新编码为相同/不同变量、计算变量、缺失值分析模块，此处略，后续文章会涉及。2、Clementine实现方法（1）是否无偿献血重新分类我们已经清楚的知道，是否无偿献血变量在取值分布上存在问题。在clementine，需要用Reclassify节点进行重新分类，在变量诊断的第一种表格上选中是否无偿献血变量，点击左上角“生成”按钮，生成一个Reclassify节点。打开该节点，如上图所示，即可完成重新分类。（2）无效值、空白值的处理家庭人均收入变量存在6个无效值，我们建议保留这6个样本，希望通过决策树算法进行针对性的预测，从而为这6个无效值进行赋值。如
8、上图所示进行操作。然后，选中该变量，点击左上角“生成”按钮，自动生成一个缺失值插补超级节点。（3）离群值、极值的处理家庭收入变量还存在一枚极值，对于该极值，我们采取剔除丢弃处理，在clementine变量诊断表格中，如上图操作，点击生成按钮，自动生成一个离群值和极值超级节点。（4）以下为clementine的处理结果我们将自动生成的两个超级节点，连接在数据流末端，再次进行数据审核，结果如上图所示，此时，我们可以看到，上述几个问题已经达到合理地解决。最终我们剔除了一个极值，对其他质量问题采取保守态度进行相应的处理。上图，为整个过程的数据流图示。总结：1、通过SPSS描述统计的相关过程，可以实现数
9、据质量的探索分析并进行相应的预处理。2、通过Clementine的Type节点、Filler节点、Reclassify节点、DataAudit等节点可以实现数据质量的探索，而且比SPSS更直观，更快捷。3、相比而言，clementine在数据分析预处理方面更加优秀，结果可视化程度较高，直观易懂，而且处理流程简短精悍，虽然通过spss或者excel也可以完成这些工作，但我想，如果能合理选择有效驾驭，clementine是一个不错的选择，这不是炫耀或者奢侈，更效率更效果的工作才是最终目的。如何用SPSS对数据进行标准化处理？SPSS统计分析软件是我最早接触的数据分析工具，我的博客将陆续介绍SPSS
10、统计分析软件的相关内容，这类文章将统一按照在标题或者正文第一段出现SPSS案例分析+编号的形式组织，便于读者朋友们快速查询、收集，今天是第一篇，即SPSS案例分析1，后文将不再说明。-进行多元统计分析时，我们往往要收集不同量纲的数据，比如销售总额（万元），利润率（百分数）。这表现为变量在数量级和计量单位上的差别，从而使得各个变量之间不具有综合性，而多元分析方法大多对变量要特殊的要求，比如符合正态分布或者变量之间具有可比性。这时就必须采用某种方法对各变量数值进行标准化处理，或者叫无量纲化处理，解决各数值不具综合性的问题。spss提供了很方便的数据标准化方法，这里只介绍Z标准化方法。即每一变量值与
11、其平均值之差除以该变量的标准差。无量纲化后各变量的平均值为0，标准差为1，从而消除量纲和数量级的影响。该方法是目前多变量综合分析中使用最多的一种方法。在原始数据呈正态分布的情况下，利用该方法进行数据无量纲处理是较合理的。spss的实现步骤：图例【1】分析描述统计描述【2】弹出“描述统计”对话框，首先将准备标准化的变量移入变量组中，此时，最重要的一步就是勾选“将标准化得分另存为变量”，最后点击确定。【3】返回SPSS的“数据视图”，在原始变量的最后多了一列Z开头的新变量，这个变量就是标准化后的变量了。基于此字段可以做其他分析。SPSS案例分析10：用因子分析结果进行聚类分析得到因子得分并不是最终
12、的结果，降维是为了使我们的思路更加集中，但降维结束后得到的却未必是我们所期望的。为了更好的加以分析，我们可以在降维因子分析的基础上对得到的潜在因子进行聚类或者计算出综合因子得分进行排序。综合因子得分的计算前面我已经讨论过了（点击这里），卢文岱先生的书里介绍了因子分析之后进行聚类分析，放在这里学习学习。【案例】：美国洛杉矶12个地区的调查数据（人口、校龄、总雇员、房价、服务），该数据可到人大经济论坛spss版块下载。点击下载【案例说明】：12个地区的5个调查指标数据经过因子分析处理后，找到两个潜在的因子：人口因子和福利因子。并且spss自动保存了12个地区的因子得分。这个案例的目的在于评价12个
13、地区经济情况。我们现在走一条曲线救国的思路：利用人口因子和福利因子两个变量进行聚类，看看这12个地区有哪些是相似的（同一类），这些相似的地区有哪些特征，从而集中评价属于同一类的某几个或一个地区。【因子分析过程】：我前面有写，不再讨论。【聚类过程】：亮点因子得分散点图-增强聚类的可视化，更加易懂。一、操作：（1）因子1，因子2为参与聚类的变量，地区编号为标示。（2）盲聚类，先给定范围2-4类，然后对2、3、4进行比较，最终确定聚为几类。（3）个人较喜欢输出树状图，讨厌冰柱图。要求输出聚类的树状图。采用欧氏距离平方聚类。（4）不需要进行标准化处理，因为两个因子本身就是无量纲变量。二、重要结果（对比
14、）：（1）从聚类分析输出结果很难看出各地区在经济特性方面的区别。（2）亮点：因子得分-类别散点图，可视化的效果。上图显示，2、3、7为第二类，处在人口因子和福利因子都较低的左角，可以认为从5个经济指标来看均较差的地区；1、4、5为第一类，人口因子（人口数和就业人数）得分较低，福利因子较高，即人口和就业者较少，但福利条件去很不错的地区群（这可是梦寐以求的好地方啊！）；6、8、9、11、12为第三类人口因子较高，福利因子较低，人口多，就业者多，比如hn，人口第一大省，但整体经济实力较东部地区差，福利跟不上。做法：因子得分2为纵轴、因子得分1为横轴（谁横谁纵没有定论），用地区编号标识地区，用聚类得到
15、的各地区类别号分组。（依次做分为2类的、3类的、4类的散点图进行比较）。三、讨论：就此案例而言，最终聚为几类合适？卢文岱先生的书并没有给出结果。我个人的思路：从上面的散点图可以看出，编号为10的这个地区，偏离1、5、4地区较远，聚类过程显示这四个地区为同一类。鉴于1、5、4更集中，10地区较远，用异常值的思想来讲，10地区为异常值，单独放一边讨论，视为特例对待。其他11个地区分为3类。即最终聚为4类（或3类+1特例）。从这个案例可以看出，我们很有必要在spss既得结果中提取其他可视化图形，比如上面这个因子得分散点图，使分析效果更加显著。-SPSS聚类分析一个案例演示聚类分析全过程本文实际为20
16、10年5月8日完成并发布的，浏览量：7199，评论数：5。在XX新版空间升级过程中，该篇文章丢失，今天，重新更新并发布，作为SPSS案例分析系列的第17篇文章。同时希望XX新版空间能不断完善，在升级过程中尽量避免出现文章丢失的现象。案例数据源：有20种12盎司啤酒成分和价格的数据，变量包括啤酒名称、热量、钠含量、酒精含量、价格。数据来自SPSSforWindows统计分析data11-03。【一】问题一：选择那些变量进行聚类？采用“R型聚类”1、现在我们有4个变量用来对啤酒分类，是否有必要将4个变量都纳入作为分类变量呢？热量、钠含量、酒精含量这3个指标是要通过化验员的辛苦努力来测定，而且还有花
17、费不少成本，如果都纳入分析的话，岂不太麻烦太浪费？所以，有必要对4个变量进行降维处理，这里采用spssR型聚类（变量聚类），对4个变量进行降维处理。输出“相似性矩阵”有助于我们理解降维的过程。2、4个分类变量量纲各自不同，这一次我们先确定用相似性来测度，度量标准选用pearson系数，聚类方法选最远元素，此时，涉及到相关，4个变量可不用标准化处理，将来的相似性矩阵里的数字为相关系数。若果有某两个变量的相关系数接近1或-1，说明两个变量可互相替代。3、只输出“树状图”就可以了，个人觉得冰柱图很复杂，看起来没有树状图清晰明了。从proximitymatrix表中可以看出热量和酒精含量两个变量相关系
18、数0.903，最大，二者选其一即可，没有必要都作为聚类变量，导致成本增加。至于热量和酒精含量选择哪一个作为典型指标来代替原来的两个变量，可以根据专业知识或测定的难易程度决定。（与因子分析不同，是完全踢掉其中一个变量以达到降维的目的。）这里选用酒精含量，至此，确定出用于聚类的变量为：酒精含量，钠含量，价格。【二】问题二：20中啤酒能分为几类？采用“Q型聚类”1、现在开始对20中啤酒进行聚类。开始不确定应该分为几类，暂时用一个3-5类范围来试探。Q型聚类要求量纲相同，所以我们需要对数据标准化，这一回用欧式距离平方进行测度。2、主要通过树状图和冰柱图来理解类别。最终是分为4类还是3类，这是个复杂的过
19、程，需要专业知识和最初的目的来识别。我这里试着确定分为4类。选择“保存”，则在数据区域内会自动生成聚类结果。【三】问题三：用于聚类的变量对聚类过程、结果又贡献么，有用么？采用“单因素方差分析”1、聚类分析除了对类别的确定需讨论外，还有一个比较关键的问题就是分类变量到底对聚类有没有作用有没有贡献，如果有个别变量对分类没有作用的话，应该剔除。2、这个过程一般用单因素方差分析来判断。注意此时，因子变量选择聚为4类的结果，而将三个聚类变量作为因变量处理。方差分析结果显示，三个聚类变量sig值均极显著，我们用于分类的3个变量对分类有作用，可以使用，作为聚类变量是比较合理的。【四】问题四：聚类结果的解释？
20、采用”均值比较描述统计“1、聚类分析最后一步，也是最为困难的就是对分出的各类进行定义解释，描述各类的特征，即各类别特征描述。这需要专业知识作为基础并结合分析目的才能得出。2、我们可以采用spss的means均值比较过程，或者excel的透视表功能对各类的各个指标进行描述。其中，report报表用于描述聚类结果。对各类指标的比较来初步定义类别，主要根据专业知识来判定。这里到此为止。以上过程涉及到spss层次聚类中的Q型聚类和R型聚类，单因素方差分析，means过程等，是一个很不错的多种分析方法联合使用的案例。数据源和部分介绍均摘自SPSS统计分析书中。个性化推荐技术漫谈如果说过去的十年是搜索技术
21、大行其道的十年，那么个性化推荐技术将成为未来十年中最重要的革新之一。目前几乎所有大型的电子商务系统，如Amazon、CDNOW、Netflix等，都不同程度地使用了各种形式的推荐系统。而近来以“发现”为核心的网站正开始在互联网上崭露头角，比如侧重于音乐推荐的八宝盒，侧重于图书推荐的豆瓣等等。那么，一个好的推荐系统需要满足什么目标呢？个性化推荐系统必须能够基于用户之前的口味和喜好提供相关的精确的推荐，而且这种口味和喜欢的收集必须尽量少的需要用户的劳动。推荐的结果必须能够实时计算，这样才能够在用户离开网站前之前获得推荐的内容，并且及时的对推荐结果作出反馈。实时性也是推荐系统与通常的数据挖掘技术显著
22、不同的一个特点。一个完整的推荐系统由三部分构成：行为记录模块、模型分析模块和推荐模块。行为记录模块负责记录能够体现用户喜好的行为，比如购买、下载、评分等。这部分看起来简单，其实需要非常仔细的设计。比如说购买和评分这两种行为表达潜在的喜好程度就不尽相同完善的行为记录需要能够综合多种不同的用户行为，处理不同行为的累加。模型分析模块的功能则实现了对用户行为记录的分析，采用不同算法建立起模型描述用户的喜好信息。最后，通过推荐模块，实时的从内容集筛选出目标用户可能会感兴趣的内容推荐给用户。因此，除了推荐系统本身，为了实现推荐，还需要一个可供推荐的内容集。比如，对于音乐推荐系统来说，一个音乐库就是这样的内
23、容集。我们对内容集本身需要提供的信息要求非常低，在经典的协同过滤算法下，内容集甚至只需要提供ID就足够。而对于基于内容的推荐系统来说，由于往往需要对内容进行特征抽取和索引，我们就会需要提供更多的领域知识和内容属性。这种情况下，还是拿音乐举例，歌手、流派之类的属性和音频信息就成为必需的内容集信息。迄今为止在个性化推荐系统中，协同过滤（Collaborative Filtering）技术是应用最成功的技术。目前国内外互联网上有许多大型网站已经应用这项技术为用户更加智能的推荐内容。如果你想要研究协同过滤，一定不能错过MovieLens（http:/movielens.umn.edu/）。它是协同过滤
24、最著名的研究项目之一。第一代的协同过滤技术，又被称为基于用户（User-based）的协同过滤。基于用户的协同过滤，基本原理是基于用户行为选择的相关性。用户的行为选择这里指的是下载、购买、评价等等能够显式或者隐式体现出用户喜好的行为。在一个典型的基于协同过滤技术的推荐系统中，输入数据通常可以表述为一个mn 的用户内容矩阵R，m是用户数，n是内容数。矩阵的值与内容的类型有关，通常由行为记录模块决定。如果内容是网上书店中的书，则矩阵的值可以表示用户购买与否，例如1表示购买，0表示没有购买；或者表示用户对它的评价有多高，这样的评价值就可以有几个等级，比如常见的15级评价制。基于用户的协同过滤，通过比较目标
