1、老师S经济数据1818论文初稿160426毕业论文论文题目基于数据挖掘的电信数据分析学院 专业 年级 学号 学生姓名 指导教师 完成时间2016年4月 基于数据挖掘的电信数据分析 摘要电信、联通和移动在我国电信行业一直占据着主导位置，且呈现相持对峙局面。但是电信行业这三者独霸的局面已被打破，政府开始允许外国电信运营商进入我国电信市场。外国运营商的介入一方面增加了国内电信行业的压力；另一方面我国电信运营商也开始面临挑战，它们需要进一步完善自身的服务。运营成本规格上升、资源浪费、顾客流失的现状，迫使我国电信运营商制定新的管理方法，从而更科学有效的利用各种资源。此外，电信客户的信息和各类消费数据需要
2、运营商使用互联网信息化方式分析出来。如何制定更加符合用户需求的战略，则需要从中进行深入挖掘。本文先介绍研究的背景及或内外研究现状，接下来介绍一下相关技术，分析时将先对电信业务下滑客户进行简单分析，着重对电信用户GPRS业务关联进行分析，最后对电信非绑定GPRS业务客户进行预测。关键词数据挖掘；电信；数据分析Abstract:Telecom,ChinaUnicomandChinaMobileinChinastelecommunicationsindustryhasbeenoccupyingtheleadingposition,andrenderingstalemateconfrontation.
3、Butthesethreedominatethetelecommunicationsindustrysituationhasbeenbroken,thegovernmentbegantoallowforeigntelecomoperatorstoenterthetelecommarketinChina.Foreignoperatorinterventionontheonehandincreasesthepressureonthedomestictelecommunicationsindustry;theotherhand,Chinastelecomoperatorshavebeguntofac
4、echallenges,theyneedtofurtherimproveitsservices.Specificationsrisingoperatingcosts,wasteofresourcesandsituationofthelossofcustomers,forcingChinastelecomoperatorstodevelopnewmanagementmethodstomorescientificandeffectiveuseofresources.Inaddition,thetelecommunicationscustomerinformationandalltypesofcon
5、sumerdataoperatorsneedtouseInternetinformationanalysisoutoftheway.Howtodevelopastrategymoreinlinewithuserneeds,weneedtodigfrom.Thisarticlefirstdescribesthebackgroundandcurrentsituationinsideandoutsidethestudyorresearch,thenintroducetherelatedtechnologies,willfirsttelecommunicationservicesfellcustome
6、ranalysissimpleanalysis,focusingonthetelecommunicationsGPRSserviceassociatedwiththeusertoanalyzethelastofthenon-bindingGPRStelecommunicationsbusinesscustomerforecast.Keywords：Datamining；Telecommunications；dataanalysis1引言1.1系统开发背景电信、联通、移动在电信行业呈现相持局面，而通讯技术和电信行业的变革是形成这种相持状态的两大关键因素。电信、联通和移动一直以来都处于竞争状态，市
7、场竞争逐渐激烈，客户对运营商的服务提出了更高的要求，相互之间的竞争导致宣传运营费用不断增加，收益及ARPU（AverageRevenuePerUser，即每用户平均收入）降低。政府放宽电信准入标准后，外国电信运营商也一步步进入中国市场，我国电信运营商将会处于更加激烈的竞争状态，这种竞争局面将由电信、联通、移动和外国营运商共同组成。国内外的运营商为了摆脱这种竞争局面带来的弊端，为了拓展自身的业务市场，需要使用大众化营销战略。这种策略是短期的营销方式，只关注眼前的利益，最终会导致，运营成本增加，也会浪费资源，导致老客户外流，但是新用户的增加缓慢，ARUP平均值减少，收获的利润不断降低。其实，从全局
8、角度来说，以往的市场营销策略完全不适合目前的竞争模式。而把关注点放在用户身上才是电信运营商继续发展的契机。运营商完善自身服务质量，努力满足用户对服务的满意度，提高品牌忠诚度，使用户的作用更加彰显，实现双赢局面。另一方面，运营商还需采用最新的信息化管理模式，以求在市场竞争中稳步发展。广大用户的信息和消费数据是各电信运营商的最宝贵资源，运营商需充分利用这类资源，挖掘、分析隐藏在数据背后的用户消费行为模式。如此，运营商才能争取到更大市场份额。电信运营商想要与目标用户保持持久的互利关系，让老用户不流失，获得更多新用户，则需细心分析用户的消费数据，并从数据中得出有利于运营商发展的信息。但是想要把用户的各
9、类数据变成自己的宝贵资源，并不是件容易的事情。电信运营商需要采用数据挖掘技术才能将用户的数据与信息数据进行合理转换。那么，把没被意识到的有用信息从大量杂乱的、碎片化的、片段式的信息数据当中提炼出来的技术，被人们称为数据挖掘。DM（datamining）技术活跃在商业市场，很多企业借助它来达成重大决策，在挖掘新的项目之前，利用DM将数据和信息收集、分类、筛选、变换，设置模型，获取重点讯息。而DM技术和电信行业的结合也是一样，电信企业把自有的信息和用户数据全部收齐，借助DM来尝试了解用户的特点，进而策划差异化的营销策略，能留住用户，获得更多收益.1.2国内外研究现状1.2.1.国外研究现状其他国家
10、的科学家在DM（数据挖掘）技术的开发起步较早，在DM技术方面他们掌握了更多的数据，也有更科学的技术。5现在已经可以借助DM技术开展下列活动：用户服务剖析、用户类别划分、代理人员售卖剖析、区域、话务量剖析。这些深入挖掘得到的信息将会应用在企业实操中，全球很多电信企业都利用这一的方法来获取更强大的实力。文献20中研究者借助人工神经网络、Boostin（一种用来提高弱分类算法准确度的方法）、Logistic回归（线性回归分析模型）、决策树算法打造了一个预测模型，用来观察无线通信用户流失情况，这个模型上绑定的都是电信数据库真的用户的资料。文献21中的研究者使用的测试方法是Neuro-fuuzy（模糊逻
11、辑）系统及神经网络、遗传、决策树算法，研究对象是巴西运营商的用户数据，最终的数据显示神经网络模型得到的数据是最准确的，而其他繁重方法则相对弱。文献22的研究企业是NTTDoCoMo（企业），这次是试验实现以费用用处为指标把所有用户分为两种类型：居家型、事务型。而后还对事务型用户再次划分，细分参考特征分别是：客户性质、消费额度、信用、功能性服务需求。文献23中的实验者是美国Lightbridge公司，这次测试他们的计算方式是分类回归树。实验者后来借助Lightbridge的CART方法为新英格兰的移动运营商打造了一个流失模型，测试的信息为用户信息、特征以及用户对服务中心的电话咨询数据.1.2.2
12、.国内研究现状DM技术在中国的发展还只是刚开始，现在慢慢出现了数据发掘和仓库的考察和使用。文献24中研究者-王纯麟设置模型时借助于MetaCostC5.0和决策树算法，结果得到了用户维持的方案。文献25的试验者给陕西电信打造了一个用户消费行为的数据仓库，给项目经理和工作人员铺设了一个项目推广进展的方法，为整个公司的销售目标达成作出重要贡献。文献26的实验则是发生在1998年，当时，联合珠海创我科技发展公司为广东移动开发了“市场和用户行为分析”，这个系统的设置要感谢数据仓库技术的发展，以技术和移动公司自己保存的消费单、用户的个人资料等为关键点开发成功。系统的诞生对广东移动管理者健康用户行为和市场
13、情况产生了积极影响，也给移动带来长足的进步。孔勤在文献27中阐述的研究是用户预测模型，决策树、Logistic回归算法结合，深度考察移动飞信项目，最终达成飞信的精准化营销。不过，上述研究和实践都是在项目开发和技术进步方面，全方位、大范围的DM技术应用目前还不常见。在电信诞生的早期，对用户的重视程度不够，所以没有指定严格的用户信息收集和审核标准，所以，大多数用户并没能留存自己的姓名、年纪、性别、学历、住址等相关讯息，这导致在DM实验时会产生一些误差。和其他发达国家对比而言，中国在电信业DM技术开发、研究、应用等相当不够，并且没有在思想上树立一个重视性，这就导致电信行业的营销手法、管理方式等由上综
14、述可知，国内电信企业关于数据挖掘技术的研究和应用与发达国家这方面相比，在数据挖掘技术的理解及实际应用、营销观念、管理模式等都落后于其他国家，这也是我们需要正视并奋起直追的动力.1.3.本文研究内容本文我们主要对以DM为基础的电信数据剖析理念和思想做一个详细阐述。这个过程第一步要借助对数据进行操作，收集可以当做剖析对象的电信数据组，第二步是关键的步骤，即数据组解剖，主要工作包括：(1)(1)对电信客户进行聚类分析，找出业务下滑的客户群和非业务下滑的客户群，使用业务下滑的用户的信息，把它们作为决策树考核的基点设置模型，考察得出这些用户本身的特点，设置一个标准，检测出和标准相符的用户，针对性决策，挽
15、回用户，增加收益。(2)有市场潜力的用户单独划分，并把他们开启的3G项目挖掘出来，并找出和这些项目有高关联度的业务继续推荐给高市场潜质的用户群。(3)对势头不错的非绑定GPRS业务用户展开个性研究，而后作出预测，开发更具个性化的业务。这些行为都在一定程度上减少了运营花销，产生极好的效益.2本文的理论基础互联网时代数据更新换代的速度极快，信息爆发式呈现，服务、金融、农业、医药、军事、教育等各行业每天都会制造大批量的信息。信息海量，结构复杂多变，有的可能还达到terabyte的单位量。那么多的信息需要接收统计分析，这就对操作的人员和剖析的技术有了新的要求，以往的技术和操作手法已经没有办法帮助新时代
16、信息数据规则的探索。所以这就产生了一个不好的现象：海量信息占用储蓄空间缺不能发挥作用，造成虚耗，所以我们必须找出有效获取数据规则的方法。后面就出现了datamining技术，即数据挖掘。这种方法的诞生给科技、医药、知识图书馆等进步产生了极大推动作用，因为它可以在众多信息中挖掘出它们的运行法则.2.1数据挖掘的概念datamining技术找到的规则是从一大堆杂乱的、不明确的、没有丝毫规律可言并且可能还是残缺的数据找出的，所以说这种手段其实是分析手法。分析者按照目标将信息整合，把信息分门别类。如序列式类型、依赖型等，并且按照不同的方向可以归类为以下四种：机械学、数据库、神经网络、统计学.2.2数据
17、挖掘的功能datamining其实有5个作用：a、划分类别；b、聚合类别；c、找到偏差；d、序列模式和关联规则；e、预测。分类其实就是把所有的信息以各个特征区分开来。聚合则是把有相同点的信息和数据放在一起，变成类似群组。找到偏差其实是排除异己，把不正常的信息找出来，排除出去，确保信息安全。序列模式和关联规则就是把不明显的有关系的数据找出联系在一起。预测是根据现有的一些特点来进行动态估算，比较多用的手段是常用的预测方法是神经网络算法和回归分析算法两种.2.3数据挖掘软件分类数据挖掘业务水平进步使得很多datamining软件现世，按照功能划分有两种：通用性、可大范围使用的，另一种是为专门行业设置
18、的。后者是按照一些专业范畴的实际要求而打造的，在开发时添加了专门的技能和算法，多了商业化和专业化。以Option&Choices（保险业）为例，这系统在开发的时候就添加了防欺诈的要素。因为是个性化定制的所以软件只可以用在特定的行业，而它有一个好的优点就是准确度比一般的软件更高。通用款的就是没有特殊处理，只用一般的算法设置，常见的有SPSSClementine、SASEnterpriseMiner、IBMIntelligentMiner。这种软件就是可以启动不一样的状态获取不一样的数据.2.4数据挖掘软件选择需要考虑的问题现在有无数款挖掘软件，挑的人眼花缭乱，而一个企业要买到适合自己的软件则要多
19、角度平衡考量。特别需要注意这些问题：一是在处理数据时，能不能完成难题的解答、是否容易上手操作、数据规则找出后答案难度小不小？二是要能做到用技术处理商业难题，保证原数据库的信息能和数据不发生冲突，能获取数据、能理解信息、能保存成功、还要具备可视化水平，更要确保模型的质和量。当然，这些都只是基本要求，在购买本企业使用的软件还得分析自己的行业特性、企业需求、特殊要素来甄别选择。2.4本文数据挖掘软件的选择及算法介绍我们在研究时以软件的基本功能、安全度、和电信数据的适应度、可靠度为指标，选择了SPSSClementine作为挖掘工具。K-MEANS算法是输入聚类个数k，以及包含n个数据对象的数据库，输
20、出满足方差最小标准的k个聚类。k-means算法接受输入量k；然后将n个数据对象划分为k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”（引力中心）来进行计算的。3基于数据挖掘的电信数据分析3.1电信业务下滑客户分析现在通信行业的竞争剧烈，用户不稳定性增加，很多电信用户成为其他家的用户，所以要壮大市场占比就得先争取用户。在留住老用户的时候多争取点新用户。我们需要做的是：一、把用户做一个聚类分析，设置划分规则，把规则当作节点，首先建立电信业务下滑客户聚类模型，对客户数据进行聚类，先确立不同的聚类把非
21、业务流失的用户单独拉出一个表格，通信费用大幅度变动的用户划分到业务下跌的群类别中。然后用表节点把这些用户的信息成列展现，从中找出流失的因素。通过之前所有的步骤搜集到的讯息来确认用户特点，找出流失的内因。在这些群体中再按照各一半的占比标示出业务有下滑和没有下滑的用户各自存在哪些特殊的征兆，打造决策树，先细致分析每位用户的通话时长（长途电话费）、上网时间、正在使用的品牌，然后再根据这些要素来做新的营销方案。中国通信业发达，市场压力也大，运营商多了，用户就更加不稳定了，这就使得业绩流失和用户出走更加频繁。要想留住用户就得自身有实力、有竞争力。提高实力可以借助数据挖掘模式，运用挖掘手段设置用户模型，剖
22、析成因得到数据，开始预测，早作计划，做出新的营销方案给予市场回应，拉拢用户，也能从数据挖掘到的结果中发现自己的弱势，了解用户所以性质，针对性营销，增加自己的实力.3.2电信用户GPRS业务关联分析当前的通信技术是3G。GPRS是代和3代之间的2.5代，未来很长阶段都会是主要地位，也就是说人们还要使用2.5代技术。这一代艺术发现了移动网络的魅力，让用户的爱好和需要得到了验证和满足，算是电信行业内的核心资源，产生了很大的利润。并且，它的未来发展还有很大的空间，需求度高，是现在的业务关键项目。不过，在这个行业压力绝大的市场，要想得到更多青睐，获取更多的用户认可度，增加市场额度，就要抢先一步攻占3G份
23、额。在使用数据挖掘之前人们没办法判断非绑定GPRS业务可发展群体，不知道现有非绑定GPRS业务客户的特点？没办法找出客户的需要，更不知道怎么才能让这些人去办理业务，没有好的营销方式，数据挖掘技术诞生后，我们能借助它来设置业务模式进行分析探索，进而获取用户特质、需求、风格，促进业务营销，得到更多收益。GPRs业务关联分析模型有很多个步骤，大致有以下8个主要的步骤：数据集合、高阶用户数据集、高价值客户分类、商业需求分析、GPRs业务关联剖析、处理数据、发表模型发布、估算模型。最开始做的是对商业需求进行剖析，这一行为可以借助数据挖掘技术对GPP,_S业务用户的特征、消费力、爱好等作为指标打造一个GP
24、RS业务关联模型，对相关内容一一解析，找出规则，借此导出可发展用户，从而完成客户数增加、收益增多的目的。然后要开始对数据进行操作，以用户特征为标准，归类多个组，选出最具潜力值的用户类。第三步，客户喜好挖掘，可以借助关联性原则。第四步骤是发现电信GPRS业务高阶用户（即有较高消费潜质或价值的部落）。要达成有效模型的诞生就需要先展开聚类解析。以消费额度为标准划分等级，选择一个值作为高阶用户的水准线。这样做是为了发现业务最大的关联性，进而通过关联来进行业务推广和营销。本节分析的电信客户非绑定GPRS业务关联分析模型的流程如图3.1所示：图3.1电信GPRS业务关联分析流程图生成的关联分析模型的内部结
25、构如图3.2所示：图3.2关联分析内部结构图第一行的分析指标的含义是：在总的分析的客户群体中约有5%的客户定制了手机钱包、手机视频业务、手机电视MBBMS的一定定制了快讯DCD业务，也就是可能性是98.7%。一般来说置信度到70%以上都是很理想的一个数值，而这里得到的置信度都是高于80%的，这对于业务的关联分析是很有效的，但是这里支持度不高，对于业务的推荐是可以了，但是如果用这些数据来做决策的话(如套餐的修改，价格的制定，不能只是为了满足一部分较少的客户而制定，这样是很浪费资源的)，显然是不明智的选择。这样就得找到关联强度较高的业务。这时候用web分析做进一步的模型构建及分析。web分析是分析
26、各项业务的关联强度的，其中两项业务之间的线条越粗代表两项业务之间的关联强度就越大，如图3.3是关联强度超过2000的关联强度图：图3.3GPRS业务关联强度图电信运营商可以通过关联分析和web分析所得到的结果，有目标地对客户进行业务销售，可以在很大程度上降低营销成本，提高销售成功率，例如对使用手机视频业务的客户推荐快讯DCD业务、对使用音乐随身听业务的客户推荐手机视频业务等，这样有针对性的业务推荐可以很好地提升商业营销的成功率，相对地减少营销成本，提升客户价值和企业效益。3.3电信非绑定GPRS业务客户预测对用户办理GPRS后的行为进行观察，借此开始其他优秀的项目，同时还可以通过GPRS的使用
27、曲线得出用户的标签和属性及其消费力度、消费偏好，再以我们得到的用户特点和消费水准打造新的类似的项目，将这项目推广给还没使用过GPRS项目的人群使用，展开项目也对用户特点进行考核。本节分析的电信业务客户预测分析模型的流程如图3.4所示：图3.4电信业务客户预测析模型建立与分析流程图数据挖掘使用到非绑定GPRs业务用户身上，进行分析和预测的环节有剖析商业需要、对信息数据做个初步操作、训练集、数据集、模型训练、研发模型、GPRS业务客户预测模型、模型估算等。一、剖析需求。从用户套餐消费情况来看用户特点，得出规律后把套餐推销给有相同特点但是每天办理套餐的用户。当然，要完成特点获取和消费规律的统计还要依
28、赖决策树，构造出分析模型。二、操作信息数据，删除不必要的，留下有用的，并搭建模型。三、预测模型完成（特指为GPRS套餐设置的）。在搭建的过程中就要检测可用性，构造实用的模型。现实业务推广中，要以模型推导出的和规律一致的潜在用户为销售目标。3.4总结与展望本文的试验研究建立在中国电信某分公司的“某业务精确营销模型研究及推广”项目开展前提下，借助DM现有研究成果和实际应用水平，将电信剖析和，DM技术的决策树、聚类分析、关联规则三个算法结合起来。作者个人专业积累受限，试验和分析尚有缺陷，还要根据实际反馈进一步改进，以下几点就是改进方向：加强DM、操控数据、数据仓库和各软件算法的专业素养，对本文设置的
29、模型改造完全还要将试验成果进行编程呈现一个更直接简单完整的模型。受各方面因素影响，电信核心数据没能全部获取，这对模型设置和数据研究都产生了一些阻碍，在接下来的研究，会争取获取更精准的数据和信息，将这些实际用户的信息添加到数据仓库里，打造更完善的模型，策划更棒的营销策略.致谢：在本课题开展实验时，我的导师给予了强烈的支持和耐心的指导。导师广博的专业素养、谨慎严肃的研究状态、深厚的功力及别具一格的教育方式都给我带来了新的洗礼。在两年半的学习中，导师的时刻关怀我，认真指导我，使我的专业素养无论是在知识结构方面还是在实际操作能力上都上了一个新的台阶。导师在课题研究室孜孜不倦求索的态度、一步一个脚印的研
30、究、真挚的待人接物方法是我开启优秀学习、处事风格的向导。从导师身上学到的所有东西都内化为我人生的积累和财富，也会激励我不算进步成长。因此，我要万分感谢导师，向他致以最真挚的感谢。与此同时，我还要对我的同学们表达发自内心的谢意，也感谢一致默默支持我的家人和朋友。谢谢你们的鼓励和支持，谢谢你们的激励。参考文献：1徐建明.客户关系管理在广州电信的应用J.现代企业,2010(11):14-152桂珠等.电信企业基于3G时代的精准营销J.重庆邮电大学学报（社会科学版）,2009,4(5),23-263张恒等.基于SAS聚类分析的用户类型划分J.科学咨询,2010(10):12-14.4贾亚朝.数据挖掘技
31、术在六西格玛管理中的应用研究D.西安:西北工业大学,20075林有宏.电信行业精确营销方法与案例M.北京：人民邮电出版社，2009：178-1846TadesseT,WilhiteDA,HarmsSK,etal.DroughtMonitoringUsingDataMiningTechniques:ACaseStudyforNebraska,USAJ.NaturalHazards,2004,33(1):137-159.7王晓华.电信数据挖掘的数据质量评估技术研究D.杭州:浙江大学，2010.8郑继刚.王边疆.数据挖掘研究的现状与发展趋势N.红河学院学报,2010,2：35-389李淑芬.图书借阅
32、数据的聚类挖掘D.青岛：中国海洋大学，200710盖克.数据挖掘在电信行业客户关系管理系统中的应用研究D.广州：华南理工大学，200711谭维敏.广西电信数据挖掘分析设计与实施D.北京：北京邮电大学，201012章玉.基于数据挖掘的动态公交客流OD获取方法研究D.北京：北京交通大学，201013蒋盛益，李霞，郑琪.数据挖掘原理与实践M.北京：电子工业出版社，2011：66-7014陈秋阳.基于数据挖掘技术的精准营销系统的设计与实现D.杭州：浙江大学计算机学院，201015王玉英，沈灵敏.判别分析在电信客户分类中的应用J.电脑与电信，2011,11,189(35)16刘法伦.数据挖掘在计算机教学评价中的应用研究D.北京：中国石油大学，201017唐九洲.电信行业经营分析系统数据仓库建模研究D.长沙：中南大学，200418水静
