1、基于云计算的数据库关键技术研究剖析基于云计算的数据库关键技术研究 摘 要云计算作为近年来研究与应用领域的热点话题，被大多数IT企业和业内人士认为是下一代计算机网络应用技术的核心架构。云计算环境下，使用者可以不用再花费高昂的硬件和软件成本去拥有强大的计算资源和庞大的存储能力，所有这一切都可以交给云计算服务提供商来完成。目前，设备的信息化管理系统的研发得到了企业的高度重视。由于国内企业的设备现代化程度低、自动化水平落后、设备参差不齐，没有完善和明确的设备故障远程诊断和管理等问题，国内开发的设备管理软件的功能仍然停留在对设备的基本信息等静态数据的管理上，不能满足用户以及应用增长的需求。而云计算平台技
2、术的应用，不仅消除了用户对特定设备的依赖，而且规模可以根据用户和应用增长的需求进行伸缩。凭借云，用户的应用和文档仍然跟随用户，用便携的设备，同样使用自己的应用和文档记性大量的计算和远程管理。本文主要借鉴云计算体系结构，对NoSQL关键点进行研究。论文在对NoSQL 相关技术进行阐述的基础上，研发并实现了一个基于云计算平台的企业设备管理系统。该系统能够为企业建立完整的仪器设备电子档案，对仪器设备的信息进行数字化管理，提高企业设备管理水平。该系统主要包括设备管理模块、统计分析模块、系统管理模块等九大模块。该系统最大的特点是可以不受到某些外界条件的限制（如地域和时间），是未来设备管理系统的一个发展方
3、向。关键词： 云计算；数据库；NoSQL技术；设备管理AbstractCloud computing as a field of research and application in recent years, a hot topic, by most IT companies and industry insiders believe is the core of the next generation of computer network architecture application technology. Under the cloud computing environment
4、, users can no longer costly hardware and software costs to have a powerful computing resources and a huge storage capacity, all of which can be handed over to cloud computing service providers to complete. Not only cost savings, but also do not need to spend a lot of energy. Based on cloud technolo
5、gy for enterprise equipment management system memory design, with respect to the advantages of traditional relational database resides. With the information management business equipment subject to corporate concern and attention, so far, enterprises, universities, research institutions have begun r
6、esearch enterprise information management device. In China, the device management software vendor total around 20. Guangzhou Chint PMiss.o device which integrated management information system can achieve integrated management of the equipment, its function is: Device ledger management, change devic
7、e files, equipment maintenance history, equipment procurement plan, equipment depreciation expenses. Remote device management software, Kunshan device management software are also device management practice and try to study, but overall the domestic development of device management software features
8、 still remain in the management of basic information about the device, such as static data, which is mainly related to the low level of domestic production of business equipment modernization, automation level backward, equipment varies, there is no perfect and clear remote diagnosis and management
9、of equipment failure, whereas the size of the cloud can be scaled according to the actual situation, to meet the growing demand of users and applications. Also eliminates the users dependence on a particular device, by virtue of the cloud, the users application and documentation still follow the use
10、r, using portable equipment, the same applications and documents using their own memory a lot of computing and remote management.In this paper, drawing a cloud computing architecture, NoSQL key points for research. Article on NoSQL background, basic concepts, as well as data models and principles de
11、pend introduced, and learn from cloud computing technology to develop an enterprise device management system, which for enterprises to establish a complete equipment electronic files, for instruments and equipment digital information management, improve enterprise device management level, the system
12、 includes device management module, statistical analysis module, system management module, and other nine modules. For cloud-based equipment management system, its greatest feature is not subject to restrictions (such as geographical and time) certain external conditions, the future direction of the
13、 device management system.Keywords: cloud computing； database； NoSQL technology目 录第1章 绪论 11.1研究背景 11.2国内外研究现状 11.3论文的主要内容和组织结构 21.4本文的创新点 3第2章 云计算相关概述及No SQL技术介绍 42.1云计算相关概述 42.1.1云计算的概念及优点 42.1.2现有的云计算平台 52.1.3云计算的关键技术 62.2 No SQL技术 92.2.1No SQL技术的概念与定义 92.2.2No SQL技术的发展及趋势 92.2.3No SQL的关键技术研究 10第3
14、章 基于云计算的企业设备管理系统的需求分析及构架 133.1企业设备管理概述 133.2系统的功能需求分析 133.2.1设备管理功能 143.2.2统计分析功能 143.2.3系统管理功能 143.3企业设备管理系统的开发模式分析 153.3.1传统的企业设备管理系统开发模式 153.3.2基于云计算的企业设备管理系统开发模式 163.4云计算服务及部署模式的选择 163.4.1云计算服务及部署模式的选择分析 163.4.2云计算服务及部署模式的设计 213.5数据库的迁移 253.6建设云计算平台的关键要素 26第4章 基于云计算的企业设备管理系统数据库的设计与实现 284.1 系统总体设
15、计 284.2系统功能模块的设计 284.2.1 设备管理模块 284.2.2 租借管理模块 304.2.3 运行管理模块 324.2.4 报废管理模块 344.2.5 特种设备管理模块 364.2.6 统计分析模块 374.2.7 合同管理模块 394.2.8 基础信息管理模块 394.2.9 系统维护模块 414.2.10 设备维护管理 424.2.11 设备备品备件管理 424.2.12 设备运行风险分析 424.3数据库的设计 434.3.1CouchDB建模 434.3.2CouchDB实体关系描述 464.3.3数据的查询 534.3.4权限控制与安全 544.3.4 数据表的设计
16、 554.4 主要功能实现 584.4.1 用户登录 584.4.2权限管理 604.4.3 设备台账管理 604.4.4 设备借用管理 614.4.5 设备报废管理 636.2.6 分析统计 644.4.7 设备分类维护 654.4.8 设备状态维护 664.4.9 角色授权管理 674.4.10 设备维护管理 674.4.11 设备备品备件 684.4.12 设备运行风险分析 68第5章 总结与展望 705.1本文的总结 705.2下一步的发展方向 70参考文献 71致 谢 73第1章 绪论1.1研究背景上个世纪90年代，网络作为一个新颖便捷的信息媒介，逐渐被人们所认识。人们意识到它拥有的
17、庞大规模的计算资源，着迷于它带来的巨大的应用前景，并着手研究如何能够高效便捷的使用这些资源。目前基于互联网的新知识经济已经成为发达国家所追求的一个重要目标。显然互联网经济的发展和壮大，已经成为衡量一个国家现代化发展水平与质量的极为重要的指标之一1。“十二五”期间，我国将全面提高信息化水平，推动信息化与工业化深度融合，实现三网融合，构建宽带融合安全的下一代国家信息基础设施。这是日前公布的中共中央关于制定十二五规划的建议，是2010年10月18日中国共产党第十七届中央委员会第五次全体会议通过的。目前，云计算技术的推广和应用使人们拥有了在网络中使用大规模分布式计算资源的能力。云计算作为近年来研究与应
18、用领域的热点话题，被大多数IT企业和业内人士认为是下一代计算机网络应用技术的核心架构2。云计算环境下，使用者可以不用再花费高昂的硬件和软件成本去拥有强大的计算资源和庞大的存储能力，所有这一切都可以交给云计算服务提供商来完成。既节约了成本，又无需耗费大量精力3。本文主要借鉴云计算体系结构，对NoSQL关键点的研究。文中对 NoSQL 的背景，基本概念、以及所依赖的数据模型和原理进行了介绍，并借鉴云计算技术开发了一个企业设备管理系统，从架构设计到数据存储体现出 NoSQL 相对于传统关系型数据库的优势所在。1.2国内外研究现状随着互联网信息技术的飞速发展，云计算逐渐成为各企业和各公司之间竞争的热点
19、，各大厂商如Google、微软、IBM, Amazon等，甚至一些不知名的小公司也步入到了云计算领域。现在国际企业由于都有很好的技术背景，他们通过深挖技术基础，把大量以前的产品和技术中的云计算特征挖掘出来，如微软的虚拟化。分布式存储系统提出了自己的云计算生产线4。但目前还没有一个真正系统的云计算产品线产生。Google是云计算的提出者和先行者，在搜索引擎技术方面有着多年的积累，在云计算技术处于领先地位，在计算中占有先机。Google的优势在于所有的应用程序都可以存在于云计算中，用户不需要安装任何东西，便可免费使用Google基础设施来完成自己的任务。微软提出了“云+端”的云计算构想，强调“端”
20、在云计算中的重要性。蓝色巨人IBM发布了蓝云计划，通过分布式的全球化资源让企业的数据中心能像互联网一样运行。在基础设施服务上Amazon主要在弹性云(EC2)、简单存储服务(S3)、简单数据(SimpleDB)组成，实现了一个远端存取数据库、亚马逊的简单排队服务(SQS)。 Sun公司宣布推出其开放式云计算平台，即开放式云计算基础构架，该平台也融入了Sun公司的行业领先软件技术，包括Java, MySQL, Opensolaris和开放式存储5。Google File System分布式文件系统，针对Google应用程序的特点提出的MapReduce编程模式，分布式的锁机制Chubby以及Go
21、ogle开发的模型简化的大规模分布式数据库BigTable。IBM的“蓝云”计算平台由一个数据中心、IBM Tivoli部署管理软件(Tivoliprovisioning manager), IBM Tivoli监控软件(IBM Tivoli monitoring), IBM WebSphere应用服务器、IBM DB2数据库以及一些开源信息处理软件和开源虚拟化软件共同组成6。目前我国正处于云计算的革命时期的初级阶段，尽管己经有许多可用的云服务，但更多的应用仍在开发之中，也就是说今天的云计算正在吸引着整个计算机行业中最优秀最大的企业。但国内云计算企业普遍实力不足，有热情的企业规模却不够，有部分
22、企业虽然已经开始进军云计算但并未全面进行推广。移动、电信运营商拥有强大的网络优势、服务器规模庞大、资金实现雄厚，并有从事大规模数据中心建设和运营的经验，且在我国具有网络垄断地位，这为其云服务的前期推广提供了方便。阿里巴巴拥有良好的用户基础，用户访问量相当巨大，他们从SaaS入手，也在逐步进军云计算。1.3论文的主要内容和组织结构本文主要的研究内容为对 NoSQL 关键点的研究。文中对 NoSQL 的背景，基本概念、以及所依赖的数据模型和原理进行了介绍，并借鉴云计算技术开发了一个企业设备管理系统，从架构设计到数据存储体现出 NoSQL 相对于传统关系型数据库的优势所在。文章主要由五部分构成：第一
23、部分是绪论部分，简单介绍了文章的研究背景、研究现状以及创新点；第二部分是相关技术的介绍。主要介绍了云计算和No SQL的概念、特征、关键技术；第三部分是基于云计算的企业设备管理系统的系统需求与构架研究。这一部分对系统的需求进行了分析，并阐述了系统的开发模式；第四部分是基于云计算的企业设备管理系统数据库的设计与，主要选择NoSQL家族产品之一CouchDB对系统后端进行分析设计，体现了其在架构方面的优势；并介绍了系统各功能模块的设计与实现。第五部分是对文章的总结以及对未来研究方向的展望。 1.4本文的创新点本文借鉴云计算体系结构的相关技术设计并实现了一个企业设备管理系统，整体架构采用 REST（
24、Representational State Transfer 表述性状态转移）风格，前端利用 RIA(富客户端)丰富的表现能力为用户提供良好的体验，后端数据建模部分摒弃传统的 RDBMS 而采用 CouchDB，由于其无模式以及文档存储特点，从三个维度体现了其敏捷性：作为 HTTP 服务器为 REST 架构提供更好的支持，作为数据库服务器适应灵活的业务变更，作为应用服务器无需中间层从而成为云计算中最有潜力的产品。第2章 云计算相关概述及No SQL技术介绍2.1云计算相关概述云计算技术的出现是并行计算技术、软件技术、网络技术发展的必然结果。计算机的并行化是它的萌芽期，人们不满足于CPU摩尔定
25、率的增长速度，希望把多个函数并联起来，从而获得更快的计算速度。这种方法被证明是相当成功的。2.1.1云计算的概念及优点（1）云计算的概念云计算能为用户提供按需分配的计算能力、存储能力以及应用能力，最后的目的是方便用户，大大的降低用户的软硬件采购费用。云计算是分布处理、并行处理、网格计算的综合发展，也是虚拟化、SaaS(软件服务), HAS(硬件服务). PaaS(平台服务)等综合应用的结果7。或者说是这些计算机科学概念的商业实现。许多跨国信息技术行业的公司如IBM,Yahoo和Google等正在使用云计算的概念兜售自己的产品和服务。只要我们有一部手机或者一台笔一记本，通过浏览器客户端就可以得到
26、自己想要的服务，甚至包括像超级计算这样的服务8。其实，在这个方面用户才是云计算的拥有者。简单的说，云计算就是利用互联网上处理数据的能力与大型数据计算中心软件，把复杂的计算脱离开单机，运行到互联网上。（2）云计算的优点任何云计算的分析都必须致力于这一新兴技术所带来的优点和缺点。云计算有很多优点。1）更低成本的用户电脑及软件。由于应用程序在云中而不是在台式机上运行，台式电脑并不需要传统的桌面软件所要求的处理能力和硬盘空间。因此，用户的电脑可以是低价的，具有较小的硬盘，更少的内存，更高的处理器等9。用户也无需为自己的台式机购买单独的软件包，只有实际使用应用程序的员工需要访问云中的应用程序。即使使用基
27、于Web的应用和使用类似的桌面软件相同，IT人员也节省了在组织中的每个桌面上安装和维护这些程序的费用。2）更高的性能和较强的计算能力。在云计算中计算机的启动和运行速度将会更快，因为他们只需将少量的程序和进程加载到内存中。云计算使用了数据副本容错、计算节点同构可互换等措施来保障服务的可靠性，使云计算比本地计算机更可靠。同样，在云计算中你不只局限于一台单独电脑做事情，我们可以利用成千上万台计算机和服务器的能力，能执行超级计算类的任务。所以，云计算赋予用户前所未有的计算能力，可以尝试完成比桌面上更大的任务10。3）无限的存储容量和高效的数据安全。台式机和笔记本电脑即将用完的存储空间，与云中可以使用的
28、数百PB(100万千兆字节)容量相比，它们是那么的微不足道。由于云计算提供了无限的存储容量，与单独的台式机相比，在硬盘崩溃时不至于摧毁所有的数据11。云中的数据是自动复制的，不会带来任何损失。即使你的计算机崩溃了，数据仍在云里，仍然可以访问。云计算在一定程度上保持了数据的安全性。4）改进了操作系统之间的兼容性和增强了群组织间的协作。在云里不针对特定的应用，在云的支撑下可以构造出各种应用。操作系统并不重要，可以将Windows计算机连接到云，和运行的其他操作系统(例如Unix、Linux等)共享文件。能够让许多用户在文档和项目上协作的能力也是云计算的优势之一。在不同的地理位置，不同的工作空间里共
29、同做一个项目工作，群组的协作意味着的大多数群组项目的更快完成。因为它使相关的人员全部参与，不受地理位置、空间因素的限制。利用云计算，任何人在任何地点都可以实时协作。5）扩展性强及用户使用方便。云的规模可以根据实际情况进行伸缩，满足用户和应用增长的需求。同时也消除了用户对特定设备的依赖，凭借云，用户的应用和文档仍然跟随用户。用便携的设备，同样使用自己的应用和文档。不用按照特定的设备购买特定版本的程序，或者按照设备特定的格式保存文档。2.1.2现有的云计算平台现有的各个云计算平台技术主要可以划分为3个，以数据存储为主的存储型云平台，以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算
30、平台。（1)存储型数据密集云平台存储型数据密集云计算平台就是主要以提供数据存储、搜索服务为主的云计算平台，通过为客户提供安全便利的云存储服务来赢取客户12。云存储是利用云计算中服务器集群强大的存储能力为客户保存数据，用户不需要知道自己的文件是存储在一个服务器节点上还是多个节点之中，也不需要知道节点是否可信，这些都将由云服务器来处理解决。云存储的实现并不存在技术上的障碍，它需要云设备、云软件、云服务等有机地集合在一起、为用户提供无障碍的云服务。现有的云计算提供商都提供基本的云存储服务，这些存储服务都是基于各自提出的分布式文件存储系统。Google拥有如今最大的信息库和知识库，对海量存储有自己的独
31、特之处，提出的GFS文件存储系统能够实现对文件系统实时监控、容错检测、自动恢复等功能，是建立在不可信节点的存储条件下的相对优良的文件系统13。它对于大型的文件的管理是高效的，优化程度也很高，但是对于小文件的存储并没有提供有效地优化方案。使得它并不能完全适应云计算环境下的海量的小文件存储。FastDFS是一个开源的文件系统，也在大容量存储和负载均衡上做的很优秀，但是在小文件存储上仍没有合理地优化。(2)计算型计算密集云计算平台计算型计算密集云计算平台就是主要以数据计算、处理服务为主的云计算平台，为用户提供相应级别的高性能计算环境。用户还可以根据自己的需求选择相应的计算能力14。通过云计算平台的高
32、性能计算能力，用户和企业均能获得与现有的大型机相媲美的计算能力，进行大规模的数据处理计算，方便了企业和个体用户。(3)综合云计算平台综合云计算平台是将云计算强大的存储与超能力的计算有效地整合，在合理利用云集群存储节点的存储空间的同时，不浪费各个节点的计算能力，通过相应的策略实现集群存储和运算能力的整合，对数据进行处理计算15。2.1.3云计算的关键技术基于云计算特点以及特有的开发平台方式，概述了云计算与网格计算以及传统的超级计算的区别，总结了云计算的关键技术:编程模式、数据存储技术和管理技术、虚拟化技术。云计算以数据为中心，是一种数据密集型的新型的超级计算方式。下面对这三大关键技术作一个介绍。（1）简单方便的编程模式在云计算系统中，简化了系统处理过程的复杂性。编程模式方便简单，为用户享受云计算提供的云后端资源提供了方便。简单的编程模式成为云计算发展的未来趋势，后台的并行执行和任务调度提供了开源的代码，使编程人员可
