大数据量解决方案篇1
一、数据量大且冗余大的企业适合使用重复数据删除技术
在对企业的信息化数据进行存储与备份时，超大的容量一直是项目管理员比较头疼的问题。有不少企业，可能一年就需要升级一下存储设备的容量。在这种情况下，采用重复数据删除技术能够起到一定的效果。
通常情况下，企业的数据量越大，备份数据中所包含的冗余部分也就越多。虽然说增量的数据备份策略只是备份那些有变化的文件，可以在一定程度上提高备份的效率、缩小磁盘空间。但是这个赠量备份策略通常也会包含比较多的冗余的数据块。因此，对节省磁盘空间的效果并不是很理想。
此时，企业可以尝试使用重复数据删除技术来消除冗余的数据块。通常情况下重复数据删除技术的核心优势就是保存唯一一份备份数据的数据段。简单地说，当数据写入到备份设备时，数据会被分割成可变长度的数据段。重复数据删除解决方案会实时地将该数据段与已经存储的各个数据段进行对比。如此的话，就可以保证每个唯一的数据段在存储设备上只保留一份。因为重复数据删除技术可以在文件内或者文件间，甚至数据块内发现重复的文件和数据段，所以，实际所需要的存储空间也就比所需要保存的数据量低一个数据级别。容量优化效率的高低主要取决于所采用的算法。
如果企业想大幅度地降低其存储容量，并且企业的数据存在比较大的冗余(如2011年的报表是在2010年的基础上延续下去的)，此时就可以使用重复数据删除技术来解决存储容量过大的问题。
不过这里需要提醒的是，其数据压缩的效果直接跟其所采用的算法相关。现在针对重复数据删除解决方案，有不少对应的算法。在选型时，需要评估各种算法的优劣。甚至可以直接测试一下，看看其容量优化效果到底有多大。然后再根据实际情况来选型。
二、数据恢复时客户增量备份所带来的困扰
增量备份只备份有变化的文件或者数据。这可以在一定程度上降低备份的开销，提高备份的效率，但是也存在一些负面的效应。如以oracle数据库为例，有时候全备份方式的备份恢复执行起来要比增量备份快。这主要是因为在增量备份过程中经常要对整个数据库进行扫描，以便发现改变的数据块。而且增量方式在数据恢复时还需要一个完全备份和多个增量备份文件。此时就会增加数据恢复的复杂性、降低数据恢复的速度。如果企业的数据管理员，正在为增量备份所带来的这些问题所困扰，那么可以试着使用以下重复数据删除技术，看看能否帮你解决问题。
笔者还是以oracle数据库为例。如果现在我们利用重复数据删除技术对oracle数据库文件进行备份，会有什么样的改善呢？对于增量备份来说，数据块的遍历是对数据库进行全表扫描，以便发现改变的数据块。这往往需要比较长的时间，而且其所需要的时间与数据库的容量成正比。而以磁盘为介质的备份设备具有高性能和在线重复数据删除的功能。因为，在对oracle数据库进行多个完全备份时，只用了很少的存储空间(因为消除了冗余的数据块)。此时企业进行完全备份和数据块级的增量备份所占用的存储空间基本相同。而与普通的备份设备相比，使用重复数据删除技术的设备做完全备份时，可以节省95%以上的存储空间消耗。在某些场合中，其磁盘节省的效率比增量备份还要高。
简单地说，从数据存储空间、备份效率等综合效果来看，重复删除技术+完全备份>增量备份。如果企业采用了重复删除技术的存储设备，那么就不需要再对数据库进行增量备份，而直接采用完全备份即可。此时即不用担心磁盘空间的问题，也不用再顾虑采用增量备份时所带来的负面作用。
三、对数据进行异地备份
在数据安全要求比较高的企业，光本地备份还不行，往往还需要对数据进行异地备份。如现在的电子商务网站，其可能在北京、上海各有分支机构。为了数据的安全，不同分支机构的数据要进行相互之间的异地备份，以提高数据的安全性。在进行异地备份时，数据管理人员最关心的莫过于数据的容量。当数据的容量比较大时，不仅需要比较多的备份空间，而且在异地备份时对于带宽的要求也比较高。正是由于这种原因，异地备份需要企业比较高的成本。这也限制了异地备份策略在企业中的应用。
数据重复删除技术很好地解决了这个问题。因为采用了重复数据删除技术之后，其备份文件的容量已经非常的小。即使每几个小时进行一次完全备份也只需要少量的磁盘容量。然后将这个备份文件通过互联网进行传输时，还可以大大地节省网络带宽。从而可以帮助企业降低远程备份的成本。
在远程数据同步作业中，重复数据删除技术也非常的有用。如笔者有一家客户，他们就将备份数据的在线复制当成异地磁带存储的替代解决方案。简单地说，就是其服务器在北京，然后在上海再设置一台备份服务器。将a服务器的数据与上海备份服务器的数据进行同步。正常情况下使用北京的a服务器，等到a服务器因为某种原因出现故障时，则立即利用上海的服务器代替。此时由于采用了重复数据删除技术，大大缩小了备份文件的容量，加快了网络的传输速度。
四、要与现有设备与系统进行有效地整合
不少企业在采用新的信息化应用时，需要考虑如何与原有的信息化设备与系统进行有效地整合，即要考虑系统与设备之间的兼容性问题。在采用重复数据删除技术时也存在这种情况。不过不用担心，重复数据删除方案提供了不同的解决方案，以提高这个方案与企业现有环境的兼容性。
大数据量解决方案篇2
关键词:
数据仓库;案件处理;数据挖掘与联机分析处理
中图分类号:tp
文献标识码:a
文章编号:1672-3198(2010)16-0318-01
0引言
决策支持系统(DSS)是在管理信息系统的基础上发展起来的,在数据仓库(Datawarehouse)、联机分析处理(oLap)技术和数据挖掘(Datamining)工具出现以前,DSS使用的数据库(DB)只能对原始数据进行一般的加工和汇总,致使决策所需信息不足,难以满足DSS的需要。随着计算机的普及和信息技术的迅速发展,信息量的激增,各领域管理人员的有效决策需求,决策支持系统在数据库、知识库和人机交互方面得到了长足的发展。目前开发的综合DSS是以数据仓库技术为基础,以联机分析处理和数据采掘工具为手段进行实施的一整套解决方案,这一解决方案正在应用于各行各业的管理决策中。当今社会,社会治安案件和刑事案件成多元化发展,种类繁多,使得公安部门对于案件的处理造成一定的影响。而网络迅猛发展,基于公安内部网络的案件联查性有了更高的要求,需要实时更新案件的发展以及犯罪嫌疑人资料查询、追查等。本文提出了基于数据仓库的一种解决方案。
1数据仓库原理概述
数据仓库概念创始人w.H.inmon对数据仓库的定义为:数据仓库就是面向主题的、集成的、稳定的、不同时间的数据集合,用以支持经营管理中的决策制定过程。所谓面向主题,是与传统数据库的面向应用相对应的;所谓集成的,是因为数据仓库中的数据来自于组织不同系统的面向应用的数据;所谓不可更新,是指一旦某个数据进入仓库以后,一般情况下将被长期保留;所谓随时间变化的,是指数据仓库中的信息并不只是关于组织当时或某一时点的信息,而是系统记录了组织从过去某一时点到目前以及顺沿的各个阶段的信息。
数据仓库的主要功能就是将决策支持系统所需要的信息从日常的营运数据中抽取出来,把分散的、难于访问的营运数据转化为集中统一、随时可用的信息,同时提高了访问和处理数据信息的速度和效率。数据仓库的提出以关系数据库、并行处理和分布式技术的飞速发展为基础,目的是解决在信息技术发展中存在的拥有大量数据、然而有用信息贫乏的问题。数据仓库并不是一个新的平台,而是一个新的概念,它仍然建立在数据库管理系统基础上。数据库是一种通用的平台,用来管理企业的数据;而数据仓库则是某一问题解决方案的实施过程。数据仓库不是可以直接购买到的产品,主要是一个问题的解决过程。数据仓库中通常包含原有的详细数据、当前的详细数据、低度概括数据、高度概括数据和元数据等信息。
2基于数据仓库决策系统一般框架
数据仓库技术、联机分析技术和数据挖掘是作为三种独立的信息处理技术出现的。数据仓库技术用于数据的存储和组织,解决了DSS系统的数据库内数据不一致的问题;联机分析技术为用户提供了数据在线分析模型;数据挖掘则致力于知识的自动发现,三者并没有内在的依赖关系。但是这三种技术却有内在的联系性和互补性,为了充分发挥它们各自的特长,可以将它们结合起来,提出一种通用的DSS构架,即以数据仓库为基础、将oLap和Dm紧密结合(Dm+oLap+Dm=DSS)的一整套可操作、可实施的解决方案。这一综合解决问题的实施方案,可以使决策者运用oLpa或Dm工具对已提炼过的信息进行多维分析,从而实施有效的问题解决决策。
3基于数据仓库的案件处理信息分析和决策
3.1案件处理分析系统的特点
在案件处理信息分析中,所有的信息传递都是计算机在网络技术环境支持下进行的,总队与总队之间,支队与支队之间,通常都是非直接接触的,时间通常是异步的,空间通常也是分离的。在案件分析处理过程,往往都是调用数据库里的资料。
为了便于信息查询,提高案件侦破速度,采用数据仓库原理和技术对这些数据进行存储和处理是一种可行的方案。这些数据来源于公安内部网络,多数都是非结构化和半结构化的,运用数据仓库的数据预处理技术来进行数据的标准化处理和清理工作,把教学数据和反馈数据进行整理送往数据仓库数据库;运用数据仓库的管理层来对这些数据进行管理;并运用oLpa或Dw工具,按照案件分析需求进行分析和采集数据,从而为各种治安和刑事案件有总体划分,并对犯罪嫌疑人的信息进行归类,方便查询。
3.2数据来源与分析
系统数据主要是来源于各总队网络织所积累的大量数据。这些数据来自于每个支队的数据库,主要包含案件的种类,大小,时间,地点等。按照数据分析和教学决策的需要,数据仓库可按如下主题组织:案件种类,案件大小,案件发生时间,案件发生区域,将数据仓库中相关数据集合转换为多维数据库。建立种类维、大小维、时间维和区域维。种类维以“治安”和“刑事”为粒度来划分;大小维以“大案”和“小案”为粒度划分;时间维以“年”和“月”为粒度划分;区域维以“省”、“市”为粒度划分。在我们使用的中间数据库的引擎是关系数据库引擎,而我们所追求的却是基于多维空间的分析操作,所以需要一个逻辑模型将二维平面的中间数据库数据映射为多维分析所需要的多维空间的数据。另外,我们应当允许用户自由地定义该逻辑模型,也就是自由地组织多维空间的各个坐标轴以及各坐标轴上的粒度。我们只需要提供一个定义该多维模型的工具以及完成从该逻辑模型到中间数据库平面数据的映射即可。
3.3系统数据模型和功能结构
系统采用“星型架构”来表示多维概念模型,采用星型模型的数据库中至少包括一张“事实表”。“事实表”中的每条记录都包含有指向各个“维表”的外键和一些相应的测量数据,即度量值。对于每一维都有一张“维表”,“维表”中记录的是有关这一维的属性。该系统的功能结构采用C/S体系结构,由客户机、应用服务器和数据仓库服务器构成。客户端采用Javaapplet实现用户界面,oLpa和Dw在应用服务器中实现。底层数据库/数据仓库在数据库服务器端实现。客户端用来向决策者信息或提交查询并返回结果。应用服务器处理应用逻辑,必要时从数据库服务器获取数据,再向客户端返回结果。数据库服务器处理案件数据的清理、转换和形成各类案件数据集合,以及案件处理分析数据仓库的更新维护。
4结束语
数据仓库技术为决策支持的发展提供了一套有效可行的体系化解决方案,它是解决问题的过程,而不是一个可以获得的软件产品。本文采用数据仓库的原理与技术,尝试着进行案件信息分析,只是给出一个一般意义上的解决框架。一个完整的DSS数据仓库解决方案应集成了数据仓库、oLpa和数据挖掘三种信息处理技术,有利于推动各类案件的分析处理,提高案件的侦破速度。
参考文献
[1]王珊.数据库和联机分析处理[m].北京:科学出版社,1998,(8).
大数据量解决方案篇3
关键词：供热数字化；解决方案；设计
中图分类号：tU995.3文献标识码：a文章编号：1673-1069（2016）20-113-2
0引言
为了能够全面地推动供热信息数字化的发展，以我国目前的供热系统的实际情况为根据，科学合理地设计和建设供热数字化解决方案。通过供热数字化解决方案能够对大量的可以反映供热状态的数据和日常管理数据进行收集，并且通过计算机技术做好数据的分析工作，有效地处理供热数据以及供热系统整体状态两者之间的关系，从而将有效的信息提取出来，将合理的依据提供给企业的决策和预测工作。
1供热数字化解决方案概述
1.1供热数字化解决方案的开发背景
作为社会的窗口行业，供热行业供热质量的好坏直接决定了千家万户的冷暖问题，同时还与百姓的生活水平和社会安定具有密切的关系。在我国社会不断发展以及城镇化进程不断加快的今天，供热企业规模变得越来越大，而且用户对缴费的准确性、快捷性、方便性变得越来越高。尤其是季节性集中供热是供热行业的一个特有的特点，在供热期来临之前老百姓都要集中缴纳取暖费用，因此供电企业面临着越来越大的收费压力和供热信息量，同时也面临着越来越复杂的管理工作[1]。所以，供电企业必须要将手工管理的模式摒弃掉，通过供热数字化解决方案填补在日常经营管理中和收费管理工作中存在的各种漏洞，将一套专业、稳健、成熟的信息系统建立起来。
1.2供热数字化解决方案的含义
所谓的供热数字化解决方案主要是指立足于供热企业中的关键业务功能，将提升工作效率、数字化管理基础信息以及规范业务流程等作为目标，利用各种先进的软件技术等建立起来的数字化业务管理平台，其除了包括开关阀门管理、欠费管理、用热费用收取、用热客户信息管理等各种核心的功能之外，同时还包括客服投诉、统计分析供热数据和查询等一系列的功能，有机地整合供热企业的生产站点、管网检修、调度、客服部、计划部、财务收费部等各个部门的职能，属于一整套的完善的供热企业管理系统。
2供热数字化解决方案的设计原则
2.1可扩展性和可操作性
供热数字化解决的方案除了要确保功能的完善性之外，同时还要将维护方便、操作简单的特点体现出来，此外，还要对供热数字化方案的灵活扩展能力进行考虑，确保系统具有较好的伸缩性，能够充分地满足公共建筑能耗监测、热用户―换热站―管网热源的三级结构的发展需求。在建设供热数字化解决方案的时候除了要对系统的维护、升级进行考虑，还要确保相应的接口的二次开发工作[2]。
2.2技术先进性和实用开放性
只有积极地通过先进实用的技术构建供热数字化解决方案，才能够实现其系统功能，同时通过先进的技术还可以确保供热数字化解决方案的高效运行和前瞻性。严格遵照开放性的原则构建供热数字化解决方案可以有效地提升方案功能的可操作性和实用性。
2.3标准化
在建设和设计供热数字化解决方案的时候必须要严格遵守国家和地方的相应标准和规范要求，通过标准的技术和方法设计和开发供热数字化解决方案。只有使供热数字化解决方案实现标准化，才可以确保其具有较高的通用性和影响力[3]。
2.4安全稳定性
对供热企业来说建设工作数字化解决方案具有十分重要的意义，为此，在设计供热数字化解决方案的时候必须要严格遵守稳定性、可靠性和安全性的原则。
3供热数字化解决方案的具体设计
3.1供热数字化解决方案的结构
在总结和分析现阶段成熟软件系统的运行状况的基础之上，严格地以工具系统的实际运行情况为根据，将供热数字化解决方案的系统结构确定下来，其主要由现场终端设备、通信网络和监控管理中心等三个部分共同组成。
首先，监控管理中心：供热数字化解决方案的监控管理中心主要是由具有各种功能的工作站和服务器等组成，其主要的功能就是进行网络、报警管理、控制操作、运行状态显示、采集后数据的处理和存储等。
其次，通信网络：在供热数字化解决方案的通信网络中能够选择多种通信方式，利用Vpn、pStn、aDSL、CDma、GpRS等不同的方案进行通信，各个换热站节点都能够与监控管理中心之间实现及时、快捷、高效的数据通信，在具体的通信过程中可以保证实现56kbit/s以上的通信速率[4]。
最后，现场终端设备：现场终端设备主要包括现场一次性数据采集仪以及换热站自动控制设备等，比如电动阀流量、压力阀、温度阀等，利用供回水的流量、压力、温度和电动调节阀对水泵的室外温度、故障、电流、频率和运行状态等各项参数进行控制和反馈。
3.2供热数字化解决方案的具体设计
3.2.1数据监控管理中心的设计
在进行需求分析的基础之上，将监控管理平台的技术要求确定下来，并且构建数据分析系统数据管理系统和数据实时监测系统。在数据中心将管理服务和服务器、各种数据处理器、数据库等建立起来，同时还要构建GpRS服务器等相关的服务器。选择统一开发的监控系统完成数据监控管理中心的各项主要功能，其中包括数据同步、系统管理程序、采集数据显示、上报数据发送、能耗数据汇总、仪表能耗数据计算、数据解析服务、数据采集网关命令下达、数据采集报文的接收、数据接收服务等。在进行数据采集工作的时候需要按照10min/次的数据采集频率来进行。选择B/S结构，分web层、业务层和数据层等三个不同的部分针对供热数字化解决方案进行设计。首先，web层：利用web服务器用户就能够实现接入。其次，业务层：业务层主要包括包括报表处理平台、信息平台、目录服务平台和数据分析平台等，其中数据分析平台的主要功能就是对数据进行采集，并且统计和分析能耗；目录服务平台主要就是要将不同的数据索引建立起来；信息平台主要就是分布和共享web信息；报表处理平台可以以不同的需求为根据将各种各样的曲线、图形和报表形成。最后，数据层：数据中心采用分析型数据库作为数据层，从而能够对数据进行高效地分析[5]。
3.2.2数据采集系统的具体设计
在换热站现场将数据采集系统建立起来，其主要的作用就是采集存储和传送各类民用建筑供热仪表的数据，由通信设备现场仪表和现场采集设备等共同组成了现场数据采集系统，利用数据采集处理器来实现数据采集工作，选择成熟的多核嵌入式架构作为数据采集器，通过mBUS、RS485等不同的方式对数据进行采集，并且在数据库中保存采集的数据。利用相应的系统软件分离供热参数，并且将数据报表形成。数据采集上传的内容主要包括时钟、设备、故障代码、耗电量、耗水量、累计流量、瞬时流量、累积热量、瞬时热量、回水温度、供水温度和室外温度等。因为具有较多的供热能耗监测点，再加上较小的数据传输和监测点分散等因素，因此选择GpRS无线数据传输模式进行数据传输，不同的点都具有固定的ip地址，从而将一个局域网形成，确保实现远程数据传输的目的。
4结语
供热数字化解决方案能够以不同换热子站在每天的具体运行情况为根据对大量的日常管理数据进行收集，而这些数据可以将现阶段的供热状态很好地反映出来。通过计算机技术分析处理这些数据，并且采用直观的曲线、图形和报表等显示这些数据，从而获得有效信息，使企业更好地调整供热系统的策略，并且有效地节约能源。
参考文献
[1]孟志强.锡林浩特集中供热系统解析[J].电子世界，2014（12）.
[2]韩超.数字化供热信息系统在供热企业中的应用[J].信息与电脑（理论版），2012（08）.
[3]张伟，刘家明.智慧供热系统技术及应用[J].节能与环保，2016（04）.
大数据量解决方案篇4
关键词：VBa；宏；信息化；档案管理；办公自动化
中图分类号：tp391文献标识码：a文章编号：1009-3044（2013）24-5553-02
1档案信息化管理中的软件环境
由于microsoftoffice系列办公软件在办公自动化领域有着其普遍权威，所以一般规模的档案信息化管理中，一般使用access进行数据存储与处理（也可以使用mySQL），用excel进行数据分析，word进行文字排版处理。该文中介绍的VBa（VisualBasicforapplications）是VisualBasic的一种宏语言，主要用来扩展windows的应用程式功能，在microsoftoffice软件中应用特别广泛。
2档案信息化管理中VBa的应用
在这个部分，将介绍一些VBa在档案信息化管理中的实际应用，来展示VBa为现代档案信息化管理工作带来的便捷与高效。
2.1excel表数据一键更新到数据库
在档案信息化管理工作中，数据的存储与维护是其核心工作之一。它在档案管理中具体工作表现为对档案信息数据库的维护与管理。最常见的就是新数据的录入与更新，一切操作均需要在数据库环境下操作，这不仅对管理员提出了一定的技术要求，而且其操作相对繁琐与低效，成为实际工作中效率提高的瓶颈所在。
这里通过VBa带来一种解决方案，首先将档案管理的原始数据录入excel，然后通过一个按钮调用VBa程序，实现将excel表中的数据更新到数据库中。
这个方案有两个特点：
1）将原始数据录入excel而非数据库。这样一方面大大降低了管理员的操作难度，另一方面数据在上传数据库之前存放在excel中，可以有效的进行审查，审查无误后，再上传数据库，可以有效的避免将错误的数据直接录入到数据库中。这样既简化了操作，又形成了数据的缓冲区，对数据库的维护与管理提供了一个更便捷、更安全的方案。
2）使用VBa封装了数据库的操作细节。在VBa中，封装了数据库的连接，数据的上传等操作细节。然后通过一个按钮绑定这段VBa程序，管理员就能轻松的通过单击按钮来完成数据向数据库的上传与更新。管理员只需要熟悉excel，就可以轻松的对数据库数据进行更新，无需相关数据库的操作知识。大大降低了数据更新的难度，有效的提高操作效率。
2.2数据库界面化查询与处理并将数据同步到excel表
在档案信息化管理工作中，另一个核心是对数据的查询与处理及数据的应用。实际工作中，我们通常是在数据库中完成实际的数据查询与处理，同时针对查询和处理的结果进行应用。在这个过程中，一方面同样需要管理员具备相关的数据库操作技能，另一方面数据库中的数据的管理和应用是统一在数据库环境中的，从而导致对于查询和处理结果的数据库外应用与重复应用造成一定的不便。同时对于数据应用对于数据库的安全性也产生了关联影响。
这里的解决方案是：首先在excel表中使用VBa控件，将数据库操作环境界面化，常用数据库操作功能化；然后应用VBa中的CopyFromRecordset方法，将数据库查询或处理的结果数据同步或者导出到excel表中。
这个方案的特点有：
1）数据库功能界面化封装。使得管理员在excel中界面化的操作数据库，简化数据库的操作难度，提高操作效率；
2）数据库数据的管理和应用分离。使得数据的管理在数据库中，数据的应用在excel中。因为可以即时的同步更新，excel中的数据就如同是数据库数据的一个镜像。也可以将数据库查询的结果另存到excel中，用于以后的重复使用。这个特点强化了数据库数据的安全性，也拓展了其重用性。
2.3word中调用excel表数据
在档案信息化管理工作中，数据的应用可以说是最常见的日常工作之一。在实际的工作中，经常会遇到在具有某种固定格式的world文档中要求使用excel表中数据的情况。这就要求world与excel协同工作，充分发挥它们文字排版与数据处理的特点。然而在软件的常规功能中，缺乏有效的解决方法，档案管理中，确实令很多管理员烦恼。
这里仍然通过VBa来解决，使用VBa程序作为两个软件间的桥梁，在固定版式文档中的指定位置调用excel数据。档案管理工作中，常常应用在如员工工资条的制作与打印等制作过程繁琐重复的实例中。使得管理员从单调重复的工作中解脱出来。对于常用文档只需一次制作，便可以实现重复使用。使得实际的档案管理效率得到有效提高。
2.4VBa自动化批量处理
在档案管理工作中，经常会遇到很多重复单调的操作，如打开不同路径的多个常用excel文档，备份多个不同路径的文件到指定路径，批量对文件进行重命名等等。这类操作管理员明知是简单重复的操作，但又苦于没有很好的解决方法。把大量的精力用于这类操作，工作效率可想而知。下面介绍VBa在档案管理中常用的两个批量处理操作中的应用。
1）自动化批量合并与汇总
在档案管理中，常常要将不同部门发来的多个excel表进行合并汇总生成一个总表，便于对数据进行整体分析。这里同样通过VBa编写一段程序，并绑定到一个按钮上，管理员就可以通过单击按钮，轻松完成多个excel文档的批量合并汇总。而且VBa具备很强的移植性，一次开发多次应用。
2）自动化批量压缩与解压缩
在档案管理的日常工作中，另一种最常见工作的就是对于文件的压缩与解压缩。虽然现在有很多不错的压缩和解压缩工具，使用也很方便。对于将大批量的文件，压缩或解压缩至规定的路径中等特殊要求的压缩与解压缩，工具有时可能就显得力不从心了。通过VBa，同样只需要一个按钮，就可以轻松实现。
当然通过VBa实现操作的自动化，批量化的例子还有很多，这里也仅仅是举了两个在档案管理实践中常用的例子。总之，通过VBa在档案管理工作中的不断实践，使得档案信息化管理越来越自动化，也越来越高效便捷。
3VBa在档案信息化管理中的应用总结
前面介绍了几个VBa的实际应用，虽然案例本身并不复杂，只是针对档案管理中常见的数据存储与处理问题和提高工作效率的问题给出了初步的解决方案。该文的应用只是起一个抛砖引玉的作用。至于使得VBa更好的服务于档案管理工作，需要我们更多的经验积累。随着对VBa的了解和认识的加深，会发现VBa是档案信息化管理的好助手，使用它可以提高计算机操作的自动化，解决数据处理的难点问题，提高档案管理信息化与自动化程度。
最后再说一点，很多人认为宏或者VBa是不安全的，特别是听说有种病毒叫“宏病毒”之后。针对宏与VBa的这一误解，在这里稍作解释，宏简单点说是VBa程序，本身并没有什么危害。所以在档案管理工作中，是完全可以安全使用自己写的VBa程序的，关键在于同时要做好档案数据的备份与操作计算机的本身安全。
参考文献：
大数据量解决方案篇5
近年来，互联网的发展像一股不可阻挡的力量，驱动着全球数据中心呈现出蓬勃发展的态势。DatacenterDynamics是专注于为设计、建造和运营数据中心的专业人士提供信息共享的公司，其首席技术官Stephenworn认为，目前由于企业业务的需求，使全球数据中心的数量越来越多，带动了数据中心的增长；而全球数据中心的增长趋势很大程度来自于主要新兴经济体，包括亚洲和拉丁美洲；同时，这种增长将受制于电力资源、水、空间、材料、资金和连通性。
Stephenworn对亚太区（除日本市场外）的数据中心市场以及中国数据中心在亚太区的地位进行了详细的分析。按照数据中心的大小划分，最小型的机房类数据中心只占6.2%，微型数据中心占10.1%，中型（23.4%）和大型（26.2%）数据中心所占的比例明显提高，而占最大份额的是超大型和巨型的数据中心，为34.1%。根据Stephenworn的统计，中国内地大型和超大型数据中心更多些，而中国香港等一些地区则中型和小型数据中心居多。
在数据中心投资方面，Stephenworn认为，数据中心总投资正在逐年上升，在亚太区，2011年为148亿美元，而2013年就达到了192亿美元，其中中国为57亿美元，排在首位，第二名则是印度，为50亿美元。Stephenworn说，3年前中国还排在印度的后面。他同时预测说，2015年亚太区在数据中心方面的投资将达到233亿美元，其中包括：外包（61亿美元）、it优化（70亿美元）和设备解决方案（102亿美元），这三部分都呈现出平稳增长态势。
在耗电量方面，他认为，在亚太区，2013年数据中心的耗电量中国排名第一，达到1700mw；而5年以前，中国还排在澳大利亚和新西兰之后。对于整个亚太区数据中心的用电量，Stephenworn预计将逐年上升，但需要注意的是，2013年实际用电量比预测的数字要少，将达到6075mw，2016年则将达到8510mw。这从一个侧面说明，节能降耗已经开始得到数据中心设计者和运维人员的重视了。
对于中国的数据中心市场，Stephenworn认为可以从三个方面来看：架高地板的面积、机房内的机架个数以及总耗电量。数据显示，这三方面都在持续、稳步增长，值得注意的是，机架数量没有架高地板面积增速快，他解释说，这说明在数据中心里还有很大的潜力可挖。在投资方面，与美国和欧洲不同的是，中国数据中心的投入更多的是在新型数据中心的建设上，也就是设备和基础设施方面。而对于投资的驱动力，他分析说，最主要的来自云、为了提高数据中心的可靠性而增加冗余、促进数据中心的可持续发展，这些其实也是北美或欧洲数据中心共同的驱动力。
数据中心面临的挑战
从技术角度来看，未来数据中心的开发重点在于模块化的解决方案、虚拟化的应用和DCim（数据中心基础设施管理）。Stephenworn认为，中国的数据中心发展非常快，增长速度已经达到20%～25%，而且近四五年每年都会保持这样强劲的增长，在it外包服务方面的增长甚至高于数据中心的整体市场增长，达到30%，“这也就是为什么我们看到现在很多公司不断给客户提供it外包服务，这样可使最终用户减少资金投入、降低运维的复杂性，为最终用户提供更多的便利。”Stephenworn说，其实数据中心建设方或用户最关心的问题是降低资金投入，即能源使用成本，以及降低运营成本。而这使数据中心对能源消耗的监控、能源使用效率的监控和碳排放的监控变得举足轻重。对于碳排放的监控已经引起数据中心用户的重视，在北美、澳大利亚和新西兰等国家已经对碳排放有明确的法律规定，但目前中国还没有明确的规定。
Stephenworn认为，中国数据中心具有其特殊性，其表现在，一是市场的体量非常惊人，二是整个经济包括数据中心市场的增长速度非常快，三是业务的集中化管理导致了对于数据中心市场的需求，四是整个中国用户对于新技术的需求和渴望，造成了中国数据中心市场和其他全球各个地方市场的不同。同样，中国的数据中心也面临着特殊的挑战，比如“虽然中国有很多机房，但不少设备非常陈旧，这种环境不利于客户把数据安全可靠地放在数据中心里”；另外，Stephenworn说，因为用电需求大且多样化，尤其是瞬间需求量非常大，因而导致中国整体控电网络不是很稳定；再有，数据中心方面技术人才的短缺。“技术发展的速度非常快，每天数据中心的首席技术官都会面临着更多的新技术，他们都面临着新的决策，这对于中国的客户来说都是非常大的挑战。”Stephenworn最后说。
数据中心需要绿色解决方案
面对数据中心所面临的诸多挑战，许多厂商提出了各种解决方案，期望通过这些解决方案，帮助用户解决所面对的问题和困扰。西门子公司在全球是为数不多的能提供从规划到实施全套解决方案的厂商，其解决方案遍布数据中心的每个“角落”。
philipKrause是西门子亚太数据中心CoC部门总经理，他介绍说，在西门子数据中心解决方案中，不但包括消防、安防的产品和解决方案，还有为新建和现有数据中心提供的能效解决方案，以及西门子最为核心的供配电产品和解决方案。这些产品和方案保证了为用户规划、建造和实施、运维的数据中心是一个高可用、高可靠的绿色数据中心。
西门子中国数据中心行业经理邓馨说，西门子近年来加大了对中国市场的投入，面向中国用户的产品都是采用全球的技术进行本地化的生产和组装，以满足中国用户的需要。
大数据量解决方案篇6
【关键词】电能质量;在线监测系统;维护;管理
一、贵阳供电局电能质量监测系统及运维管理中存在的问题
根据《贵州电网电能质量在线监测系统总体建设方案》，贵阳供电局于2009年开始试点建设电能质量在线监测系统（以下简称贵阳系统），并于2010年建成第一期系统并投入正式运行。随着2011年贵州省电网公司电能质量监测系统建设二期项目的实施，贵阳系统规模不断扩大，截止目前共有125个电能质量监测点投入应用，覆盖25个变电站。作为地市级系统，贵阳系统可以独立运行，同时作为贵州电网电能质量监测系统（以下简称贵州主站系统）的子站系统，需要定时将数据上传至贵州主站系统。随着电网管理部门对电能质量的逐步重视、以及系统规模的日益增大，电能质量监测系统运维管理工作遇到越来越多的实际问题，包括：
1.电能质量监测终端包含多个厂家、多款型号的产品，采用完全不同的厂家私有规约，如何实现快速将不同型号终端接入系统;
2.系统规模扩大导致数据量剧增，如何在海量数据情况下、且服务器配置相对较低的情况下维持系统性能不下降;
3.系统中不可避免存在网络中断、终端故障等问题，运维管理人员如何及时获取系统运行故障信息并及时处理，以尽可能保证数据不缺失;
4.如何实现贵阳供电局子站系统与贵州省主站系统之间的实时数据传输;
上述实际问题给系统的运维管理工作带来极大的挑战。为解决上述问题，经过与系统厂家多次技术交流沟通，制订解决方案并逐步实施，最终取得了一定成效和经验。本文对系统运维管理中所遇到的部分重要问题及其解决方法进行了初步总结。
二、问题分析及解决方案
1.不同厂家终端接入方案
电能质量监测终端大多采用厂家私有规约，规约的差异化使得不同厂家终端接入同一个系统存在较大的技术困难。比较常规的处理模式是每个厂家的装置建设一套子系统，由子系统生成pQDiF文件，再建设一套主站系统实现pQDiF文件的读取和解析。这种模式带来非常庞大的系统维护管理工作量，而且接口开发、调试、维护成本高，不适合地市级电能质量监测系统的应用。
考虑到上述情况，系统建设时对系统厂家提出要求，必须由系统厂家实现对不同厂家、不同规约电能质量监测终端的直采接入，并最终在系统中实现了基于Uapi的驱动开发技术。Uapi驱动开发技术实际上是在系统中建设了一个规约库，每一款不同规约终端的接入相当于在规约库中注册了一种规约。采用Uapi驱动开发技术后，对于系统新增的、已注册规约的终端，可实现即插即用快速接入，对于系统新增、但未注册规约的终端，需系统厂家开发新的驱动程序。但随着系统中应用的电能质量监测终端越来越多，Uapi技术也暴露出问题，例如部分监测终端提供的数据不完整，必须依托厂家配套软件才能计算得到并提供完整的电能质量数据;或者部分监测终端由于频繁升级等原因导致内部软件版本太多等。这些情况对系统厂家的驱动开发带来额外技术要求，往往使得驱动开发时间、现场联调时间都比较长，而且可能无法最大化终端功能。
基于对ieC61850在电网尤其是在电能质量领域的应用情况调研[1～4]，笔者认为在电能质量监测终端内实现ieC61850模型以及通信规约、并由系统软件实现电能质量监测终端iCD模型文件的读取、解析和终端功能订阅，是解决不同终端接入问题的比较彻底的解决方案。该方案的主要技术路线是：①由最终用户提出功能和数据需求;②允许不同厂家的终端在ieC61850模型上的差异，但模型必须满足ieC61850规范;③系统主站通过读取、解析终端的iCD模型文件获取终端模型，并订阅终端所具有的功能和数据。这种模式通过监测终端层的通讯规约一致性和数据模型自解析，使得系统软件可以通过一个驱动程序接入不同厂家终端，降低了系统结构复杂性和接口开发成本，以及系统运维和管理工作量。
2.数据完整性监视及报警方案
系统运维和管理的最主要目的之一是定位和消除系统隐患，保障系统数据完整性。系统运行过程中，由于网络中断、服务器故障、程序稳定等问题不可避免存在数据缺失现象出现，通过在监测装置内部实现大容量长时间存储、数据自动追补和断点续传等技术，可以在一定程度上自动解决数据缺失问题。通过采用上述技术，贵阳系统能维持年数据完整率95%以上，达到了设计目标。但这种自动化、不可见的处理过程不能定量统计系统数据缺失率，因此不足以归纳、总结、定位数据缺失原因并采取针对性改进措施，有进一步改进余地。
根据实际工作经验总结和对应用需求的分析研究，在自动数据追补的基础上，笔者提出一种数据完整性监视和报警方案，该方案主要内容是在电能质量数据库之外，建立独立的系统运行异常信息库，基于该异常信息库实现以下功能：
（1）按系统架构将数据缺失原因分为装置原因、网络原因、系统软件原因，系统运行过程中，分别记录装置掉电/上电、通讯中断/恢复、软件启动/退出以及故障信息，所有信息存储到系统数据库中;
（2）定义单点、多点数据完整率计算模型，并按监测点、变电站、区域分别自动计算每日、每月、每年数据完整率，数据完整率可在weB页面查询;
（3）通过将数据完整率与系统故障信息进行时间关联，提供数据缺失原因诊断，并提供按区域、按终端型号、按时间等的数据缺失原因统计，用于定位和消除系统隐患;
（4）设定报警限值，当数据完整率低于一定程度时，通过自动发送短消息或邮件的方式提醒系统运维和管理人员进行及时处理。
数据完整性监视和报警方案流程框图如图1所示。
图1数据完整性监视与报警方案功能框图
通过开发并部署独立的数据完整性监视和报警模块，结合已有数据自动追补技术，贵阳系统不仅可实现较高的数据完整率，还可分析数据缺失原因、消除数据缺失隐患，真正实现系统运维管理的防患于未然。
3.与贵州主站数据交互方案
作为贵州主站系统的子站系统之一，贵阳系统需要定时将数据上传到贵州主站系统，包括历史数据和实时数据。依据《贵州电能质量在线监测系统通讯接口规范》，贵阳系统采用pQDiF+DLL技术实现与贵州主站系统的数据交互。其中pQDiF文件结合mSmQ技术用于历史数据的传输[5～9]，DLL主要用于实时数据的传输，DLL由装置厂家开发并以提供给主站系统调用。最初设计并应用的数据交互方案如图2所示。
图2贵阳系统与贵州主站系统初始数据交互方案
实际应用中发现，当发生网络中断、服务器故障或接口程序故障后，mSmQ会导致大量消息积累无法处理从而严重影响服务器性能，甚至导致服务器崩溃，最终导致数据缺失。技术调研表明mSmQ技术在其它一些地区电能质量监测系统中也已经被其它技术所取代，如Ftp、SFtp等。贵阳系统经过一段时间运行，最终用Ftp取代mSmQ来传输pQDiF文件，Ftp服务器和客户端通过稳定可靠的第三方商用软件搭建。
最初设计的实时数据传输方案在应用中存在更大的问题，包括：①系统结构复杂，中间环节多，容易出问题;②涉及厂家多，联调成本高，出问题后难以排查真正原因，责任不清晰等。由于容易出问题、出问题后难以确定原因，系统管理人员需将大量精力花在厂家协调、故障确认和排查等事情上面，不仅工作量大，而且问题得不到及时解决，导致这种基于DLL的实时数据传输方案难以实施。经过分析、调研和沟通，最终采用webservice技术实现实时数据传输接口。webservice是ieC61970推荐的一种标准、通用的接口实现技术，具有稳定、可扩展性强等优点，是系统集成常用的一种技术。贵阳系统webservice实时数据传输方案采用异步双工通信模式，同时考虑了超时处理机制、超长数据处理机制、异常数据处理机制等技术细节，是一种可实施性比较强的解决方案。
目前贵阳系统采用的与贵州主站系统的数据传输方案如图3所示。
图3改进后的贵阳系统与贵州主站系统数据交互方案
三、总结
笔者承担着贵阳供电局电能质量在线监测系统运维管理的工作职责。在工作实践过程中，经常会遇到数据缺失、查询性能低下、数据无法上传到主站等问题，需要大量的精力投入到确认问题原因、协调不同厂家进行处理，工作效率低下且成效不大。为提高工作效率，通过对系统现有技术方案的充分了解，并结合对电能质量领域新技术的学习、对其它地区电能质量监测系统技术方案调研、以及与终端厂家和系统厂家的反复技术交流，针对工作中遇到的较为严重的问题提出了新的技术方案。其中部分方案已经实现并投入实际应用，效果良好。目前贵阳供电局电能质量监测系统运行稳定，年数据完整率超过95%，且系统运维和管理工作量大大降低，基本上可实现免维护。
参考文献
[1]余晓鹏，李琼林，杜习周，等.基于ieC61850的电能质量监测终端的数据需求及模型实现[J].电力系统自动化，2011，35（4）：56-60.
YUXiao-peng，LiQiong-lin，DUXi-zhou，etal.DataanalysisandmodelimplementationofpowerqualitymonitoringequipmentbasedonieC61850[J].automationofelectricpowerSystems，2011，35（4）：56-60.
[2]王林，王倩，郭汗桥.基于ieC61850的智能电能质量监测设备模型[J].电网技术，2007，31（Supp2）：268-271.
wanGLin，wanGQi-an，GUoHan-qiao.anintelligentelectronicdevicemodelformonitoringpowerqualitybasedonieC61850[J].powerSystemtechnology，2007，31（Supp2）：268-271.
[3]常三磊，肖勇，杨劲锋，刘铁军.基于ieC61850和pQDiF的电能质量监测装置研究与设计[J].电力系统保护与控制，2012，40（20）：135-139.
CHanGSan-lei，XiaoYong，YanGJing-feng，LiUtie-jun.StudyanddesignofpowerqualitymonitoringdevicesbasedonieC61850andpQDiF.powerSystemprotectionandConrol，2012，40（20）：135-139.
[4]唐喜，孟岩，王治民，等.ieC61850日志功能工程应用实践[J].电力系统自动化，2011，35（1）：91-95.
tanGXi，menGYan，wanGZhi-min，etal.engineeringapplicationpracticeofieC61850logfunction[J].automationofelectricpowerSystems，2011，35（1）：91-95.
[5]ieee1159.3/D9RecommendedpracticeforthetransferofpowerQualityData.
[6]张志生，孔德红.pQDiF规范在电能质量监测中的应用[J].南方电网技术，2009，3（S1）：178-180.
ZHanGZhisheng，KonGDehong.applicationofpQDiFSpecificationonpowerQualitymonitoring[J].SouthernpowerSystemtechnology.2009，3（S1）：178-180.
[7]郭继红，颜湘武.电能质量数据pQDiF格式及其实现[J].电测与仪表，2004，42（9）：42-44.
GuoJihong，YanXiangwu.therealizationofpQDiFformatofpowerqualitydata[J].electricalmeasurement&instrumentation，2004，42（9）：41-44
[8]肖先勇.基于XmL的电能质量标准数据共享模型及跨平台数据交换[J].电力自动化设备，2007，27（12）：88-92.
Zhangjing，XiaoXianyong，XmL-basedpowerqualitydatasharingmodelandcross-platformdataexchange，electricpowerautomationequipment，2007，27（12）：88-92.
[9].程浩忠，占勇，孙毅斌.基于pQDiF格式压缩的电能质量数据模型[J].继电器，2005，33（7）：55-58.
DingYifeng，ChengHaozhong，ZhanYong，SunYibin，adatacompressionmodelforpowerqualitybasedonpQDiFformat，Relay，2005，33（7）：55-58.
作者简介：
大数据量解决方案篇7
近距离复制方案
同步复制是实现短距离复制的最常用技术。只有本地和远程站点确认复制完成后，同步复制技术才认为复制处理完成，因此保证了数据的完整性。如果主站点发生中断，辅助站点可以迅速启动运营。HDS提供的近距离复制方案具有以下功能：
・在不丢失数据的情况下实现快速重新启动和恢复；
・通过使用真实的生产数据进行数据挖掘和应用程序测试，提高生产效率；
・与其他Hitachi软件组合，进一步提高业务连续性；
・可用于开放系统和大型机环境；
・充分发挥Hitachi存储系统的力量。
远距离复制方案
远距离复制方案不受距离限制，能够防止雪崩式灾难。采用异步数据复制技术，保证主系统和任意距离的远程系统中所有数据的完整性，而不影响生产系统性能。此外，序列号和时间戳能够确保写入顺序，从而保证数据库的完整性。HDS提供的异步远程复制解决方案久经考验，它可以：
・应对大范围灾难，完整复制数据；
・不影响应用性能；
・通过使用真实的生产数据进行数据挖掘和应用程序测试，提高生产率；
・与其他Hitachi软件结合，进一步提高业务连续性；
・可用于开放系统和大型机环境；
・充分发挥Hitachi存储系统的力量。
三个数据中心的复制方案
如果需要额外保护，企业可以将同步复制和异步远程复制组合为多跃点或有三个数据中心的解决方案。HDS整合了日立trueCopy同步和异步远程复制软件以及日立Shadowimage系统内复制软件，用来构建多跃点和有三个数据中心的解决方案，该方案能够：
・提供最佳数据保护：不丢失数据的情况下快速恢复和保证全部数据的完整性；
・通过使用真实的生产数据进行数据挖掘和应用程序测试，提高生产效率；
・与其他Hitachi软件组合，进一步提高业务连续性；
・可用于开放系统和大型机环境；
大数据量解决方案篇8
关键词：大数据；云计算；虚拟化
1认识大数据
相信大家都还记得2013年5月10日淘宝十周年晚会上，阿里巴巴集团董事局主席马云在其卸任集团Ceo职位的演讲中说到：“大家还没搞清pC时代的时候，移动互联网来了，还没搞清移动互联网的时候，大数据时代来了。”
什么是大数据？
早在1980年，当时著名的未来学家阿尔文·托夫勒便在其著作《第三次浪潮》中热情洋溢地将大数据赞颂为“第三次浪潮的华彩乐章”。不过直到时光抵达2009年，“大数据”才开始成为互联网信息技术行业的流行词汇。
环顾四周，我们都已经切身感受到了当今的信息量正在以前所未有的速度膨胀。当我们的普通民众在上世纪90年代刚刚接触个人计算机的时候，1mB的磁盘，1GB的硬盘已经是不错的配置。然而现在呢？GB、tB都已经无法满足我们丈量数据大小的需要，pB、eB、ZB已经义无反顾地承担起了丈量数据的大任。
随着互联网自媒体的普及，每天都有数以亿计的人在发微博、写微信、更新个人主页、使用社交网站、发表个人评论……全球互联网上每天会有220万tB的新数据产生，90%的数据都是在过去的24个月内创造出来的，如今，这个比例还在不断上升。
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中，他们对大数据的表述是：大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。他们对大数据的特性进行了归纳，提出了4V特点，即Volume(数据量大)、Velocity(要求实时性强)、Variety(数据的种类多样)、Value(数据是有价值的)。
而《互联网周刊》则认为“大数据”的概念远不止大量的数据和处理大量数据的技术，或者所谓的“4V特点”之类的简单概念。大数据是涵盖了人们在大规模数据的基础上所能做到的事务，而这些事务在小规模数据的基础上是无法实现的。换句话说，大数据让我们能够以一种前所未有的方式，通过对海量数据进行分析，获得具有巨大价值的产品和服务，或者深刻的洞见，进而最终形成变革世界的力量。
2大数据应用的现状分析
最早提出世界已经迎来“大数据”时代的机构则是全球知名的咨询公司——麦肯锡。麦肯锡在其研究报告中指出：数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。
大家都或多或少地意识到应该能从这些海量的数据中获取些什么，然而究竟我们能获取到什么呢？
一个被广为传播的典型案例是：在2012年初美国的一家target超市，一位愤怒的父亲突然闯进来对店铺经理咆哮道：“你们竟然给我17岁的女儿发婴儿尿片和童车的优惠券，她才17岁啊！”经理下意识地认为是店里出了问题，也许是误发了优惠券，于是立即向这位父亲道歉。然而经理却没有意识到，其实这是公司正在运行的一套大数据系统得出的分析结论。
target会从其会员的购买记录中去了解该顾客的性格、类别等一些列业务活动。上面的例子正是target为适龄女性创建的一套怀孕期变化分析模型，如果相关客户第一次购买了婴儿用品，系统将会在接下去的几年中根据婴儿的生长周期向顾客推荐相关的产品，从而培养和提高客户的忠诚度。
果然，一个月后，该名愤怒的父亲打电话给商铺道歉，因为target发来的婴儿用品优惠券不是误会，他的女儿确实怀孕了。
利用数据挖掘用户的行为习惯和喜好，在凌乱纷繁的数据背后发掘出更符合用户兴趣和习惯的信息、产品和服务，并对这些目标化的信息、产品和服务进行针对性地调整和优化，这便是大数据能带给商家最诱人的价值之一。
随着社交网络在人们生产生活中地位的快速提升，大量UGC(UserGeneratedContent用户自生成的内容)进入互联网，上述价值的实现也变得越来越明显。
事实上，全球it业巨头都已经意识到数据的重要意义和“大数据”时代的到来。包括iBm、emC、惠普、微软在内的全球知名跨国公司都陆续通过收购与“大数据”相关的厂商来实现技术整合。
目前典型的大数据应用领域有：
商业智能。例如：用户行为分析，即结合用户资料、产品、服务、计费、财务等信息进行综合分析，得出细致、精确的结果，实现对用户个性化的策略控制，这在营销网络的流量经营分析中占有越来越举足轻重的地位。个性化推荐，即在各类增值业务中，根据用户喜好推荐各类业务或应用，这已成为运营商和门户提供商服务用户的一个最有效方式之一，比如应用商店的软件推荐、iptV视频节目的点播推荐、购物或旅游网站的猜你喜欢等。
公共服务。一方面，公共机构可以利用大数据技术把积累的海量历史数据进行挖掘利用，从而提供更为广泛和深度的公共服务，如实时路况和交通引导；另一方面，公共机构也可以通过对某些领域的大数据实时分析，提高危机的预判能力，如疾病预防、环境保护等，为实现更好、更科学的危机响应提供技术基础。
政府决策。通过对数据的挖掘，从而有效提高政府决策的科学性和时效性。例如：日本大地震发生后仅仅9分钟，美国国家海洋和大气管理局(noaa)就了详细的海啸预警。并且随即noaa通过对海洋传感器获得的实时数据进行了计算机模拟，制定出详细的应急方案，并将制作的海啸影响模型实时在了Youtube等网站上。
3大数据解决方案的现状分析
以往谈及大的数据通常用来形容一个公司创造的大量非结构化和半结构化的数据。如今把“大数据”作为一个专有名词提及，通常指的是解决问题的一种方法，即通过收集和整理生产生活中方方面面的数据，然后对其进行整理、挖掘、分析、处理，进而从中获得有用的价值信息。这种衍化出的新的商业模式即为通常意义上的大数据解决方案。
虽然通常意义上的大数据解决方案描述了一种通常的行为，但要实现这种通常的行为，往往会遇到诸多技术和硬件上的问题。一个显而易见的问题就是：大数据包络万象，而且像音频、文本信息、视频、图片等非结构化数据正以突飞猛进的速度增长，加上移动互联网的普及所带来的如位置、生活信息等富含价值的数据，现有的，或者传统的对数据的处理手段和硬件配置已越来越跟不上数据发展的步伐。
于是革命爆发了！
哈佛大学社会学教授加里·金就说道：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”
数据需要存储，存储需要设备，存储设备的容量和可扩展性以及读取的速度成为了一大问题(容量问题)；大数据不是一日而成的，往往都需要一定周期的积累，在数据的积累过程中，以前的数据和现在的数据在存储上应该是能保持一致的，无论设备升级与否，而且这些数据要长期有效，这是一个持久的问题(积累问题)；与持久相对应的，互联网是变化的、经济活动是变化的、整个世界都是变化的，针对某些实时问题，如交易、金融等，用已经过去的数据显然是不合适的，这也是一大问题(延迟问题)；大数据包络万象，有些是可以随意获得、和消除的，有些，如金融数据、医疗信息、政府情报等，则是需要按不同级别进行保护和加密的，特别是在需要交叉数据参考的应用中，不同部分的数据有着不同的安全需要，这又是一大问题(安全问题)；为了满足上述问题，我们显然可以通过不断加大投入，购买更多的存储设备、雇佣跟多的工作人员、建设更多的数据中心和分析中心，但这一切都是由成本的，特别是对于以盈利为目的的商业机构而言，成本和收益永远都是最优先考虑的问题之一(成本问题)；当然还有很多其他的问题，这里就不一一罗列了。
驱动商业机构解决上述问题的动力肯定是商业利益。以全球知名的it制造与服务和咨询提供商iBm为例，其全球Ceo调研显示，唯有在数据获取、将数据转换为洞察力、再将洞察力转化为行动力等方面表现优秀的企业，才能有持续的绩效表现。绩效突出者从海量数据中挖掘出有价信息的能力是绩效不佳者的2倍。
iBm认为由于当今企业、市场、社会、政府之间的联系变得越来越紧密，传统的数据分析正日益呈现出“大数据”时代的新特点，即容量要求更高、速度要求更快、数据类型多样和数据来源复杂4个方面。结合多家领先市场咨询机构的调研数据显示：
2010-2015年，“大数据”市场年均符合增长率为39.4%，将是整个信息与通信技术市场增速的7倍；管理及维护数据的成本将是购买存储设备所需成本的4倍；全球数据量的年均复合增长速度为59%；未来需要分析的信息源中，混合类型数据所占比重将高达85%；数据分析直接受到服务器性能制约的数据量将占到总体的87%；仅2012年一年，服务器在整体“大数据”市场投资中就将占去14%的比重。
这就意味着传统计算的低效正在为企业发展带来阻碍，企业感到当前的it系统变得更加复杂且难以管理。数据显示：企业用于运营和维护it系统的费用已经超过整体预算的70%，并且这一比例仍在持续增长；企业有三分之二的it项目及解决方案部署超出了原定计划；it架构的复杂度将以当前速度每两年就增加一倍。
于是出乎绝大多数人意料的事情发生了：it部门，这个曾经作为企业现代化和创新化能力标志的部门，正越来越成为企业新创新的阻力而非动力。
怎么办？
很多人立即想到了另外一个热词：“云计算”。
iBm全球高级副总裁Rodadkins认为，当前全球it领域有了令人振奋的发展趋势和挑战，现在每天有大量数据和信息生成，这为大数据分析提供了机会；数据中心的挑战也为it提供了新机会，比如云计算，能降低数据中心成本。
emC资深产品经理李君鹏认为，大数据本身就是一个问题集，云技术是目前解决大数据问题集最重要有效的手段。云计算提供了基础架构平台，大数据应用在这个平台上运行。目前公认处理大数据集最有效手段的分布式处理，也是云计算思想的一种具体体现。teradata技术总监StephenBrobst则表示，公有云架构对数据仓库没有影响，因为企业的Cio不会无缘无故把财务数据或者客户数据放到云上，那样很危险。然而，是私有云架构确实有影响：第一，通过私有云，可以巩固数据集市，减少利用率不足的问题；第二，可以通过灵敏的方式将数据集成，实现业务价值。
于是有人就此理解为：大数据的最佳解决方案是采用云计算和分布式处理，利用互联网将运算能力、存储能力都做分布式的处理，认为这样做就可以最大程度上地降低成本、增加扩展性和灵活性。
然而事实真的如此吗？
让我们来分析一下最近iBm公司在国内针对百万人口的城市级信息中心制定的解决方案：
面对数量庞大且增长迅速的各类交通信息：120万辆机动车电子卡、4万辆机动车的实时GpS定位、200万笔公交iC卡数据、518个高清卡口的113亿张图片等，该市信息中心的领导意识到，当前多个项目能源消耗大、占地要求非常高、并且原有的网络设备难以满足新增的需求，网络设备经常更换，并且这些相互独立的数据库、服务器和存储，以及不同的访问权限和没有统一的管理界面，让本就压力巨大的数据中心的效率大打折扣，同时也极大浪费了宝贵的人力、能源和其他各种资源。
iBm给出的解决方案是：
首先，在基础平台上摒弃了分布式的服务器架构，而是采用大型服务器在基础架构上对处理能力、i/o吞吐和主存储进行了整合，这样做的最大亮点是，将原有成百计的分布式服务器整合到了个位数，极大地节省了空间和能源，做到绿色环保；因为不用考虑各分布式服务器之间的互通互联和各服务器之间的状态及负载均衡与调配，节省了相当数量的管理人员；另外大型服务器自身端到端的管理功能和适用于异构工作负载且基于策略的框架，有效帮助信息中心实现中心控制，实现极高的性能。
其次，在整合的基础平台之上，采用“云计算”框架虚拟化设计，实现了智能交通和政务网站的整合。这一方案让用户在使用上可以享受与分布式架构相同甚至更加优越的性能。由基础平台通过虚拟化形成的任意数量的虚机，在统一云管理软件URm的配置下，能够提供统一的管理视图和管理机制，简化在多套异构业务系统环境下系统的运营和维护工作。
而在本方案中的存储部分则采用了运行稳定、性能领先、技术成熟的San网络架构，具有很好的稳定性，能为前端各应用提供可靠的数据存储平台，并且整个San网络中的部件都配置了双冗余组件，保证任一部件的损坏不会影响整个系统的运行，而关键数据库的数据都通过合理的备份策略，定期备份在了物理磁带上，保证关键数据的绝对安全。
总结下来，整合的基础平台，“云计算”框架的虚拟化设计，和定制化的高速存储，打造出了最稳定、最可靠、最安全、最绿色的运行环境，让政府的大数据应用完美落地。
可见，大数据的解决方案不同于纯粹云计算的解决方案，虽然云计算带来了看上去更便宜的处理能力和存储能力，但对于往往都有相当数量级规模的大数据应用而言，在基础架构上巧妙地整合和部分的集中，反而能更好地解决安全性、可靠性、稳定性和绿色环保的需要。
4结束语
大数据量解决方案篇9
一次与交通行业某大客户Cio的技术交流中，客户的回答让惠普的产品经理很惊讶。
那位Cio表示，厂商所说的系统性能、存储备份恢复等内容尽管非常重要，但是还不是他日常最为关心的问题。让他感到担心的是不知道系统什么时候会出问题。因此，坐在Cio位置上，就仿佛是坐到了火药桶上。
今年年初，惠普对中国160多家大型企业的关键业务数据管理进行了一次调研，他们发现，类似那位Cio的忧虑还是比较普遍的。
根据调研的结果，惠普高层决定引入一套“方法论”帮助用户解决实际问题。今年6月，惠普正式推出了“适应性数据高可用管理”解决方案(adaptiveDataavailabilitymanagement,aDam)。方案立足于客户现有的数据环境，通过对企业数据管理环境的监控，惠普咨询专家们可以对现状进行调查评估，定位问题所在，量化问题严重程度，并分析问题背后的成因，进而提供对症下药的解决方案。
据记者了解，与企业定期的员工体检相类似，aDam将企业关键业务数据管理分为了it治理、流程自动化、架构优化和平台标准化等四个维度，总共有44个Kpi(Keyperformanceindicator，关键绩效指标)，350个衡量点，其中包括数据和业务连续性规范和标准、责任人员的专业性和掌握的技能、运维管理流程、客户数据恢复目标、客户数据丢失程度等多项内容。
通过对这些指标的全面考量，有经验的技术热源就可以及时发现问题，并建立it发展的参照计划。
据了解，该解决方案建立在惠普it成熟度模型(itmaturitymodel，itmm)之上，它是一套全面衡量企业it建设现状与业务协同状况的方法论。
惠普公司中国区副总裁兼企业计算及专业服务集团(tSG)全球it科技服务部总经理潘家驰在接受记者采访时表示，针对aDam服务，惠普已经组建了一支涵盖服务器、存储、网络、安全、数据中心基础设施、系统管理等多个领域的专家咨询团队。
咨询团队将采用“请进来”和“走出去”想结合的策略，既要“坐堂听诊”，也要“巡回问诊”，帮助中国行业企业用户了解aDam，及时发现关键业务系统所存在的各种隐患，全面评估数据管理it环境中的各种因素，提升应用系统整体的高可用水平。
潘家驰表示，方案改变了以往头疼医头，脚疼医脚的思路。通过一次全面深入的“体检”，提供对症下药的解决方案，改变企业信息系统的“亚健康”状态。
他表示，如果数据管理长期处于“亚健康”状态，问题被忽略或处理不当，必将成为影响运营的“定时炸弹”，对此，企业应该引起足够的重视。惠普aDam解决方案可以帮助客户通过主动化的手段，发现和识别数据管理中存在的潜在风险和隐患，提高关键数据的可用性水平和应用系统的连续运行能力，改善应用系统性能，适应不断变换的业务环境，遵从国际标准和行业法规，满足it对业务部门的服务级别承诺。
链接
大数据量解决方案篇10
SaS零售业客户洞察
该方案通过界定最佳市场营销和商品销售战略，在细分市场最大程度地满足客户需求，并使盈利最大化。该方案通过将商店特性与客户洞察相结合，实现商品销售和市场营销决策的最优化，做出包括分类规划和存货补给等决策。除了提供客户智能以外，SaS零售业客户洞察还能在交易活动、产品类别、单位产品销售额以及其他更多因素的基础上，对商店进行归类和细分。
SaS零售业供应链成本核算
借助于现有的数据，该解决方案能核算整个供应链，乃至最小存货单位层面上的成本花费。通过将现金的数据管理与针对零售业的成本核算方法相结合，该方案为企业提供了关于供应链的充分的财务视图，使用户了解产品在分销中心、商店和客户结账处等各环节的流动情况。同时，该方案也可以对不同的物流情景进行建模，预测各种假设情景下的财务效果，从而揭示供应链活动的真实成本和产品的净盈利能力。
SaS零售业促销效果
该方案能帮助零售商根据既定目标来分析以往促销活动的效果，并对策划的促销活动的赢利空间进行预测，从而更精确地预见市场需求的变化。同时，该方案还能预测促销对于按最小存货单位、零售网点和促销时间等不同分类方式下提升基准销售量的影响，并利用这些信息来指导企业的商品销售和市场营销决策。借助于多种提利空间分析报告、客流量分析报告和交易额/规模分析报告，用户可以轻松获得最大盈利。
SaS零售业战略绩效管理
通过分析关联功能领域的运营数据，零售商可以及时地制定各类决策。SaS零售业战略绩效管理包括针对零售业应用的公司绩效评分卡、关键绩效指标、战略绩效图和知识库，以制定企业战略并使其形象直观化。借助战略蓝图，企业可以利用商业智能来制定企业目标、支持连贯一致决策制定、监测绩效，并能防患于未然。
SaS零售智能平台
SaS提供零售业智能技术平台,包括数据集成、商务智能、分析智能、智能存储等基础模块。它能提供逻辑数据模型，用来描述与零售业业务功能有关的数据，并可提供详细数据存储模型――DDS。
SaS的零售业解决方案提供了针对零售业应用的详细数据的数据模型，提供针对强健的oLap报表系统而设计的维数据模型。模型已覆盖了每个RiS解决方案中的关键业务报表需求。SaS零售业智能解决方案将继续随着零售业的变化而不断演变提升。以后，它将融入更多的组建解决方案，以满足零售商日益增长的智能需求。
方案点评
SaS零售业智能解决方案针对零售业的特殊需求而量身定制，通过职能化的分析为企业提供颇具价值的洞察能力，比如对客户行为、商场绩效、供应链成本以及市场促销活动等诸多方面的洞察。零售商可利用这种智能来为商店制定连贯的业务战略和绩效度量标准。借助于专为零售业构建的智能平台，该解决方案将SaS备受好评的分析和数据管理功能与零售业领域的专有知识相结合,提供整体洞察视角，能有效提升零售企业的盈利能力。在国际市场SaS表现突出，但本地化是SaS在中国市场上不得不考虑的关键问题。
导购信息
公司：赛仕软件(北京)有限公司
地址：北京市海淀区花园路4号通恒大厦202室
邮编：1100088
销售热线：010-62385090