企业数据解决方案十篇

发布时间:2024-04-24 11:45:24

企业数据解决方案篇1

【关键词】海量数据;电力企业;存储

1引言

在电力行业,坚强智能电网的迅速发展使信息通信技术正以前所未有的广度、深度与电网生产、企业管理快速融合,信息通信系统已经成为智能电网的“中枢神经”,支撑新一代电网生产和管理发展。目前,电网公司已初步建成了国内领先、国际一流的信息集成平台。随着各地集中式数据中心的陆续投运,一级部署业务应用范围的拓展,结构化和非结构化数据中心的上线运行,电网业务数据从总量和种类上都已初具规模。随着后续智能电表的逐步普及,电网业务数据将从时效性层面进一步丰富和拓展。电网业务数据将跨入海量数据时代,如何处理这些海量数据已成为电力企业信息管理首要解决的问题。而在海量数据的处理中,如何有效地保存和恢复数据就成了这些问题当中的首要问题。

2海量数据特征

海量数据按照数据结构来进行划分,可以划分为结构化数据和非结构化数据两大类。

(1)结构化数据:简单来说就是数据库,即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。结合到典型场景中更容易理解,比如企业eRp、财务系统;医疗HiS数据库;教育一卡通;政府行政审批;其他核心数据库等

(2)非结构化数据:相对于结构化数据而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档、文本、图片、XmL、HtmL、各类报表、图像和音频/视频信息等等。非结构化数据库是指其字段长度可变,并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库,用它不仅可以处理结构化数据(如数字、符号等信息)而且更适合处理非结构化数据(全文文本、图象、声音、影视、超媒体等信息)

按照数据的时效性而言,海量数据又可划分为实时数据和离线数据两类。

实时数据:实时数据一般用于金融、移动和互联网B2C等产品,往往要求在数秒内返回上亿行数据的分析,从而达到不影响用户体验的目的。要满足这样的需求,可以采用精心设计的传统关系型数据库组成并行处理集群,或者采用一些内存计算平台,或者采用HDD的架构,这些无疑都需要比较高的软硬件成本。目前比较新的海量数据实时分析工具有emC的Greenplum、Sap的Hana等。

离线数据:对于大多数反馈时间要求不是那么严苛的应用,比如离线统计分析、机器学习、搜索引擎的反向索引计算、推荐引擎的计算等,应采用离线分析的方式,通过数据采集工具将日志数据导入专用的分析平台。但面对海量数据,传统的etL工具往往彻底失效,主要原因是数据格式转换的开销太大,在性能上无法满足海量数据的采集需求。互联网企业的海量数据采集工具,有Facebook开源的Scribe、Linkedin开源的Kafka、淘宝开源的timetunnel、Hadoop的Chukwa等,均可以满足每秒数百mB的日志数据采集和传输需求,并将这些数据上载到Hadoop中央系统上。

3企业海量数据存储现状

3.1海量数据导致存储成本、维护管理成本不断增加

大型企业都面临着业务和it投入的压力,与以往相比,系统的性能/价格比更加受关注。GiGa研究表明,Roi(投资回报率)越来越受到重视。海量数据使得企业因为保存大量在线数据以及数据膨胀而需要在存储硬件上大量投资,虽然存储设备的成本在下降,但存储的总体成本却在不断增加,并且正在成为最大的一笔it开支之一。另一方面,海量数据使DBa陷入持续的数据库管理维护工作当中。

3.2海量数据缺乏快速备份与灾难恢复机制

传统的数据库备份技术,如通常采用的磁带备份方式,不能运用于海量数据,因为磁带备份将使备份时间增加,需要几小时-几天,不仅影响了生产,而且增加了备份的难度,使得备份/恢复变得缓慢而且不可靠,几乎无法在固定的时间窗口完成备份工作。另外,第三方备份软件隐含的成本代价如成本开销、复杂度、昂贵的实施等也是企业需要考虑的。因此海量数据安全显得异常重要,只有通过引入有效的备份、方便高效的备份恢复技术,才能满足海量数据安全的需要。

4存储解决方案概述

在海量数据存储中我们主要考虑的是大数据的存储,虽然现行的商业平台也能满足非结构化数据的存储,但问题主要出在系统可扩展性和建设费用上。对于庞大的非结构化数据存储产生的i/o瓶颈问题和昂贵的服务器价格不得不使我们另谋出路。

Hadoop的分布式文件系统HDFS出现恰好解决了商业平台中的i/o瓶颈和服务器价格昂贵问题。Hadoop的优势体现在以下几个方面:

(1)Hadoop依赖于低端服务器甚至是普通计算机,相对于商业平台的高昂成本,它的成本要低得多,几乎可以说任何人都可以使用它,哪怕是信息化成本预算较少的小微企业;

(2)HDFS与map/Reduce紧密集成是Hadoop分布式计算的存储基石。它有自己明确的设计目标那就是支持大的数据文件大至t级,并且这些文件以顺序读取为主,以文件存/读的高吞吐量为目标。在使用HDFS分布式文件系统存储非结构化文件后,将提高我们系统的存储文件速度;

(3)HDFS的数据恢复能力也保证了系统的安全可靠性,可靠性体现在它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。

(4)同时支持存储节点的热插拔和可以在普通pC机上存储非结构化文件,这不但提高了系统的扩展灵活性,还大大降低了企业在硬件方面的投入

5应用架构

在本存储解决方案中,我们选择了Hadoop作为数据文件存储机制,Hadoop中的HDFS存储数据可以选择普通的pC机器作为数据节点,这大大的降低了存储数据所需要昂贵存储设备价格,并且在数据存储过程中,HDFS拥有很好的数据容灾机制。

6HDFS

Hadoop的存储主要使用HDFS来进行管理,HDFS是一个分布式文件存储系统。HDFS起源于apachenutchweb搜索引擎项目。

对于HDFS分布式文件系统中的块进行抽象会带来很多好处:

(1)文件的大小可以大于网络中任意一个磁盘的容量,文件的所有块不需要存储在同一个磁盘上,因此他们可以利用集群上的任意一个磁盘进行存储。

(2)使用块抽象而非整个文件作为存储单元,大大的简化了存储系统的设计。简化是所有系统的目标,但对于故障种类繁多的分布式系统来说尤为重要。

(3)块非常适合用于数据备份,进而提高数据容错能力和可用性。

6.1HDFS架构

6.2HDFS文件存储方式使用大块的原因

HDFS的块比磁盘大,其目的是为了最小化寻址的开销。如果块设置的足够大,从磁盘传输数据的时间可以明显的大于定位这个块开始位置所需的时间。这样,传输一个由多个块组成的文件的时间取决于磁盘的传输速率,由此可见适当的设置磁盘块空间大小可以加快数据读写效率。

6.3HDFS的集群管理模式

HDFS集群有两类节点,并以管理者――工作者模式运行,即一个namenode(管理者)和多个datanode(工作者)。管理者管理文件系统的命名空间,它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上:命名空间镜像和编辑文件日志。工作者也记录着每个文件中各个块所有在的数据节点信息,但它不永久保存块的位置信息,因为这些信息会在系统启动时由数据节点重建。

6.4HDFS文件写入方式

客户端通过调用HDFS类DistributedFileSystem对象调用create()函数来创建文件,在此时文件系统的命名空间中创建了一个新文件,但该文件还没有相应的数据块。管理者(namenode)执行各种不同的检查确保当前创建的文件不存在,并且客户端有创建该文件的权限,如果检查通过则创建新文件记录;否则,文件创建失败并抛出异常。在客户端写入数据时,数据被分成一个个的数据包,并写入内部队列,HDFS的DataStreamer处理数据队列,它的责任是根据工作者(datanode)的队列列表要求管理者(namenode)分配适合的新块来存储数据备份。如下图

7实现功能

海量数据存储部分主要包含了三部分的功能:数据采集、数据存储与备份、数据分析,如图所示:

7.1数据采集

海量数据存储采用开放上传接口的方式进行被动数据采集,各业务平台通过向上传接口传递业务平台标识、文件信息标识和文件信息的二进制流的方式将文件打包传送到非结构化数据管理平台,非结构化数据管理平台通过业务平台标识对传输过来的文件进行分类解码存储。

7.2数据存储与备份

海量数据管理在接收到各业务平台发送过来的文件后,根据业务平台标识在HBaSe中生成文件信息数据,同时将文件存储至HBase中。

7.3数据分析

基于已存储的数据,可以分析各业务平台的数据量,数据高峰的周期,从而适时调整数据存储策略,为不同的业务应用制定不同的存储计划,充分体现系统存储的灵活性,提升海量数据的存储效率。

8方案总结

企业数据解决方案篇2

在当今这个信息世界,每个数据中心都拥有大量的信息财富。这些财富可能会开启带来利润并赢得市场份额的新途径。换句话来说,让正确的人员掌握更多信息资源将大大提升企业的竞争优势。

然而,掌控更多数据也会给企业带来更高的业务风险。它会阻塞网络通道,降低系统的数据存取性能,而且还会导致存储资源的耗竭。正如很多专家所指出的,仅仅简单地增加存储容量并不能解决问题。因为不同应用具有不同数据存取与管理方式,这样有可能造成无法整合的信息孤岛。

以这样的情形发展,最终的结果是,数据中心效率低下,关键信息丢失,存储管理成本不断攀升。这对于那些急于在瞬息万变、对成本敏感的市场中增加业务价值和提高企业竞争力的Cio们来说,绝对不是好兆头。

融合为何如此重要

为什么数据中心融合如此重要?目前,数据中心的融合让it行业与商业界怦然心动的原因,在于它能够简化存储管理流程,并降低数据中心设施的整体成本,减少数据中心设施占用的空间。

简而言之,数据中心融合可以引入一系列新的集成服务器,能够在共同的管理平台之上,利用虚拟化技术拓展网络能力并进行存储创新。此外,数据中心融合还能够在消除数据中心设备与组件管理方面的低效状态的同时降低成本。

对客户而言,数据中心融合可以转化为立竿见影的两大价值:减少数据中心实际设备数量;降低管理成本、空间需求,以及减少能耗。

此外,在融合后,数据中心可以采用单个控制台管理所有数据中心组件,无论是服务器、网络还是存储资产。这样能够使数据中心对部署多种管理工具的需求显著降低,同时降低对获取管理各种工具所需专业知识的需求。另外,融合数据中心还可以解放价值不菲的it人力,使这些it人员能够从事对企业增值更高的业务。

这些价值优势加在一起可以为Cio们带来更有效的解决方案,同时为企业的云部署打下基础。

数据中心融合的优势

最近,很多解决方案的井喷式与推出,会让人产生“数据中心融合是一种新事物”的错觉。实际上,作为一种概念,它已经存在一段时间了。数据中心融合与统一计算已经被大家谈论了很多年。

数据中心融合近期地位的提高源于两方面的演进。

it业的创新使数据中心组件整合在一起成为可能,企业还可以对这些组件进行统一管理。通过引入虚拟化技术、千兆以太网带宽以及能耗更低的服务器与处理器,现在业界已经可以设计和创建出集成系统。

it行业目前还在整合这些资源,并创建以数据中心融合为中心的新合作关系。例如,日立数据系统与其合作伙伴依托稳固的合作关系,共同推出能够优化数据中心关键环境的融合数据中心解决方案。

这两方面的演进使许多企业的数据中心融合梦想变成现实。

虽然上述这一切已经提高了数据中心融合的价值定位,但是客户仍然对其发展趋势心存疑虑。而这种疑虑不无道理。

大多数产品是以新产品为中心,并且要求抛弃现有的基础设施组件。这一点在现如今企业都想方设法最小化开支和最大化投资收益的形势下,很受争议。另外,它也会影响到Cio自己的价值定位。因为它会让先前摆在首位的遗留数据中心组件的部署理由与决策一无是处。

不过,优势仍然超出风险。

如果不部署数据中心融合解决方案,数据管理就会成为一直存在且始终让人寝食难安的问题。

由于企业对数据中心融合的需求程度随着它们对数据性能要求的提高而提升,Cio们最终仍会对数据中心基础设施进行微调。同时,数据中心融合往往被视为数据中心实现云部署的第一步。其部署会从根本上提高数据使用效率。

日立融合数据中心解决方案的与众不同之处

日立数据系统公司为Cio们提供了让业务和经济两个层面都获益的更佳的解决方案。

日立融合数据中心解决方案(HitachiConvergedDataCenterSolutions)将其领先的行业创新与数十载专业知识融为一体,实现优化存储、服务器及网络的目标。该解决方案采用了可运行多种应用、可随时部署的信息技术,能够简化管理、降低成本、减少空间占用,同时实现按照客户步调执行的云部署。

与并未针对关键任务应用环境进行优化的、松散整合的解决方案相比,日立融合数据中心解决方案在企业级可靠性、部署速度、性能及管理等方面具有显著的优势。此外,该解决方案还能够为企业解答许多问题,简化定购与部署过程,并带来可量化的成效。

与市场中其他解决方案不同,日立数据系统的解决方案在设计时还考虑到对it投资的保护。每种解决方案都可以针对业务需求,尤其是数据与信息管理方面的需求,优化客户的现有关键任务环境。

电子邮件管理对许多企业都是一个关键问题。日立融合解决方案已经针对microsoftexchange2010进行优化,可以解决电子邮件管理中的主要问题。利用处于单个平台中的日立数据保护套件(HDpS)与日立内容平台(HCp),该解决方案还可以帮助客户统一管理、备份资料,同时提高存档效率。

此外,由于允许microsoftexchange平台驻留于日立计算机刀片服务器机箱(解决方案的关键组件),该解决方案能帮助企业节省数据中心的占用空间。

另外,日立数据系统公司的方案使客户能够按照自己的步调实施云部署。例如,基于微软Hyper-VCloudFasttrack的日立融合解决方案把日立存储、计算能力与网络功能融为一体,将microsoftwindowsServer2008R2与Hyper-V、SystemCenter融为一体。一旦部署该系统,客户能够获得高性能私有云基础设施,以增强自动化和协调性。

结束语

总之,数据中心融合可以说是应对数据量剧增的灵丹妙药。它使数据中心能够与业务和市场需求发展保持更加一致的步调,同时,能打消企业对当前及未来数据可用性的顾虑。

许多人认为,在当前市场环境中获得这些优势的成本可能会过高。而对于日立数据系统,我们坚信当前环境急需此类解决方案。市场所需要的是一种能够克服不稳定性,力求提高用户需求,对企业具有更高业务和实际意义的解决方案。这正是我们现有和未来计划的解决方案所坚守的价值定位。

企业数据解决方案篇3

关键词:大数据分析方法;企业档案管理;档案数据资源;企业创新决策

abstract:withthegraduallygodeepintotheresearchofbigdata,theenterpriseinnovationdecision-makingsaremoreandmoredependentondataanalysis,andtheenterprisearchivedataresourcesprovidethedatabaseforenterprise’sthesedecisions,thereforeusedofbigdataanalysisinenterprisearchivemanagementhasimportantsignificance.thispaperdetailedexpoundstheDataQualitymanagement,Visualizationanalysis,Semanticengines,Datamining,tendencypredictionandsoonfivebigdataanalysismethodsintheapplicationofenterprisearchivemanagementandproblemsthatdeserveattention.

Keywords:Bigdataanalysismethod;enterprisearchivemanagement;archivesdataresources;enterpriseinnovationdecision-making

2015年9月5日,我国政府了《促进大数据发展行动纲要》,旨在促进大数据和云计算、物联网、移动互联网等新一代信息技术的融合,探索大数据和传统产业发展新模式,推动传统产业转型升级和新兴产业发展。正如大数据专家舍恩伯格所说:大数据正在改变人们的生活和人们理解世界的方式,更多的变化正蓄势待发,大数据管理分析思维和方法也开始影响到我们企业档案管理的发展趋势。

1大数据分析方法在企业档案管理中应用的背景

1.1大数据研究逐渐纵深化。自从2008年science杂志推出BigData专刊以来,国内外对大数据的研究如火如荼。经过一段时间的探索,“目前大数据领域的研究大致可以分为4个方向:大数据科学、大数据技术、大数据应用和大数据工程。而人们对于大数据技术和应用两个方面的关注比较多”[1]。正如2012年奥巴马政府投入2亿美元启动“大数据研究和发展计划”的目标所显示的那样,目前大数据的研究逐渐向纵深化方向发展,着重从大型复杂的数据中提取知识和观点,帮助企业实现从“数据分析能力”向“数据决策能力与优势”的转化。

1.2企业创新决策越来越依赖于数据分析。对于企业技术创新者而言,目前更多的企业高层越来越依靠基于数据分析的企业技术创新决策。靠传统的经验方法去决策往往是滞后的,因此,大数据分析方法作为先进的定量分析方法,目前出现的一些先进数据分析方法与技术势必会对企业的运行管理、生产业务流程、管理决策产生飞跃式的影响。大数据分析方法也成为企业档案数据分析、技术创新决策的有效工具。

1.3企业档案为企业创新决策提供数据基础。对于一个企业而言,使用的数据资源必须具有真实性可靠性。“企业档案是在企业的各项活动中直接形成并保存备查的各种文献载体形式的历史记录”[2],企业档案是企业在生产、经营、管理等活动中形成的全部有用数据的总和。除了发挥着凭证参考维护历史真实面貌的作用之外,企业档案更“是企业知识资产和信息资源的重要组成部分”[3],具有知识创新性、不可替代性,为企业技术创新决策提供数据基础。“特别是在当前大数据背景下,企业档案数据资源的开发与建设对企业经营决策的制定与适应市场竞争环境起到关键性作用。”[4]

在上述背景下,将大数据分析方法应用在企业档案管理中具有重要性意义:不仅拓展企业的管理决策理论,同时帮助企业运用所拥有的档案数据资源洞察市场环境,发现新的竞争对手,进行自我总结,做出科学决策,使企业紧紧抓住大数据时代带来的市场机遇。

2大数据分析方法在企业档案管理中应用的方式

大数据分析方法在企业档案管理中的实现方式即是将大数据分析方法运用在企业档案信息分析挖掘上。它贯穿企业数据处理的整个过程,遵循数据生命周期,广泛收集数据进行存储,并对数据进行格式化预处理,采用数据分析模型,依托强大的运行分析算法支撑数据平台,发掘潜在价值和规律并进行呈现的过程。常见的大数据分析方法“其相关内容包括可视化分析、数据挖掘、预测分析、语义分析及数据质量管理”[5]。

2.1数据质量管理提升企业档案数据资源品质。大数据时代企业档案数据资源呈现出4V特点,这使得企业档案数据很容易出现不一致、不精确、不完整、过时等数据质量问题。基于数据生命周期对企业档案数据资源进行数据质量管理分为数据预处理、数据存储、数据使用三个阶段。在数据预处理阶段,通过etL工具即数据经过萃取(extract)、转换(transform)、加载(Load)至目的端这几个预处理过程达到数据清洗和格式化的目的。目前oracle公司的Dataintegrator和warehouseBuild、微软的Dynamicsintegration及iBm的Dataintegrator都是比较常见的etL工具。在数据存储与使用阶段,针对目前企业档案大数据呈现出4V的特点,传统关系型数据库在数据存储与数据管理方面已经难以胜任,非关系型数据库以其高吞吐量、可拓展性、高并发读写、实时性等特性能够满足数据存储与管理的要求。目前应用最广的是并行处理系统mapReduce和非关系型数据库比如谷歌的Bigtable和Hadoop的HBase。将etL工具移植入云计算平台系统,将会大大有助于完成数据清洗、重复对象检测、缺失数据处理、异常数据检测、逻辑错误检测、不一致数据处理等数据质量处理过程,从而保证企业档案数据资源的数据质量。

2.2可视化分析提升企业档案数据资源可理解性。

“大数据可视分析是指在大数据自动分析挖掘方法的同时,利用支持信息可视化的用户界面以及支持分析过程的人机交互方式与技术,有效融合计算机的计算能力和人的认知能力,以获得对于大规模复杂数据集的洞察力。”[6]那么企业档案数据资源的可视化分析可以理解为借助可视化工具把企业档案数据资源转化成直观、可视、交互形式(如表格、动画、声音、文本、视频、图形等)的过程,便于企业经营者的理解利用。

以2015年2月15日最新版的“百度迁徙”(全称“百度地图春节人口迁徙大数据”)为例,该项目让我们近距离了解到大数据可视化。它利用百度后台每天数十亿次的LBS定位获得的数据进行计算分析,全程展现中国人口迁徙轨迹,为政府部门科学决策提供科学依据。受该项目启发,企业可将拥有不同类型的档案信息进行可视化,比如进行企业档案的网络数据可视化、时空数据可视化、时间序列数据可视化、多维数据可视化、文本数据可视化等[7]。以文本数据可视化为例,目前典型的文本可视化技术标签云,可以将档案文本中蕴含的主题聚类、逻辑结构、词频与重要度、动态演化规律直观展示出来,为企业决策提供依据。另外,常见的信息图表类可视化工具主要有Googlechart、iBmmanyeyes、tableau、Spotfire、Data-DrivenDocuments(D3.js)等;时间线类可视化工具主要是timetoast,、Xtimeline、timeslide、Dipity等;数据地图类可视化工具主要有Leaflet、Googlefushiontables、QuanumGiS等。这些新技术都为企业档案数据资源可视化提供了科学工具。

2.3语义引擎实现企业档案数据资源的智能提取。大数据时代全球数据存储量呈激增趋势,传统的基于人工分类目录或关键词匹配的搜索引擎(谷歌、百度等)仅仅能够进行简单的关键词匹配,用户无法得到非常准确的信息,检索准确率并不高,而且检索结果相关度较低,检索结果缺乏引导性。为提供给用户高质量的检索结果,改善用户搜索体验,提高效率,实现智能提取,语义搜索引擎应运而生。“语义引擎是随着语义网的发展,采用语义网的语义推理技术实现语义搜索的语义搜索引擎。”[8]它具备从语义理解的角度分析检索者的检索请求,能够理解检索者的真正意图,实现信息智能提取。对语义分析可以采取自然语言处理方法进行概念匹配,提供与检索者需求相同、相近或者相包含的词语。目前存在基于本体的语义处理技术,它以本体库作为语义搜索引擎理解和运用语义的基础。对于企业而言,将语义引擎分析方法与协同过滤关联规则相结合,可以挖掘用户的需求,提供个性化的服务。比如亚马逊公司通过对用户检索的语义进行分析推理,结合协同过滤关联规则,为用户提供相近需求的产品,提升自己的经济效益。对于一份人事档案而言,语义引擎也能分析出该份人事档案中的某人的职务、级别,从中提取出姓名一职务一级别一时间等关键信息,提高检索准确率和效率,实现智能提取。

2.4数据挖掘发现企业档案数据资源的隐性价值。“数据挖掘又称数据库中的知识发现”[9]。简而言之,数据挖掘就是企业从数据集中发现知识模式,根据功能一般分为预测性模式和描述性模式,细分主要有分类与回归模型、聚类分析模型、关联规则模型、时间序列模型、偏差检测模型等。主要挖掘方法有神经网络方法、机器学习方法数据库方法和统计方法等。

数据挖掘是大数据分析方法的核心。对于企业而言,数据挖掘的档案数据资源应该由两部分组成:一是企业正常运行管理过程中所形成的档案数据资源,通过运用分类、聚类、关联规则等方法对企业内部的数据进行挖掘,发现潜在模式,为企业技术创新人员决策提供支持。比如在2004年全球最大的零售商沃尔玛在分析历史记录的顾客消费数据时,发现每次季节性飓风来临之前,手电筒和蛋挞的数量全部增加。根据这一关联发现,沃尔玛公司会在飓风用品的旁边放上蛋挞,提升了企业的经济效益;二是企业在运行过程中遗存在互联网上的数据,通过网络舆情及时跟踪可以获取市场最新动态,为企业调整服务模式、市场策略、降低风险提供依据。比如Farecast公司运用数据挖掘,从网络抓取数据来预测机票价格以及未来发展趋势,帮助客户把握最佳购买时机,获得较大成功。

2.5趋势预测分析实现企业档案数据资源的价值创造。“预测分析是利用统计、建模、数据挖掘工具对已有数据进行研究以完成预测。”[10]预测分析的方法分为定性与定量分析两种方法:定性分析如德尔菲法以及近年来人工智能产生的Boos-ting・贝叶斯网络法等;定量分析法一般从形成的历史数据中发掘数据模型达到预测效果,如时间序列分析模型、分类与回归分析模型等。

企业档案数据资源预测分析是在企业档案数据资源数据挖掘的基础之上,发现适合模型,将企业档案数据输入该模型使得企业技术创新人员达到预测性的判断效果,实现价值的创造。一个典型的例子即是市场预测问题,企业技术创新者可以根据档案数据预测某件产品在未来六个月内的销售趋势走向,进而进行生产、物流、营销等活动安排。具体来讲企业可以通过数据时间序列分析模型预测产品销售旺季和淡季顾客的需求量,从而制定针对独特的营销策略,减少生产和销售的波动性,获得利润和竞争优势。预测分析在大数据时代彰显出企业档案数据资源独特的魅力。

3大数据分析方法运用于企业档案管理中应当注意的问题

3.1成本问题。大数据分析需要依靠分析工具和运算时间,特别是在复杂的企业档案数据资源中采用相关大数据分析工具的科技成本还是很高的,要以最少运算成本获得更有价值的数据内容。合理选择大数据分析工具不光可以节省运算成本而且能够更快速获取盈利增长点,同时在大数据分析和企业档案数据资源的存储成本方面也要适当的控制在合理的范围内。既要保证大数据分析质量,又要降低企业档案存储成本是大数据分析方法运用到企业档案管理中的重要原则。

3.2时效问题。“大数据的动态性强,要求分析处理应快速响应,在动态变化的环境中快速完成分析过程,有些甚至必须实时分析,否则这些结果可能就是过时、无效的”。[11]由此可见,影响大数据分析的重要因素就是时效性问题。“大数据数据分析的核心内容之一是数据建模”,[12]数据分析模型要不断的更新适应数据的动态变化。如果模型落后于数据的变化,那数据分析只能是失效的。同时由于经济环境、政治生态、社会文化等因素不断变革,企业档案数据的收集也会产生新的问题。只有不断加强对这些数据的实时监测和有效分析,才能更好的识别出数据变化中的细微之处,建立与之相适应的数据分析新模型。

3.3情感问题。“大数据的另一个局限性在于它很难表现和描述用户的感情。”大数据分析方法在处理企业档案数据方面可以说如鱼得水,大数据分析是一种科学的机器运算方法,无法去实现人文价值提取,比如如何从企业档案数据资源中提取企业文化,这更需要人的情感直觉去实现,而严谨的科学数据是无法实现的。因此,我们在热衷于大数据分析方法的量化结果时,同时也不要忽略在传统企业档案管理中的那份人文精神。

企业数据解决方案篇4

acronis公司亚太区总裁Billtaylor-mountford分析说:“从数据保护的角度看,欧美的中小企业用户与中国的中小企业用户的需求并无差别。大家可能都没有完备的数据保护和灾难恢复计划,并且缺少专业的技术人员和资金。正因为如此,中小企业用户才更青睐有针对性的、价格合理且使用方便的数据保护解决方案。”

iDC的数据显示,未来五年内,中国数据保护市场的年均增长率为18%,其中中小企业数据备份市场的增长潜力更大。专注于中小企业数据保护市场的acronis推出的Backup&Recovery11简体中文版本是其进军中国市场最好的一块敲门砖。

Backup&Recovery11最突出的特点是将数据保护与灾难恢复融为一体。之前,CommVault公司、爱数公司等都提出过类似的一体化数据保护或容灾的理念。Billtaylor-mountford介绍说:“从架构上看,Backup&Recovery11与CommVault的一体化方案类似,也可以根据需求添加不同的功能模块。acronis用单个解决方案就可以同时提供灾难恢复与数据保护功能,还可以借助磁盘映像技术快速还原所有数据、文件、应用程序以及操作系统。”

与其他专注于企业级市场的公司不同,acronis只专注于中小企业市场。除了技术和功能上的优势以外,Backup&Recovery11最具优势的还是价格合理和使用简便。

许多中小企业用户比较喜欢软硬件一体化的解决方案,包括赛门铁克等在内的国内外许多数据保护厂商也都推出了一体化的解决方案。但是,acronis始终坚持以纯软件的解决方案为主。

企业数据解决方案篇5

面对云计算和大数据所带来的挑战和机遇,联想将从“硬实力”和“软实力”两方面进行布局,致力成为全球领先的it基础架构解决方案提供商。“硬实力”方面:联想将在2013年完成通用型、定制化服务器及存储产品的全球布局。在2014年实现X86服务器进入业界前三,存储业务进入中国第一阵营。并在2016年,使存储进入全球第一阵营,并初步形成以联想为中心的生态系统。此外,联想还将着力提升包括软件、解决方案整合能力、以及端到端服务能力在内的“软实力”。

在行业领域,联想作为it基础架构解决方案提供商,将为全球客户提供创新、高品质、按需定制的企业级产品和解决方案。在中国区,联想一方面将进一步细分行业市场,在医疗、企业等新兴行业领域实现突破;另一方面,联想将持续强化企业级业务在产品、方案、服务方面的整体实力,同时加强与业界合作伙伴的协同,建立以行业客户应用为中心的体系。

本次活动中的Lenovo|emC首批网络存储产品包括emCVnXe和VnX统一存储家族的大部分产品型号。此外,基于上述产品,联想还搭建了“智慧城市视频安控解决方案”、“GiS行业大数据方案”、“数字化医院数据容灾方案”、“保险行业云存储网盘方案”等19个面向政府、医疗、教育、金融、企业、邮电等行业的存储解决方案。依托简单、高效、功能强大的Lenovo|emC网络存储产品家族,和强大的端到端产品解决方案能力,联想将帮助行业客户实现统一存储、数据共享和数据备份、数据容灾、数据镜像等多样化的方案需求,为客户提供稳定、高效的it基础架构平台。

企业数据解决方案篇6

把最值钱的数据放在“保险箱”中

现如今,随着国家实力的提升和社会的进步,人们对知识产权和数据安全的要求也越来越高。一直以来从事图纸设计的李梦然发现了这点:“当时卖给客户图纸设计的方案,很多客户担心万一工程师带着公司的图纸跑走了怎么办?有没有什么解Q方案可以把企业的核心数据防护住?”基于这种的情况,他在2006年创立了尖锐软件有限公司。

据李梦然介绍,信息安全是一个很大的生态体系。在互联网连接企业的过程当中,可能会存在安全问题,接入网络边界时可能存在安全问题,甚至当数据到达终端的时候也可能存在安全问题,而尖锐软件就是保护云、管、端的数据安全。

数据到底多么重要呢?

李梦然打了这么一个比方:我们把数据资产放在一个房子里面。房子的围墙是防火墙,房门就是边界安全,即便解决了黑客入侵问题,也很难保证数据一定安全。数据安全解决方案则是房子里面的保险箱,保护着房子里面最重要最有价值的东西。所有的文件因为经过复杂的加密程序,即便有人将保险箱拎走,也偷不走数据。

目前,尖锐的主要产品有尖锐企业图档加密系统、尖锐文档外发管理系统、尖锐共享文档保护系统等。

针对不同的客户给出不同的解决方案

食品安全因为与生活密不可分而备受关注,数据安全也是如此。在竞争激烈、网络信息肆意传播的现代社会,各行各业对数据安全也提出了不同的要求。

目前,尖锐软件主要服务的有政府级安全用户和民营企业级用户。据李梦然介绍,国家安全客户包括军工、政府、运营商等,对数据安全解决方案的要求很高,属于不可公开。

以中石油为例,为了保护核心的研发图纸、战略规划书、商务合同文件等内容,尖锐采用了透明加密的方式,把文件划分了权限等级,使内部员工访问文件时受相对应的权限控制。“但相比之下,民营企业的数据安全解决方案则会偏向标准化。”

李梦然还透露,国家安全客户和大型民营企业都采用线下购买的方式获得数据安全解决方案。但为了更好地扶持小微企业,今年尖锐将推出云平台解决方案,采用租赁模式服务小微企业。“小微企业对于数据安全的需求很大,但是在创新期本身的资金并不充足。租赁的方式可以帮助他们将成本降下来。”

企业数据解决方案篇7

在日趋数字化的环境中,企业面对的数据保护挑战包括:如何能有效地防止数据丢失,并确保其信息资产?怎样减少因雇员选择和发送敏感数据到错误电子邮件收件人的风险?怎样阻止员工偶然的把机密资料意外上传到公共文件共享网站?Checkpoint提出了一种新的方法,能帮助企业有效防止有意或无意的数据泄露。

许多传统的数据防泄密(DLp)解决方案显示单靠技术不能有效解决问题,公司需要的是一个创新的解决方案,结合技术、用户及流程,对内容进行分析和关联研究,以便对每个敏感的通信提供背景参考。此外,该解决方案必须易于部署和使用,并且可靠。

CheckpointDLp解决方案采用全新思路,对数据泄密由检测转为预防,并允许用户参与补救行动,同时不影响公司的日常业务流程。

例如,CheckpointDLp可以阻止包含敏感财务信息的电子邮件发送给外部收件人,它会实时提醒用户潜在的违规行为,并要求他选择放弃发送电子邮件,或者确认发送,又或者进一步审查电子邮件,以了解企业的有关数据策略。CheckpointDLp解决方案不仅能有效地防止数据丢失,而且它能在执行企业策略的同时教育用户。

在同一情景下,其它传统解决方案通常会创建一个事件并阻止通讯,直到一个it安全管理员检查并修正了这个潜在违规行为,这过程可能需要数天,直到它追寻到通讯的背景,同时这需涉及用户及其上司。此外,itHL作人员处理该事件时,将会看到不在他授权范围的敏感数据。

CheckpointDLp依靠先进的检测技术,可检测多个参数和数据类型,如信用卡号码、个人识别码,以及文字或数字组合,这些资料可能是一个销售预测或工资清单。每个企业可以方便地选择,创建自己的数据类型和配置DLp规则,密切配合他们的企业数据策略,规定可与特定对象分享的特定数据。

企业数据解决方案篇8

数据冗余是导致数据急剧增长的一个主要因素。最初,重复数据删除技术致力于消除像完全备份、电子邮件附件和Vmware镜像文件这些特定环境中的数据冗余。不过,客户们逐渐注意到了冗余数据这个问题的普遍性。

企业环境中的测试和开发数据数量激增:复制、备份和归档带来了多个数据副本,分散在企业的各个角落。有时用户为了图个方便,就把数据拷贝到多个位置。

研究估计,如今数据的众多副本要求企业购买、使用及管理的存储量比使用重复数据删除技术之后,实际所需的存储量多2―50倍。考虑到这给企业利润带来的负面影响,许多企业认识到:重复数据删除绝不仅仅是一项应用范围狭小的技术,需要成为整个it战略当中一个必不可少的有机部分。

哪些企业适用?

遇到下列问题的中小企业客户最适合使用重复数据删除解决方案:

•数据急剧增长,导致存储成本失去控制;

•备份窗口日益缩小或不够充足;

•恢复时间比较长,特别是恢复主备份介质上的旧数据时;

•把磁带发送到灾难恢复站点面临成本、风险和复杂性;

•备份系统和归档系统上数据传输速度慢;

•需要满足电子发现、法规遵循和服务级别协议方面的要求;

•成本高昂的局域网和广域网存在瓶颈。

应当具备的功能

it决策者们在评估重复数据删除解决方案时,应当关注下列必要功能:

•能够灵活扩展,不需要成本高昂的硬件升级;

•更多的恢复点,恢复时间比较短;

•点击式重复数据删除管理;

•面对不同的厂商、数据类型、来源和平台,重复数据删除解决方案内置了报告功能;

•与所有必要的应用程序紧密集成,尽量缩短最终用户的停机时间;

•提供了单一解决方案的简洁性,易于部署和管理;

•能够迅速、安全地恢复所有位置、应用程序、存储介质和时间点上的关键业务数据;

•磁盘到磁盘到磁带(D2D2t)进行了优化,以提高备份性能、确保可靠的数据恢复;

•快速、全面的搜索功能,有助于恢复;

•内置的灾难恢复功能;

•数据分类;

•经济、高效、即时的电子发现;

•使用通用技术平台;

•单一管理点。

部署面临的挑战

与磁盘到磁盘到磁带备份(D2D2t)或服务器虚拟化一样,评估重复数据删除时,也不该把它作为一项孤立的产品来对待。客户必须考虑到方案在整项数据管理和存储战略这个环境中具有的广泛影响。部署重复数据删除解决方案面临的常见挑战与性能、管理难度加大以及处理后的数据孤岛数量激增有关。

1.性能

对基于硬件设备的重复数据删除解决方案来说,查找及消除冗余数据需要极其高昂的成本。如果对进行重复数据删除处理的数据其环境缺乏了解,解决方案在灵活扩展、适应大多数企业的规模时就会面临严峻挑战。

当数据按顺序写入时,存储系统性能最佳。因而对大多数重复数据删除解决方案来说,比较小的数据集会导致磁盘性能大幅降低。由于多个对象上的小段数据存在“机械”共享,基于硬件设备的重复数据删除会需要使用专门工具对数据进行大规模碎片整理。久而久之,重复数据删除硬件设备上的读取、写入、备份和复制性能就会严重下降,让人不堪忍受。

2.管理难度加大

如今的许多重复数据删除解决方案使用起来让人觉得,整个工作流程完全围绕解决方案的价值;几乎不可能通过D2D2t5工作流程,把数据从重复数据删除硬件设备转移到磁带上。为了获得网络优化带来的优点,企业就需要在远程办事处安装新硬件或新软件。

许多重复数据删除解决方案要求企业集成独特组合的软硬件,或者购买新的独立硬件设备,而这些硬件设备各自都需要人工管理。额外的管理难度抵消了节省存储和网络资源的优点,公司在扩大需要重复数据删除处理的数据量的范围时,更是如此。

3.重复数据删除孤岛

企业数据解决方案篇9

常有商家开玩笑说:谁拥有了中国市场,就拥有了足够庞大的利润保障。

其实这并不是一句玩笑话,否则,众多it厂商也不会纷纷推出“在中国、为中国”的市场战略,毕竟,it技术是在某种程度上推动了当今世界的变革,而将it技术商业化的正是这些it厂商。

上一次戴尔在中国引起关注,是其创始人亲自来华布道“戴尔中国4.0”战略和预计在中国市场投资1250亿美元之时。2016年岁末,戴尔科技峰会2016让这家科技集团再次引发业内关注。

这些关注,不仅源于现场有5197位嘉宾聆听,12万人次参与在线直播,以及涉及云计算、大数据、软件定义数据中心、超融合、移动办公等多个领域的6个分会场和3000平方米的展台,更是因为当天戴尔的与在中国市场落地密切相关的四件大事――专为中国市场打造的全新商用客户端“成铭”系列、戴尔与中科院自动化所的深度学习成果“诸葛・深知”、为中国用户开发的三大飞云系统解决方案,以及基于本地化联合实验室的VR行业解决方案。

据iDC对全球4万名企业高管的调查显示,48%的企业无法预测未来3年行业的发展趋势,53%的企业经历过业务中断的情况,92%的企业认识到数字业务时成功的关键。随着互联网、云计算、大数据等技术趋势的高速发展,在数字化时代,各行业、各规模的企业都面临着it及业务转型的挑战。

平滑上云

“从1995年进入中国市场到今天,戴尔矢志不移地扎根中国市场,并承诺到2020年前投资中国1250亿美元,以客户为中心,真正做到本地采购、本地生产、本地研发、本地人才。”戴尔全球资深副总裁、大中华区总裁黄陈宏说。戴尔进入中国21年以来,中国已成为戴尔在全球的第二大市场。

“数字化已经带来了生活上很多的改变。比如,移动互联带来了生活的改变、思维方式的改变、生活方式的改变,但是这只是刚刚开始。”黄陈宏表示。

针对中国企业当前的境况,戴尔推出以“全业务数字化”、“全渠道数字化”及“全产业数字化”为核心聚焦中国企业数字化转型。藉由推动建立稳健敏捷的数据中心,加速采纳混合云及云原生应用需求,使企业平滑地向云演进。利用基于大数据,物联网等技术的全产业信息资源,实现实时决策分析,从而完成实时企业的数字化目标。

未来就绪企业云联盟(以下简称“云联盟”)联合了创新的一体化云解决方案――“飞云系统”。云联盟是由戴尔主导,携手国内外知名厂商东软、Fit2CLoUD、航天云宏、pivotal、UnitedStack有云、Vmware、XSKY、英方、YottaCLoUD优特云,通过产业联盟打造领先的全栈式混合云解决方案,志在助力中国本土企业迎接云时代的数字化转型。

云联盟“飞云系统的首批系列共有三个聚焦点,分别为存储云,灾备云和混合云三大应用场景。针对中国用户最直接需求,从用户具体云应用的方案选型与系统构建上给予专业的支持和支撑。随着云方案的复杂化,参与厂商的增多,客户急需第三方公司提供统一的完整的服务。

云联盟宣布启动与东软云科技有限公司展开云服务深度合作,为客户提供量身打造并稳定的云实施和云护航服务,完善联盟所秉承的端到端云解决方案理念,帮助客户更好的实施云部署与云应用。

轻松部署混合云

如今,混合云逐渐成为了中国数字经济时代的it新常态。

Vmware在Vmworld2016大会中已表示混合云将成为未来的发展重点。不谋而合的是,戴尔在发力传统it优化方案的同时,也同样注重企业向云的平滑演进,致力于让客户能够在一个统一的it环境中跨云的运行、管理、连接它们地应用,以更少的投入获得更高的效益。

作为已经合作超过10年,并且都在长期致力于实现更佳的数据中心的效率并简化it部署和操作的戴尔与Vmware,这次联合了针对不同场景和规模的客户三大混合云架构。

包括具有SDDC功能的企业混合云解决方案基于全面的软件定义的数据中心(SDDC)体系结构,提供应用程序优化的基础架构,并且可以实现it流程自动化,在通过标准化提升用户体验的同时,简化了维护、修改及更新,以更快的服务交付速度为客户带来更高的业务敏捷性;支持FCSan的企业混合云解决方案,使企业可以按自身步调部署灵活并且未来就绪的混合云架构;原生混合云解决方案致力于帮助企业开发者安全构建、部署与管理原生云应用,助力企业尽享传统与原生云应用。

该解决方案提供基于用量的扩展就绪型定价,以符合业招枨笪出发点更高效地交付服务并降低成本。

“未来云计算是一种兼具公有云和私有云的方式,无论Vmware还是戴尔,我们一直坚信未来的it技术发展或者是整个企业去走数字化转型的发展当中,混合云是非常清晰的方向。”戴尔副总裁、大中华区企业级解决方案事业部总经理曹志平表示。

深度学习

在中国,人工智能正在加速走进每个人的日常生活。继2015年11月戴尔与中科院自动化所宣布成立“人工智能与先进计算联合实验室”后,本次戴尔科技峰会中,双方宣布正式启动“企业级深度学习应用与服务平台――诸葛・深知”,实现了从起初的平台基础设施搭建支持,到共创平台的深度参与。

目前深度学习、认知功能模拟多基于数据海量处理,人工智能的研究与开发需依托强大的计算平台,而戴尔的高性能计算(HpC)解决方案,恰恰满足科研领域对于高负载与效能的要求。

“诸葛・深知”为企业提供了深度学习工具包的统一接口,众多中科院成熟算法模型能够轻松被调用,帮助企业实现基于深度学习的大数据分析,步入人工智能时代。

中科院自动化所所长徐波表示,“中科院自动化所60年来与人工智能同行,近些年,人工智能的研究和应用又掀起新高潮。未来,人工智能的应用领域将不断拓展,深度学习将助力金融、证券、医药等数据密集型行业做出更精准的判断。”

“成铭”亮相

作为戴尔端到端解决方案中尤为重要的一部分,戴尔商用客户端解决方案在戴尔科技峰会设立了虚拟现实(VR)及wyse等展区,从前沿科技、企业it部署、云计算等方面,全方位展示如何通过安全、可靠、易管理的终端设备优化it资源、提升管理效率、发挥企业潜能。

企业数据解决方案篇10

据相关数据显示,未来四年亚太地区对外部存储的需求将以57%的年复合增长率增加。这一增长速度是欧洲、中东和非洲地区增长率(27%)的两倍多,几乎是美洲增长率(33%)的两倍。到2017年,亚太地区的原始数据将突破3100万tB,将比2014年增加超过13倍。

海量的信息正在从根本上改变企业的业务模式,也构成了企业数据备份和恢复的主要挑战。目前,全球数据增长的最大驱动力之一就是移动设备的广泛应用,目前亚洲使用智能手机和平板电脑的人数超过了世界上其他任何地区。许多企业推出了“自带设备(BYoD)”政策,允许员工在工作中使用自己的手机和平板电脑。企业因此需要管理大量的设备类型和数据格式。对it经理来说,这无疑又增加了管理的复杂性。

存储老化是严重的业务风险

发生在日本和菲律宾等国的自然灾害,都凸显出拥有强大备份和恢复系统的重要性。构成威胁的不仅是海啸和台风,任何可能导致严重的系统放缓或中断的事件都必须得到妥善管理,同时关键业务信息也需得到保护,并确保可尽快访问。

这项工作一旦出现偏差,就有可能导致严重的后果,给企业业务带来巨大的威胁。根据相关研究机构的数据显示,计划外宕机平均每分钟造成的损失可高达5600美元。

为避免损失,降低业务的整体风险,企业必须重新审视其存储系统,并从以下方面进行评估:

■存储架构――着眼于当前和未来的业务需求,确保任何基础设施投资都能推动整个企业的创新和发展。

■服务器虚拟化――传统存储是虚拟环境下性能欠佳的最常见原因,因为它无法应对不可预知、多租户和高度随机的虚拟负载的情况。

■数据保护和恢复――应对备份恢复时间进行测试,确保其在服务水平协议(SLa)预期范围之内。

■闪存存储――尝试闪存存储,提高关键业务应用的性能和效率。

■容量浪费――多数传统存储系统都有浪费大量容量的缺点,分配容量比所需容量平均多50%以上。这种低效的数据利用率会产生额外成本,未使用的基础设施资源也难以回收。

磁带仍是存储组合的一部分

当企业考虑从传统单片存储解决方案过渡到现代替代方案时,效率和灵活性必须作为首要的考量因素。企业应考虑采用可随业务发展而扩展的融合解决方案,以满足在通用管理界面下,进行从备份、保留到恢复、归档的所有存储需求。

在整个亚太地区,磁带仍然是最常见的用于备份和恢复的存储形式,但该技术并不适于应对当今的海量数据。

当然,这并不意味着磁带已死;事实上,它还远未到消亡的地步。尽管具备重复数据删除技术的硬盘复制是主存储备份的推荐方案,磁带仍然是重要的二级或三级备份层。

线性磁带文件系统(LtFS)等新技术能够实现观感上类似磁盘的解决方案,并且能支持非常简单的归档平台。尽管无法在重大系统中断期间展现出和硬盘复制相同的性能水平,磁带仍不失为一道有效的防线。

选择存储解决方案时,企业应确保首选的解决方案是面向未来的,能够针对it新型态进行扩展,并且能够根据业务预期恢复数据。

将数据过载转化为业务优势

融合存储解决方案可以确保即使在最坏的情况发生时,企业也能够获得充分的保护。

将多个存储孤岛融入一个优化后的系统,可以极大提高信息、基础设施和人力的投资回报率。采用行业标准化系统能够轻松扩展以适应日益增长的数据等级,因而更具成本效益。

这种简洁的解决方案,意味着更少的培训需求,企业因此将有更多时间用以专注于业务运营,减少花在管理和维护上的时间。现代存储基础设施还让企业能够充分利用虚拟项目的优势,从而节约更多的成本,并提高企业的效率。企业还将得益于更快、更强的信息分析能力,以支持业务决策。