大数据非 企业如何有效管理数据存储提示
- 来源：中国安防展览网整理 作者：编辑部
- 2014/5/19 17:04:232271
大数据存数的挑战与对策
大的数据并不是一种特定类型的数据。每一种非结构化数据均可被视为大数据。这包括在社交网站上的数据、在线金融交易数据、公司记录、气象监测数据、卫星数据和其他监控、研究和开发数据。大数据的量是巨大的而且是非结构化的。
IDC将大数据技术定义为：大数据技术描述了新一代的技术和架构体系，通过高速采集、发现和分析，提取各种各样的大量数据的经济价值。如下是一些有助于您的企业有效地管理数据存储需求的提示：
通过隔离管理大数据存储
如果您在您的企业中有多个存储箱，那么将数据库、线交易处理(OLTP)和微软Exchange应用到特定的存储系统是一个好主意。而专其它存储系统则用于大数据应用，如门户网站，在线流媒体应用，等等。
如果您的企业负担不起分隔的存储系统，将特定的前端存储端口到数据库，OLTP，等等;致力于大数据应用到其他端口。背后的基本原理是使用专用端口，而大数据流量是以千字节或兆字节衡量，OLTP应用流量是以每秒的输入/输出操作(IOPS)衡量，因为数据块的大小是比大数据更大而比OLTP应用程序更小。OLTP应用程序是CPU密集型的，而大数据应用程序更多的使用前端端口。因此，更多的端口可以专注于大数据应用。
专业的大数据存储管理
如今，很多公司提供兼容数据管理的存储系统。你应该在寻找你的大数据存储管理解决方案时评估这些公司。如EMCIsilon的集群存储系统对于大数据存储管理是一个更好的选择，因为在一个单一的文件系统中大数据能增长到多字节的数据。
大数据分析
除了存储，大数据管理的另一项大的挑战是数据分析。一般的数据分析应用程序无法很好的处理大数据，毕竟涉及到大量的数据。
目前，诸如EMCGreenplum这样的公司就在采用专门针对大数据的管理和分析的工具。这些应用程序运行在集群存储系统上，缓解大数据的管理。建议选择应用程序可同时工作在群集存储系统，并迅速有效地分析数据。快速索引，确保元数据始终驻留在固态硬盘(SSD)，如果存储箱为您提供了这样的选择的话。
管理大数据的另一个需要重点考虑的是未来的数据增长。你的大数据存储管理系统应该是可扩展的，足以满足未来的存储需求。
大数据的存储管理和云计算
许多公司正在寻找云计算服务来进行存储和管理海量数据。而选择云服务来大型数据存储管理，可以确保数据的所有权仍然是你的。
大数据不适合处理的十件事情
数据的重要性被大家说得十分光彩，许多企业领导人开始接纳大数据处理并期待神奇和奇迹，但却发现大数据带来新的复杂性，且从中获益所需要付出的努力要预计中的多得多。
1、解决你的业务问题
大数据不会处理业务问题。人们可以做的，就是要坐下来，在开始使用大数据之前，讨论决定放弃大数据，就使用商业智能取得共识。
2、帮助你管理数据
IBM公司宣称：每一天都会产生250万字节的数据，其中大部分属于大数据。不出预料，世界范围内企业所需要管理的数据量呈现指数级增长，由于缺乏清晰有效地数据存储和使用策略，数据将不断堆积，每个企业都陷于数据管理的工作。
3、缓解减轻你的安全忧虑
对于许多公司来说，确保大数据的安全访问仍然是一个开放式的课题。这是因为对于大数据安全实践的定义远没有系统数据和记录保护这样明确。我们正处在这样的一个时间点上，也就是IT与终用户一起来确定：谁可以访问哪些级别的大数据，并可以进行相应地分析。
4、关键IT技能缺乏
大数据处理数据库管理、服务器管理、软件开发、业务分析技能短缺，许多IT部门关键IT技能的缺失会不断成为企业的负担。
5、减少系统的价值
如果有的话，系统记录会较之任何大数据更具有价值。通常情况下，正是这些系统可以为大数据分析提供重要线索，用于回答重要的业务问题。
6、简化数据中心
大数据分析需要并行处理计算机集群和传统IT事务处理和数据仓库系统等不同风格的系统管理，这就意味着能量、冷却、软件硬件消耗，运转这些系统所需要的技巧也不尽相同
7、提高数据质量
传统事务处理系统美妙之处在于其拥有固定长度的数据字段以及全面的数据编辑和验证发方式，这有助于得到一个相对干净的表格呈现。大数据不是这样，他们是非结构化的数据，可以表现为几乎任何形式。这让大数据的质量成为一个令人头痛的难题。数据质量至关重要，如果你没有它，就不能信任数据查询的结果。
8、验证当前的率（ROI）
衡量系统率常用的方法是监测交易速度，然后推断其获利能力（例如酒店每分钟有多少新的预订）。对于大数据处理来说，交易速度不是好的衡量指标，大数据缓存和运行分析可能需要数小时甚至数天才可以杀青。衡量大数据处理有效性的一个好的指标应该是利用率，它应该保持在90%以上（相比于交易系统，其利用率可能只有20%）。对于大数据来说，确定新的ROI指标尤为重要，因为你还有说服CFO以及其他业务部门的领导。
9、减小“噪音”
95%以上的大数据属于“噪音”,对于商业智能的贡献很小或几乎没有。通过数据筛选来进行企业掘金，帮助企业业务进步，这是一个非常艰巨的任务。
10、每天工作时间
多年来，大学和研究中心一直运用大数据实验，试图解答基因组、药物研究以及是否有其他星球生命等令人难以捉摸问题的答案。虽然其中一些算法和查询产生结果更多还是不确定的，大学和研究对于环境的研究也尚无定论，但这不是企业可以接受的，因此，IT和企业关键决策者需要对预期进行调整和管理。
小结：大数据带来的不仅仅是丰富的信息财富，这些财富是需要我们从中分析才能得出来的，而大量的数据存储也对我们提出了新的挑战。如何有效地管理数据对企业来说也是非常中，同时企业不能太过依赖数据，要想从中有所收获也是要付出努力的。