物联网与数据驱动企业：如何应对数据洪流
- 来源：网界网
- 2016/1/27 14:06:3513613
这既是好事，也是坏事。好事是因为有了这些数据，公司可以提率，更为智能地运营，找到新的营收来源。坏事是因为很少有公司已经做好了处理即将到来的数据洪流的准备。
为了帮助大家应对它们，制定更好的策略，我们从许多专业人士那里获得了建议。这其中包括物联网的通用电气，正在全面向物联网转型的英特尔，以及多家专门帮助企业处理物联网大数据问题的公司。
存在的问题
大从专业人士那里得到建议之前，让我们看一下这一问题所涉及的范围。根据销售大数据分析平台的公司Datameer提供的数据显示，到2019年将有高达350亿的设备会连接到互联网，这些连网设备中内嵌的传感器将产生大约4万艾字节数据。
那么我们都在讨论哪些类型的数据呢?它们涉及所有类型的数据。例如，制造企业可以使用传感器来检查他们的工厂和设备，以确保一切运行顺利或者用以改善制造工艺。零售商可以使用它来更好地跟踪销售，了解供应链的情况。甚至我们日常使用的家用设备也会收集数据。
埃森哲咨询公司和通用电气的一项联合调查显示，大数据是企业当下关注的事情也就不足为奇了。88%的受访高管说，大数据是它们的三大优先考虑的事情之一。82%的受访者表示，他们将在未来三年内新建或在现有的数据处理和分析平台中新增大数据能力。
通用电气的长期观察
业内公认通用电气是物联网和大数据应用的之一。通用电气将物联网和大数据技术应用到其自己的企业中，并为那些希望充分利用物联网数据的公司提供服务。通用电气公司的业务范围很广，从航空到能源管理，到医疗保健、石油和天然气、交通运输等，由于工厂分布到世界各地，因此他们不得不比大多数其他公司更早地面对物联网的数据洪流。根据自己所积累的经验，通用电气开始通过智能平台事业部销售针对物联网和大数据的产品和服务。
通用电气智能平台软件软件架构师Rich Carpenter认为，大多数希望利用物联网数据的企业面临的个挑战是收集数据，这个任务的艰巨程度要远远超过我们的想象。
他称：“我们在自己的业务中正面临着大量这样的问题。我们有400工厂分布在，还有数量惊人的未连接进来的设备，因为很多设备在互联网开始流行之前就已经安装了。”
他称，通用电气将设备分为三大类，即完全无需连接的设备、能够连接但需要做一些工作来完成连接的设备，以及已连接或很容易就可以连接的设备，然后针对不同类型的设备分别制定了数据收集策略。
但是，仅仅只是从物联网设备收集数据还是不够的。物联网数据拥有许多不同的格式，它们可能彼此互不兼容或与数据分析软件不兼容。
在工业生产现场，通用电气安装了称其为现场代理的数据收集装置，它们可以安全地连接到公共云或私有云，把数据存储在云中。这些设备不仅要保证发送数据的安全，同时还要确定收集什么类型的数据、使用什么协议来收集它们，以及该数据应该如何被存储。
一旦数据被收集上来后，企业还需要理解它，挖掘它们蕴含的有用信息。这是一项非常困难的工作。然而更大的挑战是要利用发现的这些信息来进行指导工作，比如建立一个更的制造工厂。
Carpenter警告说，许多公司就被阻挡在这个阶段。他对这些公司提出了如何解决这一问题的建议。
他称：“部分公司选择先从一个制造工厂作为试点，在全面推开之前希望地实现数据采集和相关分析。但是他们需要不断地解决所有的问题，即使只是一个工厂也是如此。根据我们的经验还可以有更好的解决方案，就是在试点工厂70%的问题解决了之后，就可以扩展到整个企业，这能更迅速地给企业带来更多的价值。”
Carpenter还表示，几乎所有企业终都必须将物联网数据纳入到处理和分析范畴，成为真正的数据驱动型企业。“这不仅是对制造企业或那些已经知道必须部署物联网的企业而言，所有的公司都需要，无论是资产管理和维护、企业资源计划(ERP)、供应链或提高移动工作人员的工作效率等。”
首先要关注业务目标
英特尔数据中心集团大数据分析策略总监Vin Sharma同意Carpenter的说法，认为几乎所有企业终都需要利用物联网的数据。
他称：“农业、制造业、医疗保健等，这些行业需要利用物联网数据的原因很容易理解。但是我们的期望是每个企业都应该充分利用所有能得到的数据，包括来自物联网的数据。我很难想象有哪个行业不需要这些数据。例如零售可以通过利用RFID标签和信标来监测商品的库存给企业带来大量价值。还有，许多公司都希望获得客户的360度视角，如医疗行业中病人、农业产业中的农场主或者零售行业中的消费者。”
Sharma说大多数企业在物联网数据上犯的一个大错误是没有利用这一技术，以及对自己的业务目标了解不足。
他称：“一个常见的问题是，公司在正式部署物联网之前没有一个清晰的业务目标，对此没有非常明确的定义，并不清楚他们要解决哪些问题。如果这方面不明确，就会影响物联网的部署。相反，如果企业对自己需要达到的目的非常清晰和明确，往往就能非常迅速采取行动。”
Sharma以服装行业为例，解释了在实施物联网项目之前明确定义业务目标的重要性。“比如，仓库库存的性没有达到的希望的程度。这会导致我进入过多的服装，从而导致浪费并降低了企业的利润。这也会波及到下游的供应链。因此我知道提升库存的准确性可以提高企业的利润。这明确了我希望解决的问题。”
带着这个目标，公司可以设计一个系统，在系统中使用RFID传感器阵列来获得有关商品库存更的信息，从而提高数据的准确性。
企业在物联网应用上常犯的第二个错误与物联网项目所涉及的范围有关。通常，这些项目都非常大，非常的宽泛，难以部署和管理。他称：“我们看到很多企业之所以取得成功，就是因为它们从一开始就会列出一个非常具体的项目内容或者范围做概念验证，然后进行小规模的试点，接下来再分别在水平方向和垂直方向扩展项目范围和所涉及的业务内容。”
对于上面所举的让库存更为的例子，他建议首先在某个地方的某一家店做试点，解决遇到的所有问题。在此之后，再扩展到其他所有300多家店，后再增加收集数据类型的种类。
利用基于云的Hadoop平台
即便企业清楚了他们需要解决的问题，他们也无法利用物联网数据，除非他们有一个能够处理这些数据的平台。如今开源的Apache Hadoop逐步被认为是的数据处理平台。原因在于它能利用便宜的通用硬件来建立计算机集群，然后在集群之上提供分布式存储来处理庞大的数据集。
Hadoop的部署并不容易，因为许多企业并没有这样的专业人员。此外，很多企业也不想创建物联网数据洪流所需要的大型平台。因此，那些提供基于云的端对端Hadoop服务的公司就如雨后春笋般涌现。这些Hadoop平台能提供处理包括物联网数据在内的大数据。这样，企业可以专注于数据分析，而不用考虑构建、部署和管理平台的问题。
Datameer就提供一个这样的平台。Datameer的平台2009年正式对外提供服务。该公司技术产品营销主管兼布道师Andrew Brust提醒企业千万不要陷入当前的物联网炒作之中。
他称：“目前，物联网还处于概念普及期，尽管听起来似乎企业面临的数据问题都是全新的，但是这些问题的本质还是数据流的分析和处理。主要的区别在于我们如今可以通过更多的东西来收集数据，我们收集数据的频率变得更高。”
他指出，物联网数据的大难题之一是它们来自使用不同协议的不同设备，使用彼此并不兼容的数据标准，有时候数据是高度结构化，而有时候又不是。
“我所给出的大建议是好能找到一种技术或者工具让它们能在所有物联网数据之上创建一个抽象层。这样，当我们得到不同的数据类型后，我们仍然能够处理它，因为该平台能够处理许多新的标准。我们还需要寻找一款产品，能够尽可能地整合来自不同数据源的数据。”
Brust还表示，聘用到拥有合适分析技能的人也非常重要。他承认数据科学家非常短缺，但他认为没有必要一定要专门为这个职位招聘人才。他称：“数据科学家这个概念存在一些神秘感，但是总体上我们不应该认为一定要有这样技能的人才能进行数据处理和分析。如果我们拥有训练有素的技术人员，他们熟练掌握数据仓库和相关的IT技能，那么我们完全可以为他们提供完成工作所需的培训和专业知识，让他们胜任这项工作。我们不仅有了合适的资源，还通过为企业中的人员提供了机会，让他们能继续留在企业中。”
Altiscale也提供了一个基于云的Hadoop平台。Altiscale运营官Mike Maciag认为，物联网数据的分析和处理和以往大数据明显不同。他称：“在很多情况中，物联网数据是许多小数据汇集而成的庞大的数据集合。这些数据被*地生成，从几百兆字节到数百太字节再到拍字节级。此外，这些数据经常是非结构化的，因此在分析它们之前需要大量的处理工作。还有一个独特之处是，许多数据在云中生成并通过云汇集到你这里来。”
他指出，这在某种程度上要求企业需要改变考虑数据的方式。过去，企业往往是提取数据，转换数据、然后将其存储到数据库中。他称：“在物联网中，处理方式改变成为了提取它、存储它，然后再转换它。”
正因为如此，他建议：“要确保存储所有收集进来的数据，不要把它扔掉，即使你还不知道用它来做什么。也许当公司有了新的战略和商业模式，它们就具有了价值。”
提出新的战略和新的经营方式是企业为什么需要开始发展物联网大数据策略或是提升现有能力的核心。正如通用电气的Carpenter所说的那样，“这是竞争的需要。我们需要以真实的数据为基础开展业务，而不是想象中的东西。我们的竞争对手正在这么做，如果我们不这样做，那么我们就会被甩在后面。”