何大数据大数据应用案例与分析大数据的重要性与趋势Youtube视频

各位同学大家好我是国立台湾科技大学

工业管理系杨朝龙老师

这门课是智慧商务导论

这个章节是大数据应用案例与分析

这个章节的学习目标与大纲如下

第一个Youtube视频部分我们会介绍何谓大数据

大数据的重要性与趋势

第二部分我们会说明什么是资料分析科学

有两个基本的名词

一个是数据分析

第二个部分是叫数据科学家

第三个单元我们会介绍

大数据相关的技术与工具

最后我们会用实务的案例来说明

大数据的应用方式

大数据应用案例与分析

单元一何谓大数据

大数据的重要性与趋势

管理学大师Edwards Deming

及Peter Drucker曾说

你无法管理你无法衡量的东西

它的意思基本上是说

对你无法衡量的东西你基本上无法进行管理

既然要了解什么是衡量

我们要针对资料的衡量的单位进行了解

这张图列出基本上由小至大的资料衡量的单位

从下方你可以看到我们熟悉的几KB几MB

这些分别就是10的3次方到10的6次方

这是我们日常生活常常处理的

资料的档案及资料的大小

当然由下继续往上看你会看到技嘉

现在大部分的影音资料

大概都是以这个单位在储存

当然逐渐地往上看

你会看到Terabyte你会看到Petabyte

这些大部分的资料都已经是超乎个人

甚至可能是企业甚至政府所处理的资料

当你了解这个资料单位

你可以很快地发现过往我们只针对

Kilobyte Megabyte

在进行处理的资料的范围已逐渐地提升

所以大数据的趋势

就是因应资讯科技的进步

大部分累积的资料也越来越庞大

举例来说2016年整个世界所产生的资料量

大约可以以10ZB

也就是10的27次方这样的单位在储存中

很快地四年之后

预计这样的资料量要成长到40ZB

这是相当大的一个资料的量

所以资料快速累积的状况的数位时代下

如何在有限的时间

将这样的资料转换成有价值的资讯

就变得非常地重要

这张图很快地你会发现

这个资料分别为不同年份

所累积的预估资料量

首先你会发现它并不是线性成长

而是很快速地成倍地成长

这样也造成了资料分析的挑战

大数据的时代有两个重要的因素

让这样的大数据分析变得非常重要

第一个因素是资料储存成本越来越低

诚如我们自己所知

过往我们熟悉的手上的随身硬碟

有个几GB大概就是

2GB 3GB就觉得还蛮大的

但是同样的价钱

我们在现今可以买到更大的储存空间

我们的硬碟的资料

在同样的价钱可以买到更大的空间

这样资料储存成本是越来越低

而且从2000年之后我们的资料储存的类型

也逐步地从模拟的资料转成数位的资料

换句话说我们以前储存的声音档

可能这样的资料都普遍出现在

我们的储存媒体之中

第二个部分主要的因素就在

资料计算的能力越来越强大

这张图显示同样我们从

2000年之后要处理的资料

虽然多但是我们的计算机计算能力

比如说CPU比如说现在最流行的

GPU的计算能力也越来越强

左边这张图就是说

1996〜2007年我们每单位的CPU

处理的指令及成长极为快速

同时在右手边可看到

我们的过往的资料储存

都是以原伺服器或是大型的电脑为主

可是我们的个人电脑包括我们的手机

处理资料的速度的能力也越来越快

尤其是针对数位化的资料储存及分析

这也造成了大数据时代里面

最重要的两个因素

这边说明资料储存越来越便宜

我们处理它的能力也越来越强

自然而然我们对期望能够将储存的大量资料

来做有用有价值的分析结果

所以大数据一般来说的定义

会来谈这三个主要的V

第一谈的是资料的量

第二是谈资料的储存的

取得的速度

第三是指资料的多样性

我们来看Volume的部分

你可以从这图可看到

我们从以前的表档案

或者是一个交易内容逐渐成长到

TB级等级的资料量

从第二个V Velocity

我们从以前的批次处理的资料

越来越接近要到即时处理

甚至所谓的数据流

串流型资料的处理模式

第三种从以往熟悉的有结构性的资料

现在逐渐到非结构性或半结构性的资料

比如像网页比如像声音档

这样的资料已经普遍存在我们的储存媒体之中

这三个V彼此我们再用这一张图来进行说明

在Volume的部分我们甚至可以看到

资料量由TB级还成长到ZB

就是Zetabyte的这样的庞大的资料规模

从Velocity从过往的Bage批次的方式

进展到流数据

就是所谓的串流的资料

第三类Variety我们可以看到

从结构型的资料

改变成为非结构或半结构的资料

所以大数据的应用

就不仅仅出现在资讯产业中了

其他的产业比如说零售制造医疗交通

金融教育能源各式各样

包括政府单位都有其需要大数据的应用

而它的发展也对各个产业产生很巨大的影响

我们利用另外一张图

这个叫Gartner Hyper Cycle

这是Gartner的资料分析公司

每年都会提供出来的一个

对逐渐产生的新式TECHNOLOGIE

一个分析预测报告

我们这张图可以看到一个曲线

这个曲线分别说明了不同的新进的技术

在这个所谓的超级周期

也就是这个技术会从快速成长逐渐成熟

然后进入量产的一个格式

大数据分析在2013年已经迈向整个

所谓的Hyper Cycle的最高点

也就是在2013年已经大家对这样的技术

有高度的关注能力

现今我们对这样的技术

已经不用再探讨它的重要性

而其重要的是如何针对其相关的分析方法

进而产生可以进行Productive Product的工具

所以大数据的分析或者大数据的应用

在当今已经是极为重要的技术核心课题

更何况有一个另一个新技术叫做物联网

物联网

也让这个大数据更加地庞大了

这张图显示从2005年〜2015年

大部分的数据内容的分布

首先我们已经知道资料是越来越庞大

而且在这么多的资料之中

里面根据Social Network Media的资料

或者是个人的传感器

或者不同传感器所取得数据也越来越庞大

这样子的资料也让大数据更大

而且要处理这样的资料的技术

也越来越不一样

所以如果我们从不同的角度

来看大数据的应用

就会看出很多不同应用的方向

比如说在行销类我们可以看到

有不同的交叉销售

或者基于基于位置的销售模式

店内的客户行为分析

或者店内或客户的情感分析

或不同管道的消费体系的体验的分析

都在行销这个领域逐渐地成长

产品销售方面我们可以针对不同的产品

进行所谓分类的最佳化

或者是定价的模式的最佳化

甚至在一个零售店内

上架分布及设计如何进行最佳

也是大数据应用的范畴

在作业管理相关首先谈到人

我们甚至可以让员工的最佳化

工时各方面的表现去应用

甚至产生更好的人员派送的服务机制

在供应链管理也就是所谓的

物流业相关的配送

都可以依据所收取​​的物联网资料

进行最佳的物料派送

甚至还可以根据整个供应链的数据分析

来针对供应链谈判上做最佳的策略

此外很多新式的网路服务也不断地提供

也是基于大数据技术

比如说搜寻比价网站

或航空公司票价网站的比较服务

或者是网路营销市场电子商务领域

包括地图服务等等

都是应用大数据技术的应用范畴

在此针对本单元做一个小结

大数据发展的趋势

在产业及学术甚至政府单位

它已经是不可或缺的

随着资料量不断地积累

如何培养或者拥有这样分析

如此大量数据的技术人才

变成非常关键的一件事

总体来说大数据是个综合的学科

它集结了过去已经拥有的领域及知识

比如资料库演算法统计机器学习

资料检索自然语言处理影像处理等等

但是除了这些之外也必须对每一个应用领域

或情境的Domain knowledge进行了解

也因此使得大数据分析变得非常困难

下一个章节会针对资料分析

甚至大数据的工具做介绍谢谢,这次Youtube视频分享到这里结束。