大数据的风险与陷阱

时间:2018年3月25日 来源:佚名


马克吐温说过:”让我们陷入困境的,不是无知,而是看似正确的谬误论断。”换句话说,我们会以特别谨慎的态度面对我们所不了解的事物,但当面对那些我们自以为正确的事情,却往往容易犯下错误。。

在数据急剧增长的今天,我们极为看重数据的价值,企业的各种运营和战略,甚至包括投资决策,都是建立在数据驱动之上 ,人们迫不及待的相信并按照数据分析的结果行事。假如你是一位大数据从业者,不了解大数据分析的过程中所蕴含的各种风险和陷阱,这是一件极其可怕的事情。一旦失误,就有可能会导致严重的后果。

过度依赖相关性

什么是相关性?一个变量的数据模式取决于另外一个变量的数据模式。比如,天气越冷,家庭用电量越大,这是一种正相关关系;天气越热,冬衣的购买量越少,这是一种负相关关系。

统计学意义上的相关性,指的是统计显着性的相关性,统计显着性由P值的大小来检验。但是,实际的生活场景中,统计显着性水平的相关性出现的概率是非常低的。但数据分析人员认为,在超大样本规模的条件下,某种程度下事物之间都存在相关性,不需要考虑显着性。即使数据之间只存在微弱的关系,他们也会认为两个变量之间是有某些关系的。

这就是一个潜在的风险,其实他们认为的数据相关关系在实际上往往是不存在的现象。

人为判断的缺陷

当我们不能总是依靠统计方法或者机器学习方法来分析数据找出自己所预期的规律的时候,人们往往会倾向于依靠自己的人为判断来获取想要的结论。所以,我们必须对人为判断的缺陷要有所了解。行为经济学告诉我们,所有人都可能会误解数据,优秀的数据科学家也不例外。

能够理出头绪找出数据的规律,对于任何数据分析人员而言,都是十分重要的认知能力。在分析数据的时候,当我们很难区分数据是随机的还是有规律的。面对实际是随机的数据时,我们可能会因为看上去存在某种程度的有序或者不够稳定的数据结果而认为数据之间是存在规律的。

比如,二战期间,美国就如何在飞机上安装钢板来降低飞机被轰炸的损失问题展开研究。下图是根据实际的着弹数据绘制出来的飞机着弹统计图,通过统计图很容易发现,轰炸机的机翼和机身容易中弹,飞行员的座舱和飞机尾翼一片空白,没有着弹点,于是大家就建议在机翼和机身处安装钢板。有一位数学家沃尔德并不这么认为,这些数据都是统计能飞回来的飞机,而对于那些座舱中弹,飞行员就完了,不可能飞回来,因此座舱也就统计不到着弹位置。

讲故事的陷阱

人们寻找规律的愿望越强烈,想要通过讲故事的方式来理解实际的问题的倾向就越显着。但问题的关键在于,一个故事只是人们对某一事件的一种解释,不同的人会有不同的解释,并且很少有重复的。

我们天生就会讲故事,也需要故事,但听故事的人必须意识到这是对数据的一种解释,应该对其观点持有质疑的态度。他们是怎样编故事的?我们是否应该质疑贯穿其中的一些隐含假设?

因为讨厌不确定性,人们还会挑选容易理解的故事。更可怕的,故事给我们留下的印象越深刻,对我们产生的影响就越大。比如,尽管发生空难的概率微乎其微,但是因为媒体对空难的报道更多,所以相对车祸,我们更担心自己会死于空难。

混淆故事和因果的关系

为了能够解释和理解事件,我们会努力试图建立因果关系,有了因果关系就不再需要应对复杂和随机无序的世界,因为人们讨厌无序和不确定性。讲故事和因果关系,都是可以明确事情的先后顺序,两者也都可以让事情朝着单一的方向发展,所以很容易混淆使用。

以前,在商界、主流媒体和主流文化中,人们普遍认为“计算机是加强版人脑。”这个观点在历史上影响到我们认识世界的方式和对科技作用的期待。结果也就随之带来的问题是,我们很容易落入这一比喻说法的陷阱,它会使我们认为,只要掌握科技知识就能了解人类行为。

这样的观点,会给社会带来严重的后果。对组织而言,最大的风险便是思维的单一化,阻碍企业的发展,固化企业看待世界的方式,使企业不再能够灵活地思考目标市场的复杂性。

忽略理论的重要性

有人认为,在处理大数据时,我们完全没必要考虑理论、原理和科学定律,因为“发生了什么”才是唯一重要的,而不是“为什么会发生”。只要运用信息处理能力找出重要的规律和趋势即可,不再需要理解消费者或者掌握人类行为理论。

比如以失眠患者为例,在运用大数据分析处理了几百万份失眠患者的医疗报告之后,研究人员发现,服用了维生素和橘子汁的患者晚上都能够睡好。在这种情况下,确切的原因并不重要,重要的是失眠问题得到了解决。用他们的话来说,大数据的目的是结果,不是原因。我们并不是总是需要了解现象的原因,我们要让数据说话。

然而没有理论的指导,大数据就会容易产生误导。由于生活和社会的高度复杂性,在理解复杂体系方面,理论比以前更加不可或缺。原因在于,在任何复杂的体系中,输入和输出的数量都是无限的,所以,即使有再多的数据,也满足不了实证研究的需求。

大数据时代,我们应该如何处理数据?既然统计显着性存在缺陷,而人为解读数据又存在问题,我们应该采用何种方法呢?我想说的是,运用理论框架指导实践或许就是问题的答案。

结尾:

从前觉得苹果只能通过APP store进行下载有些不方便,现在了解了便利性带来的弊端后,反而感觉到统一管理的重要性。

凡事必有其弊,必有其利。

由于谷歌服务器不能被使用,它自带的GCM (Google Cloud messaging) 服务也无法被使用。

GCM 主要实现了消息的推送功能

比如微信收到了消息

淘宝告诉你你买的东西已经发货了

信用卡提醒你要还钱了

苹果有自己的服务器,来推送这些消息。而安卓呢,由于谷歌服务器的退出,谷歌的GCM推送功能也无法使用。

如果有统一的推送机制,即使应用程序不在内存里,也可以给用户推送消息。而如果缺少统一的推送机制,为了给用户推送消息,应用程序就需要常驻在内存里。

这件事的初衷本无可厚非,但由于缺乏了谷歌的统一管理和限制,出现了不少流氓软件,他们想尽办法进驻内存。这其中的目的有些是实现消息的推送,有些在后台收集数据以及推送各种广告。这些软件偷偷地在后台运行,占用了大量的运行内存。

我们如果将这些软件服务在后台杀死,他们就像打不死的小强一样,依然在后台自启动,并且在自启的过程中再次完成程序的初始化等过程,反而进一步增加了系统的消耗。

除此之外,应用程序之间还形成了各大派系,比较著名的有百度派系,阿里派系,小米系,腾迅系。这些派系里的程序相互关联,一旦启用其中一个应用程序,派系里的其他应用程序同时被唤醒,一起抢驻内存。这就是我们常说的“全家桶”。

由此可见,安卓的一些内存清理软件,只是暂时杀死了后台的进程,由于应用程序的自启动功能,他们会重新再后台启动,并经历一次初始化过程,从某种程度上来讲,反而加重了系统的负担。

苹果由于本身平台的监管,对于那些对操作系统影响很大的恶性app不会审核通过。而由于苹果服务器本身具有推送功能,app也不需要常驻内存抢占资源。

4、

工信部如今也意识到了缺少统一推送带来的弊端。

工信部旗下泰尔终端实验室发布消息,要求国内安卓统一消息推送标准。原文如下

据工信部旗下泰尔终端实验室发布消息称,目前泰尔终端实验室联合包括华为、OPPO、vivo、小米、三星、魅族、金立、努比亚、谷歌(微博)、百度、阿里巴巴、腾讯、个推、极光等国外内主要相关企业共同制定安卓统一推送服务(Unified Push Service,简称UPS)技术标准,旨在为国内的消息推送服务建立统一的标准,为终端用户提供更好的手机使用体验,为应用开发者更好解决消息推送需求,并取得了阶段性成果。

总结一下安卓越用越卡的原因。

- 安卓4.4之前,由于底层机制使用了Dalvik Java Virtual Machine,造成了安卓系统的不流畅

- 安卓4.4之后,谷歌改进了底层机制,引入了ART 模式,系统流畅性和苹果系统不相上下

- 由于缺少谷歌统一的管理和监制,各大软件想方设法进驻内存,抢占后台,以便推送消息和广告。软件直接相互唤醒,形成“全家桶”派系。这是导致安卓系统越用越卡的罪魁祸首。

- 我们不能用安卓两千元的机器去和苹果五千元的机器去比流畅,这本身就不公平。对于安卓五千元的高端机来说,由于配置高弥补了软件抢占内存带来的不足(配置对于安卓机来说尤为重要)。所以我们只要好好爱护安卓系统,不要无限制地安装劣质app 抢占系统资源,就不会有明显的卡顿现象。

再说几点建议

- 不建议使用清理大师,软件管家等app清理内存,安卓本身有自己清理内存的方式,额外的清理不必要反而增加系统负担。

- 不要安装太多无用的app,很久不用的APP 建议卸载,它们即使不使用也会占用内存。

- 安装App绿色守护(greenify)可以阻止软件自启动,绿色守护可以安装在非root的安卓手机上

- 如果将安卓机root并安装绿色守护,冰箱,黑域等防自启动软件,可以让你的安卓手机好用的飞起来。

- Root加大了对系统的管理权限,Root需谨慎,但正确的使用root,可以让你的安卓焕然一新

- 我们期待未来安卓手机的统一推送服务,相信安卓会迎来新的春天总的来说,安卓系统更适合愿意花心思好好宠爱手机的人,而苹果手机更适合小白用户们。

我用过三个两千元以下的安卓手机,都是到后面越来越卡。用了苹果6后,觉得幸福了很多。

我曾一度对安卓缺少好感,如今想来,我也进入了用1000多元的手机和5000多元手机相比较的误区。

据使用安卓高端机的人士回报,安卓高端机并不会造成明显的卡顿现象。在此,要还安卓一个清白。


其他热门新闻:

  1. 「净网2019」第三方支付的发展,丰富了骗子的金融渠道
  2. 打电话、发短信…热门App可能悄悄获取了你的这些权限
  3. 中消协在京发布《100款App个人信息收集与隐私政策测评报告》
  4. 开启Wi-Fi就会泄漏身份信息,还有这种骚操作?
  5. 让你的手机快到飞起来 - 安卓卡顿背后的原因

隐私专家提供最新最全的互联网安全新闻,隐私专家app软件是一款致力于协助您保护手机安全隐私工具软件,主要功能有虚拟位置、WIFI模拟、拍照模拟、路线模拟、深度隐藏的等,隐私专家GPS苹果专用模拟位置硬件外设。更多详情请关注我们。

http://www.yszjapp.com