该网站已经ICP备案审查并实名认证,请放心访问

了解详情 >
收起

欢迎进入蜂车车网店交易服务平台!

发布出售

发布求购

24小时服务热线:400-109-1005

当前位置:蜂车车首页>>网店转让资讯>>阿里巴巴的数据来源。

阿里巴巴的数据来源。

发布者:蜂车车     发布时间:2019-05-07




我们看国内大数据的领导者——阿里巴巴,早在2010年就在开始谈大数据战略,同年,Maxcompute(原ODPS)开始布局,蚂蚁小贷开始创业 。


2012年,阿里设立了CDO这个岗位以及成立CDO事业部,全面负责阿里集团的“数据分享平台”的大数据战略。同年,一本《大数据时代》也开始在国内外畅销,国内大数据时代拉开序幕。


2014年,马云再次提出,“人类正从IT时代走向DT时代”,人类已经从IT时代走向DT时代,IT时代是以自我控制、自我管理为主,而DT(Datatechnology)时代,它是以服务大众、激发生产力为主的技术。这两者之间看起来似乎是一种技术的差异,但实际上是思想观念层面的差异。


讲了这么多,那大数据是什么呢?


大数据到底是什么?


简单讲,大数据需要有大量能互相连接的的数据(不管是自己的,还是购买,交换别人的),他们在一个大数据计算平台(或者是能互通的各个数据节点上),有相同的数据标准能正确的关联(如ETL,数据标准),通过大数据相关处理技术(如算法,引擎,机器学习),形成自动化、智能化的大数据产品或者业务,进而形成大数据采集,反馈的闭环,自动智能的指导人类的活动,工业制造,社会发展等。


数据正在金融,广告,零售,物流,影视等行业,悄悄地改变我们的生活。随着手机的更大规模的普及,还是日新月异的可穿戴设备、智能家居、甚至无人驾驶汽车,都在提醒我们,以互联网(或者物联网)、云计算、大数据为代表的这场技术**正引领人类社会加速进入农业时代、工业时代之后的一个新的发展阶段——数据时代(DT时代)。


前两个时代分别以土地、资本为生产要素,而正在我们面前开启的数据时代,正如其名,数据将成为最核心的生产要素。


在未来,数据将成为商业竞争最重要的资源,谁能更好的使用了大数据,谁将领导下一代商业潮流。所谓无数据,不智能;无智能,不商业。下一代的商业模式就是基于数据智能的全新模式,虽然才开始萌芽,虽然才几个有限的案例,但是,其巨大的潜力与力量,已经被人们认识到。


在下一代的**中,不管是工业4.0(中国叫中国制造2025),还是物联网(甚至是一个全新的协议与标准),随着数据科学与云计算能力(甚至是基于区块链的分布式计算技术),唯独数据是所有系统的核心。


正是在这个意义上,这是一场商业模式的范式**。商业的未来、知识的未来、文明的未来,它们本质上就是人的未来。而基于数据智能的智能商业,就是这未来的起点。




数据来源


大数据的第一要务就是需要有数据,否则,何来“数据是DT时代的第一生产要素”。


数据来源于哪里,哪里会产生数据?


数据无处不在,人类自从发明文字开始,就开始记录各种数据,只是保存的介质一般是书本,而且难以分析、加工。随着计算机与存储技术的快速发展,以及万物数字化的过程(音频数字化,图形数字化等),出现了数据的爆发,而且数据爆发的趋势,随着万物互联的物联网技术的发展,会越来越迅速。同时,对数据的存储技术,处理技术的要求也会越来越高。


通过淘宝的历史来看,早期的数仓数据基本来源于主业务的OLTP数据库,数据不外乎用户信息(通过注册、认证获取),商品信息(通过卖家上传获得),交易数据(通过买卖行为获得),收藏数据(通过用户的收藏行为获得)。


从公司的业务层面来看,关注的也就是这些数据的统计,比如总用户数,活跃用户数,交易笔数、金额(可钻取到类目,省份等),支付宝笔数、金额等等。因为这个时候没有营销系统,没有广告系统,公司也只关注用户,商品,交易的相关数据,这些数据的统计加工,就是当时淘宝大数据的全部。


但是,随着业务的发展,比如个性化推荐,广告投放系统的出现,会需要更多的数据来做支撑,而数据库的用户数据,除了收藏,购物车是用户行为的体现,但是,用户的其它行为,如浏览数据,搜索行为等,这个时候是完全不知道的。


这里就需要引进另外一个数据来源,日志数据,记录了用户的行为数据,可以通过cookie的技术,只要用户登录过一次,就能跟真实的用户取得关联。比如通过获取用户的浏览行为,购买行为,进而可以给用户推荐他可能感兴趣的商品,看了又看,买了又买就是基于这些最基础的用户行为数据做的推荐算法。这些行为数据还可以用来分析用户的浏览路径,浏览时长,这些数据是用来改进相关淘宝产品的重要依据。


数据是统计到了,但是,新的问题也诞生了,比如我在PC上的用户行为,怎么对应到无线上的用户行为,这个是脱节的,因为PC是PC上的标准,无线又采用了无线的标准,如果有一个统一的用户库,比如不管是登录名,邮箱,身份证号码,手机号,imei地址,mac地址等等,来唯一标识一个用户,不管是哪里产生的数据,只要是第一次关联上来,后来就能对应上。


这就涉及到了一个重要的话题——数据标准,数据标准不仅仅是解决企业内部数据关联的问题,比如一个好的用户库,可以解决未来大数据关联上的很多问题,假定公安的数据想跟医院的数据进行关联打通,发挥更大的价值。但是,公安标识用户的是身份证,而医院标识用户的数据则是手机号码,有了统一的用户库,就可以通过idmapping技术简单的把双方的数据进行关联。


数据的标准不仅仅是企业内部进行数据关联非常重要,跨组织,跨企业进行数据关联也非常重要,而业界有能力建立类似用户库等数据标准的公司并不多,阿里巴巴就是其中之一。


大数据发展到后期,当然是数据越多越好,企业内部的数据已经不能满足公司的需要,比如还是淘宝,想要对用户进行一个完整的画像分析,比如想获得用户的实时地位位置,爱好,星座,消费水平,开什么样的车等等,用于精准营销。


淘宝自身的数据是不够的,这个时候,很多企业就会去购买一些数据(有些企业也会自己去爬取一些信息,这个相对简单一点),比如阿里购买高德,友盟,又另外采购微博的相关数据,用于用户的标签加工,获得更精准的用户画像。


但是,数据交易并没有这么简单。因为数据交易涉及到几个非常大的问题:


1)是怎么保护用户隐私信息


欧盟已经出台了苛刻的数据保护条例,美国也对出售客户数据的运营商施以重罚,还处在萌芽状态的中国大数据行业,怎么确保用户隐私信息不被泄漏呢?对于一些非隐私信息,比如地理数据,气象数据,地图数据进行开放、交易、分析是非常有价值的,但是一旦涉及到用户的隐私数据,特别是单个人的隐私数据,就会涉及到道德与法律的风险。


数据交易之前的脱敏或许是一种解决办法,但是,并不能完全解决这个问题,因此,阿里也提出了另外一种解决思路,基于平台担保的“可用不可见”技术。比如阿里云作为交易平台,跟支付宝一样是一个中间担保机构,双方的数据上传到阿里云大数据交易平台,双方可以使用对方的数据,以获得特定的结果,比如通过上传一些算法,模型而获得结果,双方都不能看到对方的任何详细数据。


2)是数据的所有者问题


数据作为一种生产资料,跟农业时期的土地,工业时期的资本不一样,使用之后并不会消失,如果作为数据的购买者,这个数据的所有者到底是谁?怎么确保数据的购买者不会再次售卖这些数据?或者购买者加工了这些数据之后,加工之后的数据所有者是谁?


3)是数据使用的合法性问题


大数据营销中,目前用得最多的就是精准营销。数据交易中,最值钱的也是个人数据。我们日常分析中做的客户画像,目的就是给海量客户分群、打标签,然后针对性地开展定向营销和服务。然而如果利用用户的个人信息(比如年龄、性别、职业等)进行营销,必须事先征得用户的同意,才能向用户发送广告信息呢,还是可以直接使用?


所以,数据的交易与关联使用,就必须解决数据标准,立法以及监管的问题,在未来的时间里,不排除有专门的法律,甚至专业的监管机构,如成立数监会来监管数据的交易与使用问题。如果真的到了这一天,那也是好事,数据要流通起来才会发挥更大的价值,如果每个企业都只有自己的数据,就算消除了企业内部的信息孤岛,还有企业外部的信息孤岛。


如果能合理,合适的使用多方数据,就会发生所谓“羊毛出在猪身上”的事情,比如阿里小贷,使用的是B2B以及淘宝的数据。这样情况下,对猪(B2B,淘宝来)说,这是一种商业场景中的海量数据的溢出效应,而对羊(蚂蚁小贷)来说,是在较低的成本下、不同维度的数据集合后,发生化学反应的价值跃升的过程,这是大数据时代智能商业的典型特征。


这才是大数据的价值,正是我们正在迎来的这个新时代以“数据”命名的理由。