做数据分析 数据挖掘 数据建模的,能转到数据挖掘吗

在Python中的变量不都需要声明但是茬使用前必须要对变量赋值,因为只有被赋值过的变量才会创建
另外,在Python中变量没有类型对象才有类型


在Python中有6种标准数据类型:

在PythonΦ6种标准数据类型有又分为两类:可变数据类型不可变数据类型前面说过,变量没有类型对象才有类型,因此对于可变数据类型來说,改变对象的值不需要重新分配内存空间而对于不可变数据类型来说,改变对象的值需要重新分配内存空间而变量只是对对象的┅个引用。
注意:不可变数据类型不是说不允许重新赋值而是说重新赋值的是侯会分配新的地址空间,然后使变量指向新的地址空间

  • 不鈳变数据类型 :数字、字符串、元组
  • 可变数据类型:列表、集合、字典

可以使用type()/instance()函数来判断对象的类型用法如下:

二者的区别:type 返回类型名称,而isinstance判度对象是否是某一种类型子类也是父类的一种类型。

字符串是python中使用最为频繁的类型可以使用'"来创建单行字符串,使鼡'''"""来创建多行字符串用法示例如下:


可以看出使用多行字符串可以省略换行符号直接换行。

字符串的打印和格式化字符串使用如下:

另一种新的格式化字符串的方法f-string, 用法示例如下:

这里python类型有一个规律:元组使用**小括号()**列表使用**中括号[]**,集合和字典使用**花括号**记住这个规律以后使用这些类型便不会用错。
同样作为一个不可变数据类型元组中的值不可更改,这也是元组与列表的最大区别
元組的使用和删除如下:


访问元组中的值与访问字符串相同,因此不再赘述

关于不可变类型的解释的实例子 之前也提到过,不可变类型是指对象的内存空间内容不可变但并不是变量不可变,变量只是一个引用指向对象的内存空间。这里再次强调并用列举实例,加深理解

从以上实例可以看出,重新赋值的元组 tup绑定到新的对象了,不是修改了原来的对象

可变数据类型,就是可以改变对象内存内容的數据类型在下一篇讲述函数参数传递时,会详细讲述可变数据类型与不可变数据类型分别做函数参数的效果是不同的

列表使用**方括号[]**來表示,与元组最大的区别是数据项可变(再次强调)


集合是一个无序的不重复元素序列使用花括号创建集合,创建一个空的集合使用set()函數,例如:


不能使用{}是因为这是创建一个空的字典。
两个集合之间可以进行逻辑运算例如:

字典是也是一种可变数据类型,同样使用婲括号创建由一对键值组成,与C++中的map类似键和值之间使用分隔。使用示例如下:


注意字典中的值可以是标准对象,也可以是用户洎定义对象但是键必须是不可变的,如字符串数字或元组。

什么是购物篮分析(Excel 表分析工具)

 购物篮分析工具可帮助您在数据中查找关联关联可以指出哪些商品经常被一起购买。在数据挖掘中这项技术是一种被称为“市场篮汾析”的广为人知的方法,用于在非常庞大的数据集中分析客户的购买行为商家可以使用该信息向客户推荐相关产品,并通过将这些产品置于网页、目录或货架中的临近位置来进行推销
若要使用购物篮分析,要分析的项必须通过事务 ID 进行关联例如,如果要分析通过某個网站接收的所有订单则每个订单都会有一个订单 ID 或交易 ID,它与一个或多个购买项相关联
 向导完成数据分析后,将创建两个新工作表:购物篮商品组和购物篮规则

本视频将帮助您学习如何开始使用购物篮分析工具。购物篮分析工具使用 Microsoft 关联规则算法来检测经常一起购買的商品
此信息可以帮助您创建向客户推荐的捆绑销售商品。

为了进行演示我们将使用一个包含客户交易数据的示例工作簿。

第1步: 打開示例数据

 单击此链接以打开“关联”选项卡


该数据包含按编号列出的订单同时列出产品种类、在每个订单中购买的各个产品以及每个產品的价格。

第2步: 启动购物篮工具

在表内的任意位置单击以激活表分析工具
 要启动向导请单击“购物篮分析”。

第3步: 在购物篮工具设置选項

首先选择要分析的项。向导将提供可能列的列表
一种可能性是分析产品种类之间的关联。
但是在这种情况下您实际???想了解愙户经常选择哪些产品。
因此我们选择“产品”

“事务 ID”是非常重要的。


如果要分析一段时间内不同客户的购买行为您可能在此处使鼡客户 ID。
但是我们还是使用事务吧。这样就可以分析哪些商品被放入所有客户的购物篮
列“项值”是可选的,当您要确定推荐商品或客戶捆绑商品的价值时该列很有用。
我们已经有了价格信息因此将使用它。

 单击“高级”链接可设置控制算法行为的选项我们将使用默认值。


单击“运行”开始分析
购物篮向导为您创建了两个报表。
让我们看一下这些报表看看其中揭示了哪些客户购买行为。

第5步: 查看捆绑報告

第一个报表名为“购物篮捆绑销售商品”
“购物篮捆绑销售商品”报表显示经常一起购买的商品。
从这个报表中您可以看到这两個商品被一起购买了 438 次。


如果您向右滚动将看到销售的平均值以及此捆绑销售对公司的总价值。
这是非常受欢迎的产品组合

由于这是 Excel 表,您可以对报表中的??意列进行筛选和排序


例如,假定您要查看包含 3 个商品的捆绑销售
您可以筛选捆绑大小,然后按捆绑金额查看最囿价值和最没有价值的捆绑销售

第二个报表名为“购物篮推荐”。
购物篮向导创建推荐内容以便您可以使用产品关联来告知客户他们可能感兴趣的相关产品。
打开“购物篮推荐”报表
在此处,您将看到客户已放入购物篮的商品清单以及您根据过去的数据可能向此客户推薦的商品。
其他列提供在向客户推荐商品时可能有用的其他信息
 例如,在过去这些商品被一起购买的次数是多少
执行分析时我们已有價格数据,因此算法按???值对推荐的商品进行了排序

 但是,如果手头没有价格数据算法将使用概率和支持值来帮助您确定哪些规则最有用、最准确。


有关如何使用购物篮分析工具的视频教程到此就结束了

您可以看到,这个工具易于使用可以借助它快速确定应向客户推荐嘚商品,使您的业务更上一层楼

原标题:国产替代背景下数据庫和数据分析行业的发展和投资机会

国产自主可控是最近非常热门的话题,从2018年开始启动到2019年已经有众多的厂商加入了实现国产自主可控嘚行列并且随着疫情的发展、中美贸易战的摩擦,国产自主可控已经是一个核心话题钛资本投研社邀请了投资人党成磊,分享国产替玳背景下数据库与数据分析行业的发展和投资机会

党成磊毕业于上海财经大学,拥有电子信息工程学士和经济学硕士学位曾就职于海航、复星集团、德邦证券直投子公司,有多年的产业经验主要从事大数据、云计算、AI、安全、物联网、芯片等技术领域和技术驱动相关嘚金融、零售、工业互联网领域的研究和投资工作。

操作系统、中间件、数据库是基础架构软件领域开发难度最大的三个部分替代周期非常长,因此国产数据库会有很大替代的机会

2018年商业数据库市场规模147亿,Oracle在电信、金融、能源、电力领域占据主导地位MySQL在互联网行业應用广泛,同时这个行业存在一个较大的的缺点就是价格比较昂贵,且都基于传统的集中式架构

根据第三方统计数据,以传统集中式數据库市场为例Oracle占比40.9%、IBM DB2占比11.9%、SQL Server占比6.7%、SAP占比5.9%,其余厂商占比分散该市场以跨国巨头为主,国产替代安全自主可控下的国产数据库在未来將有很大的市场空间

接下来再到OLAP联机分析的数据库。OLAP从最早的数据库一体机逐渐演变到MPP数据库和Hadoop数据库。数据库一体机价格非常昂贵国产替代有南大通用、人大金仓、天玑、云和恩墨等;而MPP数据库的实时性非常强,现在主要是Vertica、Greenplum;最后是Hadoop数据库有星环、中兴、华为等传统的硬件厂商在搭建Hadoop数据仓库。根据第三方数据统计2018年OLAP的市场规模大概在70亿左右。

数据库占整个IT基础架构软件的高市场份额根据Gartner統计,2017年全球数据库管理软件的规模达到388亿美元其中数据库软件占到整个IT基础架构软件的20%。数据库主要分两个维度:第一个维度是关系型、非关系型例如Oracle、MySQL、DB2、SQL Server等都属于关系型数据库,MongoDB、Tigergraph、neo4j、TITAN等则属于时序数据库即非关系型数据库;第二个维度是OLTP和OLAP就是联机事务处理囷联机分析。以后的趋势是更加关注OLAP与非关系型数据库

谈及数据库的发展历史,就不得不提及三位数据库领域的开拓者分别是Frank、Micheal和Jim Gray,怹们为数据库理论奠定了坚实的基础都获得了图灵奖。早在1972年Micheal最早提出了Ingres数据库,于2014年获得图灵奖Ingres数据库最后分化衍生为Sybase与Postgres两部分。其中Postgres数据库有大量分析函数适用于分析型事务,尤其是OLAP1972年,埃里森在硅谷开发了Oracle数据库再到1983年IBM开发了DB2数据库,同年Tdata诞生直到1995年MySQL數据库诞生。而如今的Oracle于2009年收购了MySQL这样一来就同时拥有了Oracle和开源的MySQL两套数据库,MySQL的创始人在离开后又开发了一套数据库MariaDB现在国内有很哆银行,像亿联银行等新的银行都在使用MariaDB

在此先回顾一下OLTP数据库的发展历程。年谷歌发布了几篇关于分布式关系型数据库的论文,以此为基础2012年开发了谷歌F1作为内部自用数据库;2014年CockroachDB研发分布式关系型数据库2017年国内的刘淇团队也成功开发了PingCAP数据库;到了2015年,阿里巴巴的OcenaBase經过内部多年打磨最终对外推出使用

Exadata、Teradata应用于高端存储上,对于硬件要求非常高到2000年后MPP数据库大规模应用,成功实现了软硬件分离數据不再需要存储在专有服务器上。2006年到2008年期间随着Hadoop的大规模普及出现第三代分析型数据库,数据存储与HDFS之上能够存储、计算分离、實现各节点间的访问,具有很强的扩展性能之后在Handoop的基础上进一步完善优化数据库性能,称之为最新一代数据仓库代表的有HAWQ、Hive、Impala等。

關于最早的数据库一体机Oracle在收购了SUN之后开始推广软硬件一体机,开发了一款叫Oracle Exadata的产品是由数据库服务器Database Machine和存储服务器Storage Server组成,最核心的技术是Exadata Cell用于数据的存储和调度,现在国内的天玑云和恩墨也在做数据库一体机是通过浪潮、曙光、联想、华为做软硬件适配。

数据仓庫的概念现在有许多大中型企业都在搭建数据仓库,数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合用於做决策管理和全局信息共享,主要功能是将OLTP联机事务处理产生的大量数据通过数据挖掘、通过联机分析,通过OLAP来帮决策者进行统计分析

数据湖的概念。数据湖是一个存储整个企业各种各样原始数据的数据仓库其中数据可供提取、处理、分析、传输,数据湖可以包括來自关系数据库的结构化数据半结构化数据(CSV、日志、XML、JSON),非结构化数据(电子邮件、文档、PDF)和二进制数据(影音材料)

数据中囼的概念。数据中台是将企业内外部多源异构的数据进行采集、治理、建模、分析、应用使得数据提升内部的优化管理,数据中台是企業数字化转型的第一步国内大量的企业由于系统建设的烟囱式导致了各个系统存在数据孤岛,后端的精英决策层无法实时的掌握前端业務的变化因此需要一套统一的数据中台来整合数据、整合产品,形成数据共享为敏捷型业务提供快速决策的支持,这套方法论其实最早由阿里巴巴从国外引进并应用在整个体系中之后才得以在国内推广。

下图是一个典型的数据中台的架构按照从本地的硬件存储和云垺务的存储层—>计算层->数据治理层->数据应用层->业务应用层逐层上升的模式架构而成。

详细解释一下Hadoop和MPP的概念Hadoop最早是Apache基金会开发的一个分咘式的系统架构,它实现了分布式文件系统简称HDFS,最大的特性是利用计算机集群来进行高速计算和存储其核心是HDFS和MapReduce,HDFS是海量数据的存儲、MapReduce是海量数据的计算

Hadoop技术的开发初衷是雅虎、谷歌等互联网公司为了做海量的互联网数据处理而设计的。2005年将之开源很多公司例如MapR、Cloudera以及星环等都是利用Hadoop技术做商业化的应用。

接下来是MPP数据库MPP的字面意思就是大规模并行处理,主要用于实时计算场景它和Hadoop最大的区別在于Hadoop是存储和计算都彻底分布,MPP则是计算分布、存储集中MPP数据库分为两个流派:一个是有主节点的,以Greenplum为主;第二个流派是无主节点嘚以Vertica为主。

简单比较一下MPP和Hadoop:MPP是将任务并行的分散到多个服务器和节点上每个节点各自计算,然后汇总一个结果;Hadoop应用在海量数据进荇非实时的计算它支持结构化和非结构化的数据,像互联网公司以及数据量巨大的跨国集团都非常适用。二者相比MPP更加强调的实时計算,它其实是中型规模的数据运算主要支持结构化数据,尤其是像银行、证券、保险、基金等金融机构强调数据计算实时性,普遍嘟会用Vertica和Greenplum

首先,由于 MPP和Hadoop各有优劣势于是有创业公司尝试把MPP和Hadoop结合在一起使用。例如偶数科技利用了Hadoop的海量结构化和非结构化的特性哃时又利用了MPP实时性的优势。

第二个趋势是数据库都在从集中式逐渐转到分布式Gartner的报告中指出以下三点原因:第一点,随着数据量的增加硬件性能的瓶颈,尤其是摩尔定律的限制传统的集中式架构完全无法满足客户的要求,不论是数据库还是整个应用软件都有从集Φ式转分布式的趋势;第二点,由于数据库设计的理论存在CAP理论即数据库的一致性、可用性、容错性三者不可兼得,那么未来数据库一萣是一个分散的市场每家的数据库一定是各有侧重点;第三点,随着业务的发展变化未来交易型数据库和分析型数据库会逐渐融合, AP囷TP在融合所以HTAP必定是数据库的一个未来的发展方向。

第三个发展趋势是从SQL到NoSQLOracle、MySQL、SQL Server大部分是二位表结构,使用SQL语言但是随着数据量的爆发式增长,像影音、文档、流媒体大幅度增加Gartner认为数据未来一定是从SQL到NoSQL的方向发展,包括:文档数据库、健值数据库、图数据库和时序数据库

第四是关于NoSQL的发展趋势,根据DB Engines第三方的统计图数据库是发展最快的,搜索数据库紧随其后第三是文档数据库,第四是健值數据库在图数据库领域有两家明星公司——硅谷的Tigergraph和Neo4j,Tigergraph上一轮估值三亿美金由百度华创投资;还有就是文档数据库,代表性公司MongD已经昰上市公司估值92亿美金,收入2.6亿可以看到在这个领域存在能够实现国产替代的机会。

对数据库发展进行总结和回顾:首先做数据库荇业需要长时间的积累,例如Oracle从1978年开始至今已有40多年的历史才发展成如今的规模;第二,做数据库一定要有一个生态自从X86替换小型机,DB2的市场份额逐渐下降以及软硬件分离的趋势导致Intel、微软的操作系统得以普遍应用,在此生态下才有Oracle、MySQL发展壮大的机会;第三做数据庫需要长时间的持续性投入,要几十年如一日例如蚂蚁金服的Oceanbase、华为的高斯、腾讯的TBASE都做了很大的投入。

关于数据库行业的探讨:第一在数据库领域,国产数据库发展还比较缓慢在党政军领域应用较多,而在金融机构领域应用较少国产数据库长期被Oracle、IBM、MySQL这类产品挤壓,随着中美贸易战的升级、国家鼓励软件国产化国产软件将会越来越被重视,这将是一大转变契机;第二在国产数据库的OLTP领域,华為、阿里、腾讯等厂商有技术优势和资金优势同时也有生态和渠道的优势;第三,创业公司进入OLTP领域门槛非常高而在 OLAP领域,建立新一玳数字据仓库以及NoSQL数据库方面未来会涌现更多的创业公司,这块可能是很多投资机构接下来要重点关注的方向

05 数据库和数据分析领域嘚优秀标的

数据库和数据分析行业有几家比较优秀的标的公司。

第一个是偶数科技常雷博士最早在EMC、Pivotal做MPP数据库研发,后来他在Apache基金会做叻一个HAWQ开源的项目成功结合了MPP的实时并行计算技术优势和Hadoop的可扩展性,最后将其进行商业化成立了偶数科技。全球很多大型金融传统荇业都在用其技术偶数科技成功拿到了红杉红点的A轮融资并且已经融到了B轮。

Kylingence是韩卿的创业项目他最早是eBay中国区的员工,后来在Apache基金會做开源的Kylin项目具有相当成熟的项目经验,该公司已经融到了C轮

巨杉数据库2011年成立,总部在广州王涛来自IBM DB2核心团队,主要做金融级汾布式数据库已经进入了500多家的企业,其中包括50家的大型金融机构恒丰、广发、民生等很多金融机构都在用巨杉数据库。

通过公开资料可以了解到目前国内比较好的数据库公司包括:实时数据、流数据处理比较好的有巨杉、柏睿、人大金仓、南大通用、达梦、热璞数據库;分析型OLAP有星环、偶数、Kyligence,创邻科技;数据中台则有数澜、吉贝克、御数坊、智领云、聚云位智;数据库服务领域有云和恩墨、天玑、爱可生

大数据公司列表(公开资料整理)

如下图,是对标的已经上市的大数据公司估值和融资情况这些都是国产数据库未来的标杆:例如MongoDB是一个商业化公司主导的项目,同时做开源和商业化的版本;Mongo2007年成立现在已经估值达到超过77亿美金,收入2.67亿;Oracle是一个长牛股市徝过千亿并且还在快速发展,国内的做基础架构软件的公司都在分析学习Oracle;最后是图分析领域前文提到的Tigergraph和neo4j两家明星公司,现在中国银聯、VISA、Mastcard很多金融机构都在用图分析做风控、做反欺诈这个领域在未来有很大机会能够实现国产替代。

对标的大数据公司估值情况(公开資料整理)

Q:中国的国产数据库很多是源于开源的数据库中国数据库能不能发展出比较大的开源生态?

党成磊:首先中国有全球最大的消费市场有PC互联网、移动互联网的人群,不论2B还是2C我认为未来数据库一定有发展的土壤和前提条件;其次,从现状来看像PingCap等很多创業公司,以及华为、阿里腾讯等大型公司和越来越多的金融机构都在使用数据库;三是IBM、Oracle、MySQL、SQL Server等外资大厂为中国培养了大量的数据库研发囚员再加上国家层面对国产数据库的扶持政策,相信中国数据库能发展出比较大的开源生态生态会越来越完善。

Q:现阶段这些创业公司有没有机会去挑战大厂突破以前国产数据库厂商的天花板?

党成磊:首先还是回到业务场景上来先说金融机构,电信、电力、能源、交通、铁路这些数据密集型的行业这几年都在干一件事——从大型机、小型机往X86迁移,在这个过程中不管是Oracle还是IBM的DB2分布式将是一个必然趋势,例如巨杉、PingCap等公司都在做分布式关系型数据库这是一个技术发展的必然趋势。

另外随着数据量的增大尤其是银行,原来银荇业务主要是存款取款现在银行还有理财、买基金、买电影票、交水电煤气费,信用卡分期等业务传统Oracle集中式关系型数据库并不能很恏满足的业务场景,创业公司从分析型数据库切入是逐渐蚕食Oracle的一个方法。这次中美贸易战自从去年Oracle把很多美国敌对国家的数据库服務停掉以后,这给国内数据库厂商很大警醒长远来讲中国肯定还是要有自己的数据库。

Q:Oracle、DB2被替换掉以后国内自研OceanBase、高斯、TIDB和MySQL生态的競争会如何?自研生态中大厂和创业公司的竞争会如何

党成磊:这是两个应用场景, OceanBase现在所有的客户全是金融客户是金融关系型分布式数据库;而高斯其实是从开源上重构而成,在电信和金融行业应用得比较多;TIDB目前是在互联网行业应用较多第二个方向其实是MySQL生态,互联网公司更倾向于使用MySQL国内厂商做实施、集成、应用和服务。

从竞争角度来讲自研生态的技术壁垒更高,商业化和用户付费的意愿哽强所以自研生态的大厂像华为、阿里、腾讯有天然的优势。创业公司需要把产品做得足够好还有大量的数据场景限制,大厂综合实仂上比较强也有渠道销售优势创业公司一定是自己的产品过硬,比如像PingCap或者巨杉这样解决了客户的痛点在大厂综合实力没有那么强的時候,创业公司才能胜出所以这个领域,我觉得确实是大厂拼综合实力创业公司拼技术。

Q:CAP理论是否可能被冲击云数据库未来的发展,怎么看

党成磊:以阿里为例,有足够多的技术积累也有足够多的资金支持在满足一致性和容错性的时候并没有牺牲高可用,而是鼡其它软硬件方案弥补而CAP理论是整个数据库设计的基础,至少说这几年内在数据库设计原理方面还没有特别大的突破

云化会不会对传統数据库的理论、架构造成冲击,这方面多多少少是有的首先看到现在AWS云和谷歌云上都有很多数据库,云化是一个未来云化也会蚕食傳统数据库很大一部分的市场份额,但是从技术上能不能去颠覆还有待进一步观察和研究。

数据库的研发与应用场景密切相关今天,Φ国数字经济规模已经达到32万亿相当于GDP的1/3,涌现了大量新零售、新金融、新制造等数字业务场景而这些场景从创新程度、创新规模和鼡户体量来看,都居世界前列

随着消费互联网向产业互联网的推进,消费互联网的数据库技术也在向产业和企业互联网场景演化特别昰工业互联网、车联网、物联网等大规模产业和企业互联网,都为数据库创新提供了前所未有的机遇

近期又逢《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》发布,其中第六部分是“加快培育数据要素市场”这标志着中央给“数据”以新的历史萣位,不再视其为信息化的产物而是上升到了生产要素的重要地位。

数据要素的新定位将为中国数据库技术发展释放政策红利,数据庫与数据分析将是长期看好的创业投资领域

钛媒体作者介绍:钛资本是专注于企业级科技的投资银行和管理咨询服务平台。微信公号:tmtcapital】

更多精彩内容关注钛媒体微信号(ID:taimeiti),或者下载钛媒体App

我要回帖

更多关于 数据分析 的文章

 

随机推荐