文|蓝鲸

Excel是数据分析中最常用的工具，本篇文章通过python与excel的功能对比介绍如何使用python通过函数式编程完成excel中的数据处理及分析工作。在Python中pandas库用于数据处理，我们从1787页的pandas官网文档中总结出最常用的36个函数，通过这些函数介绍如何通过python完成数据生成和导入，数据清洗，预处理，以及最常见的数据分类，数据筛选，分类汇总，透视等最常见的操作。

4.数据预处理

第四部分是数据的预处理，对清洗完的数据进行整理以便后期的统计和分析工作。主要包括数据表的合并，排序，数值分列，数据分

组及标记等工作。

数据表合并

首先是对不同的数据表进行合并，我们这里创建一个新的数据表df1，并将df和df1两个数据表进行合并。在Excel中没有直接完成数据表合并的功能，可以通过VLOOKUP函数分步实现。在python中可以通过merge函数一次性实现。下面建立df1数据表，用于和df数据表进行合并。

				#创建df1数据表
				df1=pd.DataFrame({
				"id"
				:
				[
				1001
				,
				1002
				,
				1003
				,
				1004
				,
				1005
				,
				1006
				,
				1007
				,
				1008
				],
				"gender"
				:
				[
				'male'
				,
				'female'
				,
				'male'
				,
				'female'
				,
				'male'
				,
				'female'
				,
				'male'
				,
				'female'
				],
				"pay"
				:
				[
				'Y'
				,
				'N'
				,
				'Y'
				,
				'Y'
				,
				'N'
				,
				'Y'
				,
				'N'
				,
				'Y'
				,],
				"m-point"
				:
				[
				10
				,
				12
				,
				20
				,
				40
				,
				40
				,
				40
				,
				30
				,
				20
				]})
			

使用merge函数对两个数据表进行合并，合并的方式为inner，将两个数据表中共有的数据匹配到一起生成新的数据表。并命名为df_inner。

				#数据表匹配合并，inner模式
				df_inner
				=pd.merge(df,df1,how=
				'inner'
				)
			

除了inner方式以外，合并的方式还有left，right和outer方式。这几种方式的差别在我其他的文章中有详细的说明和对比。

				#其他数据表匹配模式
				df_left
				=pd.merge(df,df1,how=
				'left'
				)
				df_right
				=pd.merge(df,df1,how=
				'right'
				)
				df_outer
				=pd.merge(df,df1,how=
				'outer'
				)
			

设置索引列

完成数据表的合并后，我们对df_inner数据表设置索引列，索引列的功能很多，可以进行数据提取，汇总，也可以进行数据筛选等。

设置索引的函数为set_index。

				#设置索引列
				df_inner
				.set_index
				(
				'id'
				)
			

排序(按索引，按数值)

Excel中可以通过数据目录下的排序按钮直接对数据表进行排序，比较简单。Python中需要使用ort_values函数和sort_index函数完成排序。

在python中，既可以按索引对数据表进行排序，也可以看制定列的数值进行排序。首先我们按age列中用户的年龄对数据表进行排序。

使用的函数为sort_values。

				#按特定列的值排序
				df_inner.sort_values(
				by
				=[
				'age'
				])
			

Sort_index函数用来将数据表按索引列的值进行排序。

				#按索引列排序
				df_inner.sort_index()
			

数据分组

Excel中可以通过VLOOKUP函数进行近似匹配来完成对数值的分组，或者使用“数据透视表”来完成分组。相应的 python中使用where函数完成数据分组。

Where函数用来对数据进行判断和分组，下面的代码中我们对price列的值进行判断，将符合条件的分为一组，不符合条件的分为另一组，并使用group字段进行标记。

				#如果price列的值>3000，group列显示high，否则显示low
				df_inner[
				'group'
				] = np.
				where
				(df_inner[
				'price'
				] >
				3000
				,
				'high'
				,
				'low'
				)
			

除了where函数以外，还可以对多个字段的值进行判断后对数据进行分组，下面的代码中对city列等于beijing并且price列大于等于4000的数据标记为1。

				#对复合多个条件的数据进行分组标记
				df_inner.loc[(df_inner[
				'city'
				] ==
				'beijing'
				) & (df_inner[
				'price'
				] >=
				4000
				),
				'sign'
				]=
				1
			

数据分列

与数据分组相反的是对数值进行分列，Excel中的数据目录下提供“分列”功能。在python中使用split函数实现分列。

在数据表中category列中的数据包含有两个信息，前面的数字为类别id，后面的字母为size值。中间以连字符进行连接。我们使用split函数对这个字段进行拆分，并将拆分后的数据表匹配回原数据表中。

				#对category字段的值依次进行分列，并创建数据表，索引值为df_inner的索引列，列名称为category和size
				pd.DataFrame((x.split(
				'-'
				)
				for
				x
				in
				df_inner[
				'category'
				]),
				index
				=df_inner.
				index
				,columns=[
				'catego
				ry','size'])
			

				#将完成分列后的数据表与原df_inner数据表进行匹配
				df_inner
				=pd.merge(df_inner,split,right_index=
				True
				, left_index=
				True
				)
			

5.数据提取

第五部分是数据提取，也是数据分析中最常见的一个工作。这部分主要使用三个函数，loc，iloc和ix，loc函数按标签值进行提取，iloc按位置进行提取，ix可以同时按标签和位置进行提取。下面介绍每一种函数的使用方法。

按标签提取(loc)

Loc函数按数据表的索引标签进行提取，下面的代码中提取了索引列为3的单条数据。

				#按索引提取单行的数值
				df_inner
				.loc
				[3]
				id
				1004
				date
				2013
				-01-05
				00
				:00
				:00
				city
				shenzhen
				category
				110
				-C
				age
				32
				price
				5433
				gender
				female
				m-point
				40
				pay
				Y
				group
				high
				sign
				NaN
				category_1
				110
				size
				C
				Name
				: 3,
				dtype
				:
				object
			

使用冒号可以限定提取数据的范围，冒号前面为开始的标签值，后面为结束的标签值。下面提取了0到5的数据行。

				#按索引提取区域行数值
				df_inner
				.loc
				[0:5]
			

Reset_index函数用于恢复索引，这里我们重新将date字段的日期设置为数据表的索引，并按日期进行数据提取。

				#重设索引
				df_inner.reset_index()
			

				#设置日期为索引
				df_inner
				=df_inner.set_index(
				'date'
				)
			

使用冒号限定提取数据的范围，冒号前面为空表示从0开始。提取所有2013年1月4日以前的数据。

				#提取4日之前的所有数据
				df_inner[
				
					:
					'2013-01-04'
				
				]
			

按位置提取(iloc)

使用iloc函数按位置对数据表中的数据进行提取，这里冒号前后的数字不再是索引的标签名称，而是数据所在的位置，从0开始。

				#使用
				iloc
				按位置区域提取数据
				df_inner
				.iloc
				[:3,:2]
			

iloc函数除了可以按区域提取数据，还可以按位置逐条提取，前面方括号中的0,2,5表示数据所在行的位置，后面方括号中的数表示所在列的位置。

				#使用iloc按位置单独提取数据
				df_inner.iloc
				[[0,2,5],[4,5]]
			

按标签和位置提取（ix）

ix是loc和iloc的混合，既能按索引标签提取，也能按位置进行数据提取。下面代码中行的位置按索引日期设置，列按位置设置。

				#使用ix按索引标签和位置混合提取数据
				df_inner.ix[
				
					:
					'2013-01-03'
				
				,
				:
				4
				]
			

按条件提取（区域和条件值）

除了按标签和位置提起数据以外，还可以按具体的条件进行数据。下面使用loc和isin两个函数配合使用，按指定条件对数据进行提取 。

使用isin函数对city中的值是否为beijing进行判断。

				#判断city列的值是否为beijing
				df_inner[
				'city'
				].isin([
				'beijing'
				])
				date
				2013
				-01
				-02
				True
				2013
				-01
				-05
				False
				2013
				-01
				-07
				True
				2013
				-01
				-06
				False
				2013
				-01
				-03
				False
				2013
				-01
				-04
				False
				Name: city, dtype: bool
			

将isin函数嵌套到loc的数据提取函数中，将判断结果为Ture数据提取出来。这里我们把判断条件改为city值是否为beijing和 shanghai。如果是就把这条数据提取出来。

				#先判断
				city
				列里是否包含
				beijing
				和
				shanghai
				，然后将复合条件的数据提取出来。
				df_inner
				.loc
				[df_inner['city']
				.isin
				([
				'beijing'
				,
				'shanghai'
				])]
			

数值提取还可以完成类似数据分列的工作，从合并的数值中提取出制定的数值。

				category=df_inner[
				'category'
				]
				0
				100
				-A
				3
				110
				-C
				5
				130
				-F
				4
				210
				-A
				1
				100
				-B
				2
				110
				-A
				Name
				: category, dtype:
				object
			

				#提取前三个字符，并生成数据表
				pd
				.DataFrame
				(
				category
				.str
				[:3]
				)
			

6.数据筛选

第六部分为数据筛选，使用与，或，非三个条件配合大于，小于和等于对数据进行筛选，并进行计数和求和。与excel中的筛选功能和countifs和sumifs功能相似。

按条件筛选（与，或，非）

Excel数据目录下提供了“筛选”功能，用于对数据表按不同的条件进行筛选。Python中使用loc函数配合筛选条件来完成筛选功能。配合sum和count函数还能实现excel中sumif和countif函数的功能。

使用“与”条件进行筛选，条件是年龄大于25岁，并且城市为beijing。筛选后只有一条数据符合要求。

				#使用“与”条件进行筛选
				df_inner.loc[(df_inner[
				'age'
				] >
				25
				) & (df_inner[
				'city'
				] ==
				'beijing'
				), [
				'id'
				,
				'city'
				,
				'age'
				,
				'category'
				,
				'gender'
				]]
			

使用“或”条件进行筛选，年龄大于25岁或城市为beijing。筛选后有6条数据符合要求。

				#使用“或”条件筛选
				df_inner.
				loc
				[(df_inner[
				'age'
				] >
				25
				) | (df_inner[
				'city'
				] ==
				'beijing'
				), [
				'id'
				,
				'city'
				,
				'age'
				,
				'category'
				,
				'gender'
				]].
				sort
				([
				'age'
				])
			

在前面的代码后增加price字段以及sum函数，按筛选后的结果将price字段值进行求和，相当于excel中sumifs的功能。

				#对筛选后的数据按price字段进行求和
				df_inner.
				loc
				[(df_inner[
				'age'
				] >
				25
				) | (df_inner[
				'city'
				] ==
				'beijing'
				),
				[
				'id'
				,
				'city'
				,
				'age'
				,
				'category'
				,
				'gender'
				,
				'price'
				]].
				sort
				([
				'age'
				]).price.sum()
				19796
			

使用“非”条件进行筛选，城市不等于beijing。符合条件的数据有4条。将筛选结果按id列进行排序。

				#使用“非”条件进行筛选
				df_inner.
				loc
				[(df_inner[
				'city'
				] !=
				'beijing'
				), [
				'id'
				,
				'city'
				,
				'age'
				,
				'category'
				,
				'gender'
				]].
				sort
				([
				'id'
				])
			

在前面的代码后面增加city列，并使用count函数进行计数。相当于excel中的countifs函数的功能。

				#对筛选后的数据按city列进行计数
				df_inner.
				loc
				[(df_inner[
				'city'
				] !=
				'beijing'
				), [
				'id'
				,
				'city'
				,
				'age'
				,
				'category'
				,
				'gender'
				]].
				sort
				([
				'id'
				]).city.
				count
				()
				4
			

还有一种筛选的方式是用query函数。下面是具体的代码和筛选结果。

				#使用
				query
				函数进行筛选
				df_inner.
				query
				('city == [
				"beijing"
				,
				"shanghai"
				]')
			

在前面的代码后增加price字段和sum函数。对筛选后的price字段进行求和，相当于excel中的sumifs函数的功能。

				#对筛选后的结果按
				price
				进行求和
				df_inner
				.query
				(
				'city == ["beijing", "shanghai"]'
				)
				.price
				.sum
				()
				12230
			

像Excel一样使用python进行数据分析-（1）

End.

转载请注明来自36大数据（36dsj.com)： 36大数据 » 像Excel一样使用python进行数据分析-(2)