首页 资讯频道 互联频道 智能频道 网络 数据频道 安全频道 服务器频道 存储频道

结合xlrd库 Python处理大数据的2个神奇操作

2020-02-07 10:43:22 来源 : 今日头条

Python有个处理大数据的库,结合xlrd库,在做一些大数据的处理统计工作的时候很好用,譬如做性能测试,你的结果数据如何统计,python有个库pandas,这个就很擅长做这个工作,这里就讲2个pandas的神操作。 pandas中groupby、Grouper和agg函数的使用。这2个函数作用类似,都是对数据集中的一类属性进行聚合操作,比如统计一个用户在每个月内的全部花销,统计某个属性的最大、最小、累和、平均等数值。

Python处理大数据的2个神奇操作

统计“ext price”这个属性在每个月的累和(sum)值

importpandasaspd

importcollections

df=pd.read_excel("D:/Download/chrome/sample-salesv3.xlsx")

#print(df.head(10))

df["date"]=pd.to_datetime(df["date"])

#print(df.head(10))

df1=df.set_index("date").resample("M")['extprice'].sum()

#print(df1.head())

Python处理大数据的2个神奇操作

统计每个用户每个月"ext price"这个属性的sum值,利用Grouper

df2=df.groupby(["name",pd.Grouper(key="date",freq="M")])["extprice"]

print(df2.head(10))

Python处理大数据的2个神奇操作

Agg

agg函数,它提供基于列的聚合操作。而groupby可以看做是基于行,或者说index的聚合操作。

从实现上看,groupby返回的是一个DataFrameGroupBy结构,这个结构必须调用聚合函数(如sum)之后,才会得到结构为Series的数据结果。

而agg是DataFrame的直接方法,返回的也是一个DataFrame。当然,很多功能用sum、mean等等也可以实现。但是agg更加简洁, 而且传给它的函数可以是字符串,也可以自定义,参数是column对应的子DataFrame

获取"ext price","quantity","unit price"3列的各自的累计值和均值

df3=df[["extprice","quantity","unitprice"]].agg(["sum","mean"])

print(df3.head())

Python处理大数据的2个神奇操作

可以针对不同的列使用不同的聚合函数

df4=df.agg({"extprice":["sum","mean"],"quantity":["sum","mean"],"unitprice":["mean"]})

print(df4.head())

Python处理大数据的2个神奇操作

也可以自定义函数,比如,统计sku中,购买次数最多的产品编号,通过lambda表达式来做。

#统计sku中,购买次数最多的产品编号

get_max=lambdax:x.value_counts(dropna=False).index[0]

get_max.__name__="mostfrequent"

df5=df.agg({"extprice":["sum","mean"],

"quantity":["sum","mean"],

"unitprice":["mean"],

"sku":[get_max]

})

print(df5)

Python处理大数据的2个神奇操作

如果希望输出的列按照某个顺序排列,可以使用collections的OrderedDict

agg_dict={

"extprice":["sum","mean"],

"quantity":["sum","mean"],

"unitprice":["mean"],

"sku":[get_max]

}

#按照列名的长度排序。OrderedDict的顺序是跟插入顺序一致的

df6=df.agg(collections.OrderedDict(sorted(agg_dict.items(),key=lambdax:len(x[0]))))

print(df6)

Python处理大数据的2个神奇操作

相关文章

最近更新