欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

基于python进行抽样分布描述及实践详解

程序员文章站 2022-05-14 15:15:27
本次选取泰坦尼克号的数据,利用python进行抽样分布描述及实践。 备注:数据集的原始数据是泰坦尼克号的数据,本次截取了其中的一部分数据进行学习。age:年龄,指登船...

本次选取泰坦尼克号的数据,利用python进行抽样分布描述及实践。

备注:数据集的原始数据是泰坦尼克号的数据,本次截取了其中的一部分数据进行学习。age:年龄,指登船者的年龄。fare:价格,指船票价格。embark:登船的港口。

1、按照港口分类,使用python求出各类港口数据 年龄、车票价格的统计量(均值、方差、标准差、变异系数等)。

import pandas as pd
df = pd.read_excel('/users/downloads/data.xlsx',usecols = [1,2,3] )
#拿到港口'embarked'、年龄'age'、价格'fare'的数据
df2 = df.groupby(['embarked'])
#按照港口'embarked'分类后,查看 年龄、车票价格的统计量。
# 变异系数 = 标准差/平均值
def cv(data):
  return data.std()/data.var()

df2 = df.groupby(['embarked']).agg(['count','min','max','median','mean','var','std',cv])
df2 = df2.apply(lambda x:round(x,2))
df2_age = df2['age']
df2_fare = df2['fare']

分类后 年龄及价格统计量描述数据如下图:

年龄统计量

基于python进行抽样分布描述及实践详解

价格统计量

基于python进行抽样分布描述及实践详解

2、画出价格的分布图像,验证数据服从何种分布(正态?卡方?还是t?)

2.1 画出船票的直方图:

plt.hist(df['fare'],20,normed=1, alpha=0.75)
plt.title('fare')
plt.grid(true)

船票价格的直方图及概率分布

基于python进行抽样分布描述及实践详解

2.2 验证是否符合正态分布?

#分别用kstest、shapiro、normaltest来验证分布系数
ks_test = kstest(df['fare'], 'norm')
#kstestresult(statistic=0.99013849978633, pvalue=0.0)

shapiro_test = shapiro(df['fare'])
#shapiroresult(0.5256513357162476, 7.001769945799311e-40)

normaltest_test = normaltest(df['fare'],axis=0) 
#normaltestresult(statistic=715.0752414548335, pvalue=5.289130045259168e-156)

以上三种检测结果表明 p<5%,因此 船票数据不符合正态分布。

绘制拟合正态分布曲线:

fare = df['fare']

plt.figure()
fare.plot(kind = 'kde')   #原始数据的正态分布

m_s = stats.norm.fit(fare)  #正态分布拟合的平均值loc,标准差 scale
normaldistribution = stats.norm(m_s[0], m_s[1])  # 绘制拟合的正态分布图
x = np.linspace(normaldistribution.ppf(0.01), normaldistribution.ppf(0.99), 100)
plt.plot(x, normaldistribution.pdf(x), c='orange')
plt.xlabel('fare about titanic')
plt.title('titanic[fare] on normaldistribution', size=20)
plt.legend(['origin', 'normdistribution'])

船票拟合正态分布曲线

基于python进行抽样分布描述及实践详解

2.3 验证是否符合t分布?

t_s = stats.t.fit(fare)
df = t_s[0] 
loc = t_s[1] 
scale = t_s[2] 
x2 = stats.t.rvs(df=df, loc=loc, scale=scale, size=len(fare))
d, p = stats.ks_2samp(fare, x2) # (0.25842696629213485 2.6844476044528504e-21)

p = 2.6844476044528504e-21 ,p < alpha,拒绝原假设,价格数据不符合t分布。

对票价数据进行t分布拟合:

plt.figure()
fare.plot(kind = 'kde') 
tdistribution = stats.t(t_s[0], t_s[1],t_s[2])  # 绘制拟合的t分布图
x = np.linspace(tdistribution.ppf(0.01), tdistribution.ppf(0.99), 100)
plt.plot(x, tdistribution.pdf(x), c='orange')
plt.xlabel('fare about titanic')
plt.title('titanic[fare] on tdistribution', size=20)
plt.legend(['origin', 'tdistribution'])

票价拟合t分布

基于python进行抽样分布描述及实践详解

2.4 验证是否符合卡方分布?

chi_s = stats.chi2.fit(fare)
df_chi = chi_s[0] 
loc_chi = chi_s[1] 
scale_chi = chi_s[2] 
x2 = stats.chi2.rvs(df=df_chi, loc=loc_chi, scale=scale_chi, size=len(fare))
df, pf = stats.ks_2samp(fare, x2) # (0.16292134831460675, 1.154755913291936e-08)

p = 1.154755913291936e-08 ,p < alpha,拒绝原假设,价格数据不符合卡方分布。

对票价数据进行卡方分布拟合

plt.figure()
fare.plot(kind = 'kde') 
chidistribution = stats.chi2(chi_s[0], chi_s[1],chi_s[2])  # 绘制拟合的正态分布图
x = np.linspace(chidistribution.ppf(0.01), chidistribution.ppf(0.99), 100)
plt.plot(x, chidistribution.pdf(x), c='orange')
plt.xlabel('fare about titanic')
plt.title('titanic[fare] on chi-square_distribution', size=20)
plt.legend(['origin', 'chi-square_distribution'])

票价拟合卡方分布

基于python进行抽样分布描述及实践详解

3、按照港口分类,验证s与q两个港口间的价格之差是否服从某种分布

s_fare = df[df['embarked'] =='s']['fare']
q_fare = df[df['embarked'] =='q']['fare']
c_fare = df[df['embarked'] =='c']['fare']
s_fare.describe()
count  554.000000
mean   27.476284
std    36.546362
min    0.000000
25%    8.050000
50%    13.000000
75%    27.862500
max   263.000000
q_fare.describe()
count  28.000000
mean   18.265775
std   21.843582
min    6.750000
25%    7.750000
50%    7.750000
75%   18.906250
max   90.000000
c_fare.describe()
count  130.000000
mean   68.296767
std    90.557822
min    4.012500
25%    14.454200
50%    36.252100
75%    81.428100
max   512.329200

按照港口分类后,s港口样本数<=554,q港口样本数<=28,c港口样本数<=130。

总体不服从正态分布,所以需要当n比较大时,一般要求n>=30,两个样本均值之差的抽样分布可近似为正态分布。x2的总体容量为28,其样本容量不可能超过30,故其s港和q港两个样本均值之差(e(x1)-e(x2))的抽样分布不服从正态分布。

s港和c港两个样本均值之差(e(x1)-e(x3))的抽样分布近似服从正态分布,其均值和方差分别为e(e(x1) - e(x3)) = e(e(x1)) - e(e(x3)) = μ1 - μ3;d(e(x1) + e(x3)) = d(e(x1)) + d(e(x3)) = σ1²/n1 + σ3²/n3 。绘图如下:

miu = np.mean(s_fare) - np.mean(c_fare)
sig = np.sqrt(np.var(s_fare, ddof=1)/len(s_fare) + np.var(c_fare, ddof=1)/len(c_fare))

x = np.arange(- 110, 50)
y = stats.norm.pdf(x, miu, sig)
plt.plot(x, y)
plt.xlabel("s_fare - c_fare")
plt.ylabel("density")
plt.title('fare difference between s and c')
plt.show()

基于python进行抽样分布描述及实践详解

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。