欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python实现本地csv文件合并

程序员文章站 2021-11-26 18:17:03
目录一、单文件之间合并二、单个文件夹底下多个文件合并三、多个文件夹底下多个文件合并四、多文件夹[函数递归]总结本篇的文件合并主要是针对.csv的文件合并。一、单文件之间合并首先,要查询目录底下的文件要...

本篇的文件合并主要是针对.csv的文件合并。

Python实现本地csv文件合并

一、单文件之间合并

首先,要查询目录底下的文件要导入os。并且我们要将.csv文件以pandas的dataframe底下,因此要导入pandas,另外由于我们要遍历目录,因此导入 glob:

import os
import pandas as pd 
import glob

注:

import os的作用:在python环境下对文件,文件夹执行操作的一个模块。

os.name返回当前系统
os.getcwd()返回当前的路径
os.remove(路径)删除路径下的文件

import glob的作用: glob是python自带的一个操作文件的相关模块,由于模块功能比较少,所以很容易掌握。用它可以查找符合特定规则的文件路径名。使用该模块查找文件,只需要用到: “*”, “?”, “[]”这三个匹配符;

”*”匹配0个或多个字符;
”?”匹配单个字符;
”[]”匹配指定范围内的字符,如:[0-9]匹配数字。
f1=open('../input/covid19temp/2020/12-30-2020.csv').read()
f2=open('../input/covid19temp/2020/12-31-2020.csv').read()

with open('f1112.csv','a+') as f:
    f.write('\n'+f1)
    f.write('\n'+f2)

Python实现本地csv文件合并

合并完成之后就会多出一个f1112.csv文件:

Python实现本地csv文件合并

然而打开f1112.csv后发现合并后的文件有一些脏数据没有整理:

Python实现本地csv文件合并

这时候我们试试skiprows:
在读取文件的时候设置skiprows参数的值,设置为1,会跳过一行,这里是要将第二个文件的索引属性给去掉,因为已经和第一个文件合并了,而第一个文件有索引属性了。

f1=pd.read_csv('../input/covid19temp/2020/12-30-2020.csv')
f2=pd.read_csv('../input/covid19temp/2020/12-31-2020.csv',skiprows=1)
f1112=f1.append(f2)
f1112.to_csv('f1112.csv') # 导出该文件

Python实现本地csv文件合并

在本地目录中打开该文件:

Python实现本地csv文件合并

Python实现本地csv文件合并

二、单个文件夹底下多个文件合并

csv_list=glob.glob('../input/covid19temp/2020/*.csv') 
# 如果不加上*的话拿到的就是目录的名称,如果加上*,拿到的就是完整的目录数据
print(csv_list)

Python实现本地csv文件合并

for i in csv_list:  
    fr=open(i,'r').read()
    with open('2020csvdata.csv','a') as f:
        f.write(fr)
    f.close()
print('数据文件合并完成!')

Python实现本地csv文件合并

Python实现本地csv文件合并

Python实现本地csv文件合并

csv_list=glob.glob('../input/covid19temp/2020/*')
for i in csv_list:
    fr=open(i,'rb').read()
    with open('2020csvdata2.csv','ab') as f:
        f.write(fr)
    f.close()
print('数据文件合并完成!')

Python实现本地csv文件合并

csv_list=glob.glob('../input/covid19temp/2020/*')
csvdatadf=pd.dataframe()
for i in csv_list:
    csvdata=pd.read_csv(i)
    csvdatadf=csvdatadf.append(csvdata)
print('数据文件合并完成!')

合并之后使用pd.read_csv读取文件数据,一共有20w+的疫情数据记录:

Python实现本地csv文件合并

三、多个文件夹底下多个文件合并

import os
import pandas as pd 
import glob
import openpyxl
import numpy as np

path='../input/covid19temp' # 写的路径
csv_lists=[] # 该列表的作用

# 是否更新目录判断:
if os.path.isdir(path): #使用os.path.isdir判断path是否是路径
    if not path.endswith("/"):# 如果该路径的最后没有加上'/'的话,会帮忙加一个/
        path+="/"
        print(path)

Python实现本地csv文件合并

如上图所示,路径后面多了一个 ‘/’,否则路径会找不到

文件操作:

os.listdir(): 列出路径下所有的文件

os.path.join(): 连接文件的作用

os.path.isdir(): 判断是否是文件夹

import os
import pandas as pd 
import glob
import openpyxl
import numpy as np

path='../input/covid19temp' # 写的路径
csv_lists=[] # 该列表的作用

# 是否更新目录判断:
if os.path.isdir(path): #使用os.path.isdir判断path是否是路径
    if not path.endswith("/"):# 如果该路径的最后没有加上'/'的话,会帮忙加一个/
        path+="/"
        print(path)
        for each in os.listdir(path):# os.listdir(): 列出路径下所有的文件
            print(each)

Python实现本地csv文件合并

Python实现本地csv文件合并

import os
import pandas as pd 
import glob
import openpyxl
import numpy as np

path='../input/covid19temp' # 写的路径
csv_lists=[] # 该列表的作用

# 是否更新目录判断:
if os.path.isdir(path): #使用os.path.isdir判断path是否是路径
    if not path.endswith("/"):# 如果该路径的最后没有加上'/'的话,会帮忙加一个/
        path+="/"
        print(path)
        for each in os.listdir(path):# os.listdir(): 列出路径下所有的文件
            print(each)
            sub_path=path+each
            path_list=[]
            if os.path.isdir(sub_path):
                path_list.append(sub_path)
                csv_lists.append(path_list) # 生成主目录下路径列表(非文件)
# 根据路径进行路径下文件列表的生成
csvlists=[]
for i in range(len(csv_lists)):
#    print(i)
    csvlists.append(glob.glob(csv_lists[i][0]+'/*.csv')) 
csvlists

# 获取每年的文件路径
csvfilelist=[]
for j in range(len(csvlists)):
    for k in csvlists[j]:
        csvfilelist.append(k)
csvfilelist

csvdatadf=pd.dataframe()
for m in csvfilelist:
    filesize=os.path.getsize(m)
    if filesize>0:
        csvdata=pd.read_csv(m)
        csvdatadf=csvdatadf.append(csvdata)
    else:
        continue
    
print('数据合并完成')

四、多文件夹[函数递归]

import os 
import pandas as pd 
def mergefiles(parent,path="",pathdeep=0):
    fileabspath=os.path.join(parent,path)
    if os.path.isdir(fileabspath)==true:
        if (pathdeep!=0 and('.ipynb_checkpoints' not in str(fileabspath))):
            print('=='+path)
        for filename2 in os.listdir(fileabspath):
            mergefiles(fileabspath,filename2,pathdeep=pathdeep+1)
    else:
        print(path)
path=input("请输入需要的文件注主目录:")
mergefiles(path)

Python实现本地csv文件合并

总结

到此这篇关于python实现本地csv文件合并的文章就介绍到这了,更多相关python csv文件合并内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!

相关标签: python 合并 csv