Python小案例（四）批量操作文件

顾名思义，这次分享的内容是如何进行文件批处理操作。

批量生成文件

import os 
import pandas as pd
import random

下面代码的结果：在当前路径下新建batch_files文件夹，在该文件夹下批量生成三个日期的文件夹，每个日期文件夹里写入abcd四个txt文件，文件内容是随机的10个100以内的随机数。

dates = pd.date_range('2022-01-01','2022-01-03').strftime("%Y-%m-%d").to_list()
init_path = './batch_files/'

# 生成3个日期的文件
for i in dates:
    isExists = os.path.exists(init_path+str(i)) # 判断文件是否存在
    if not isExists:
        os.makedirs(init_path+str(i))
    else:
        continue

dirs = os.listdir(init_path)

for file in dirs:
    sub_path = os.path.join(init_path, file)
    if file.startswith("."): # mac生成的隐藏文件夹报错
        continue
    for cl in ['a', 'b', 'c', 'd']:
        if not os.path.exists(sub_path+'/'+cl+'.txt'):
            with open(sub_path+'/'+cl+'.txt', 'a') as f:
                seq = range(1, 100) # 生成1-100间的随机数
                for line in random.sample(seq, 10): # 任意取10个不同样本
                    f.write(str(line)+'\n')

批量操作文件

下面代码的结果：将上述batch_files里的文件内容全部写入df中

# 初始化空df
df_init = pd.DataFrame(columns=['nums', 'date', 'class', 'data_type'])

g = os.walk('./batch_files')  # 全部路径

for path,dir_list,file_list in g:  
    for file_name in file_list: # 获取文件名
        if file_name.endswith(".txt") and not file_name.endswith(".DS_Store.txt"):
            file_name_path = os.path.join(path, file_name) # 文件完整路径
            df = pd.read_csv(file_name_path, header=None)
            df['date'] = os.path.split(os.path.dirname(file_name_path))[-1] # 上级文件夹名称
            df['class'] = os.path.split(os.path.splitext(file_name_path)[-2])[-1] # 文件名称
            df['data_type'] = os.path.splitext(file_name_path)[-1] # 文件后缀
            df.columns = ['nums', 'date', 'class', 'data_type']
            df_init = pd.concat([df_init, df], axis=0)
            
df_init.head()

共勉～