读取一个文件:

      直接用文件路径。

如果是读取某个文件夹下的所有文件,注意用os.path,逐个读取文件,把新读取到的Dataframe进行concate操作到总的Dataframe中去。详细请见代码。


character_list =['1010011_i_u_prov',  '9010081_i_b_location']
#这是读取一个文件的,
# data=pd.read_csv('../data/10line_of_part-00000',sep='\t',header=None)
# 如果读取所有文件呢?如下

file_dir="../data/dt=20200807"
all_file_list=os.listdir(file_dir)
for single_file in all_file_list:
    # 逐个读取 
    single_data_frame=pd.read_csv(
            os.path.join(file_dir,single_file),sep='\t',header=None)
	if single_file ==all_file_list[0]:
		all_data_frame=single_data_frame
	else:  #进行concat操作       
         all_data_frame=pd.concat([all_data_frame,
                    single_data_frame],ignore_index=True)

# data.columns=character_list,给dataframe的属性重新命名。
all_data_frame.columns=character_list

备注:

data数据是从sql中select出来的结果。

注意: 分隔符要用\t,不然会报错!

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐