【3】数据分析--10--科学计算--Pandas--3--Dataframe(创建和选取)

DataFrame类型由共用相同索引的一组列组成

索引 多列数据
index_0 data_a data_1 data_w
index_1 data_b data_2 ...... data_x
index_2 data_c data_3 data_y
index_3 data_d data_4 data_z

DataFrame是一个表格型的数据类型,每列值类型可以不同 DataFrame既有行索引、也有列索引

DataFrame常用于表达二维数据,但可以表达多维数据

一、创建

DataFrame类型可以由如下类型创建:

  • 二维ndarray对象
  • 由一维ndarray、列表、字典、元组或Series构成的字典
  • Series类型
  • 其他的DataFrame类型

1.1. 二维ndarray对象

import pandas as pd
import numpy as np

d = pd.DataFrame(np.arange(10).reshape(2,5))

d
Out[4]: 
   0  1  2  3  4
0  0  1  2  3  4
1  5  6  7  8  9

#自动索引

1.2.从一维ndarray对象字典创建

import pandas as pd
import numpy as np 
t = {'one':pd.Series([1,2,3],index = ['a','b','c']),'two':pd.Series([9,8,7,6],index = ['a','b','c','d'])}
d = pd.DataFrame(dt)
print d

   one  two
a  1.0    9
b  2.0    8
c  3.0    7
d  NaN    6

1.3 从列表类型的字典创建

import pandas as pd
import numpy as np 

dt = {'one':[1,2,3,4],'two':[9,8,7,6]}
d = pd.DataFrame(dt,index =['a','b','c','d'])
print d

   one  two
a    1    9
b    2    8
c    3    7
d    4    6

print d.index
Index([u'a', u'b', u'c', u'd'], dtype='object')

print d.columns
Index([u'one', u'two'], dtype='object')

print d.values
[[1 9]
 [2 8]
 [3 7]
 [4 6]]

print d['one']
a    1
b    2
c    3
d    4
Name: one, dtype: int64

print d.ix['a']
one    1
two    9
Name: a, dtype: int64

print d['one']['a']
1

DataFrame基本操作类似Series,依据行列索引

1.4 将列表(List)转换为数据框(Dataframe)

Python中将列表转换成为数据框有两种情况:第一种是两个不同列表转换成一个数据框,第二种是一个包含不同子列表的列表转换成为数据框。

第一种:两个不同列表转换成为数据框

from pandas.core.frame import DataFrame
a=[1,2,3,4]#列表a
b=[5,6,7,8]#列表b
c={"a" : a,
   "b" : b}#将列表a,b转换成字典
data=DataFrame(c)#将字典转换成为数据框
print(data)

输出的结果为

   a  b
0  1  5
1  2  6
2  3  7
3  4  8

第二种:将包含不同子列表的列表转换为数据框

from pandas.core.frame import DataFrame
a=[[1,2,3,4],[5,6,7,8]]#包含两个不同的子列表[1,2,3,4]和[5,6,7,8]
data=DataFrame(a)#这时候是以行为标准写入的
print(data)

输出结果:

   0  1  2  3
0  1  2  3  4
1  5  6  7  8

数据框的转置

data=data.T#转置之后得到想要的结果
data.rename(columns={0:'a',1:'b'},inplace=True)#注意这里0和1都不是字符串
print(data)

结果文件:

   a  b
0  1  5
1  2  6
2  3  7
3  4  8

二、操作

2.1 重新索引

  • 如何改变Series和DataFrame对象?
  • 增加或重排:重新索引
  • 删除:drop

.reindex()能够改变或重排Series和DataFrame索引

import pandas as pd
import numpy as np 


dt = {'one':[1,2,3,4],'two':[9,8,7,6]}
d = pd.DataFrame(dt,index =['a','b','c','d'])
print d
   one  two
a    1    9
b    2    8
c    3    7
d    4    6

d = d.reindex(columns = ['two','one'])
print d
   two  one
a    9    1
b    8    2
c    7    3
d    6    4

d =d.reindex(index = ['d','a','c','b'])
print d
   two  one
d    6    4
a    9    1
c    7    3
b    8    2

.reindex(index=None, columns=None, …)的参数

参数 说明
index, columns 新的行列自定义索引
fill_value 重新索引中,用于填充缺失位置的值
method 填充方法, ffill当前值向前填充,bfill向后填充
limit 最大填充量
copy 默认True,生成新的对象,False时,新旧相等不复制

案例:

import pandas as pd
import numpy as np 


dt = {'one':[1,2,3,4],'two':[9,8,7,6]}
d = pd.DataFrame(dt,index =['a','b','c','d'])
print d
   one  two
a    1    9
b    2    8
c    3    7
d    4    6


d2 =d.columns.insert(2,'add')
d3 = d.reindex(columns = d2,fill_value =200)

print d3
   one  two  add
a    1    9  200
b    2    8  200
c    3    7  200
d    4    6  200

Series和DataFrame的索引是Index类型 Index对象是不可修改类型 索引类型常用方法

方法 说明
.append(idx) 连接另一个Index对象,产生新的Index对象
.diff(idx) 计算差集,产生新的Index对象
.intersection(idx) 计算交集
.union(idx) 计算并集
.delete(loc) 删除loc位置处的元素
.insert(loc,e) 在loc位置增加一个元素e

案例:

import pandas as pd
import numpy as np 


dt = {'one':[1,2,3,4],'two':[9,8,7,6]}
d = pd.DataFrame(dt,index =['a','b','c','d'])
print d
   one  two
a    1    9
b    2    8
c    3    7
d    4    6

nc =d.columns.delete(1)
ni =d.index.insert(4,'w')
d3 = d.reindex(index =ni,columns = nc,method='ffill')

print d3
   one
a    1
b    2
c    3
d    4
w    4

.drop()能够删除Series和DataFrame指定行或列索引

import pandas as pd
import numpy as np 

dt = {'one':[1,2,3,4],'two':[9,8,7,6]}
d = pd.DataFrame(dt,index =['a','b','c','d'])
print d
   one  two
a    1    9
b    2    8
c    3    7
d    4    6

e = d.drop('two',axis=1)
print e
   one
a    1
b    2
c    3
d    4

f =d.drop('c')
print f
   one  two
a    1    9
b    2    8
d    4    6

m =d.drop(['c','d'])
print  m
   one  two
a    1    9
b    2    8

2.2 选取行或列

2.2.1 搭建测试数据:

import numpy as np
import pandas as pd
from pandas import Sereis, DataFrame
ser = Series(np.arange(3.))

data = DataFrame(np.arange(15).reshape(3,5),index=['one','two','three'],columns=['a','b','c','d','e'])

data

Out[7]: 
        a   b   c   d   e
one     0   1   2   3   4
two     5   6   7   8   9
three  10  11  12  13  14

2.2.2 常用的处理方法:

1.列名

data['w']  #选择表格中的'w'列,使用类字典属性,返回的是Series类型
data.w    #选择表格中的'w'列,使用点属性,返回的是Series类型
data[['w']]  #选择表格中的'w'列,返回的是DataFrame属性
data[['w','z']]  #选择表格中的'w'、'z'列
data['a':'b']  #利用index值进行切片,返回的是**前闭后闭**的DataFrame, #即末端是包含的
data['one':'two']  #当用已知的行索引时为前闭后闭区间,这点与切片稍有不同。 

2.行的编号

data[0:2]  #返回第1行到第2行的所有行,前闭后开,包括前不包括后
data[1:2]  #返回第2行,从0计,返回的是单行,通过有前后值的索引形式,
       #如果采用data[1]则报错
data[-1:]  #跟上面一样,取DataFrame中最后一行,返回的是DataFrame类型

3.ix

data.ix[1:2] #返回第2行的第三种方法,返回的是DataFrame,跟data[1:2]同
data.ix[:,[0,1,2]]  #不知道列名只知道列的位置时
data.ix[1,[0]]  #选择第2行第1列的值
data.ix[1:3,[0,2]]  #选择第2-4行第1、3列的值
data.ix[1:2,2:4]  #选择第2-3行,3-5(不包括5)列的值
data.ix[data.a>5,3]
data.ix[data.b>6,3:4]  #选择'b'列中大于6所在的行中的第4列,有点拗口
data.ix[data.a>5,2:4]  #选择'a'列中大于5所在的行中的第3-5(不包括5)列
data.ix[data.a>5,[2,2,2]]  #选择'a'列中大于5所在的行中的第2列并重复3次

data.ix[1:3,['a','e']]
data.ix['one':'two',[2,1]]
data.ix[['one','three'],[2,2]]
data.ix['one':'three',['a','c']]
data.ix[['one','one'],['a','e','d','d','d']]

data[1:2] #(不知道列索引时)选择第2行,不能用data[1],可以用data.ix[1]

data.ix[1:3]  #选择第2到4行,不包括第4行,即前闭后开区间。
data.ix[-1:]  #取DataFrame中最后一行,返回的是DataFrame类型,**注意**
data.ix[-1] #取DataFrame中最后一行,返回的是Series类型,这个一样,行索引不能是数字时才可以使用

4.irow或icol

data.irow(0)   #取data的第一行
data.icol(0)   #取data的第一列

5.head和tail

data.head()  #返回data的前几行数据,默认为前五行,需要前十行则dta.head(10)
data.tail()  #返回data的后几行数据,默认为后五行,需要后十行则data.tail(10)

6.iget_value

ser.iget_value(0)  #选取ser序列中的第一个
ser.iget_value(-1) #选取ser序列中的最后一个,这种轴索引包含索引器的series不能采用ser[-1]去获取最后一个,这回引起歧义。

7.iloc

data.iloc[-1]   #选取DataFrame最后一行,返回的是Series
data.iloc[-1:]   #选取DataFrame最后一行,返回的是DataFrame

8.loc

data.loc['a',['w','x']]   #返回‘a’行'w'、'x'列,这种用于选取行索引列索引已知

9.iat

data.iat[1,1]   #选取第二行第二列,用于已知行、列位置的选取。

2.2.3 讨论:

最近处理数据时发现当pd.read_csv()数据时有时候会有读取到未命名的列,且该列也用不到,一般是索引列被换掉后导致的,有强迫症的看着难受,这时候dataframe.drop([columns,])是没法处理的,怎么办呢, 最笨的方法是直接给列索引重命名:

data6

        Unnamed: 0  high    symbol  time
date                
2016-11-01  0   3317.4  IF1611  18:10:44.8
2016-11-01  1   3317.4  IF1611  06:01:04.5
2016-11-01  2   3317.4  IF1611  07:46:25.5
2016-11-01  3   3318.4  IF1611  09:30:04.0
2016-11-01  4   3321.8  IF1611  09:31:04.0

data6.columns = list(‘abcd’)

data6

    a   b   c   d
date                
2016-11-01  0   3317.4  IF1611  18:10:44.8
2016-11-01  1   3317.4  IF1611  06:01:04.5
2016-11-01  2   3317.4  IF1611  07:46:25.5
2016-11-01  3   3318.4  IF1611  09:30:04.0
2016-11-01  4   3321.8  IF1611  09:31:04.0

bb = pd.read_csv(“ig_bases_mutated_nucl_freq.tsv”,sep=’\t’,index_col=False,header=None,skip_blank_lines=True)

index_col=False # 不用第一列作为index header=None # 不用第一行作为header

参考资料:

个人公众号,比较懒,很少更新,可以在上面提问题:

更多精彩,请移步公众号阅读:

Sam avatar
About Sam
专注生物信息 专注转化医学