需求
- 加载数据
- 查看数据的基本信息
- 指定数据截取，将如下字段的数据进行提取，其他数据舍弃
- cand_nm ：候选人姓名
- contbr_nm ： 捐赠人姓名
- contbr_st ：捐赠人所在州
- contbr_employer ： 捐赠人所在公司
- contbr_occupation ： 捐赠人职业
- contb_receipt_amt ：捐赠数额（美元）
- contb_receipt_dt ： 捐款的日期
- 对新数据进行总览,查看是否存在缺失数据
- 用统计学指标快速描述数值型属性的概要。
- 空值处理。可能因为忘记填写或者保密等等原因，相关字段出现了空值，将其填充为NOT PROVIDE
- 异常值处理。将捐款金额<=0的数据删除
- 新建一列为各个候选人所在党派party
- 查看party这一列中有哪些不同的元素
- 统计party列中各个元素出现次数
- 查看各个党派收到的政治献金总数contb_receipt_amt
- 查看具体每天各个党派收到的政治献金总数contb_receipt_amt
- 将表中日期格式转换为’yyyy-mm-dd’。
- 查看老兵(捐献者职业)DISABLED VETERAN主要支持谁
预设项
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#方便大家操作，将月份和参选人以及所在政党进行定义：
months = {'JAN' : 1, 'FEB' : 2, 'MAR' : 3, 'APR' : 4, 'MAY' : 5, 'JUN' : 6,
'JUL' : 7, 'AUG' : 8, 'SEP' : 9, 'OCT': 10, 'NOV': 11, 'DEC' : 12}
parties = {
'Bachmann, Michelle': 'Republican',
'Romney, Mitt': 'Republican',
'Obama, Barack': 'Democrat',
"Roemer, Charles E. 'Buddy' III": 'Reform',
'Pawlenty, Timothy': 'Republican',
'Johnson, Gary Earl': 'Libertarian',
'Paul, Ron': 'Republican',
'Santorum, Rick': 'Republican',
'Cain, Herman': 'Republican',
'Gingrich, Newt': 'Republican',
'McCotter, Thaddeus G': 'Republican',
'Huntsman, Jon': 'Republican',
'Perry, Rick': 'Republican'
}
加载数据、查看数据
read_csv
1
2
df = pd.read_csv('./data/usa_election.txt')
df.info()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 536041 entries, 0 to 536040
Data columns (total 16 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 cmte_id 536041 non-null object
1 cand_id 536041 non-null object
2 cand_nm 536041 non-null object
3 contbr_nm 536041 non-null object
4 contbr_city 536026 non-null object
5 contbr_st 536040 non-null object
6 contbr_zip 535973 non-null object
7 contbr_employer 525088 non-null object
8 contbr_occupation 530520 non-null object
9 contb_receipt_amt 536041 non-null float64
10 contb_receipt_dt 536041 non-null object
11 receipt_desc 8479 non-null object
12 memo_cd 49718 non-null object
13 memo_text 52740 non-null object
14 form_tp 536041 non-null object
15 file_num 536041 non-null int64
dtypes: float64(1), int64(1), object(14)
memory usage: 65.4+ MB
指定数据截取，将如下字段的数据进行提取，其他数据舍弃
1
trimmed_data = df[['cand_nm','contbr_nm','contbr_st','contbr_employer','contbr_occupation','contb_receipt_amt','contb_receipt_dt']]
对新数据进行总览,查看是否存在缺失数据
1
trimmed_data.isnull().any(axis=0)
1
2
3
4
5
6
7
8
cand_nm False
contbr_nm False
contbr_st True
contbr_employer True
contbr_occupation True
contb_receipt_amt False
contb_receipt_dt False
dtype: bool
用统计学指标快速描述数值型属性的概要
1
trimmed_data.describe()
空值处理。可能因为忘记填写或者保密等等原因，相关字段出现了空值，将其填充为NOT PROVIDE
1
2
trimmed_data.fillna(value='NOT PROVIDE',inplace=True)
trimmed_data.isnull().any(axis=0)
1
2
3
4
5
6
7
8
9
# 结果
cand_nm False
contbr_nm False
contbr_st False
contbr_employer False
contbr_occupation False
contb_receipt_amt False
contb_receipt_dt False
dtype: bool
异常值处理。将捐款金额<=0的数据删除
1
trimmed_data = trimmed_data.loc[~(trimmed_data['contb_receipt_amt'] <= 0)]
或者drop掉
1
2
dropped_index = trimmed_data.loc[trimmed_data["contb_receipt_amt"] <= 0].index
trimmed_data.drop(labels=dropped_index,axis=0,inplace=True)
统计party列中各个元素出现次数
- 使用value_counts()
1
trimmed_data['party'].value_counts()
1
2
3
4
5
Democrat 289999
Republican 234300
Reform 5313
Libertarian 702
Name: party, dtype: int64
查看各个党派收到的政治献金总数contb_receipt_amt
1
trimmed_data.groupby(by='party')['contb_receipt_amt'].sum()
1
2
3
4
5
6
party
Democrat 8.259441e+07
Libertarian 4.132769e+05
Reform 3.429658e+05
Republican 1.251181e+08
Name: contb_receipt_amt, dtype: float64
查看具体每天各个党派收到的政治献金总数contb_receipt_amt
1
trimmed_data.groupby(by=['contb_receipt_dt','party'])['contb_receipt_amt'].sum()
将表中日期格式转换为’yyyy-mm-dd’
- 使用
map，自定义处理函数即可 - 使用预设项保存的值
1
2
3
4
5
6
7
# 将表中日期格式转换为'yyyy-mm-dd'。
# 20-JUN-11
def translate(s):
d = s.split("-")
d[1] = months[d[1]]
return "20"+str(d[2])+"-"+str(d[1])+"-"+str(d[0])
trimmed_data["contb_receipt_dt"] = trimmed_data["contb_receipt_dt"].map(translate)
查看老兵(捐献者职业)DISABLED VETERAN主要支持谁
- 谁💰越多就支持谁（太真实了）
- 选出老兵
1
retired_soidier = trimmed_data.loc[trimmed_data['contbr_occupation'] == 'DISABLED VETERAN']
- 分组聚合捐钱数
1
retired_soidier.groupby(by='cand_nm')['contb_receipt_amt'].sum()
1
2
3
4
5
6
cand_nm
Cain, Herman 300.00
Obama, Barack 4205.00
Paul, Ron 2425.49
Santorum, Rick 250.00
Name: contb_receipt_amt, dtype: float64
统计老兵捐赠不同候选人的捐赠次数
1
retired_soidier['cand_nm'].value_counts()
1
2
3
4
5
Obama, Barack 32
Paul, Ron 22
Cain, Herman 3
Santorum, Rick 3
Name: cand_nm, dtype: int64
