Python：项目-电影数据集分析代码 (三十九)

探索电影数据集

在这个项目中，你将尝试使用所学的知识，使用 NumPy、Pandas、matplotlib、seaborn 库中的函数，来对电影数据集进行探索。

下载数据集：
TMDb电影数据

数据集各列名称的含义：

请注意，你需要提交该报告导出的 .html、.ipynb 以及 .py 文件。

第一节 数据的导入与处理

在这一部分，你需要编写代码，使用 Pandas 读取数据，并进行预处理。

任务1.1： 导入库以及数据

1. 载入需要的库 NumPy、Pandas、matplotlib、seaborn。
2. 利用 Pandas 库，读取 tmdb-movies.csv 中的数据，保存为 movie_data。

提示：记得使用 notebook 中的魔法指令 %matplotlib inline，否则会导致你接下来无法打印出图像。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sb

# 使用 notebook 中的魔法指令 %matplotlib inline，否则会导致你接下来无法打印出图像
%matplotlib inline

# 读取数据
movie_data = pd.read_csv('./data/tmdb-movies.csv')

任务1.2: 了解数据

你会接触到各种各样的数据表，因此在读取之后，我们有必要通过一些简单的方法，来了解我们数据表是什么样子的。

1. 获取数据表的行列，并打印。
2. 使用 .head()、.tail()、.sample() 方法，观察、了解数据表的情况。
3. 使用 .dtypes 属性，来查看各列数据的数据类型。
4. 使用 isnull() 配合 .any() 等方法，来查看各列是否存在空值。
5. 使用 .describe() 方法，看看数据表中数值型的数据是怎么分布的。

# 使用 .head()
movie_data.head(5)

# print tail
movie_data.tail(5)

# print('sample:')
movie_data.sample()

# 3、使用 .dtypes 属性，来查看各列数据的数据类型
movie_data.dtypes

id                        int64
imdb_id                  object
popularity              float64
budget                    int64
revenue                   int64
original_title           object
cast                     object
homepage                 object
director                 object
tagline                  object
keywords                 object
overview                 object
runtime                   int64
genres                   object
production_companies     object
release_date             object
vote_count                int64
vote_average            float64
release_year              int64
budget_adj              float64
revenue_adj             float64
dtype: object

# 4.使用 isnull() 配合 .any() 等方法，来查看各列是否存在空值。
movie_data.isnull().any()

id                      False
imdb_id                  True
popularity              False
budget                  False
revenue                 False
original_title          False
cast                     True
homepage                 True
director                 True
tagline                  True
keywords                 True
overview                 True
runtime                 False
genres                   True
production_companies     True
release_date            False
vote_count              False
vote_average            False
release_year            False
budget_adj              False
revenue_adj             False
dtype: bool

# 5.使用 .describe() 方法，看看数据表中数值型的数据是怎么分布的。
movie_data.describe()

任务1.3: 清理数据

在真实的工作场景中，数据处理往往是最为费时费力的环节。但是幸运的是，我们提供给大家的 tmdb 数据集非常的「干净」，不需要大家做特别多的数据清洗以及处理工作。在这一步中，你的核心的工作主要是对数据表中的空值进行处理。你可以使用 .fillna() 来填补空值，当然也可以使用 .dropna() 来丢弃数据表中包含空值的某些行或者列。

任务：使用适当的方法来清理空值，并将得到的数据保存。

#movie_data.info()
#通过上边的方法 movie_data.isnull().any()，可以找出NaN的列，可以对无关紧要的列做删除
#首先删除缺失较为严重且无关紧要的列：'homepage','tagline','keywords','production_companies'
#然后再删除轻微缺失的行：‘imdb_id’，‘cast’，‘director’，‘overview’，‘genres’

movie_data = movie_data.drop(columns = ['homepage','tagline','keywords','production_companies'])
movie_data.dropna(axis = 0, inplace = True)
# movie_data.isnull().any()

movie_data.head(5)

第二节 根据指定要求读取数据

相比 Excel 等数据分析软件，Pandas 的一大特长在于，能够轻松地基于复杂的逻辑选择合适的数据。因此，如何根据指定的要求，从数据表当获取适当的数据，是使用 Pandas 中非常重要的技能，也是本节重点考察大家的内容。

任务2.1: 简单读取

1. 读取数据表中名为 id、popularity、budget、runtime、vote_average 列的数据。
2. 读取数据表中前1～20行以及48、49行的数据。
3. 读取数据表中第50～60行的 popularity 那一列的数据。

要求：每一个语句只能用一行代码实现。

# 读取数据表中名为 id、popularity、budget、runtime、vote_average 列的数据, 取出 5 条测试打印
movie_data[['id','popularity','budget','runtime','vote_average']].head(5)

# 读取数据表中前1～20行以及48、49行的数据，即追加行
movie_data[0:20].append(movie_data[47:49])

# 读取数据表中第50～60行的 popularity 那一列的数据,注意不包含尾，第几行实际下标为(index - 1，index_end)
# 第 50~60行 即为 49~60
movie_data[49:60][['popularity']]

任务2.2: 逻辑读取（Logical Indexing）

1. 读取数据表中 popularity 大于5 的所有数据。
2. 读取数据表中 popularity 大于5 的所有数据且发行年份在1996年之后的所有数据。

提示：Pandas 中的逻辑运算符如 &、|，分别代表且以及或。

要求：请使用 Logical Indexing实现。

# 读取数据表中 popularity 大于5 的所有数据,取出前5个打印
movie_data[movie_data.popularity > 5].head(5)

# 读取数据表中 popularity 大于5 的所有数据且发行年份在1996年之后的所有数据。
movie_data[(movie_data.popularity > 5) & (movie_data.release_year >= 1996)].head(5)

任务2.3: 分组读取

1. 对 release_year 进行分组，使用 .agg 获得 revenue 的均值。
2. 对 director 进行分组，使用 .agg 获得 popularity 的均值，从高到低排列。

要求：使用 Groupby 命令实现。

# 计算每年的年度收益
movie_data.groupby(['release_year'])['revenue'].mean().head(5)

release_year
1960    4.531406e+06
1961    1.089420e+07
1962    6.736870e+06
1963    5.511911e+06
1964    8.118614e+06
Name: revenue, dtype: float64

# 对 director 进行分组，使用 .agg 获得 popularity 的均值，从高到低排列, 只打印Top 10 导演， sort_values排序方法
movie_data.groupby(['director'])['popularity'].mean().sort_values(ascending=False).head(10)

director
Colin Trevorrow                16.696886
Joe Russo|Anthony Russo        12.971027
Chad Stahelski|David Leitch    11.422751
Don Hall|Chris Williams         8.691294
Juno John Lee                   8.411577
Kyle Balda|Pierre Coffin        7.404165
Alan Taylor                     6.883129
Peter Richardson                6.668990
Pete Docter                     6.326804
Christopher Nolan               6.195521
Name: popularity, dtype: float64

第三节 绘图与可视化

接着你要尝试对你的数据进行图像的绘制以及可视化。这一节最重要的是，你能够选择合适的图像，对特定的可视化目标进行可视化。所谓可视化的目标，是你希望从可视化的过程中，观察到怎样的信息以及变化。例如，观察票房随着时间的变化、哪个导演最受欢迎等。

在这个部分，你需要根据题目中问题，选择适当的可视化图像进行绘制，并进行相应的分析。对于选做题，他们具有一定的难度，你可以尝试挑战一下～

任务3.1：对 popularity 最高的20名电影绘制其 popularity 值。

# movie_data[['original_title','popularity']].sort_values(by='popularity', ascending=False)[:20]
# top_movies = movie_data.set_index('original_title')['popularity'].sort_values()[-20:]
top_movies = movie_data[['original_title','popularity']].sort_values(by='popularity', ascending=False)[:20].sort_values(by='popularity', ascending=True)

# 设置颜色
# @see doc:
# https://stackoverflow.com/questions/18973404/setting-different-bar-color-in-matplotlib-python
my_colors = 'rgbkymc'  #red, green, blue, black, etc.

# 设置索引为 original_title 列，使用barh
top_movies.set_index('original_title').plot(kind='barh', color=my_colors)
plt.xlabel('Popularity')
plt.ylabel('Original Title')
plt.title('Top 20 Movies by Popularity');

任务3.2：分析电影净利润（票房-成本）随着年份变化的情况，并简单进行分析。

# 增加新的列，利润=票房-成本
movie_data['profit'] = movie_data['revenue_adj'] - movie_data['budget_adj']
# movie_data.head(5)

# 以年为组，统计年均利润
movie_data.groupby(['release_year'])['profit'].mean().plot(kind='line', figsize=(16, 8))

plt.ylabel('profit_mean')

Text(0,0.5,'profit_mean')

# 以年为组，计算标准差
movie_data.groupby(['release_year'])['profit'].std().plot(kind='line', figsize=(16, 8))
plt.ylabel('profit_std')

Text(0,0.5,'profit_std')

# 统计年发行量
movie_data.groupby('release_year')['original_title'].count().plot(kind='line', figsize=(16, 8));
plt.ylabel('profit_sum')

Text(0,0.5,'profit_sum')

# 分析电影净利润
# 1、电影利润在1960~1980年代有很大的波动，随着时间的推移，后来趋于稳定
# 2、随着每年电影的产量逐步提高，每部电影的平均净利润逐年减少

[选做]任务3.3：选择最多产的10位导演（电影数量最多的），绘制他们排行前3的三部电影的票房情况，并简要进行分析。

# 1、先选择多产的前10位导演 
# new_movie_data = movie_data[['original_title', 'revenue', 'director']]
# new_movie_data.groupby(new_movie_data['director'])['original_title'].count().sort_values(ascending=False).head(10)

tmp = movie_data['director'].str.split('|', expand=True).stack().reset_index(level=1, drop=True).rename('director') 
movie_data_split = movie_data[['original_title', 'revenue']].join(tmp)
movie_data_split.groupby(movie_data_split['director'])['original_title'].count().sort_values(ascending=False).head(10)

director
Woody Allen          46
Clint Eastwood       34
Martin Scorsese      31
Steven Spielberg     30
Ridley Scott         23
Steven Soderbergh    23
Ron Howard           22
Joel Schumacher      21
Tim Burton           20
Brian De Palma       20
Name: original_title, dtype: int64

# 2、获取每位导演的票房前 3 部电影
directors = list(movie_data_split.groupby(movie_data_split['director'])['original_title'].count().sort_values(ascending=False).head(10).index)
f1, f2, f3, f4 = [],[],[],[]
for director in directors:
    #每个导演 top 3 的电影，分别取出电影名称、票房、导演、评价
    a = list(movie_data[(movie_data['director']== director)]['vote_average'].sort_values(ascending=False)[0:3].rename(index = movie_data['original_title']).index)
    b = list(movie_data[(movie_data['director']== director)]['vote_average'].sort_values(ascending=False)[0:3].rename(index = movie_data['revenue_adj']).index)
    c = list(movie_data[(movie_data['director']== director)]['vote_average'].sort_values(ascending=False)[0:3].rename(index = movie_data['director']).index)
    d = list(movie_data[(movie_data['director']== director)]['vote_average'].sort_values(ascending=False)[0:3].rename(index = movie_data['vote_average']).index)
    f1 += a
    f2 += b
    f3 += c
    f4 += d
items = {'director': pd.Series(f3),'original_title': pd.Series(f1), 'revenue_adj': pd.Series(f2),'vote_average': pd.Series(f4)}
df = pd.DataFrame(items)
#将导演设置为索引
df.set_index('director',inplace = True)
df

[选做]任务3.4：分析1968年~2015年六月电影的数量的变化。

#获取1968年~2015年
new_data = movie_data
sel_year = new_data['release_year'].between(1968,2015,inclusive = True)
#获取6月份
sel_june = list(map(lambda x: (pd.to_datetime(x).month) == 6, new_data['release_date']))

new_data[sel_year&sel_june]['release_year'].value_counts().sort_index().plot(kind='line', figsize=(20, 10), lw = 3);

plt.xlabel('release_year', fontsize = 16);
plt.ylabel('movies_in_June_from_1968_to_2015', fontsize = 16);
plt.grid(True)

#1968年~2015年六月电影的数量的变化:大体上为上升趋势，短时期内有回落现象，且进入2000后上升趋势加快

[选做]任务3.5：分析1968年~2015年六月电影 Comedy 和 Drama 两类电影的数量的变化。

为者常成，行者常至