AI 量化交易-利用 PCA 使多个因子降维和去除共线性 (四)

这节主要用到的知识点为：scikit-learn中的主成分分析（PCA）的使用。

利用PCA使多个因子降维和去除共线性

%matplotlib inline
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets import load_iris

# Iris数据集在模式识别研究领域应该是最知名的数据集了，有很多文章都用到这个数据集。
# 这个数据集里一共包括150行记录，其中前四列为花萼长度，花萼宽度，花瓣长度，花瓣宽度等4个用于识别鸢尾花的属性，
# 第5列为鸢尾花的类别（包括Setosa，Versicolour，Virginica三类）。
# @see https://www.jianshu.com/p/8c5f9f2549c5

data = load_iris() #加载数据

print(type(data))

y = data.target #获取类别数据，这里注意的是已经经过了处理，target里0、1、2分别代表三种类别
X = data.data   #获取属性数据

# 打印数据
print('y:',y)
print('X:',X[:3])

# 主成分析doc:https://www.cnblogs.com/pinard/p/6243025.html
# n_components:这个参数可以帮我们指定希望PCA降维后的特征维度数目。最常用的做法是直接指定降维到的维度数目，
# 此时n_components是一个大于等于1的整数。
pca = PCA(n_components=2)  #主成分析

#scikit-learn中的主成分分析（PCA）的使用
#@doc https://www.cnblogs.com/eczhou/p/5433856.html
#fit_transform(X):用X来训练PCA模型，同时返回降维后的数据.
reduced_X = pca.fit_transform(X)

<class 'sklearn.utils.Bunch'>
y: [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2
 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
 2 2]
X: [[5.1 3.5 1.4 0.2]
 [4.9 3.  1.4 0.2]
 [4.7 3.2 1.3 0.2]]

# 降维后的X
print("reduced_X:\n", reduced_X[:5])

reduced_X:
 [[-2.68412563  0.31939725]
 [-2.71414169 -0.17700123]
 [-2.88899057 -0.14494943]
 [-2.74534286 -0.31829898]
 [-2.72871654  0.32675451]]

red_x, red_y = [], []
blue_x, blue_y = [], []
green_x, green_y = [], []

for i in range(len(reduced_X)):
    if y[i] == 0:
        red_x.append(reduced_X[i][0])
        red_y.append(reduced_X[i][1])
    elif y[i] == 1:
        blue_x.append(reduced_X[i][0])
        blue_y.append(reduced_X[i][1])
    else:
        green_x.append(reduced_X[i][0])
        green_y.append(reduced_X[i][1])

plt.scatter(red_x, red_y, c='r', marker='x')
plt.scatter(blue_x, blue_y, c='b', marker='D')
plt.scatter(green_x, green_y, c='g', marker='.')
plt.show()

import numpy as np
import pandas as pd
from sklearn.decomposition import PCA

## 10个因子，20只股票的数据
data = pd.read_pickle('./data/data.pkl')
data

## 主成分
pca = PCA(n_components=5)
new_factor = pca.fit_transform(data)

new_factor = pd.DataFrame(new_factor,index=data.index)

new_factor

相关文章：scikit-learn中的主成分分析（PCA）的使用

为者常成，行者常至