一、介绍

1、量化投资第三方相关模块

NumPy：数组批量计算

Pandas：表计算与数据分析

Matplotlib：图表绘制

2、如何使用Python进行量化投资

自己编写：NumPy+pandas+Matplotlib+……

在线平台：聚宽、优矿、米筐、Quantopian、……

开源框架：RQAlpha、QUANTAXIS、……

金融：就是对现有资源进行重新整合之后，实现价值和利润的等效流通。

量化投资：利用计算机技术并且采用一定的数学模型去实践投资理念，实现投资策略的过程。

量化投资的优势：

避免主观情绪、人性弱点和认知偏差，选择更加客观

能同时包括多角度的观察和多层次的模型

及时跟踪市场变化，不断发现新的统计模型，寻找交易机会

在决定投资策略后，能通过回测验证其效果

量化策略：通过一套固定的逻辑来分析、判断和决策，自动化地进行股票交易

二、IPython和jupyter

IPython是交互式的Python命令行

pip install ipython

使用：ipython

pip install jupyter

执行命令：jupyter-notebook

三、IPython快捷键及常用命令

1、IPython快捷键

2、IPython的魔法命令

3、IPython调试器命令

四、NumPy：数组计算

NumPy是高性能科学计算和数据分析的基础包。它是pandas等其他各种工具的基础。

NumPy的主要功能：

ndarray，一个多维数组结构，高效且节省空间

无需循环对整组数据进行快速运算的数学函数

*读写磁盘数据的工具以及用于操作内存映射文件的工具

*线性代数、随机数生成和傅里叶变换功能

*用于集成C、C++等代码的工具

安装方法：pip install numpy

引用方式：import numpy as np

例1：已知若干家跨国公司的市值（美元），将其换算为人民币importnumpyasnpimportrandoma=[random.uniform(100.0,200.0)for_inrange(1000)]#随机生成有1000个小数的列表#list(map(lambdax:x*6.6,a))#每个元素都乘6.6，组成新的列表arr=np.array(a)#列表转化为数组arr*6.6#对数组每个值乘以6.6得到所需的值例2：已知购物车中每件商品的价格与商品件数，求总金额price=[random.uniform(10,20)for_inrange(100)]num=[random.randint(1,10)for_inrange(100)]#sum_p=0#forp,ninzip(price,num):#拉链函数把对应的值相乘#sum_p+=p*n#print(sum_p)price_arr=np.array(price)#价格列表变成数组num_arr=np.array(num)#数量列表变成数组np.sum(price_arr*num_arr)

五、NumPy常用属性和常用方法

常用属性：

T 数组的转置（对高维数组而言）

dtype数组元素的数据类型

size数组元素的个数

ndim数组的维数

shape数组的维度大小（以元组形式）

常用方法：array.shapearray的规格array.ndimarray.dtypearray的数据规格numpy.zeros(dim1,dim2)创建dim1*dim2的零矩阵numpy.arangenumpy.eye(n)/numpy.identity(n)创建n*n单位矩阵numpy.array([…data…],dtype=float64)array.astype(numpy.float64)更换矩阵的数据形式array.astype(float)更换矩阵的数据形式array*array矩阵点乘array[a:b]切片array.copy()得到ndarray的副本，而不是视图array[a][b]=array[a,b]两者等价name=np.array(['bob','joe','will'])res=name==’bob’res=array([True,False,False],dtype=bool)data[True,False,…..]索引，只索取为True的部分，去掉False部分通过布尔型索引选取数组中的数据，将总是创建数据的副本。data[[4,3,0,6]]索引，将第4,3,0,6行摘取出来，组成新数组data[-1]=data[data.__len__()-1]numpy.reshape(a,b)将a*b的一维数组排列为a*b的形式array([a,b,c,d],[d,e,f,g])返回一维数组，分别为[a,d],[b,e],[c,f],[d,g]array[[a,b,c,d]][:,[e,f,g,h]]=array[numpy.ix_([a,b,c,d],[e,f,g,h])]array.Tarray的转置numpy.random.randn(a,b)生成a*b的随机数组numpy.dot(matrix_1,matrix_2)矩阵乘法array.transpose((1,0,2,etc.))对于高维数组，转置需要一个由轴编号组成的元组创建ndarray：array()将列表转换为数组，可选择显式指定dtypearange()range的numpy版，支持浮点数，np.arange(2,10,0.2)步长可以为小数linspace()类似arange()，第三个参数为数组长度，分为多少份zeros()根据指定形状和dtype创建全0数组ones()根据指定形状和dtype创建全1数组empty()根据指定形状和dtype创建空数组（随机值）eye()根据指定边长和dtype创建单位矩阵

六、NumPy：索引和切片

1、数组和标量之间的运算

a+1 a*3 1//a a**0.5

2、同样大小数组之间的运算

a+b a/b a**b

3、数组的索引：

一维数组：a[5]

多维数组：

列表式写法：a[2][3]

新式写法：a[2,3] (推荐)

数组的切片：

一维数组：a[5:8] a[4:] a[2:10] = 1

多维数组：a[1:2, 3:4] a[:,3:5] a[:,1]

4、强调：与列表不同，数组切片时并不会自动复制，在切片数组上的修改会影响原数组。 【解决方法：copy()】

arr=np.arange(10).reshape(2,5)#生成的数组元素0到9通过reshape拆成两行，五列，要拆的行列相乘必须等于数组的总元素arr=np.arange(10).reshape(2,-1)#后面-1是占位的，会通过计算得到列数ag=[random.randint(1,10)for_inrange(20)]list(filter(lambdax:x>5,ag))#过滤大于5的元素列表ag=np.array(ag)a[a>5]#给一个数组，选出数组中所有大于5的数a[(a>5)&(a%2==0)]#给一个数组，选出数组中所有大于5的偶数a[(a>5)|(a%2==0)]#给一个数组，选出数组中所有大于5的数和偶数。importnumpyasnpa=np.array([1,2,3,4,5,4,7,8,9,10])a[a>5&(a%2==0)]#注意加括号输出：array([1,2,3,4,5,4,7,8,9,10])a[(a>5)&(a%2==0)]输出：array([8,10])对一个二维数组，选出其第一列和第三列，组成新的二维数组a[:,[1,3]]

七、NumPy：通用函数’

通用函数：能同时对数组中所有元素进行运算的函数

常见通用函数：

一元函数：abs, sqrt, exp, log, ceil, floor, rint, trunc, modf, isnan, isinf, cos, sin, tan

numpy.sqrt(array)平方根函数numpy.exp(array)e^array[i]的数组numpy.abs/fabs(array)计算绝对值numpy.square(array)计算各元素的平方等于array**2numpy.log/log10/log2(array)计算各元素的各种对数numpy.sign(array)计算各元素正负号numpy.isnan(array)计算各元素是否为NaNnumpy.isinf(array)计算各元素是否为infnumpy.cos/cosh/sin/sinh/tan/tanh(array)三角函数numpy.modf(array)将array中值得整数和小数分离，作两个数组返回numpy.ceil(array)向上取整,也就是取比这个数大的整数numpy.floor(array)向下取整,也就是取比这个数小的整数numpy.rint(array)四舍五入numpy.trunc(array)向0取整numpy.cos(array)正弦值numpy.sin(array)余弦值numpy.tan(array)正切值

二元函数：add, substract, multiply, divide, power, mod, maximum, mininum,

numpy.add(array1,array2)元素级加法numpy.subtract(array1,array2)元素级减法numpy.multiply(array1,array2)元素级乘法numpy.divide(array1,array2)元素级除法array1./array2numpy.power(array1,array2)元素级指数array1.^array2numpy.maximum/minimum(array1,aray2)元素级最大值/最小值numpy.fmax/fmin(array1,array2)元素级最大值，忽略NaNnumpy.mod(array1,array2)元素级求模numpy.copysign(array1,array2)将第二个数组中值得符号复制给第一个数组中值numpy.greater/greater_equal/less/less_equal/equal/not_equal(array1,array2)元素级比较运算，产生布尔数组numpy.logical_end/logical_or/logic_xor(array1,array2)元素级的真值逻辑运算

浮点数有两个特殊值：

nan(Not a Number)：不等于任何浮点数（nan != nan）

inf(infinity)：比任何浮点数都大

NumPy中创建特殊值：np.nannp.inf

在数据分析中，nan常被用作表示数据缺失值a=np.nanb=np.infnp.isnan(a)#判断a是否是nannp.isinf(b)#判断b是否是infa[~np.isnan(a)]#删除数组中的nan

八、NumPy：数学和统计方法

1、常用函数：

sum求和cumsum求前缀和mean求平均数std求标准差var求方差min求最小值max求最大值argmin求最小值索引argmax求最大值索引arr=np.arange(15).reshape(3,5)arr.sum(axis=0)#行作为轴，对数组逐列求和arr.sum(axis=1)#列作为轴，对数组逐行求和

2、NumPy：随机数生成

随机数生成函数在np.random子包内

常用函数rand给定形状产生随机数组（0到1之间的数）randint给定形状产生随机整数choice给定形状产生随机选择shuffle与random.shuffle相同uniform给定形状产生随机小数数组

九、pandas简单介绍

pandas是一个基于NumPy构建的强大的Python数据分析的工具包。

1、pandas的主要功能

具备对其功能的数据结构DataFrame、Series

集成时间序列功能

提供丰富的数学运算和操作

灵活处理缺失数据

2、安装方法：pip install pandas

3、引用方法：import pandas as pd

十、Series

Series是一种类似于一位数组的对象，由一组数据和一组与之相关的数据标签（索引）组成。

1、创建方式：

pd.Series([4,7,-5,3])#默认元素下标数字pd.Series([4,7,-5,3],index=['a','b','c','d'])#两套索引系统，下标和标签pd.Series({'a':1,'b':2})pd.Series(0,index=['a','b','c','d'])

2、Series支持数组的特性：

从ndarray创建Series：Series(arr)

与标量运算：sr*2

两个Series运算：sr1+sr2

索引：sr[0], sr[[1,2,4]]

切片：sr[0:2]（切片依然是视图形式）

通用函数：np.abs(sr)

布尔值过滤：sr[sr>0]

统计函数：

mean() #求平均数

sum() #求和

cumsum() #累加

s=pd.Series(0,index=['a','b','c','d'])s.a#结果0v=pd.Series({'a':1,'b':2})v.a#结果1v.b#结果2v[0]#结果1s*2#结果a0b0c0d0dtype:int64v*2#结果a2b4dtype:int64

3、整数索引

sr = np.Series(np.arange(4.))

sr[-1]

如果索引是整数类型，则根据整数进行数据操作时总是面向标签的。

loc属性以标签解释

iloc属性以下标解释

十一、pandas：Series数据对齐

pandas在运算时，会按索引进行对齐然后计算。如果存在不同的索引，则结果的索引是两个操作数索引的并集。

sr1=pd.Series([12,23,34],index=['c','a','d'])sr2=pd.Series([11,20,10],index=['d','c','a',])sr=sr1+sr2sr3=pd.Series([11,20,10,14],index=['d','c','a','b'])sr1+sr3如何在两个Series对象相加时将缺失值设为0？sr1.add(sr2,fill_value=0)灵活的算术方法：add,sub,div,mul

十二、pandas：Series缺失数据

1、缺失数据：使用NaN（Not a Number）来表示缺失数据。其值等于np.nan。内置的None值也会被当做NaN处理。

2、处理缺失数据的相关方法：

dropna()过滤掉值为NaN的行fillna()填充缺失数据isnull()返回布尔数组，缺失值对应为Truenotnull()返回布尔数组，缺失值对应为False

3、过滤缺失数据：sr.dropna() 或 sr[data.notnull()]

4、填充缺失数据：fillna(0)

sr=sr.dropna()#丢掉缺失值sr=sr.fillna(0)#缺失值填充为0sr=sr.fillna(sr.mean())#缺失值填充为平均数

十三、pandas：DataFrame与DataFrame查看数据

1、DataFrame

DataFrame是一个表格型的数据结构，含有一组有序的列。

DataFrame可以被看做是由Series组成的字典，并且共用一个索引。

创建方式：pd.DataFrame({'one':[1,2,3,4],'two':[4,3,2,1]})pd.DataFrame({'one':pd.Series([1,2,3],index=['a','b','c']),'two':pd.Series([1,2,3,4],index=['b','a','c','d'])})……csv文件读取与写入：df.read_csv('E:\算法\day110Numpy、Pandas模块\601318.csv')df.to_csv()

2、DataFrame查看数据

查看数据常用属性及方法：

index 获取索引

T 转置

columns 获取列索引

values 获取值数组

describe() 获取快速统计

DataFrame各列name属性：列名

rename(columns={})

十四、pandas：DataFrame索引和切片

1、DataFrame有行索引和列索引。

2、DataFrame同样可以通过标签和位置两种方法进行索引和切片。

3、DataFrame使用索引切片：

方法1：两个中括号，先取列再取行。 df['A'][0]

方法2（推荐）：使用loc / iloc属性，一个中括号，逗号隔开，先取行再取列。

loc属性：解释为标签

iloc属性：解释为下标

向DataFrame对象中写入值时只使用方法2

行 / 列索引部分可以是常规索引、切片、布尔值索引、花式索引任意搭配。（注意：两部分都是花式索引时结果可能与预料的不同）

通过标签获取：df['A']df[['A','B']]df['A'][0]df[0:10][['A','C']]df.loc[:,['A','B']]#行是所有的行，列取是A和B的df.loc[:,'A':'C']df.loc[0,'A']df.loc[0:10,['A','C']]通过位置获取：df.iloc[3]df.iloc[3,3]df.iloc[0:3,4:6]df.iloc[1:5,:]df.iloc[[1,2,4],[0,3]]、通过布尔值过滤：　　df[df['A']>0]　　df[df['A'].isin([1,3,5])]　　df[df<0]=0

十五、pandas：DataFrame数据对齐与缺失数据

DataFrame对象在运算时，同样会进行数据对齐，行索引与列索引分别对齐。

结果的行索引与列索引分别为两个操作数的行索引与列索引的并集。

1、DataFrame处理缺失数据的相关方法：

dropna(axis=0,how=‘any’,…)过滤掉包含值为NaN的行fillna()填充缺失数据isnull()返回布尔数组，缺失值对应为Truenotnull()返回布尔数组，缺失值对应为Falsedf2.dropna(axis=0,how="all")#一行全是nan的就丢掉

2、pandas：其他常用方法

- mean #求平均值

- sum #求和

- sort_index #按行或列索引排序

- sort_values #按值排序

- apply(func,axis=0) #axis=0指的是逐行，axis=1指的是逐列。

df.apply(lamada x:x.mean()) #按列求平均

df.apply(lamada x:x['high']+x["low"])/2,axis=1) #按列求平均（最高价和最低价的平均）

df.apply(lamada x:x['high']+x["low"])/2,axis=1) #按列求平均（最高价和最低价的平均）

- applymap(func) #将函数应用在DataFrame各个元素上

- map(func) #将函数应用在Series各个元素上

df2=df.loc[:,"open":"low"]#对所有行取open列到low列的元素df2.sort_values("open")#基于open列的数据进行升序排序df2.sort_values("open",ascending=False)#基于open列的数据倒序排序

3、pandas：时间对象处理

时间序列类型：

时间戳：特定时刻

固定时期：如2017年7月

时间间隔：起始时间-结束时间

Python标准库：datetime

datetime.datetime.timedelta # 表示 时间间隔

dt.strftime() #f：format吧时间对象格式化成字符串

strptime() #吧字符串解析成时间对象p：parse

灵活处理时间对象：dateutil包

dateutil.parser.parse('2018/1/29')

成组处理时间对象：pandas

pd.to_datetime(['2001-01-01', '2002-02-02'])

产生时间对象数组：date_range

start 开始时间

end 结束时间

periods 时间长度

freq 时间频率，默认为'D'，可选H(our),W(eek),B(usiness),S(emi-)M(onth),(min)T(es), S(econd), A(year),…

pd.date_range(['2001-01-01', '2002-02-02'])

pd.date_range(['2001-01-01',periods=10])

4、pandas：时间序列

（1）时间序列就是以时间对象为索引的Series或DataFrame。

（2）datetime对象作为索引时是存储在DatetimeIndex对象中的。

（3）时间序列特殊功能：

传入“年”或“年月”作为切片方式

传入日期范围作为切片方式

丰富的函数支持：resample(), strftime(), ……

批量转换为datetime对象：to_pydatetime()

df.index = pd.DatetimeIndex(pd.to_datetime(df["date"])) #date变成时间索引

del df["date"] #删掉原来的date列

十六、pandas：从文件读取

1、时间序列就是以时间对象作为索引

读取文件：从文件名、URL、文件对象中加载数据read_csv默认分隔符为逗号read_table默认分隔符为\tread_excel读取excel文件

2、读取文件函数主要参数：

sep指定分隔符，可用正则表达式如'\s+'header=None指定文件无列名name指定列名index_col指定某列作为索引skip_row指定跳过某些行na_values指定某些字符串表示缺失值，na_values=["None","null"],对应的显示为nanparse_dates指定某些列是否被解析为日期，布尔值或列表，为True表示转换为时间对象df=pd.read_csv("601318.csv")#默认以,为分隔符-pd.read_csv("601318.csv",sep='\s+')#匹配空格，支持正则表达式-pd.read_table("601318.csv",sep=',')#和df=pd.read_csv("601318.csv")一样-pd.read_excle("601318.xlsx")#读Excel文件sep：指定分隔符header=None,就会吧默认的表名去除,如果后面names=list("abcdef")表示使用abcdef作为headerdf.rename(column={0:'a',1:"b"})#修改列名pd.read_csv(index_col=0)#第0列如果想让时间成为索引，pd.read_csv(index_col='date')#时间列pd.read_csv(index_col='date',parse_datas=True)#时间列，parse_datas转换为时间对象，设为true是吧所有能转的都转pd.read_csv(index_col='date',parse_datas=['date'])#把date的那一列转换成时间对象na_values=['None']#吧表里面为None的转换成NaN，是吧字符串转换成缺失值na_rep()#是吧缺失值nan转换成字符串cols#指定输出的列，传入列表

十七、pandas：写入到文件

1、写入到文件：

to_csv

2、写入文件函数的主要参数：

sep

na_rep 指定缺失值转换的字符串，默认为空字符串

header = False 不输出列名一行

index = False 不输出行索引一列

cols 指定输出的列，传入列表

3、其他文件类型：json, XML, HTML, 数据库

4、pandas转换为二进制文件格式（pickle）:

save

load

十八、pandas:数据分组与聚合

分组df=pd.DateFrame({'data1':np.random.uniform(10,20,5),'data2':np.random.uniform(-10,10,5),'key1':list("sbbsb")'key2':})df.groupby('key1').mean()#做平均df.groupby('key1').sum()#做平均df.groupby(['key1','key2']).mean()#做平均支持分层索引，按多列分组df.groupby(len).mean()#传一个函数的时候，x是每一个行的索引df.groupby(lambdax:len(x)).mean()#传一个函数的时候，x是每一个行的索引df.groupby.groups()#取得多有的组df.groupby.get_group()#取得一个组聚合df.groupby('key1').max()[['data1','data2']]#去掉key2的data1，data2，花式索引df.groupby('key1').max()[['data1','data2']]-df.groupby('key1').min()[['data1','data2']]#去掉key2df.groupby('key1').agg(lamadax:x.max()-x.min())既想看最大也可看最小df.groupby('key1').agg([np.max,np.min])不同的列不一样的聚合df.groupby('key1').agg({'data1':'min','data2':'max'})#键是列名，值是a=_219#219行的代码a.resample('3D'),mean()#3D3天，3M就是三周数据合并-数据拼接df=df.copy()pd.concat([df,df2,df3],ignore_index=True)#不用之前的索引，pd.concat([df,df2,df3],axis=1)#列pd.concat([df,df2,df3],keys=['a','b','c'])#不用之前的索引，df2.appeng(df3)-数据连接如果不指定on，默认是行索引进行joinpd.merge(df,df3,on='key1')pd.merge(df,df3,on='['key1','key2'])

十九、简单介绍Matplotlib

1、Matplotlib是一个强大的Python绘图和数据可视化的工具包

2、安装方法：pip install matplotlib

3、引用方法：import matplotlib.pyplot as plt

4、绘图函数：plt.plot()

5、显示图像：plt.show()

6、plot函数

（1）plot函数：绘制折线图

线型linestyle（-,-.,--,..）

点型marker（v,^,s,*,H,+,x,D,o,…）

颜色color（b,g,r,y,k,w,…）

（2）plot函数绘制多条曲线

（3）pandas包对plot的支持

7、图像标注

设置图像标题：plt.title()

设置x轴名称：plt.xlabel()

设置y轴名称：plt.ylabel()

设置x轴范围：plt.xlim()

设置y轴范围：plt.ylim()

设置x轴刻度：plt.xticks()

设置y轴刻度：plt.yticks()

设置曲线图例：plt.legend()

二十、示例

使用Matplotlib模块在一个窗口中绘制数学函数y=x, y=x2, y=sin(x)的图像，使用不同颜色的线加以区别

x=np.linspace(-100,100,10000))y1=xy2=x**2y3=np.sin(x)plt.plot(x,y1,label="$y=x$")plt.plot(x,y2,label="$y=x^2$")plt.plot(x,y3,label="$y=\sinx$")plt.ylim(-100,100)#显示Y轴范围自定义plt.legend()plt.show()

二十一、图形定义