我们知道深度神经网络的本质是输入端数据和输出端数据的一种高维非线性拟合,如何更好的理解它,下面尝试拟合一个正弦函数,本文可以通过简单设置节点数,实现任意隐藏层数的拟合。
基于pytorch的深度神经网络实战,无论任务多么复杂,都可以将其拆分成必要的几个模块来进行理解。
1)构建数据集,包括输入,对应的标签y
2) 构建神经网络模型,一般基于nn.Module继承一个net类,必须的是__init__函数和forward函数。__init__构造函数包括创建该类是必须的参数,比如输入节点数,隐藏层节点数,输出节点数。forward函数则定义了整个网络的前向传播过程,类似于一个Sequential。
3)实例化上步创建的类。
4)定义损失函数(判别准则),比如均方误差,交叉熵等
5)定义优化器(optim:SGD,adam,adadelta等),设置学习率
6)开始训练。开始训练是一个从0到设定的epoch的循环,循环期间,根据loss,不断迭代和更新网络权重参数。
无论多么复杂的网络,基于pytorch的深度神经网络都包括6个模块,训练阶段包括5个步骤,本文只通过拟合一个正弦函数来说明加深理解。
废话少说,直接上代码:
from torch.utils.data import DataLoader from torch.utils.data import TensorDataset import torch.nn as nn import numpy as np import torch # 准备数据 x=np.linspace(-2*np.pi,2*np.pi,400) y=np.sin(x) # 将数据做成数据集的模样 X=np.expand_dims(x,axis=1) Y=y.reshape(400,-1) # 使用批训练方式 dataset=TensorDataset(torch.tensor(X,dtype=torch.float),torch.tensor(Y,dtype=torch.float)) dataloader=DataLoader(dataset,batch_size=100,shuffle=True) # 神经网络主要结构,这里就是一个简单的线性结构 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.net=nn.Sequential( nn.Linear(in_features=1,out_features=10),nn.ReLU(), nn.Linear(10,100),nn.ReLU(), nn.Linear(100,10),nn.ReLU(), nn.Linear(10,1) ) def forward(self, input:torch.FloatTensor): return self.net(input) net=Net() # 定义优化器和损失函数 optim=torch.optim.Adam(Net.parameters(net),lr=0.001) Loss=nn.MSELoss() # 下面开始训练: # 一共训练 1000次 for epoch in range(1000): loss=None for batch_x,batch_y in dataloader: y_predict=net(batch_x) loss=Loss(y_predict,batch_y) optim.zero_grad() loss.backward() optim.step() # 每100次 的时候打印一次日志 if (epoch+1)%100==0: print("step: {0} , loss: {1}".format(epoch+1,loss.item())) # 使用训练好的模型进行预测 predict=net(torch.tensor(X,dtype=torch.float)) # 绘图展示预测的和真实数据之间的差异 import matplotlib.pyplot as plt plt.plot(x,y,label="fact") plt.plot(x,predict.detach().numpy(),label="predict") plt.title("sin function") plt.xlabel("x") plt.ylabel("sin(x)") plt.legend() plt.savefig(fname="result.png",figsize=[10,10]) plt.show()
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。