三层BP神经网络的python实现
这是一个非常漂亮的三层反向传播神经网络的python实现，下一步我准备试着将其修改为多层BP神经网络。下面是运行演示函数的截图，你会发现预测的结果很惊人！
提示：运行演示函数的时候，可以尝试改变隐藏层的节点数，看节点数增加了，预测的精度会否提升
1 import math
2 import random
3 import string
4
5 random.seed(0)
6
7 # 生成区间[a, b)内的随机数
8 def rand(a, b):
9 return (b-a)*random.random() + a
10
11 # 生成大小 I*J 的矩阵，默认零矩阵 (当然，亦可用 NumPy 提速)
12 def makeMatrix(I, J, fill=0.0):
13 m = []
14 for i in range(I):
15 m.append(*J)
16 return m
17
18 # 函数 sigmoid，这里采用 tanh，因为看起来要比标准的 1/(1+e^-x) 漂亮些
19 def sigmoid(x):
20 return math.tanh(x)
21
22 # 函数 sigmoid 的派生函数, 为了得到输出 (即：y)
23 def dsigmoid(y):
24 return 1.0 - y**2
25
26 class NN:
27 ''' 三层反向传播神经网络 '''
28 def __init__(self, ni, nh, no):
29 # 输入层、隐藏层、输出层的节点（数）
30 self.ni = ni + 1 # 增加一个偏差节点
31 self.nh = nh
32 self.no = no
33
34 # 激活神经网络的所有节点（向量）
35 self.ai = *self.ni
36 self.ah = *self.nh
37 self.ao = *self.no
38
39 # 建立权重（矩阵）
40 self.wi = makeMatrix(self.ni, self.nh)
41 self.wo = makeMatrix(self.nh, self.no)
42 # 设为随机值
43 for i in range(self.ni):
44 for j in range(self.nh):
45 self.wi = rand(-0.2, 0.2)
46 for j in range(self.nh):
47 for k in range(self.no):
48 self.wo = rand(-2.0, 2.0)
49
50 # 最后建立动量因子（矩阵）
51 self.ci = makeMatrix(self.ni, self.nh)
52 self.co = makeMatrix(self.nh, self.no)
53
54 def update(self, inputs):
55 if len(inputs) != self.ni-1:
56 raise ValueError('与输入层节点数不符！')
57
58 # 激活输入层
59 for i in range(self.ni-1):
60 #self.ai = sigmoid(inputs)
61 self.ai = inputs
62
63 # 激活隐藏层
64 for j in range(self.nh):
65 sum = 0.0
66 for i in range(self.ni):
67 sum = sum + self.ai * self.wi
68 self.ah = sigmoid(sum)
69
70 # 激活输出层
71 for k in range(self.no):
72 sum = 0.0
73 for j in range(self.nh):
74 sum = sum + self.ah * self.wo
75 self.ao = sigmoid(sum)
76
77 return self.ao[:]
78
79 def backPropagate(self, targets, N, M):
80 ''' 反向传播 '''
81 if len(targets) != self.no:
82 raise ValueError('与输出层节点数不符！')
83
84 # 计算输出层的误差
85 output_deltas = * self.no
86 for k in range(self.no):
87 error = targets-self.ao
88 output_deltas = dsigmoid(self.ao) * error
89
90 # 计算隐藏层的误差
91 hidden_deltas = * self.nh
92 for j in range(self.nh):
93 error = 0.0
94 for k in range(self.no):
95 error = error + output_deltas*self.wo
96 hidden_deltas = dsigmoid(self.ah) * error
97
98 # 更新输出层权重
99 for j in range(self.nh):
100 for k in range(self.no):
101 change = output_deltas*self.ah
102 self.wo = self.wo + N*change + M*self.co
103 self.co = change
104 #print(N*change, M*self.co)
105
106 # 更新输入层权重
107 for i in range(self.ni):
108 for j in range(self.nh):
109 change = hidden_deltas*self.ai
110 self.wi = self.wi + N*change + M*self.ci
111 self.ci = change
112
113 # 计算误差
114 error = 0.0
115 for k in range(len(targets)):
116 error = error + 0.5*(targets-self.ao)**2
117 return error
118
119 def test(self, patterns):
120 for p in patterns:
121 print(p, '->', self.update(p))
122
123 def weights(self):
124 print('输入层权重:')
125 for i in range(self.ni):
126 print(self.wi)
127 print()
128 print('输出层权重:')
129 for j in range(self.nh):
130 print(self.wo)
131
132 def train(self, patterns, iterations=1000, N=0.5, M=0.1):
133 # N: 学习速率(learning rate)
134 # M: 动量因子(momentum factor)
135 for i in range(iterations):
136 error = 0.0
137 for p in patterns:
138 inputs = p
139 targets = p
140 self.update(inputs)
141 error = error + self.backPropagate(targets, N, M)
142 if i % 100 == 0:
143 print('误差 %-.5f' % error)
144
145
146 def demo():
147 # 一个演示：教神经网络学习逻辑异或（XOR）------------可以换成你自己的数据试试
148 pat = [
149 [, ],
150 [, ],
151 [, ],
152 [, ]
153 ]
154
155 # 创建一个神经网络：输入层有两个节点、隐藏层有两个节点、输出层有一个节点
156 n = NN(2, 2, 1)
157 # 用一些模式训练它
158 n.train(pat)
159 # 测试训练的成果（不要吃惊哦）
160 n.test(pat)
161 # 看看训练好的权重（当然可以考虑把训练好的权重持久化）
162 #n.weights()
163
164
165 if __name__ == '__main__':
166 demo()
页:
[1]