1.1 例如：print(hex(2))案例
成都创新互联专注于浦城网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供浦城营销型网站建设，浦城网站制作、浦城网页设计、浦城网站官网定制、小程序开发服务，打造浦城网络公司原创品牌,更为您提供浦城网站排名全网营销落地服务。
1.2 输出函数：print(hex(2))
1.3 输出结果：0x2
1.4 解析说明：返回16进制的数。
2.1 例如：print(chr(10))案例
2.2 输出函数：print(chr(10))
2.3 输出结果：0o12
2.4 解析说明：返回当前整数对应的ASCll码
3.1 例如：print(ord("b"))案例
3.2 输出函数：print(ord("b"))
3.3 输出结果：98
3.4 解析说明：返回当前ASCll码的10进制数
4.1 例如：print(chr(97))
4.2 输出函数：print(chr(97))
4.3 输出结果：b
4.4 解析说明：返回当前ASCll码的10进制数。
案例一：给你一个字符串,s = 'hello kitty'
1.1 输出函数：print(s.capitalize())
1.2 输出结果：0x2
1.3 解析说明：返回16进制的数。
2.1输出函数：print(s.replace('kitty','kuang'))
2.2 输出结果：hello kuang
2.3 解析说明：替换功能，将kitty换成kuang。
2.4 输出函数：print(s.replace('4','KK'))
2.5 输出结果：12KK12KK
2.6 解析说明：所有的4都替换成KK
2.7 输出函数：print(s.replace('4','KK'))
2.8 输出结果：12KK12KK124
2.9 解析说明：将前两个的4替换成go
案例一：给你一个字符串，ip = '192.168.1.1'
3.1 输出函数：print(ip.split(','))
3.2 输出结果：['192.168.1.1']
3.3 解析说明：将字符串分割成列表
案例一：给你一个字符串，ip = '192.168.1.1'
3.3 输出函数：print(ip.split(',',2))
3.4 输出结果：['192.168.1.1']
3.5 解析说明：从第二个开始分割成列表
range()函数的用法如下：
（1）range(stop)
创建一个（0,stop)之间的整数序列，步长为1。
（2）range(start,stop)
创建一个（start,stop)之间的整数序列，步长为1。
（3）range(start,stop,step)
创建一个[start,stop)之间的整数序列，步长为step。
参数介绍：
start：表示从返回序列的起始编号，默认情况下从0开始。
stop：表示生成最多但不包括此数字的数字。
step：指的是序列中每个数字之间的差异，默认值为1。
range()是Python的内置函数，在用户需要执行特定次数的操作时使用它，表示循环的意思。内置函数range()可用于以列表的形式生成数字序列。在range()函数中最常见用法是使用for和while循环迭代序列类型（List，string等）。
简单的来说，range()函数允许用户在给定范围内生成一系列数字。根据用户传递给函数的参数数量，用户可以决定该系列数字的开始和结束位置以及一个数字与下一个数字之间的差异有多大。
在神经网络中，激活函数负责将来自节点的加权输入转换为该输入的节点或输出的激活。ReLU 是一个分段线性函数，如果输入为正，它将直接输出，否则，它将输出为零。它已经成为许多类型神经网络的默认激活函数，因为使用它的模型更容易训练，并且通常能够获得更好的性能。在本文中，我们来详细介绍一下ReLU，主要分成以下几个部分：
1、Sigmoid 和 Tanh 激活函数的局限性
2、ReLU（Rectified Linear Activation Function）
3、如何实现ReLU
4、ReLU的优点
5、使用ReLU的技巧
一个神经网络由层节点组成，并学习将输入的样本映射到输出。对于给定的节点，将输入乘以节点中的权重，并将其相加。此值称为节点的summed activation。然后，经过求和的激活通过一个激活函数转换并定义特定的输出或节点的“activation”。
最简单的激活函数被称为线性激活，其中根本没有应用任何转换。 一个仅由线性激活函数组成的网络很容易训练，但不能学习复杂的映射函数。线性激活函数仍然用于预测一个数量的网络的输出层(例如回归问题)。
非线性激活函数是更好的，因为它们允许节点在数据中学习更复杂的结构 。两个广泛使用的非线性激活函数是 sigmoid 函数和 双曲正切 激活函数。
Sigmoid 激活函数 ，也被称为 Logistic函数神经网络，传统上是一个非常受欢迎的神经网络激活函数。函数的输入被转换成介于0.0和1.0之间的值。大于1.0的输入被转换为值1.0，同样，小于0.0的值被折断为0.0。所有可能的输入函数的形状都是从0到0.5到1.0的 s 形。在很长一段时间里，直到20世纪90年代早期，这是神经网络的默认激活方式。
双曲正切函数 ，简称 tanh，是一个形状类似的非线性激活函数，输出值介于-1.0和1.0之间。在20世纪90年代后期和21世纪初期，由于使用 tanh 函数的模型更容易训练，而且往往具有更好的预测性能，因此 tanh 函数比 Sigmoid激活函数更受青睐。
Sigmoid和 tanh 函数的一个普遍问题是它们值域饱和了 。这意味着，大值突然变为1.0，小值突然变为 -1或0。此外，函数只对其输入中间点周围的变化非常敏感。
无论作为输入的节点所提供的求和激活是否包含有用信息，函数的灵敏度和饱和度都是有限的。一旦达到饱和状态，学习算法就需要不断调整权值以提高模型的性能。
最后，随着硬件能力的提高，通过 gpu 的非常深的神经网络使用Sigmoid 和 tanh 激活函数不容易训练。在大型网络深层使用这些非线性激活函数不能接收有用的梯度信息。错误通过网络传播回来，并用于更新权重。每增加一层，错误数量就会大大减少。这就是所谓的 消失梯度 问题，它能有效地阻止深层(多层)网络的学习。
虽然非线性激活函数的使用允许神经网络学习复杂的映射函数，但它们有效地阻止了学习算法与深度网络的工作。在2000年代后期和2010年代初期，通过使用诸如波尔兹曼机器和分层训练或无监督的预训练等替代网络类型，这才找到了解决办法。
为了训练深层神经网络， 需要一个激活函数神经网络，它看起来和行为都像一个线性函数，但实际上是一个非线性函数，允许学习数据中的复杂关系 。该函数还必须提供更灵敏的激活和输入，避免饱和。
因此，ReLU出现了， 采用 ReLU 可以是深度学习革命中为数不多的里程碑之一 。ReLU激活函数是一个简单的计算，如果输入大于0，直接返回作为输入提供的值；如果输入是0或更小，返回值0。
我们可以用一个简单的 if-statement 来描述这个问题，如下所示:
对于大于零的值，这个函数是线性的，这意味着当使用反向传播训练神经网络时，它具有很多线性激活函数的理想特性。然而，它是一个非线性函数，因为负值总是作为零输出。由于矫正函数在输入域的一半是线性的，另一半是非线性的，所以它被称为 分段线性函数（piecewise linear function ） 。
我们可以很容易地在 Python 中实现ReLU激活函数。
我们希望任何正值都能不变地返回，而0.0或负值的输入值将作为0.0返回。
下面是一些修正的线性激活函数的输入和输出的例子：
输出如下：
我们可以通过绘制一系列的输入和计算出的输出，得到函数的输入和输出之间的关系。下面的示例生成一系列从 -10到10的整数，并计算每个输入的校正线性激活，然后绘制结果。
运行这个例子会创建一个图，显示所有负值和零输入都突变为0.0，而正输出则返回原样：
ReLU函数的导数是斜率。负值的斜率为0.0，正值的斜率为1.0。
传统上，神经网络领域已经不能是任何不完全可微的激活函数，而ReLU是一个分段函数。从技术上讲，当输入为0.0时，我们不能计算ReLU的导数，但是，我们可以假设它为0。
tanh 和 sigmoid 激活函数需要使用指数计算， 而ReLU只需要max()，因此他 计算上更简单，计算成本也更低 。
ReLU的一个重要好处是，它能够输出一个真正的零值 。这与 tanh 和 sigmoid 激活函数不同，后者学习近似于零输出，例如一个非常接近于零的值，但不是真正的零值。这意味着负输入可以输出真零值，允许神经网络中的隐层激活包含一个或多个真零值。这就是所谓的稀疏表示，是一个理想的性质，在表示学习，因为它可以加速学习和简化模型。
ReLU看起来更像一个线性函数，一般来说，当神经网络的行为是线性或接近线性时，它更容易优化 。
这个特性的关键在于，使用这个激活函数进行训练的网络几乎完全避免了梯度消失的问题，因为梯度仍然与节点激活成正比。
ReLU的出现使得利用硬件的提升和使用反向传播成功训练具有非线性激活函数的深层多层网络成为可能 。
很长一段时间，默认的激活方式是Sigmoid激活函数。后来，Tanh成了激活函数。 对于现代的深度学习神经网络，默认的激活函数是ReLU激活函数 。
ReLU 可以用于大多数类型的神经网络， 它通常作为多层感知机神经网络和卷积神经网络的激活函数 ，并且也得到了许多论文的证实。传统上，LSTMs 使用 tanh 激活函数来激活cell状态，使用 Sigmoid激活函数作为node输出。 而ReLU通常不适合RNN类型网络的使用。
偏置是节点上具有固定值的输入，这种偏置会影响激活函数的偏移，传统的做法是将偏置输入值设置为1.0。当在网络中使用 ReLU 时， 可以将偏差设置为一个小值，例如0.1 。
在训练神经网络之前，网络的权值必须初始化为小的随机值。当在网络中使用 ReLU 并将权重初始化为以零为中心的小型随机值时，默认情况下，网络中一半的单元将输出零值。有许多启发式方法来初始化神经网络的权值，但是没有最佳权值初始化方案。 何恺明的文章指出Xavier 初始化和其他方案不适合于 ReLU ，对 Xavier 初始化进行一个小的修改，使其适合于 ReLU，提出He Weight Initialization，这个方法更适用于ReLU 。
在使用神经网络之前对输入数据进行缩放是一个很好的做法。这可能涉及标准化变量，使其具有零均值和单位方差，或者将每个值归一化为0到1。如果不对许多问题进行数据缩放，神经网络的权重可能会增大，从而使网络不稳定并增加泛化误差。 无论是否在网络中使用 ReLU，这种缩放输入的良好实践都适用。
ReLU 的输出在正域上是无界的。这意味着在某些情况下，输出可以继续增长。因此，使用某种形式的权重正则化可能是一个比较好的方法，比如 l1或 l2向量范数。 这对于提高模型的稀疏表示(例如使用 l 1正则化)和降低泛化误差都是一个很好的方法 。
.
1、print()函数：打印字符串;
2、raw_input()函数：从用户键盘捕获字符;
3、len()函数：计算字符长度;
4、format()函数：实现格式化输出;
5、type()函数：查询对象的类型;
6、int()函数、float()函数、str()函数等：类型的转化函数;
7、id()函数：获取对象的内存地址;
8、help()函数：Python的帮助函数;
9、s.islower()函数：判断字符小写;
10、s.sppace()函数：判断是否为空格;
11、str.replace()函数：替换字符;
12、import()函数：引进库;
13、math.sin()函数：sin()函数;
14、math.pow()函数：计算次方函数;
15、os.getcwd()函数：获取当前工作目录;
16、listdir()函数：显示当前目录下的文件;
17、time.sleep()函数：停止一段时间;
18、random.randint()函数：产生随机数;
19、range()函数：返回一个列表，打印从1到100;
20、file.read()函数：读取文件返回字符串;
21、file.readlines()函数：读取文件返回列表;
22、file.readline()函数：读取一行文件并返回字符串;
23、split()函数：用什么来间隔字符串;
24、isalnum()函数：判断是否为有效数字或字符;
25、isalpha()函数：判断是否全为字符;
26、isdigit()函数：判断是否全为数字;
27、 lower()函数：将数据改成小写;
28、upper()函数：将数据改成大写;
29、startswith(s)函数：判断字符串是否以s开始的;
30、endwith(s)函数：判断字符串是否以s结尾的;
31、file.write()函数：写入函数;
32、file.writeline()函数：写入文件;
33、abs()函数：得到某数的绝对值;
34、file.sort()函数：对书数据排序;
35、tuple()函数：创建一个元组;
36、find()函数：查找 返回的是索引;
37、dict()函数：创建字典;
38、clear()函数：清楚字典中的所有项;
39、copy()函数：复制一个字典，会修改所有的字典;
40、 get()函数：查询字典中的元素。
…………
parameter 是函数定义的参数形式
argument 是函数调用时传入的参数实体。
对于函数调用的传参模式，一般有两种：
此外，
也是关键字传参
python的函数参数定义一般来说有五种: 位置和关键字参数混合 ， 仅位置参数 ， 仅关键字参数 ， 可变位置参数 ， 可变关键字参数 。其中仅位置参数的方式仅仅是一个概念，python语法中暂时没有这样的设计。
通常我们见到的函数是位置和关键字混合的方式。
既可以用关键字又可以用位置调用
或
这种方式的定义只能使用关键字传参的模式
f(*some_list) 与 f(arg1, arg2, ...) （其中some_list = [arg1, arg2, ...]）是等价的
网络模块request的request方法的设计
多数的可选参数被设计成可变关键字参数
有多种方法能够为函数定义输出：
非常晦涩
如果使用可变对象作为函数的默认参数，会导致默认参数在所有的函数调用中被共享。
例子1：
addItem方法的data设计了一个默认参数，使用不当会造成默认参数被共享。
python里面，函数的默认参数被存在__default__属性中，这是一个元组类型
例子2：
在例子1中，默认参数是一个列表，它是mutable的数据类型，当它写进 __defauts__属性中时，函数addItem的操作并不会改变它的id，相当于 __defauts__只是保存了data的引用，对于它的内存数据并不关心，每次调用addItem，都可以修改 addItem.__defauts__中的数据，它是一个共享数据。
如果默认参数是一个imutable类型，情况将会不一样,你无法改变默认参数第一次存入的值。
例子1中，连续调用addItem('world') 的结果会是
而不是期望的