### 1、sigmoid
**由图可知，函数的最大值为1，最小值为0，当y=0时，x=0.5**
**注意：sigmoid 概率和会出现为3的情形，softmax不会出现**
**代码：**
```
import tensorflow as tf
a = tf.linspace(-10., 10., 10)
with tf.GradientTape() as tape:
tape.watch(a)
y = tf.sigmoid(a)
grads = tape.gradient(y, [a])
print('x:', a.numpy())
print('y:', y.numpy())
print('grad:', grads[0].numpy())
```
### 2、tanh
**由图可知，此函数和sigmoid函数相似，最大值为2，最小值为-2**
**代码：**
```
a=tf.linspace(-5,5,10)
tf.tanh(a)
```
### 3、relu
**由图可知，函数的只会取x>0的结果,<0的结果全为0**
**代码：**
```
a=tf.linspace(-1,1,10)
tf.nn.relu(a)
```
### 4、relu derivative
**由图可知，这是relu函数的变形，限制了无穷大线性，最大值为1**
**由图可知，这个函数为relu函数的变形，最大值**
**代码：**
```
tf.nn.leaky_relu(a)
```
### 5、softmax
**由图可知，转换完的概率和为1**
**公式：**
**公式求导：**
**代码：**
```
tf.nn.softmax(x @ w + b, axis=1)
```
Tensorflow: 激活函数
