### 1、sigmoid
**由图可知,函数的最大值为1,最小值为0,当y=0时,x=0.5**
**注意:sigmoid 概率和会出现为3的情形,softmax不会出现**


**代码:**
```
import tensorflow as tf
a = tf.linspace(-10., 10., 10)
with tf.GradientTape() as tape:
tape.watch(a)
y = tf.sigmoid(a)
grads = tape.gradient(y, [a])
print('x:', a.numpy())
print('y:', y.numpy())
print('grad:', grads[0].numpy())
```
### 2、tanh
**由图可知,此函数和sigmoid函数相似,最大值为2,最小值为-2**


**代码:**
```
a=tf.linspace(-5,5,10)
tf.tanh(a)
```
### 3、relu
**由图可知,函数的只会取x>0的结果,<0的结果全为0**


**代码:**
```
a=tf.linspace(-1,1,10)
tf.nn.relu(a)
```
### 4、relu derivative
**由图可知,这是relu函数的变形,限制了无穷大线性,最大值为1**


**由图可知,这个函数为relu函数的变形,最大值**
**代码:**
```
tf.nn.leaky_relu(a)
```
### 5、softmax
**由图可知,转换完的概率和为1**
**公式:**

**公式求导:**



**代码:**
```
tf.nn.softmax(x @ w + b, axis=1)
```

Tensorflow: 激活函数