数据处理

机器学习中一般将数据分为训练数据和测试数据（也称监督数据）来进行学习和实验，顾名思义就是提取特征参数以及验证准确率（正确的评价模型，称为泛化能力），特别的，对于某一个数据集进行过度拟合称之为过拟合，而关键就在于如何对这些数据进行处理从而能够划分绝大部分未知数据。

损失函数

查找最优权重参数的就是损失函数，它能够用来判断一个神经网络功能的准确性。

  • 均方方差

$$
E=\frac{1}{2}\sum_{k}{(y_k-t_k)}^2
$$

$k$表示数据维度，$y_k$表示输出数据，$t_k$表示监督数据。

代码表示：

1
2
def mean_squarred_error(y,t):
    return np.sum((y-t)**2)/2
  • 交叉熵误差

$$
E=-\sum_k t_k\log{y_k}
$$

$y_k$表示输出数据，$t_k$表示正确解标签。正确解标签用$one-shot$表示（即正确的为1，其余的都为0）。