網絡優化算法

    随機性梯度下(xià)降算法

    SGD算法則是利用随機梯度下(xià)降算法對網絡參數進行優化。在損失函數上對當前點的對應梯度(或近似梯度)反方向的指定步長距離(lí)點上進行叠代搜索。大(dà)規模梯度下(xià)降法在對每個參數進行更新時都需要所有的訓練樣本，因此，随着樣本數目的增加，訓練過程變得非常緩慢(màn)。通過每次叠代更新一(yī)次随機梯度下(xià)降，從而提高了優化的效率。

    通用損耗函數

    平均誤差值。

    平均誤差是指實際值與預測值之差平方的期望值，它通常用在回歸問題中(zhōng)，即交叉熵損失函數。

    交熵是指實際的類标記分(fēn)布和模型預測的類标記分(fēn)布之間的距離(lí)，在分(fēn)類問題中(zhōng)經常使用。

    網絡優化算法

    優選過程-輸出層。

    網絡優化算法

    中(zhōng)間層是一(yī)個優化過程。

    反傳算法(backpropagation)和梯度下(xià)降算法(gradientdecent)對神經網絡參數進行調整。該算法主要是用來對單個參數進行優化，而反向傳播算法則提供了一(yī)種對所有參數都有效的梯度下(xià)降算法，使得神經網絡模型在訓練數據上的損失函數盡可能小(xiǎo)。反傳算法是訓練神經網絡的核心算法，它能根據神經網絡中(zhōng)定義好的損失函數對神經網絡的參數進行優化，從而使神經網絡模型在訓練數據集上的損失函數達到小(xiǎo)。神經網絡模型的參數優化過程直接決定模型的質量，因此神經網絡的優化是一(yī)個非常重要的步驟。

    假定神經網絡的參數用θ來表示，J(θ)表示在給定的參數值下(xià)訓練數據集上損失函數的大(dà)小(xiǎo)，則可以将整個優化過程抽象爲尋找一(yī)個θ，使J(θ)達到較。由于目前還沒有一(yī)種通用的方法直接求出任意損失函數的好的參數，因此實際應用中(zhōng)常用的神經網絡優化方法是梯度下(xià)降法。該算法通過叠代更新參數θ，不斷地沿梯度的反方向更新，使參數朝着總損失較小(xiǎo)的方向變化。