[書]Deep Learning 2|用Python進行自然語言處理的基礎理論實作

如果沒有基本的深度學習概念,不知道 forward  propagation 和 backward propagation,建議先去看前本著作 "Deep Learning:用Python進行深度學習的基礎理論實作",才能看懂這本書的內容。

如書名所示主要是介紹深度學習在自然語言處理上的基礎理論和實作。如果沒有自然語言處理的基礎,這本書會從分散式表示開始說起,然後套用神經網路,介紹 word2vec 再到 RNN,並探討梯度消失,梯度爆炸等神經網路會遇到的問題。Seq2seq 產生文章及翻譯的實例應用,至透過 attention 改良。

在書中 trace code,如同前本著作一樣,有非常多的矩陣運算,而且深度學習的基本概念,都是基於前面的基礎一路堆疊上來,要依據書中的順序按部就班弄懂,如果前面有東西沒弄清楚,後面用到時又會碰到一樣問題。

讀完後可以了解深度學習對自然語言處理的整個輪廓,然後會了解到,深度學習的學習這只是個開始: 很多的演算法改進,精準度的改良,透過硬體的加速,有很多很多的相關論文和研究持續在進行中,可以深入學習和應用的方向很多。