慨。
【……】系統忽然冒出濃濃的危機意識,【那個,宿主其實我也很有用的!要不讓我開放全民好感度漲幅提示!對你有敵意的肯定是負數,到時候還沒靠近你就能發現……】
“不,太吵。”徐靜怡很果決搖頭。
“這位同學?”站在臺上的森田教授很睿智地看著她,語態很溫和,“剛剛我的說法是有什麼問題嗎?你似乎對此有些不同的見解!”
徐靜怡一懵。
系統,【糟糕了宿主!好像這位老大爺誤會你剛剛搖頭了!你別慌,他正在講RNN和與傳統神經網路區別!】
——原來已經講到處理序列資料的迴圈神經網路。
這個用大白話來形容,就是機器人處理問題時的邏輯思維能力。舉個例子比如“我實在是太冷了,準備去XXX”,根據前面的輸入判斷“XXX”很大可能就是“穿衣服”,這就是序列資料。
徐靜怡快速掃了一眼黑板,“tanh和sigmoid啟用函式的RNN如果遭遇梯度消失要如何是好?”
徐靜怡起身,慢條斯理地開口:“tanh和sigmoid兩端的梯度值都基本接近0,從求導公式可以看出有個連乘操作。而向量函式對向量求導結果為一個Jacobian矩陣,元素為每個點的導數,當矩陣中的值太大時,經過指數放大,則會產生梯度爆炸。可以設定一個梯度閾值來處理。另外梯度消失,可以用ReLU來替代tanh和sigmoid啟用函式,或者用LSTM或GRU結構。”
Loading...
未載入完,嘗試【重新整理】or【關閉小說模式】or【關閉廣告遮蔽】。
嘗試更換【Firefox瀏覽器】or【Chrome谷歌瀏覽器】開啟多多收藏!
移動流量偶爾打不開,可以切換電信、聯通、Wifi。
收藏網址:www.ebook8.cc
(>人<;)