Kalan's Blog

Software Engineer / Taiwanese / Life in Fukuoka

Current Theme light

隨機梯度下降法是每個學習機器學習、深度學習的人一定會碰到的演算法。這個算法的目標是找到函數的局部最小值,通常是損失函數(loss function)。

我那時候看到覺得很神奇,一般的梯度下降法會有計算量的問題,訓練當中樣本數通常很大,每次迭代都要算全部的樣本除了效率不好之外也需要額外的記憶體處理。

然而只要修改一下,不要一次算完而是隨機挑一個樣本計算 loss,精確度不好但繞一繞還是能找到最小值;或甚至是隨機挑幾個樣本變 mini batch,就能在兼顧效能的同時達成目的。

我最近覺得人生也應該如此,為自己加一點隨機量,也算是我離職的一大契機。

老實說這裡的薪水跟福利都算很不錯,如果沒有意外,直接待到退休也可以。但我實在沒有辦法想像繼續把自己鎖在工作裡,生活只有兩點一線,每個月的薪水已經變成毒藥。

當然在公司裡不是完全沒學到東西,這幾年的成長讓我已經可以用更廣的角度看待事物,好像認知直接上了一層的感覺。可以篤定的是五年前的自己絕對不會有除了技術職以外的想法。

雖然說對於人生的下一步還有很多恐懼,但我想可以用我最近很喜歡看的一部動畫 — チ。-地球運動について裡的一句話來描述:「怖くない人生など、その本質を欠く」

沒有恐懼的人生是欠缺其本質的

恐懼來自於未知,但人生本來就充滿未知數,未來可能會創業也說不定、會去玩音樂也說不定、開店也說不定、跑去其他國家也說不定,有很多選擇,充滿未知數,在深山的當下我是看不到全局的,能做的就是加入一點隨機量,期待梯度下降為我找到一個最佳解。

Prev

對寫技術文的重新思考

Next

Zeabur 使用心得分享

If you found this article helpful, please consider buy me a drink ☕️ It'll make my ordinary day shine✨

Buy me a coffee

作者

Kalan 頭像照片,在淡水拍攝,淺藍背景

愷開 | Kalan

Hi, I'm Kai. I'm Taiwanese and moved to Japan in 2019 for work. Currently settled in Fukuoka. In addition to being familiar with frontend development, I also have experience in IoT, app development, backend, and electronics. Recently, I started playing electric guitar! Feel free to contact me via email for consultations or collaborations or music! I hope to connect with more people through this blog.