人生に少しのランダム性を加える
# 雑談ランダム勾配降下法(Stochastic Gradient Descent、SGD)は、機械学習や深層学習を学ぶすべての人が必ず出会うアルゴリズムです。このアルゴリズムの目的は、関数の局所最小値を見つけることで、通常は損失関数(loss function)に関してです。
その時、私はそれがとても不思議に思えました。一般的な勾配降下法には計算量の問題があり、訓練中にサンプル数が通常非常に多く、各イテレーションで全てのサンプルを計算する必要がありますが、これは効率が悪いだけでなく、追加のメモリも必要とします。
しかし、少し修正するだけで、一度に全てを計算するのではなく、ランダムに一つのサンプルを選んでlossを計算することで、精度は低いかもしれませんが、最小値を見つけることができます。または、ランダムに数個のサンプルを選んでミニバッチを作ることで、性能を犠牲にすることなく目的を達成することができます。
最近、私は人生も同じようにあるべきだと感じています。自分に少しのランダム性を加えることは、私が仕事を辞める大きなきっかけの一つでもあります。
正直に言うと、ここの給料と福利厚生はかなり良い方です。何も事故がなければ、直接退職するまでいることも可能です。しかし、私は自分を仕事に閉じ込め続け、生活が単調なルーチンになり、毎月の給料が毒になってしまうことを想像することができませんでした。
もちろん、会社で何も学んでいないわけではありません。この数年間の成長は、物事をより広い視野で見ることができるようになりました。まるで認識が一層上に上がったような感覚です。確かに言えることは、5年前の自分には技術職以外の考えは絶対になかったということです。
人生の次のステップに対してまだ多くの恐れがあるとはいえ、最近好んで観るアニメ — チ.地球の運動についての中の一節で表現することができます:「怖くない人生など、その本質を欠く」
恐れのない人生はその本質を欠いている
恐れは未知から来ますが、人生は本来から未知数で満ちています。将来は起業するかもしれませんし、音楽をやるかもしれませんし、店を開くかもしれませんし、他の国に行くかもしれません。選択肢は多く、未知数で満ちています。深い山の中では全体を見ることはできませんが、できることは少しのランダム性を加えて、勾配降下法が私に最適な解を見つけてくれることを期待することです。
関連記事
- デフォルト値と品味Wiwiの〈預設值〉から広がった随筆——福岡のエスカレーターの暗黙のルール、AIコンテンツがSEO順位を占めること、そしてヴォルテールの品味の定義について語る。
- It Depends は僕が最も嫌いな言葉だ多くのエンジニアは「状況による」で議論を終わらせる。でも僕に言わせれば、議論を前に進められることこそが最も重要だ。
- 君は評論家か?シニカルな評論家でいるのは気持ちいいし、優越感もある。だが最後には空虚さだけが残ることに気づくだろう。
- 会社の成長段階の重要性多くの人は、新興企業、成長期、安定期といった言葉で会社を表現するが、そうした言葉は曖昧すぎて判断基準としては使いにくい。その会社はいま何で生きていて、どう成長し、最も痛い問題は何か。会社の段階を理解してこそ、僕たちは毎日何の問題を解いているのかが分かり、その会社が本当に自分に合っているのかも判断できる。