人生に少しのランダム性を加える
確率的勾配降下法は、機械学習やディープラーニングを学ぶ人なら誰もが必ず出会うアルゴリズムだ。このアルゴリズムの目的は、関数の局所的最小値、通常は損失関数(loss function)を見つけることにある。
当時それを見たとき、僕はとても不思議で面白いと思った。通常の勾配降下法には計算量の問題がある。学習中のサンプル数は通常非常に大きく、イテレーションごとに全サンプルを計算するのは効率が悪いだけでなく、余分なメモリ処理も必要になる。
しかし少し手を加えて、一度にすべてを計算するのではなくランダムに1つのサンプルを選んでlossを計算するようにすれば、精度は劣るものの、遠回りしながらも最小値を見つけることができる。あるいはランダムにいくつかサンプルを選んでミニバッチ(mini-batch)にすれば、効率とパフォーマンスを両立させながら目的を達成できる。
最近、人生もそうあるべきなんじゃないかと僕は思っている。自分自身に少しのランダム性を加えること。それは僕が退職を決意した大きなきっかけでもある。
正直に言って、今の会社の給与や福利厚生はかなり良い。何事もなければ、このまま定年まで居続けることもできただろう。でも、自分を仕事の中に閉じ込め続け、家と会社の往復だけの生活を送り、毎月の給与がもはや毒のようになっていく状態を、僕はどうしても想像できなかった。
もちろん会社で何も学ばなかったわけではない。この数年の成長によって、僕はより広い視点で物事を捉えられるようになり、視座が一段上がったような感覚がある。確実なのは、5年前の僕なら技術職以外の道を考えることなど絶対にあり得なかったということだ。
人生の次のステップに対してまだたくさんの恐怖はあるけれど、最近僕が好きで見ているアニメ――チ。-地球の運動についての中の一言を借りて表現できると思う。「怖くない人生など、その本質を欠く」
怖くない人生など、その本質を欠く
恐怖は未知から生まれる。けれど、人生はもともと未知数に満ちている。将来は起業するかもしれないし、音楽をやるかもしれないし、店を開くかもしれないし、別の国へ行くかもしれない。選択肢は無数にあり、未知数だらけだ。深い山の中にいる今、僕には全体の景色は見えていない。僕にできるのは、少しのランダム性を加えて、勾配降下が自分にとっての最適解を見つけてくれることを期待することだけだ。
関連記事
- エンジニアの面接にどう備えるか テック業界の面接対策はいつだって骨の折れるものだ。面接で最も人を落胆させるのは、権力関係が極めて一方通行になりがちな点にある。応募者の立場では相手の本当の基準を読み取るのは難しく、面接が終わった後は自分を疑ってしまいがちだ。今回はそのあたりについて話してみよう。
- 人生観を変えた言葉 ファインマン、チャップリン、そして映画『ひゃくえむ。』。劣等感を抱えていた少年から誰かを助けられるようになるまで、僕に最も深い影響を与えた思考と生き方についての共有。
- 独立したウェブサイトを持つN個のメリット ショート動画やSNSが全盛のこの時代に、なぜわざわざ時間をかけて自分のブログを運営するのか?約10年間ブログを書き続けてきた僕の考えを共有する。
- 筋トレ(ウエイトトレーニング)の記録と感想 ここ最近の筋トレの振り返りと感想をシェアする。