수학과 사는 이야기

'수포자도 이해하는 신경망 동작 원리와 딥러닝 기초'라는 표지 글에 끌려서 읽었다. 아주 쉽게 쓰여졌지만 수포자가 이해하기는 어려울 듯하다. 새로 알게 된 활성화 함수에 대해 정리해 둔다. 생물학적 뇌의 기본 단위는 뉴런(신경세포: neuron)이다. 종류에 상관없이 모든 뉴런은 한쪽 끝에서 다른 쪽 끝으로 전기신호를 보낸다. 가지돌기(dendrite)에서 축삭(axon)을 거쳐 축삭말단(axon terminal)까지 보낸다. 이런 식으로 신호를 하나의 뉴런에서 다른 뉴런으로 계속해서 전달하는데 우리 몸은 이런 과정을 통해 빛, 소리 등 다양한 감각을 인지할 수 있게 된다. 감각 뉴런으로부터 전달된 신호는 신경계를 통해 뇌로 전달되는데 뇌도 뉴런으로 만들어져 있다. 생물에서 배웠을 터인데 기억은 나지 않..