NeuralNetwork (3) Optimazation2
Optimazation 고려사항 Optimazation을 하기 위한 고려사항은 크게 3가지가 있다. Local Minima Plateau Zigzag Local Minima Local minima 문제는 에러를 최소화시키는 최적의 파라미터를 찾는 문제에 있어서 ...
Recent posts
NeuralNetwork (3) Optimazation
Optimazation 머신러닝에서 Optimazation을 통하여 Loss Function에서 cost(loss)가 최소가 되는 부분을 찾는다. 대표적인 방법인 Normal Equation, Gradient descent와 다른 여러가지 방법에 대해 알아보자. Normal...
NeuralNetwork (2) Loss Function
Loss Function 머신러닝에서 Optimazation을 통하여 Loss Function에서 cost(loss)가 최소가 되는 부분을 찾는다. 이러한 과정을 위해서 Loss Function을 정의하게 되는데 대표적인 방법인 MSE와 음의 로그우도(negative log...
NeuralNetwork (1) Basic & Activation Function
NeuralNetwork Neural Network는 아래와 같은 그림으로 이루워져 있다. 왼쪽부터 Input(입력층), Hidden(은닉층),Output(출력층)으로 표현할 수 있다. 각각의 Hidden Layer의 Node하나하나를 이전에 Post하였던 Percept...
Perceptron
Perceptron Perceptron은 다수의 신호(Input)을 입력받아서 하나의 신호(Output)을 출력한다. 이는 뉴런이 전기신호를 내보내 정보를 전달하는 것과 비슷하다. 뉴런의 신호전달하는 역할을 Perceptron에서는 weight 신호의 총합이 정해진 입계값(\(...