Python으로 딥러닝하기 | 퍼셉트론 vs 신경망? & 출력함수(항등함수, Softmax 함수)

안녕하세요~ 오늘은 드디어! 신경망에 대해 살짝 맛보도록 하겠습니다!

---

우선, 퍼셉트론과 신경망의 차이부터 알아봅시다!

퍼셉트론을 모른다면 "퍼셉트론(Perceptron)이란?" 을 참고하세요!

1. 퍼셉트론은 원하는 결과를 출력하도록 사람이 직접 가중치를 정해줘야 합니다!

AND, OR, NAND 게이트를 만들때 가중치를 채워 넣는 문제를 냈습니다!

어떻게 찾으셨나요? 저는 직접 숫자를 대입해보며 찾았답니다!

 혹시 더 쉽게 찾는 방법을 아시나요? 아신다면 댓글로 공유해주세요!

2. 신경망은 가중치 매개변수의 적절한 값을 기계가 데이터로부터 학습해서 자동으로 알아냅니다!

---

" 신경망 학습하기 "

이전 포스팅에서 신경망에 들어가는 함수

계단함수, 시그모이드 함수, 렐루 함수에 대해 알아보았습니다!

좀더 자세히 말하자면 위의 3가지 함수는

은닉층에 들어가는 함수 중 3가지를 의미합니다.

그렇다면 마지막 출력층에 들어가는 함수는 어떻게 될까요?

출력층 함수란,

그동안 흘러온 확률의 숫자를 취합해 결론을 내는 함수입니다.

신경망으로 구현하고자 하는 문제에 따라 사용하는 출력층 함수가 다릅니다.

1. 회귀(Regression)의 경우, 항등함수를 사용합니다.

항등함수란, 어떤 변수도 자기 자신을 함수값으로 하는 함수입니다.

[파이썬코드]

def identity(x):
    return x

간단하죠?

2. 분류(Classfication) 의 경우, 두 가지로 나뉘는데요.

2-1) 시그모이드(Sigmoid) 함수 : 2클래스 분류에서 사용합니다. ( ex, 개 vs 고양이 분류)

2-2) 소프트맥스(Softmax) 함수 : 다중 클래스 분류 (ex, 정상 폐사진 vs 폐결절, 폐혈증... 등 분류)

시그모이드는 은닉층의 활성화 함수에서 알아봤으니,

새로운 함수인, 소프트맥스 함수에 대해 더 자세히 알아보겠습니다.

소프트 맥스(Softmax) 함수란?

0과 1사이의 숫자를 출력하는 함수로, 출력하는 값은 확률입니다.

[파이썬 코드]

def softmax(a):
    C = np.max(a)
    exp_a = np.exp(a-C)
    sum_a = np.sum(exp_a)
    
    return exp_a / sum_a

[소프트 맥스 함수식]

소프트 맥스 함수식과 위의 파이썬 코드가 조금 다르죠?

그 이유는, overflow때문입니다!

우선, 소프트 맥스 함수는 지수함수를 사용하는데 이 지수함수라는 것은 아주 쉽게 아주 큰 값을 내뱉습니다.

예를 들어

exp == e (무리수: 자연상수)

e ^10 > 20000: 자연상수의 10승은 20000보다 크고

e ^1000 == inf : 자연상수의 1000승은 무한대(inf)를 나타냅니다.

따라서 표현할 수 없는 큰 값을 해결하기위해 아래와 같은 식으로 변형을 해서 사용합니다.

지수함수와 로그함수를 잘 모르겠다면 "여기"를 참고하세요!

---

" 이제, 아래의 신경망을 직접 구현해보도록 하겠습니다!"

import numpy as np

# 신경망 함수
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def identity(x):
    return x

def init_network():
    network = {}
    network['W1'] = np.array([[1,3,5],[2, 4, 6]])   # weight 은 관습적으로 W라고 합니다.
    network['W2'] = np.array([[1,2],[3,4],[5,6]])
    network['W3'] = np.array([[1,2],[3,4]])
    
    return network

# 신경망 구현
def forward(network, x):
    W1, W2, W3 = network['W1'], network['W2'], network['W3']
    
    y = np.dot(x, W1)
    y_hat = sigmoid(y)
    k = np.dot(y_hat, W2)
    k_hat = sigmoid(k)
    j = np.dot(k_hat, W3)
    j_hat = identity(j)   # identity 대신 softmax함수를 사용할 수 있습니다.
    return j_hat

network = init_network()
x = np.array([1,2])      # 입력
y = forward(network, x)  # 출력
print(y)

---

오늘은 여기까지!

신경망 학습 방법은 다음 포스팅에서 더 자세히 다루겠습니다!

좋은 하루 보내세요!