[인공 신경망]활성화 함수에 대해 이야기 해보자. Activation Function 그게 뭐고?

 

 

볼 때마다 새로운 건 나만 그런가?

잠깐 딴짓하다 오면 기억이 왜 이런고...

그래서 오늘 기억을 위해 포스팅을 해보고자 한다.

활성화 함수란?

뭐든 개념이 중요하다.

그래서 활성화 함수가 도대체 무엇인지 밝혀보고자 한다.

기존에 퍼셉트론을 정리했는데 활성화 함수랑 혼동되면 안 된다.

이래서 용어 정리를 잘해야 한다. 

 

2026.05.31 - [인공지능(AI)/딥러닝(DeepLearning)] - [인공 신경망]이야기로 쉽게 풀어 쓴 뉴런, 퍼셉트론 그리고 활성화 함수 01, 딥러닝(DeepLearning)

[인공 신경망]이야기로 쉽게 풀어 쓴 뉴런, 퍼셉트론 그리고 활성화 함수 01, 딥러닝(DeepLearning)

 

마지막 출력값을 원하는 형태의 값으로 가공해 주는 함수가 바로 활성화 함수다.

쉽게 말해서 0과 1 사이의 값처럼 원하는 값을 가공해서 출력해 주는 함수라는 의미다.

즉, 퍼셉트론으로 결괏값이 나오는데 그 값을 활성화 함수에 넣으면 원하는 값으로 가공이 된다.

그렇다면 어떤 함수들이 있는지 함 보자.

 

시그모이드 함수(Sigmoid Function)

 

시그모이드 함수는 입력값을 받아서 0부터 1까지 부드러운 연속된 값 중 하나를 출력한다.

뭔 소린가?

먼저 그래프를 보자.

시그모이드 함수

0에서 1까지 부드럽게 올라간다.

입력값이 클수록 1에 가까워지고 작을수록 0에 가까워지는 형태다.

예를 들어 동그란 이미지 사진을 카메라로 분석한다고 가정하자.

픽셀값 분석을 통해 동그라미와 일치되는 결과 값이 나온다면 1에 근접할 것이다.

꺾이는 부분도 없고, 중간에 끊긴 부분이 없고 연속된 픽셀의 위치가 한쪽 방향으로 흘러간다.

바로 원에 근접한 상황인 것이다.

하지만 요즘은 시그모이드 함수를 사용하지 않는다고 한다.

예를 들어 입력값을 통해 가중치와 편향으로 계산한 후 시그모이드 함수로 결괏값을 받았는데

그 값이 0.9999라고 가정하자.

그런데 사실 0.6이 맞는 값인데 0.9999와 차이가 많이 난다.

그래서 반대로 돌려보내서 0.6에 근접할 때까지 가중치를 다시 조정하게 한다.

그런데 0.9999의 기울기는 0.0000000?이다.

돌려보내면서 기울기를 곱해야 하는데 0을 곱하면 의미가 없다.

기울기가 거의 0이므로 기울기가 소실되고 더 이상 계산이 안된다.

이것을 딥러닝의 고질적 문제인 기울기 소실 문제라고 한다.

그래서 시그모이드 함수를 대체해 렐루(ReLU, Rectified Linear Unit)를 사용한다.

 

렐루함수(ReLU, Rectified Linear Unit)

 

특징을 알아보면 0보다 작으면 0을 출력하고 0보다 크면 그 값을 그대로 출력하는 함수다.

이 함수는 기울기 소실 문제를 해결하기 위한 방법으로 인기가 많다고 한다.

어떻게 기울기 소실 문제를 해결했을까?

우선 함수를 그래프로 보자.

ReLU 함수

 

위 그래프를 보면 0 이하는 그냥 0이다.

하지만 0을 넘어서는 순간 기울기 1로 우상향으로 쭉 올라간다.

1로 수렴하면 기울기가 0에 수렴하지만 ReLU는 그냥 쭉 기울기가 1이다.

이렇게 문제가 해결된다.

 

기타

 

이 외에도 기초적인 계단 함수, 하이퍼볼릭 탄젠트 함수, 리키 렐루 함수가 있다.

당장은 시그모이드 함수와 렐루 함수만 알면 되기에 다음에 기회가 되면 더 공부해 보자.

 

잘못된 정보가 있으면 댓글로 부탁한다.