[데이터마이닝] 임의의 함수에서 최솟값 찾기

임의의 함수에서 최솟값 찾기

 

 

 

 

Convex 최적화

• 정의: Convex 최적화는 볼록 함수(convex functions)에서 최솟값을 찾는 과정입니다. 볼록 함수는 전역 최솟값(global minimum)을 찾을 수 있는 특성을 가집니다.

최솟값 찾기 방법

1. Convex 함수의 경우
   • 미분을 통해 최솟값을 찾습니다.
   • 함수를 미분하여 그 결과가 0이 되는 점을 찾습니다. 이 점이 최솟값을 나타냅니다.
2. 경사 하강법 (Gradient Descent)
   • 최솟값을 직접적으로 계산하는 대신, 초기 추정값에서 시작하여 점차 최솟값에 가까워지는 방식입니다.
   • 각 단계에서 함수의 기울기(미분값)를 계산하고, 그 기울기가 감소하는 방향으로 값을 조정합니다.
   • 학습률(Learning Rate)은 이동 거리를 결정하며, 적절한 크기의 학습률 선택이 중요합니다.

경사 하강법의 기본 원리

• 현재 위치에서의 함수의 기울기(미분값)를 계산합니다.
• 기울기가 감소하는 방향으로 일정 거리만큼 이동합니다.
• 이 과정을 반복하여 최솟값을 찾아갑니다.

경사하강법의 문제점

• globarl minimum이 아니라 Local minumum을 찾는 문제가 있음
  함수의 가장 낮은 점인 전역 최소값(global minimum)에 도달하기보다는, 더 높은 곳에 위치한 지역 최소값(local minimum)에 도달하고 멈출 수 있다는 것을 의미
  → 우리가 취하는 전략: 초기값을 여러개 쓴다.(어디가 진짜 최소인지를 확인)

예시

 

 

n = 1일때 x는 0과 y는 3

n = 2일때 x는 1과 y는 2

 

 

각각의 편미분 값이 각각 0일때 최소값

 

미분이 많이 빡세다 -> 경사하강법 이용