YeonjeeJung's Blog

Convex Optimization $\beta$-smooth functions : $\frac{1}{t}$ learning Rate $f$가 $\beta$-smooth하다고 하면 이다. 이 식에서의 극점은 $\gamma = \frac{1}{\beta}$일 때이므로 이를 대입하면 를 얻게 된다. 이 때 $t=0$부터 $t=T-1$까지 다 대입한 후 다 더하면 을 얻게 된다. 이전 단원의 Vanilla Analysis 중간에서 얻은 식에 $\gamma=\frac{1}{\beta}$를 대입하면 을 얻는데, $(4)$을 이용하면 이라고...

Convex Optimization Gradient Descent Gradient Descent Algorithm 이거나, $\gamma$를 $t$의 함수로 표현하여 로 업데이트 하여 최적점을 찾아가는 방법을 gradient descent 알고리즘이라고 한다. 이 때 $\gamma_t$는 $\frac{1}{t}$, $\frac{1}{\sqrt{t}}$, $\frac{1}{\log{t}}$, $\cos{\theta t}$가 주로 쓰인다. Convergence Rate Convergence rate은 을 만족하는 $t$를 찾기까지의 시행 수를 Big O 표기법으로 나타내는 것이다. Strong Convex $\alpha$-Strong...

Convex Optimization Convex Optimization Convex Optimization이란 $x^* = \text{min}_{x \in C} f(x)$를 찾는 문제이다. 이 때 $f$는 convex function이고, $C$는 convex set이다. 수렴도도 중요하지만, 얼마나 빨리 수렴하는지도 수렴 알고리즘의 선택에서 중요한 요소이다. Convergence Rate convergence rate은 $f(x^* )$가 optimal value일 때, 에서의 $g(t)$이다. 이 때 $x_t$는 $x$가 $t$번 업데이트 된...

딥러닝에서 objective function의 설계는 중요하다. 이 때 문제를 더 간단하게 만들기 위해 convex의 개념을 도입한다. Convex set convex set을 쓰면 line 전체가 constraint 안에 있기 때문에 line search를 할 때 쓴다. convex set을 가정한 방법들은 non-convex에서도 사용할 수 있다. local minima 부근에서는 convex이기 때문인데, 이 때 convex 방법들을 적용하면 global...

Light Color Vector Terms