머신러닝 보다가 gradient descent algorithm을 봐서
newton-rhapson method랑 거의 비슷하게 생겨서 이것저것 찾아보니 제가배운 방법이랑 좀 다르길래요
제 기억에 배운 방법이 x_new = x -f/f' 였는데
https://issactoast.com/110
이링크에서는 x_new = x - f'/f"을 쓰네요?
이곳말고도 전부 머신러닝에서 GDA는 써도 Newton method 안쓰는 이유로 hessian 으로 인해 이계도함수를 구해야하고 hessian으로 인한 메모리공간 차지라고 하는데
왜 이계도함수를 쓸까요?
원래 이계도함수가 필요했던건데 제가 배웠던걸 잘못기억하는걸까요?
f=0의 근이 아니라 최소값이나 최댓값을 찾을 때는 f'=0으로 문제가 변형되기 때문입니다.