딥러닝 학습 - trainig loss / validation loss
어... 지금까지 내가 보던게 training loss가 아니라 validation loss 였나 보다?
그나저나 일정 수치 이하로 안떨어지는건 over fit은 아닌것 같은데 머지?
[링크 : https://itmaster98.tistory.com/233]
평탄화 되면 잘 학습된거라는데.. 그 값이 0.xxx 이렇게 수렴하지 않고 3.xxxx 이렇게 되어도 되나?
[링크 : https://blog.naver.com/dkdaf/224309817150]
어.. 그러고 보니 validation set을 몇 장 안넣어 둔 거 같은데..
그래서 높게 나오나?
[링크 : https://hei-jung.github.io/machine-learning/why-is-my-validation-loss-lower-than-my-training-loss/]
학습속도 0.0005 ~ 0.001 사이 (어떤 모델, 학습인진 모르겠으나..)
[링크 : https://sulung-sulung.tistory.com/18]
초기 학습 시작시에 높은 값이 뜨긴 하지만 그래도 만 단위 까지 본적은 없음.
반대로 학습율이 너무 높다던가. 정 안되면 loss function을 바꿔봐야 하나?
[링크 : https://oniss.tistory.com/35]
학습곡선이 진동이 크면 batch 를 늘리는 것도 방법(메모리 사용량 증가)
[링크 : https://hyen4110.tistory.com/12]
[링크 : https://velog.io/@jhlee508/인공지능-Loss가-더-작다고-Accuracy가-더-높은-것은-아니다]