amp1 NVIDIA의 APEX - 학습 시간 단축, 성능 개선 wav2vec2.0 실험을 위한 fairseq 를 설치하는 중 나중에 빠른 학습을 하려면 NVIDIA's apex 라이브러리를 설치하면 좋다는 글을 봤다. git clone https://github.com/NVIDIA/apex 위 깃헙에서 다운로드 받을 수 있고, apex 가 뭔지 알아보고자 한다. 먼저 모델 훈련을 하다보면 더 빨리 학습시키고 싶어서 다양하게 파라미터들을 조정하게 된다. 이 때 엔비디아의 툴킷인 APEX (A Pytorch Extension) 을 사용하면 pytorch 에서 쉽게 분산학습과 mixed precision 을 사용할 수 있다고 한다. APEX (A Pytorch EXtension) APEX 패키지에는 mixed precision training 과 distributed t.. 2022. 5. 26. 이전 1 다음
