Pytorch2 NVIDIA의 APEX - 학습 시간 단축, 성능 개선 wav2vec2.0 실험을 위한 fairseq 를 설치하는 중 나중에 빠른 학습을 하려면 NVIDIA's apex 라이브러리를 설치하면 좋다는 글을 봤다. git clone https://github.com/NVIDIA/apex 위 깃헙에서 다운로드 받을 수 있고, apex 가 뭔지 알아보고자 한다. 먼저 모델 훈련을 하다보면 더 빨리 학습시키고 싶어서 다양하게 파라미터들을 조정하게 된다. 이 때 엔비디아의 툴킷인 APEX (A Pytorch Extension) 을 사용하면 pytorch 에서 쉽게 분산학습과 mixed precision 을 사용할 수 있다고 한다. APEX (A Pytorch EXtension) APEX 패키지에는 mixed precision training 과 distributed t.. 2022. 5. 26. Pytorch 기초 : Pytorch 란? (numpy, ndarray, tensors) Pytorch란? Python 기반의 과학 연산 패키지 - numpy를 대체하면서 GPU를 이용한 연산이 필요한 경우 - 최대한의 유연성과 속도를 제공하는 딥러닝 연구 플랫폼이 필요한 경우 사용한다. 먼저 numpy 기초에 대해 알아보자. numpy란, numerical python 의 줄임말로 고성능의 수치 계산을 하기 위해 만들어진 파이썬 패키지. 벡터 및 행렬 계산을 쉽고 빠르게 도와준다. - ndarray 는 numpy 에서 가장 중요한 'N차원의 배열 객체' 를 의미한다. (numpy에서 사용하는 데이터구조) - ndarray 는 기존 파이썬과는 다르게 오직 같은 종류의 데이터만을 배열에 담을 수 있음 - ndarray 는 np.array() 를 통해 생성할 수 있고, 행렬도 생성 가능함 한번 .. 2021. 1. 21. 이전 1 다음
