본문 바로가기
반응형

Python14

docker 접속, container 이미지 생성하기 Docker 접속 및 컨테이너 이미지 생성 코드 Docker 는 리눅스 컨테이너 관리하게 해주는 도구 각각의 컨테이너는 호스트 시스템과는 다르게 별개의 시스템, 네트워크, 권한 등 다른 환경을 가질 수 있음. docker run : 컨테이너 실행 명령어 새로운 컨테이너 환경을 만듦 docker exec : 특정한 컨테이너를 실행한 환경에서 또 다른 프로세스 실행할 수 있도록 해주는 명령어 이미 실행된 특정 컨테이너의 환경을 디버깅하는 용도 sudo docker images ## 서버에 존재하는 docker image 목록 확인 sudo docker load -i ## 이미지 로드 sudo docker run --gpus -it --name --ipc=host -v :/workspace/data/ --gp.. 2023. 7. 25.
docker에서 jupyter notebook 접속하기 Docker 에서 jupyter notebook 접속 불가 에러 수정 docker 에서 주피터 노트북을 실행하기 위해서는 인터넷 연결과 방화벽이 필요합니다. 먼저 docker 의 container 에 들어간 이후, jupyter notebook 을 실행해봅시다. # 도커 컨테이너 접속 sudo docker start hy_fairseq sudo docker attach hy_fairseq # 주피터 노트북 설치 pip install --upgrade pip pip install jupyter # 주피터 노트북 실행 jupyter notebook --no-browser --allow-root --ip=0.0.0.0 --port=8888 # --no-browser 는 별도의 브라우저를 띄우지 않겠다는 의미 .. 2022. 12. 8.
os.listdir - 파이썬 디렉토리 내 파일 확인, 개수 새기, 파일 다루기 파이썬 내 os 라이브러리를 이용해 폴더 내의 파일명을 나열할 수 있다. os.listdir('폴더 경로') ex) import os file_list = os.listdir('/home/haeyoung/nia12/nia_dataset/data_preprocess/fr_data/') wavfile = [] txtfile = [] g2pfile = [] etc = [] for file in file_list : if file.startswith('g2p') and file.endswith('.txt'): g2pfile.append(file) elif file.endswith('.wav'): wavfile.append(file) elif file.endswith('.txt'): txtfile.append(f.. 2022. 11. 11.
파이썬 문자열 처리 - split, replace, count 파이썬으로 문자열 처리 1) split - 문자열 분리 위와 같이 tab 전의 앞부분만 가져오고 싶을 때 .split('split할 기준')[자른 후 몇번째] 2) replace - 문자열 내의 특정 문자 치환 문자열.replace('바꾸고 싶은 문자열', '바꿀 문자열') 3) count - 문자열 내의 특정 문자 갯수 새기 ex) enter = wrd.count('\n') wrd 변수에 저장된 문자열에서 엔터 개수를 세서 enter 변수에 갯수 저장 예시) file_list = os.listdir('/home/haeyoung/nia12/nia_dataset/data_preprocess/fr_data/') file_path = '/home/haeyoung/nia12/nia_dataset/data_pre.. 2022. 11. 11.
파이썬 shutil 라이브러리로 쉽게 파일 복사하기 파이썬 shutil 라이브러리로 간단하게 파일을 복사할 수 있다. shutil.copyfile('복사할 파일이 있는 경로 주소', '복사물을 위치할 경로 주소') * 파일명이 아니라 경로 path 주소 * 경로는 절대 경로를 써주는 것이 좋다. 예시) import shutil file_list = os.listdir('/home/haeyoung/nia12/nia_dataset/data_preprocess/fr_data/') for file in file_list : file = file.replace('.wav','.txt') g2pfilename = 'g2p' + file if file in fr_data_g2pincluded : print(file, "is here and moved.") before.. 2022. 11. 11.
NVIDIA의 APEX - 학습 시간 단축, 성능 개선 wav2vec2.0 실험을 위한 fairseq 를 설치하는 중 나중에 빠른 학습을 하려면 NVIDIA's apex 라이브러리를 설치하면 좋다는 글을 봤다. git clone https://github.com/NVIDIA/apex 위 깃헙에서 다운로드 받을 수 있고, apex 가 뭔지 알아보고자 한다. 먼저 모델 훈련을 하다보면 더 빨리 학습시키고 싶어서 다양하게 파라미터들을 조정하게 된다. 이 때 엔비디아의 툴킷인 APEX (A Pytorch Extension) 을 사용하면 pytorch 에서 쉽게 분산학습과 mixed precision 을 사용할 수 있다고 한다. APEX (A Pytorch EXtension) APEX 패키지에는 mixed precision training 과 distributed t.. 2022. 5. 26.
파이썬으로 파일 읽기/쓰기(2) - CSV 모듈 사용 (이 글은 '언어와정보처리' 과목에서 '파이썬 기초' 수업 내용을 정리한 글이다.) pytorch 에 대해 들어가기 전, python 기초를 간단하게 리뷰하고 넘어가려한다. 앞의 포스팅에서 아래 예제를 풀었었는데, csv 모듈을 사용한 방법으로도 풀어보겠다. 예제) grade.txt : 성적-점수 표 정보 student_list.txt : 학생별 성적 리스트 평균이 3.7이 넘는 학생에게는 장학금을 주려고 한다. 위 두 개의 텍스트 파일을 활용하여, 학생별로 누가 장학금을 받을 수 있는지 결과를 result.txt 라는 새 파일에 저장하시오. result.txt 는 아래와 같이 각 줄이 (학생) : (장학금 여부) 형태로 되어 있어야 함. Python : Scholarship! Phaethon : No .. 2022. 4. 22.
파이썬으로 파일 읽기/쓰기 - read(), readlines() (이 글은 '언어와정보처리' 과목에서 '파이썬 기초' 수업 내용을 정리한 글이다.) pytorch 에 대해 들어가기 전, python 기초를 간단하게 리뷰하고 넘어가려한다. 파일 읽기/쓰기 지금까지는 기초 학습을 위해 코드에 데이터를 입력하여 데이터를 처리하는 방식으로 진행 실전에서는 대부분의 경우 데이터가 독립된 파일로 존재하며 데이터 처리를 위해서는 데이터가 저장되어 있는 파일을 열어야 하고 처리가 완료된 데이터를 별도의 파일로 써서 저장해야 함. 파일 열기/쓰기는 open() 이라는 명령어를 사용 파일 열기 : 파일을 불러와서 저장된 데이터를 처리 형태로 준비 mode에서 'r' 은 read 를 의미 open(filename, mode='r') 파일 쓰기 : 처리가 완료된 데이터를 (나중에 다시 쓸.. 2021. 12. 8.
파이썬 함수 이해하기 (이 글은 '언어와정보처리' 과목에서 '파이썬 기초' 수업 내용을 정리한 글이다.) pytorch 에 대해 들어가기 전, python 기초를 간단하게 리뷰하고 넘어가려한다. 함수 (function) 함수의 기본 개념 : 입력값 - 함수 - 출력값 코딩에서 가장 중요한 개념이자, 중급 수준의 코딩 실력으로 가기 위한 필수 과정 특정 작업을 하는 여러 줄의 코드를 하나의 묶음으로 정하여 편리하게 쓸 수 있음 반복적으로 사용하지 않더라도, 코드 전체에서 맡고 있는 역할에 이름을 부여하여 코드 내 '구간'을 만들 수 있음 함수 코드의 기본 구조 함수를 만들 때 입력값(var)을 추가하여 함수 안에서 사용할 수 있음 함수 내 일련의 코드를 거쳐 나온 결과는 return(반환)을 통해 함수의 결과로 출력 def f.. 2021. 12. 8.
파이썬의 연산자와 제어문(IF, FOR, WHILE) (이 글은 '언어와정보처리' 과목에서 '파이썬 기초' 수업 내용을 정리한 글이다.) pytorch 에 대해 들어가기 전, python 기초를 간단하게 리뷰하고 넘어가려한다. 연산자 (operator) 자료형을 연산하기 위해 사용하는 연산 기호 연산자 종류 산술 연산자 : 사칙 연산을 포함한 수 연산을 할 때 사용 +, -, *, /, //, % ... 비교 연산자 : 두 값을 비교할 때 사용 >, if 문을 사용하면 에러가 발생하고 멈춤 a = [1,2,3] try : print(a[3]) except : print(a) 결과 : [1,2,3] --> TRY 에서 에러가 발생하면 EXCEPT 의 결과 반환 2) FOR 문 FOR문 : ~~동안 하나씩 ~~해라. 주어진 횟수만큼 반복하는 명령어 for i .. 2021. 12. 8.
반응형

티스토리툴바