PyCharm Pro for Linux 기본 지식들

1. 서버 접속하기

서버이름@경로 ~~~ 

입력후 yes

비번 입력한다.

 

2. 폴더 경로 지정하기

절대 경로

~$ cd /경로1/경로2 

 

상대 경로

바로 전(.. dotdot) 디렉토리로 경로 변경하기 (=상위폴더로 경로 변경하기)

cd ..

home(~) 으로 경로 변경하기

cd ~

cd .. 이랑 cd ~예시

exit하면 server도 logout된다

ls

아는 경로까지 적고 엔터 후 ls하면 속해있는 폴더명들을 볼 수 있다.

폴더가 많고 복잡할 때 유용하다.

 

3. 환경설정하기

서버로 코드 돌릴때, tensorflow 버전이 달라서 오류가 날 것! 절대 그냥 안돌려진다.

파이참 프로-terminal-Local

가상환경 만들기

conda create -n 이름

conda activate 가상환경이름

(base) 에서 (gz)로 가상환경 적용하기

 

4. 해당 GPU만 사용하기 & py 실행

환경설정하고, 백업도 해둔 상태로,

모두 완료했으면, py 창 학습돌리면 된다.

python 이름.py

실행하기전에 해당 GPU만 사용하는 코드

돌리기전에 해당 GPU만 사용하기(terminal)

돌리기전에 해당 GPU만 사용하기(Python code)

 

5. 파일 backup하기

파일 손실되는 거 방지하기 위해, backup해두고 싶을 때

1) 새로운 디렉토리 만들기

mkdir(make directory) 새 디렉토리 지정경로/새 디렉토리 이름

2) 기존 디렉토리 복사해서 새로운 디렉토리에 넣기

cp(copy) 기존 디렉토리 경로/* 새 디렉토리 지정경로/새 디렉토리 이름

(*은 모든, 전부라는 뜻)

 

5.1 tar 이용! 다른 디렉토리에 똑같이 복사하기 !

tar은 zip과 유사하며 디렉토리 구조를 그대로 유지시켜준다.

 

1) 원본 복사하려는 디렉토리 가서 tar.gz 형식으로 * (모든 파일) 다운받기

tar zcvg tar이름.tar.gz *

2) 다운 받은 위치로 이동

mv tar이름.tar.gz mnt/다운 받는 주소

3) 다운 받은 위치에서 압축풀기

tar zxvf tar이름.tar.gz *

오류 구글링 결과, zxvf 대신 v를 빼고 zxf로 다시 해보라고 함

* 표시를 gz과 붙이니까 오류 해결한 경우

6. 코드 확인

함수 등이 어디서 정의되었는지 궁금한데 코드가 많아서 찾기 힘들면,

함수를 클릭하고 컨트롤+클릭하면

함수가 정의된 곳으로 이동한다.

 

dir 경로 설정 후 로드할 때 dir 경로설정에 val까지 있으면 안된다. 경로 설정 유의!

 

 

 

---

 

★노트북꺼져도 코드 돌리기 _screen 설정

(base)상태에서 진행한다.

돌릴게 많아서 시간이 오래걸리면 노트북꺼도 서버에서 코드가 돌아가도록 screen을 설정한다.

 

먼저, kye에서 진행중인 스크린 확인

screen -list

 

스크린 확인, 다시들어가기

screen -R kye

스크린 삭제하기

screen -X -S kye quit

screen -X -S 스크린이름.kye quit

다시 kye에서 진행중인 스크린 확인(잘삭제되었는지)

screen -list

kye에서 스크린 생성하기

screen -x kye

스크린 나가는 단축기

ctrl+a+d

결과 txt로 저장

python 파이썬이름.py > txt이름.txt

에러도 같이 출력되게 하려면 shift + 7 누르면 된다.

 

한줄 요약 : screen -x kye 단축키로 나가고 노트북 닫으면 된다. 들어가려면 다시 screen -x kye

terminal에 결과 출력 되지 않음 주의

medium.com/@erwinousy/screen-command-%EC%82%AC%EC%9A%A9%EB%B2%95-linux-mac-62bf5dd23110

Screen command 사용법(Linux, Mac)

 

 

 

 

★test할 때, checkpoint 경로 설정하기

test 한 번 할 때마다!!!!

 

1. weight_path

train으로 학습된 weight를 불러주는 경로를 설정해줘야 한다. 

 

사진과 같이 경로 확인하기

 ls /mnt/iamsheep/master/Mask_RCNN/logs/

-lt 해서 시간보고 가장 마지막 경로로 지정한다.

 ls /mnt/iamsheep/master/Mask_RCNN/logs/teeth20200911T1111/mask_rcnn_teeth_0044.h5

 

2. dataset_dir

test하고 싶은 데이터셋의 경로를 설정해줘야 한다.

val 파일명 내가 만든 걸로 바꾸기.

 

 

 

★리눅스 terminal에서 GPU에 남은 메모리 정리하는 방법

memory 없어서 오류 발생하는 경우.

tensorflow.python.framework.errors_impl.InternalError:

 

pulsar-kkaturi.tistory.com/entry/%EB%A6%AC%EB%88%85%EC%8A%A4-%ED%84%B0%EB%AF%B8%EB%84%90%EC%97%90%EC%84%9C-%EB%94%A5%EB%9F%AC%EB%8B%9D-%ED%95%99%EC%8A%B5-%EA%B0%95%EC%A0%9C-%EC%A4%91%EB%8B%A8%ED%96%88%EC%9D%84%EB%95%8C-GPU%EC%97%90-%EB%82%A8%EC%9D%80-%EB%A9%94%EB%AA%A8%EB%A6%AC-%EC%A0%95%EB%A6%AC%ED%95%98%EB%8A%94-%EB%B0%A9%EB%B2%95

리눅스 터미널에서 딥러닝 학습 강제 중단했을때 GPU에 남은 메모리 정리하는 방법

 

 

★Deployment_path 지정

Tool -> Deployment -> Configuration

deplolyment_path 확인하려면, pwd입력

 

+ 앞에 주석달기 단축기 Ctrl + (?/칸)