ML3 2개의 GPU로 BERT SQuAD2.0 fine-tuning training 하기 연구실 PC를 Titan RTX (24GB) GPU를 사용해서 하는데 기존 레퍼지토리에서 가이드로 제공하는 것보다 2배의 RAM인데, batch size 2배로 돌리면 OOM 에러가 뜬다.. 그래서 Titan RTX GPU를 하나 더 받아, 더 큰 배치사이즈로도 돌려보기로 하였다. 우선 나에겐 GPU PC가 처음이었고 낯설어 multi gpu를 사용하기 위해서 새로이 학습하고 찾아봐야했다. 찾아보았을 때 Horovod를 사용하여 multi gpu를 주로 사용한다고 하여 이를 따라보기로 했다. What is Horovod ? * Motivation : single-GPU 학습 스크립트를 쉽게 가져오고 이를 성공적으로 scalable하게 여러 GPU에서 병렬적으로 학습할 수 있도록 하는 것 - 프로그램을 배.. 2020. 5. 21. [Coursera ML][3주차] Logistic Regression (로지스틱 회귀) 1) Classification and Representation 0 or 1 하나의 값을 가지는 변수 y를 예측 0 : '음성 분류' / 1 : '양성 분류' + multi classification도 있음 cf) 우선 강의에서는 이진 분류 위주로 진행 선형 회귀를 분류문제에 적용하기에는 예시1 ) 데이터에 적용했을 때 임계값 0.5에 대해 잘못된 결과 예시2 ) 가설의 결과값이 0과 1 사이여야 하는 데 그밖의 값을 가질 수 있음 => 이러한 어려움이 있기 때문에 로지스틱 회귀 알고리즘 사용 cf) 로지스틱 회귀에서 회귀는 역사적으로 붙여진 이름이지 선형회귀와 헷갈리지 말것! 가설 표현 모델 : 분류 문제에서 가설 표현 시 사용 ex) hθ(x) will give us the probability .. 2020. 2. 11. [Coursera ML] [2주차 복습] Octave Tutorial 한창 열심히 듣다가 바빠져서 잠시 안들었더니, 계속 우선순위에서 밀려 이제야 다시 시작해보려고 한다. 다른건 읽기 자료로 다 정리되어 있어서 배웠던 부분들이 금방 백업됬는데 튜토리얼부분은 없어서 내가 직접 정리하기로 결심했다. 이번을 토대로, 가능하면 강의 들을 때마다 이렇게 정리해놓으려고 한다. 수동적으로 강의나 읽기자료로 던져주는 걸 받아먹기보다 능동적으로 나도 함께 수업을 들어야 좀 더 기억에 오래 남을 것 같아서! (항상 노트에 정리하면서 공부하는 내 습관 때문이기도 하다) 1. Basic Operations Octave를 사용하는 이유 : 프로토타입하기에 좋아서. 그리고 Octave는 오픈소스! 1) Variables 기본 연산자 : + - * / ^ % : 주석 논리연산자 : == != && .. 2020. 2. 10. 이전 1 다음
