google machine learning bootcamp - gemma sprint

구글 부캠을 참여하면서 마지막 프로젝트인 gemma sprint를 하게 되었다. 프로젝트 주제 : gemma모델을 논문요약 데이터로 파인튜닝 하기혼자서 해보는 프로젝트였다. 파인튜닝을 처음 해보는 것이였고,  dataset 라이브러리를 사용하는 것이 아닌 외부에서 데이터를 다운받아 사용하였다. 확실히 데이터가 깔끔하게 잘 정리되어 있어서 전처리 하는데 큰 어려움은 없었다. 만약 데이터의 질이 좋지 않았다면 프로젝트를 진행하지 못하고 데이터만 처리하는데 시간을 다 쏟았을 것 같다. 아직도 하이퍼파라미터 조정을 어떤식으로 해야할지 모르겠다. 학습을 여러번 해보고 결과물을 보고 조정을 해야할거 같은데 학습이 오래걸리고 그럴만한 환경이...  인터넷을 뒤져 다른사람이 해놓은 하이퍼파라미터를 그대로 사용하긴 하였..

2024.10.03