구글 부캠을 참여하면서 마지막 프로젝트인 gemma sprint를 하게 되었다. 프로젝트 주제 : gemma모델을 논문요약 데이터로 파인튜닝 하기혼자서 해보는 프로젝트였다. 파인튜닝을 처음 해보는 것이였고,  dataset 라이브러리를 사용하는 것이 아닌 외부에서 데이터를 다운받아 사용하였다. 확실히 데이터가 깔끔하게 잘 정리되어 있어서 전처리 하는데 큰 어려움은 없었다. 만약 데이터의 질이 좋지 않았다면 프로젝트를 진행하지 못하고 데이터만 처리하는데 시간을 다 쏟았을 것 같다. 아직도 하이퍼파라미터 조정을 어떤식으로 해야할지 모르겠다. 학습을 여러번 해보고 결과물을 보고 조정을 해야할거 같은데 학습이 오래걸리고 그럴만한 환경이...  인터넷을 뒤져 다른사람이 해놓은 하이퍼파라미터를 그대로 사용하긴 하였..

1. AbstractGoal of the Competition 일상 대화 요약, 평가지표 Rouge-1, Rouge-2, Rough-lTimelineMay 13, 2024 - Start DateMay 27, 2024 - Final submission deadlineDescription of the work  data augmentation, 여러 pretrained 모델 시험, 성능개선2. Process : Competition Model처음 제공된 베이스라인 코드를 이용. 이후 Data augmentation 과 다양한 pretrained 모델을 실험 후 성능이 좋은 모델을 최종 모델로 선정.3. Process : Issuestest data의 noise 확인, 성능 개선이 되도록  train데이터를..

실제 일상생활에서 가능한 다양한 시나리오 multi-turn 대화를 바탕으로 생성 요약문을 만들어보는 대회대화 스타일은 구어체이고 요약문은 구어체가 아닌 문어체였다. 이 부분을 잘 다뤄야 할 것 같다. 대화 도메인은 다양하게 있었고, train 데이터는 12456개 valid 는 499, test도 499개였다. 대화는 번역체의 느낌이 많이 강했다. nlp를 처음 접해보니 어려움이 많았고 얻어가는 것도 많은 대회였다.잘 pre-train 된 모델을 사용하는거 밖에 하지 못한 아쉬움이 있다. fine-tunning을 해보고 싶었지만 아는게 없어 하지 못했다. 다음에 해보고 싶다. (주어진 train 데이터로 모델을 학습 시키는게 fine-tunning인가..?) 이번 대회에서 한거는 다양한 모델 적용해보는..

1. AbstractGoal of the Competition 문서 타입 분류, 평가지표 Macro F1 scoreTimelineApril 11, 2024 - Start DateApril 23, 2024 - Final submission deadlineDescription of the work EDA, data augmentation, 여러 pretrained 모델 시험, 성능개선2. Process : Competition Model처음 제공된 베이스라인 코드를 이용. 이후 EDA 와 다양한 pretrained 모델을 실험 후 성능이 좋은 모델을 최종 모델로 선정.3. Process : Issuestest data의 noise 확인, 성능 개선이 되도록  train데이터를 augmentation 하는..

cv task들의 평가지표가 뭔지 궁금했다. 머신러닝 같은 경우는 이해가 됐는데 비전에서의 성능평가를 어떻게 하는지, 다른점이 있을거 같은데 이부분을 이번 강의를 통해 알게되었다.classification task 에서는 이러한 평가지표가있다.object detection task 에서는 이런 평가지표가 있다. 아무래도 object detection을 하게되면 네모난 박스로 탐지하는데 이 영역을 가지고 평가를 진행하는 것 같다.semantic segmentation 은 이런 평가지표가 쓰인다. p는 pixel 이다. transformer 모델은 object detection task 에 적합해보인다. classification 대회 기간에 사용해보았는데 성능이 좋진 않았다.

computer vision low level, mid level, high level 로 나누어져있음. low level 은 image processing, feature extraction mid level 은 image->image, image->world high level 은 semantic 즉 비전태스크 Image Classification, Object Detection, Segmentation 모델구조 이해 Visual Feature: 컴퓨터 비전의 태스크(classification, detection, segmentation, ...)를 해결할 때 필요한 이미지의 특성을 담고 있는 정보들을 지칭함. Backbone의 역할 Backbone은 이미지에서 중요한 Feature를 추출(extra..