무료 Gemini API 키로도 개인용 웹앱은 충분하고, 요즘은 크롬 내장 gemma 같은 로컬 모델을 실험 중이다

gemma 쓸 만하지요? 앱 하나 설치하시면 gemma를 폰에서도 써보실 수 있습니다(모바일은 4b로 알고 있어요). 모델 크기가 꽤 크길래 몇 번 찍먹하고 지웠습니다 ㅎㅎ

저도 도름스에 올린 웹앱이 gemini api key 기반인데, 무료로도 개인으로 쓰기엔 꽤 충분한 것 같고, 요즘엔 로컬화에 대한 관심이 많아서 크롬에 내장된 gemma 모델 뚝딱이고 있습니다. 증류도 해보았는데 결국 12B 모델까진 가야겠더라구요. (증류는 오픈모델을 제 웹앱 사용에 맞게 최적화하는 개념) 저는 생기부 분석이나 입시에 관심이 많은데, gemma로 할 때에는 진짜 하나하나 단위를 잘라서 넣게 합니다. 4b로도 만들어보았는데 아직은 만족할 만한 퀄리티가 아니라서 결국 12b로 올려놨어요. 결국 보안을 신경쓰다 보니 로컬모델에 관심이 다시 생길 수밖에 없는데, 다들 그래픽카드가 내장된 노트북은 아니니까 이래저래 고민이 많습니다.