제미나이 무료 API로 챗봇 만들 때 모델별 요청 한도와 폴백 전략

크롬에 내장된 AI도 규칙을 잘 정해주면 쓸 만하다. 그걸로 생기부 분석까지 해본 적이 있다.

저렴한 라이트 모델로 등록해두면 하루 200회까지 무료다. 앱 찾는 용도 정도는 3.5flash lite로도 충분하고, 3.5flash lite는 실제로 하루 500회까지 가능하다. 트래픽이 몰리는 시간대에만 3.1flash lite를 추가로 부르면 합쳐서 하루 1000회까지 쓸 수 있다.

높은 버전 flash lite도 사용량이 몰리면 응답이 늦어지거나 무응답이 뜰 때가 있다. 응답 시간이 일정 밀리초를 넘기면 더 낮은 모델로 자동 전환하는 기능을 넣거나, 응답 속도를 신호등처럼 표시해주는 것도 방법이다.

무료 API는 시간당 요청 제한도 있어서 학생 수가 많으면 힘들 수 있다.

무료 제미나이 API로 학생들과 토론 주제를 정리하는 앱스크립트를 만들었는데, 30명이 동시에 쓰니 여기저기서 통신 지연이 생겨서 포기해야 하나 고민 중이었다.