Claude 사용량이 너무 빨리 닳는데 효율적으로 관리하는 팁이 있나요? (Max 요금제 비쌈)

살핌에서도 활용 중인 오픈라우터를 이용해서, 가성비 좋은 모델을 클로드 코드가 단순한 작업에 라우팅해서 쓸 수 있도록 하네스 엔지니어링을 구축하는 것도 좋은 방법입니다. 이 분야는 태영이가 빠삭해서 곧 알려줄 거예요.

클로드가 한 모델 안에서 토큰을 쓸지 말지 결정하는 옵션을 제공하지 않다보니, 저는 작업을 여러 단계로 나눠서 합니다. (1) 작업 전 데이터 수집을 위한 탐색작업(고성능 필요없음), (2) 뭔가를 만들어내야 하는 생성작업(고성능 필요함)으로 구분하고, 탐색작업에는 토큰을 소비하지 않는 모델, 생성작업에는 토큰을 많이 쓰는 모델을 사용합니다. 작업이 방대해지면 맥락 파악을 위한 단순 데이터 수집/탐색에만 토큰을 엄청 쓰게 되니, 작업 요소를 세분화하시면 토큰 많이 아끼실 거예요. 홍창욱 선생님이 말씀하신 하네싱 기법의 아주 기초 단계라고 보셔도 됩니다.

클로드에서 정확히 정유신 선생님이 안내한 방향(단순 작업은 가성비 모델에 라우팅)으로 셋팅 방법을 오피셜하게 안내했었습니다. 비용 절감에 오히려 성능은 올라간다는 발표도 하더라구요.

의도치 않게 최상위 모델을 찍어놓고 코드 전체를 계속 돌아다니면서 모듈로 쪼개는 작업을 시키는 굉장히 비효율적인 방법 때문에 토큰이 다 소진됐어요. 토큰 낭비 방법이 궁금한 분은 저에게...ㅋㅋ (즉, 최상위 모델로 코드베이스 전체를 광범위하게 돌리면 토큰이 순식간에 소진됨)