ChatGPT에 $1,000 넘게 사용하며 알게된 사실

작년 10월경 ChatGPT API를 활용한 앱 수익관련 글을 작성한적이 있다.

당시에는 수익관련 해서만 내용을 작성했는데, 시간이 지나고 앱이 성장함에 따라서 ChatGPT API 사용도 증가하면서 그만큼 API 사용 비용이 증가하였다. API를 사용하면서 몇가지 재미있는 사실을 알게 되어 공유차 글을 작성하게 되었다.

 

앱 수익 공개(약 세달 정도 경과, feat ChatGPT)

 

1. ChatGPT API 발생하는 비용

현재 GPT-3.5 Turbo 모델을 사용하여 API를 운영중인데, 처음에는 비용이 나름 합리적이라 생각하고 사용하기 시작했지만 막상 매달 카드값에서 월 $300달러 수준으로 빠져나가는걸 보면 왠지 아깝다는 생각이든다. 물론 앱의 트래픽이 증가함에 따라서 수익도 증가하였기 때문에 크게 문제될건 없지만 그럼에도 불구하고 저 비용이 안나갔더라면...! 이라는 생각이 드는건 어쩔수 없나보다 😂 수익을 극대화 하기 위해 Llama 같은걸 사용해서 나가는 비용을 줄이는 방법도 고려 해보면 좋을것 같다! 

계정 1	계정 2

 

 

2. 때마침 최근 발표된 GPT-3.5 Turbo 비용감소 메일

매달 결제되는 카드값볼때마다 생각한것보다 많이 비용이 나가는것 같아서 고민중이었는데, 때마침 얼마전 GPT 3.5 Turbo 모델이 비용이 감소한다는 메일이 왔다. 유레카!

 

gpt-3.5-turbo-0125 모델을 사용하면 토큰당 입력 비용은 50% 비용 감소, 출력 값은 25% 비용 감소한다는 메일이 왔다. 다양한 개선사항과 함께 가격도 다운되었다고하니 안바꿀 이유가 없었다. 앞으로 가격 다운이 얼마나 체감될지 지켜볼 예정이다. 300달러에서 대충 200달러 정도로 줄어드려나?! 🥹

 

 

3. ChatGPT API는 사용금액에 따라 등급을 나누고 RateLimit 제한을 점진적으로 풀어준다.

어느날 이런 메일을 받게 되었다. 전혀 모르고 있었는데 사용량에 따라서 등급을 메기고 있고, 등급이 높아지면 질 수록 각종 한도들을 조금씩 풀어주거나 없애준다는 사실을 알게 되었다. (점진적으로 가격이나 할인해주지)

 Account Settings에 들어가서 확인해보니 나는 Tier 5 인걸로 확인이 된다.

금액은 누적금액으로 보이고 5Tier가 되었다고 메일이 왔으니 ChatGPT API에 $1,000 이상을 태운걸로 보인다 😇🔥

 

추가로 어떤 제한들이 있는지 티어별 관련해서 내용을 확인해보니, 아래와 같은 기준들이 있음을 확인하였다. (이때까지 당연히 돈을 주는만큼 제한없이 사용할 수 있는줄알았는데 저런게 있다는걸 처음 알게되었다.) 그래서 가끔 ChatGPT API를 사용하다가 저런 제한에 걸려서 유저들이 채팅이 안된다며 리뷰 별점 테러 당한적이 몇번 있었는데 아래와 같은 이유에 걸려서 그런거였구나라고 이해가 되었다.

https://platform.openai.com/docs/guides/rate-limits?context=tier-five

속도 제한은 RPM (분당 요청), RPD (일일 요청), TPM (분당 토큰), TPD (일일 토큰), IPM (분당 이미지) 의 5가지 방식으로 측정됩니다 . 먼저 발생하는 사항에 따라 모든 옵션에서 속도 제한이 적용될 수 있습니다. 예를 들어 ChatCompletions 엔드포인트에 100개의 토큰이 포함된 20개의 요청을 보낼 수 있으며 해당 20개의 요청 내에서 150,000개의 토큰을 보내지 않았더라도(TPM 한도가 150,000인 경우) 한도(RPM이 20인 경우)를 채울 수 있습니다. 

무료의 경우 굉장히 짜다..!

 

 

마치며

ChatGPT API를 사용해서 서비스를 만들땐 어쨋거나 비용이 발생하니, 충분한 비즈니스 모델이 있어야 서비스를 별 무리 없이 운영할 수 있다. 현재 나의 경우 ChatGPT API를 사용한 서비스의 경우는 애드몹 광고 수익 + 구독 결제 2가지 구조로 수익모델을 잡았는데 보통 ChatGPT API 비용은 광고비에서 충당하고 나머지 순수익의 경우 보통 구독 결제를 통해 창출이 된다. 현재 내가만든 서비스 구조에서는 만약 애드몹 한가지로만 수익창출을 시도했다면, (본전, 적자, 작은 수익) 이 세가지 중에 하나였으리라 생각된다. ChatGPT는 분명 서비스를 만드는데 강력한 도구임에는 틀림없지만 ChatGPT를 레버리지 삼아 나의 수익률을 극대화하는게 중요하지, "ChatGPT에게만" 돈을벌어다 줄 서비스는 지양하도록 하자.