llm서비스설계와최적화1

• 

  LLM 서비스 설계와 최적화 한빛미디어 서평단 활동을 위해서 책을 협찬 받아 작성된 서평입니다. 생성형 AI와 LLM은 복잡한 작업을 수행하기 때문에 상당한 컴퓨팅 자원이 필요하다. 방대한 컴퓨팅 자원 수요를 해결하기 위해 기술을 도입하는 비용은 조직에게 부담이 된다. 실제로 책에서 말하는 바에 따르면 최첨단 AI 모델 훈련비용이 2016년 이후 매년 2.4배씩 증가하고 있다고 한다. 현재 가장 비용이 많이 든 공개 모델은 우리가 익히 잘아는 GPT-4와 구글의 Gemini Ultra이다. 모델 서비스를 유지하는데도 상당한 비용이 든다. 오픈 AI는 모델 서비스를 유지하는데 하루에 70만 달러를 사용한다고 한다. 따라서, LLM 서비스를 도입하고자 하는 기업에게는 비용 최적화가 가장 중요한 과제가 된다. 이 책에서 가장 재미.. 한빛미디어