둔진의 소프트웨어 이야기

LLM을 어떻게 훈련시키냐만큼 중요한 것이 LLM을 어떻게 서비스하냐입니다. 얼마나 효율적으로 출력을 만들어 낼 수 있느냐는 Throughput으로 이어지고 결국 비용과 직결됩니다.초당 100개의 요청을 처리하고 싶은데, 실제로는 초당 10개만 처리할 수 있다면 어떻게 해야 할까요? 서버를 10대를 사용하면 됩니다. 그런데 누군가 소프트웨어를 개선해서 초당 20개로 처리할 수 있게 만들었다면 서버를 5개로 줄일 수 있습니다. 비용이 절반으로 줄어든 겁니다.실제로 LLM 훈련에 드는 비용보다 LLM 서비스에 드는 비용이 훨씬 크다고 합니다. 훈련은 비싸지만 한 번으로 끝인 반면, Inference는 지속적으로 나가고 사용자가 늘수록 늘어나는 비용이기 때문입니다.이런 이유 때문에 LLM Inference를 ..

LLM을 사용하는 방식은 크게 두 가지로 나뉩니다. OpenAI나 Google 제공하는 API를 사용하는 것이 한 가지이고, Llama 같은 오픈소스 LLM을 사용하는 것이 다른 한 가지입니다. 물론 바닥부터 나만의 LLM을 만드는 방법도 있지만 현실적으로 이렇게 하기에는 많은 어려움이 있습니다. 비용, 보안, 나만의 시나리오 등의 이유로 오픈소스 LLM 사용하기로 했다고 가정해 보겠습니다. 이 길로 들어섰을 때 처음 마주하는 어려움 중 하나는 모델이 너무 많다는 점입니다. Llama, Gemma 등 수많은 오픈소스 LLM을 선택하는 이야기가 아닙니다. Llama만 하더라도 선택지가 너무 많습니다. 예를 들어 Hugging Face의 Llama 3.2 Collections 페이지를 보겠습니다. 나는 단지..

오늘은 On-Device LLM에 대해서 이야기해보려고 합니다. 최근 On-Device AI라는 키워드와 함께 On-Device LLM이라는 표현도 많이 회자되고 있습니다.삼성전자는 Galaxy S24부터 Galaxy AI에 On-Device LLM을 탑재하고 있고, 다른 제조사들도 이를 뒤따르고 있습니다. 최근 애플도 곧 출시할 Apple Intelligence에 3B 급 On-Device LLM을 탑재한다고 밝혔죠.On-Device LLM이 도대체 무엇이고, On-Device LLM을 만들기 위해서는 어떤 것들이 필요한지 알아보겠습니다.On-Device LLM이 뭐야?On-Device LLM이 무엇인지부터 이야기 해보겠습니다.너무나 당연하지만 On-Device LLM은 On-Device에서 돌아가는 ..

LLM을 처음 접하면 어렵고 헷갈리는 용어와 개념들이 많습니다. 그중에서도 가장 알듯 말듯 아리송한 개념이 바로 Token이 아닐까 합니다.Token이라는 단어를 처음 접하는 건 LLM을 사용하는 입장인지 LLM을 만드는 입장인지에 따라 다릅니다.LLM을 사용하는 입장에서는 "이 LLM의 최대 Context Window 크기가 4K tokens이다", "이 LLM은 비용이 1M tokens 당 0.5 달러다"와 같은 설명을 통해 Token이라는 표현을 처음 접하게 됩니다. Token이 입출력 텍스트 데이터의 크기를 나타내는 것 같기는 한데, 글자수도 아니고 단어수도 아니고 Token 수라는 이상한 단위 때문에 고개를 갸웃하게 되고요.그러고 나서 이어지는 자연스러운 질문은 "그래서 1,000 Token이 ..

오늘은 Context Window 크기(Context Length, Context Size라고도 부릅니다)에 대해서 이야기해보려고 합니다. 요즘 정말 많은 LLM들이 있는데요. 정확도, 비용, 속도 등 LLM을 선택하는 많은 기준이 있지만, 중요한 기준 중 하나가 바로 Context Window 크기가 아닐까 합니다. 실제로 새로운 LLM이 발표될 때마다 Context Window 크기 자랑이 빠지지 않는 것을 볼 수 있습니다. Google은 Gemini가 Context Window를 1M tokens까지 지원한다고 발표하기도 했고요.Context Window 크기가 무엇이길래, 그리고 얼마나 중요하고 어려운 기술이길래 새로운 LLM을 발표할 때마다 중요하게 다루는 걸까요?Context Window가 뭐..

RAG (Retrieval Augmented Generation, 검색 증강 생성)오늘은 요즘 LLM 관련 기술 중 많이 언급되는 RAG에 대해서 이야기해보려고 합니다. RAG(영어권 사람들은 '랙'이라고 읽더라고요)은 Retrieval Augmented Generation의 약자입니다. 우리 말로는 검색 증강 생성이라고 부릅니다. Retrieval을 검색이라고 번역한 것인데요. 보통 검색하면 Retrieval보다는 Search가 떠오르지 않으시나요?Search와 Retrieval의 차이는 무엇일까요? 좀 뜬금없어 보이지만 오늘 논의와 관련이 있기 때문에 잠시 이야기하고 넘어가겠습니다.먼저 사전적인 의미부터 살펴보면 Search는 말 그대로 검색을 의미합니다. 수많은 후보 중에 내가 원하는 특정 대상을 ..

들어가며LLM 이야기를 접하다보면 필수적으로 따라오는 용어 중에 Fine Tuning이라는 것이 있습니다. 우리 말로는 미세조정이라고 번역합니다. 오늘은 Fine Tuning이 무엇이고, 왜 LLM 이야기에 빠지지 않고 등장하는지에 대해 이야기해보려고 합니다.Pre-trained ModelFine Tuning에 대해서 이해하려면 Pre-trained Model을 먼저 이야기해야합니다. https://jins-sw.tistory.com/48 에서 Foundation Model이라는 측면의 LLM 이야기를 한 적이 있는데 참고하셔도 좋을 듯 합니다.예를 들어 어떤 이메일이 스팸인지 아닌지 판단하다는 자연어처리 기능을 만든다고 생각해보겠습니다. 전통적으로 하던 방법은 다음과 같습니다.이메일 데이터를 많이 많이..

소개 가장 흔하게 사용하는 loss fuction 중 하나가 Cross Entropy Loss가 아닐까합니다. 대부분의 Deep Learning 프레임워크에서 기본적으로 제공해주기도 하고요. 자주 쓰기는 하지만 Cross Entropy가 실제로 무엇인지 궁금하신 분들도 있을 것 같습니다. 오늘은 Cross Entropy에 대해서 소개를 해보고자 합니다. 스포일러 Cross Entropy는 Information Theory라는 학문에서 나온 개념입니다. 오늘 글에서는 Information Theroy 이야기를 여기저기에서 하게 될 것입니다. 그런데 Machine Learning에서 Cross Entropy를 사용하는 목적은 원래 Information Theory에서 Cross Entorpy를 만든 목적과 ..

그래서 LLM이 Foundation Model이야?Large Language Model을 다시 요약하면 이렇습니다.Text 데이터를 엄청나게 모은다.이 데이터를 Language Model에게 보여준다.Language Model이 주어진 텍스트의 다음 단어를 예측하도록 훈련시킨다.Language Model의 결과(Decoder의 예측)를 다시 Language Model의 입력으로 넣으면 (auto-regressive) 긴 길을 지을 수 있다.결국 Language Model 하는 일은 다음 단어 예측, 그리고 더 길게 하면 글쓰기입니다. 이런 Language Model이 Large Language Model 됐다고 NLP Foundation Model의 역할을 할 수 있을까요? Yes, No로 대답하기는 어..

스포일러! 2편은 다른 편에 비해 다소 기술적인 내용이 많습니다.Large Language ModelLanguage Model이 커지면 뭘까요? 바로 Large Language Model입니다. 하지만 무작정 크게 만들 수는 없습니다. 아래 세가지 문제 때문입니다.훈련 데이터 : 엄청 많은 데이터가 필요합니다.알고리즘 : 기존보다 엄청 강력한 알고리즘이 필요합니다.컴퓨팅 파워 : 엄청 많은 그리고 좋은 컴퓨터가 필요합니다.우리가 LLM을 만들고 있다는 것은 이 문제들이 어느 정도 해결이 됐다는 뜻이겠지요?(이 세가지는 전통적인 Machine Learning에서 Deep Learning으로 넘어갈 수 있었던 요인이기도 합니다. 앞으로 더 강력한 Machine Learning 기법이 나오더라도 반복될것이고요..