둔진의 소프트웨어 이야기

  • 홈
  • 태그

peft 1

LLM : Fine Tuning & LoRA

들어가며LLM 이야기를 접하다보면 필수적으로 따라오는 용어 중에 Fine Tuning이라는 것이 있습니다. 우리 말로는 미세조정이라고 번역합니다. 오늘은 Fine Tuning이 무엇이고, 왜 LLM 이야기에 빠지지 않고 등장하는지에 대해 이야기해보려고 합니다.Pre-trained ModelFine Tuning에 대해서 이해하려면 Pre-trained Model을 먼저 이야기해야합니다. https://jins-sw.tistory.com/48 에서 Foundation Model이라는 측면의 LLM 이야기를 한 적이 있는데 참고하셔도 좋을 듯 합니다.예를 들어 어떤 이메일이 스팸인지 아닌지 판단하다는 자연어처리 기능을 만든다고 생각해보겠습니다. 전통적으로 하던 방법은 다음과 같습니다.이메일 데이터를 많이 많이..

Deep Learning 2023.11.12
이전
1
다음
더보기
프로필사진

둔진의 소프트웨어 이야기

자연어처리, 인공지능, 파이썬, 소프트웨어 개발 이야기를 다룹니다.

  • 분류 전체보기
    • Python
    • Linux
    • Deep Learning
    • IT 이야기

Tag

NLP, 자연어처리, word embedding, GPT, fasttext, Deep Learning, pytorch, tensorflow, DEEPLEARNING, sys.path, word vector, transformer, LLM, Linux, Large Language Model, 파이썬, keras, ChatGPT, Python, Foundation Model,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/05   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바