둔진의 소프트웨어 이야기

  • 홈
  • 태그

zero-shot 1

LLM : In-Context Learning, 남은 이야기들

그래서 LLM이 Foundation Model이야?Large Language Model을 다시 요약하면 이렇습니다.Text 데이터를 엄청나게 모은다.이 데이터를 Language Model에게 보여준다.Language Model이 주어진 텍스트의 다음 단어를 예측하도록 훈련시킨다.Language Model의 결과(Decoder의 예측)를 다시 Language Model의 입력으로 넣으면 (auto-regressive) 긴 길을 지을 수 있다.결국 Language Model 하는 일은 다음 단어 예측, 그리고 더 길게 하면 글쓰기입니다. 이런 Language Model이 Large Language Model 됐다고 NLP Foundation Model의 역할을 할 수 있을까요? Yes, No로 대답하기는 어..

Deep Learning 2023.04.12
이전
1
다음
더보기
프로필사진

둔진의 소프트웨어 이야기

자연어처리, 인공지능, 파이썬, 소프트웨어 개발 이야기를 다룹니다.

  • 분류 전체보기
    • Python
    • Linux
    • Deep Learning
    • IT 이야기

Tag

word vector, 파이썬, GPT, NLP, pytorch, DEEPLEARNING, Python, tensorflow, Linux, transformer, fasttext, keras, Foundation Model, Large Language Model, 자연어처리, LLM, ChatGPT, Deep Learning, sys.path, word embedding,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/05   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바