청귤파파의 테크로그

Emergent Ability:작은 언어 모델에는 존재하지 않지만 큰 모델에서 발생하는 능력으로, 이전 Pretrained LM 들과 구분되는 LLM 만의 두드러지는 특징1. Emergent Abilities일반적으로 머신러닝 기반의 학습 모델은 특정한 작업을 수행하도록 명시적으로 훈련된다. 그러나, LLM에서는 크기나 학습 데이터의 양이 일정 수준을 넘어서면 명시적으로 학습되지 않은 작업을 수행할 수 있는 능력이 갑자기 생겨난다. 지금에서야 LLM에 few-shots 형태로 원하는 task instruction을 주입하는 것이 일반화되었으나, 당시에는 이러한 발현 능력 (창발 현상) 이 매우 특별한 LLM 만의 특징이었다.1.1 왜 발생하는가?모델 파라미터의 수가 증가할수록 더 복잡한 패턴과 관계를 학..

본 글에서는 LLM 등장 이후 RAG 시스템에서의 BM25 관점에서 기술하였습니다.1. Search의 종류1.1. BM25 란 무엇인가?BM25는 NLP 분야 중 정보 검색(IR, Information Retrieval) 분야에서 문서와 쿼리 간 관련성을 계산하는 랭킹 알고리즘이다. 검색 엔진에서 자주 사용되며, 유명한 TF-IDF(Term Frequency-Inverse Document Frequency)를 확장한 형태이다. TF-IDF와 마찬가지로 BM25 또한 term 기반의 검색 방식이라고 볼 수 있고, 단어의 빈도와 중요도를 고려하여 문서와 쿼리의 유사도를 계산하는 방식이다.1.2. Vector SearchVector Search(Dense Retrieval, Semantic Search) 는 ..