청귤파파의 테크로그

이전 포스트에서 RAGAS 논문에 대해 분석하였는데, 논문 이후에 수정된 내용은 주로 공식 문서에서 확인할 수 있기 때문에 추가적으로 어떤 것이 변경되었나 확인해보려고 한다. 문서에는 Evaluation, Metrics 이외에도 Test Data Generation, Knowledge Graph Building, Scenario Generation 등의 과정이 자세히 설명되어 있었으나, 주로 Metrics 부분에 대해 파악해보고 논문과 어떻게 달라졌는지 비교할 예정이다.공식 문서(docs): https://docs.ragas.io/en/stable/github: https://github.com/explodinggradients/ragasPaper-Review: RAGAS: Automated Evalua..

이전에 제텔카스텐 및 Second Brain 에 대한 관심이 있었었다. 결국 나와는 맞지 않는 방법론임을 느껴 더 이상 살펴보고 있지는 않은데, 문득 생각나서 과거에 정리했던 내용을 기록해두려고 한다. 내가 생각하기에 제텔카스텐 및 Second Brain 방법론은 기본적으로 자신의 생각을 빠르게 글로 남길 수 있는 사람, 그리고 부지런한 사람에게 적합한 방법이라고 생각한다. (물론 잘 지켜졌을 때 생각 노드를 연결하는 매우 강력한 방법인 듯 하다.)1. 제텔카스텐이란?제텔카스텐을 살펴보기 전에 메모상자 방식이 무엇인 지 확인해보면 좋을 것 같다. 관련 내용은 나무위키에도 설명되어 있다. 우리는 보통 온라인 메모 혹은 기록을 남길 때 카테고리를 나누어서 어느 카테고리에 해당되는 지를 먼저 파악한 후 글을 ..

RAG 자동 평가 중 잘 알려진 RAGAS 에 대하여 논문과 공식문서를 읽고 정리한 바를 기록해두려고 한다. 우선 첫 번째로 23년 9월에 아카이브에 올라온 RAGAS 논문에 대해 파악한 후, 최근까지 업데이트 되고 있는 공식문서 및 코드 기반으로 한번 더 파악해 볼 예정이다. 이 포스팅은 23년 논문에 대한 내용을 정리하는 것을 목적으로 하며, 이후 업데이트 된 최근 공식문서에서의 내용과 일부 다를 수 있다.논문 링크: https://arxiv.org/abs/2309.15217공식 문서(docs) 정리: RAGAS 공식 문서(docs) 파악하기 [AI] RAGAS 공식 문서(docs) 파악하기이전 포스트에서 RAGAS 논문에 대해 분석하였는데, 논문 이후에 수정된 내용은 주로 공식 문서에서 확인할 수 ..

Mixed Precision 이란?처리속도를 높이기 위한 FP16 과, 정확도 유지를 위한 FP32 를 섞어서 학습하는 방법1. Intro대부분의 LLM 학습 시 기본으로 사용되고 있는 테크닉으로, FP32(Single Precision) 과 FP16(Half Precision) 을 함께 사용하게 될 때 발생하는 오버플로우 혹은 언더플로우 현상을 해결하기 위한 방법이다.2. Floating Point기본적으로 우리가 실수를 표현하는 데 사용하는 방식은 FP32 방식이다. 그 중 제일 많이 쓰는 방식은 1(부호) + 8(지수 - exponent) + 23(가수 - fraction) 의 형태로 총 32bit 를 사용하여 실수를 표현한다. 하지만 메모리 및 계산량을 줄이기 위해서 FP16 을 사용하는 방향을 ..