논문4

• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models 논문 개요제목: Time-LLM: Time Series Forecasting by Reprogramming Large Language Models (ICLR 2024)링크: arXiv핵심 제안:사전 학습된 LLM을 활용한 시계열 데이터 예측(Time Series Forecasting)을 위한 TimeLLM 방법론 제안.서로 다른 모달리티(Time-series data와 Natural language)를 Patch Reprogramming으로 정렬(align).모델의 추론 능력을 강화하기 위해 Prompts-as-Prefix 방식으로 자연어 기반 가이드 제공.주요 내용1. TimeLLM 구조Patch Reprogramming:시계열 데이터는 단일 스칼라 값으로 의미가 부족하므로 여러 시점의 데이터를 패치로.. 논문 2024. 11. 22.

• Paper Review: DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction OverviewDIN-SQL은 Text-to-SQL 태스크에서 복잡한 질의를 처리하기 위해 단계별 접근법을 제안한 논문입니다. 기존의 Text-to-SQL 모델이 복잡한 쿼리를 생성하는 데 어려움을 겪는 점을 해결하기 위해, DIN-SQL은 다음과 같은 4단계 프레임워크를 설계했습니다:Schema Linking: 질의와 데이터베이스 스키마(테이블 및 열)를 연결.Classification & Decomposition: 쿼리를 난이도에 따라 분류하고, 복잡한 쿼리는 작은 서브쿼리로 분해.SQL Generation: 분류된 난이도에 따라 SQL 쿼리를 생성.Self-Correction: 생성된 쿼리를 검토 및 수정.이 프레임워크는 SPIDER 데이터셋에서 최고 성능을 기록하며, 복잡한 쿼리에 특히 강력한 성.. 논문 2024. 11. 22.

• 논문 리뷰: DoLa - Decoding by Contrasting Layers Improves Factuality in Large Language Models (ICLR 2024 Poster) 개요DoLa(Decoding by Contrasting Layers)는 Open-source LLM에서 최종 Layer와 중간 Layer의 Token Probability 차이를 활용하여 Hallucination을 완화하고 Factuality를 개선하는 혁신적인 디코딩 방법론입니다.Information Retrieval(IR)나 추가 Fine-tuning 없이, Model Forwarding 과정에서의 연산 변경만으로 성능 개선을 달성했습니다.주요 내용제안 방법Transformer 모델의 각 Layer는 서로 다른 Token Probability 분포를 생성합니다.DoLa는 최종 Layer의 Mature Token Probability와 중간 Layer의 Premature Token Probability.. 논문 2024. 11. 22.

• Query Rewriting for Retrieval-Augmented Large Language Model PaperQuery Rewriting for Retrieval-Augmented Large Language Model0 AbstractRAG LLM을 위해 새로운 프레임워크인 Rewrite-Retrieval-Read가 제안된다.리트리버 또는 리더기 중 하나를 적응시키는데 초점을 맞춘 이전 연구와 달리 이 접근 방식은 검색 쿼리 자체의 적응에 집중한다.파이프라인에 대해 학습 가능한 체계가 제안되며, 여기서 블랙박스LLM 판독기를 충족시키기 위해 학습 가능한 재작성기로 Small Language Model이 채택되었다.Rewriter는 강화학습에 의해 LLM 판독기의 피드백을 사용하여 훈련된다.다운스트립 작업에 대한 실험은 일관된 성능 향상을 보여주며, 이는 프레임워크의 효율성과 확장성을 나타낸다.1 Int.. 논문/RAG 2024. 7. 22.