[논문 리뷰] Lookback Lens: Detecting and Mitigating Contextual Hallucinations in Large Language Models Using Only Attention Maps

핵심 아이디어어텐션 기반 환각 탐지기존 연구들이 주로 모델의 내부 은닉 표현이나 출력 텍스트 간 추론 모델을 활용해 환각을 탐지한 반면 Transformer의 어텐션 맵에 주목모델이 생성 시 입력 문서를 얼마나 참고하고 있는지를 나타내는 룩백 비율이라는 새로운 특징량을 도입해 복잡한 내부 상태 분석 없이도 환각을 효율적으로 포착.인간에게도 직관적인 지표(모델이 문맥에 집중했는지)라는 점에서 결과 해석이 용이경량 선형 분류기 – Lookback Lens룩백 비율 특징을 입력으로 사용하는 로지스틱 회귀 모델을 구축하여 환각 여부를 이진 분류단순한 분류기만으로도, 복잡한 최첨단 기법과 동등하거나 그 이상의 탐지 성능을 달성소량의 데이터로도 훈련 가능하고 추론 속도가 빠른 경량 해법으로, 현실 적용에 유리범용성..

• format_list_bulleted 카테고리 없음
• · 2025. 4. 11.
• textsms

[논문 리뷰] From Pixels to Graphs: Open-Vocabulary Scene Graph Generation with Vision-Language Models

PreliminaryScene Graph GenerationScene Graph Generation의 목적은 visual relationships $\mathcal{R}=\{r_{ij}\}_{i\neq j}$와 $N^{v}$ entities $\mathcal{V}\{v_{i}\}^{N^{v}}_{i=1}$로 구성된 scene graph $\mathcal{G}_{sg}=\{\mathcal{V}_{e},\mathcal{R}\}$ 를 생성하는 것이다.relation triplet $r_{ij}=(\mathbf{v}_{i},c^{e}_{ij},\mathbf{v}_{j})$는 predicate category $c^{e}_{ij}$로 표기된 $i$번째와 $j$번째 entities 사이의 relationship을 ..

• format_list_bulleted Paper
• · 2025. 4. 3.
• textsms

[논문 리뷰] Fine-Grained Scene Graph Generation with Data Transfer

IntroFull MechanismInternal Data TransferConfusion pair discovery : specify confused predicate pairs as potential general-informative pairs for given subject and object classes.Transfer Pair Judgement : judge whether the candidate pair is validTriplet Transfer : transfer data from the selected general predicate class to the corresponding informative oneConfusion Pair DiscoveryRelation이 subject와 ..

• format_list_bulleted Paper
• · 2025. 4. 2.
• textsms

Stanford CS229: Machine Learning | Lecture 17 강의 정리

Stanford에서 2018년 가을학기에 열린 Andrew Ng 교수의 CS229 머신러닝 강의의 대부분의 내용을 번역 정리한 글입니다.Course : Stanford CS229: Machine Learning Full Course taught by Andrew Ng | Autumn 2018Course 소개 : CS229는 기계 학습과 통계적 패턴 인식에 대한 포괄적인 소개를 제공합니다. 지도 학습(생성적/판별적 학습, 모수/비모수 학습, 신경망, 서포트 벡터 머신); 비지도 학습(클러스터링, 차원 축소, 커널 메소드); 학습 이론(편향/분산 트레이드오프, 실용적인 조언); 강화 학습 및 적응 제어에 대한 강의를 다룹니다. 또한 기계 학습의 최근 응용에 대해 논의되며, 로봇 제어, 데이터 마이닝, 자율 ..

• format_list_bulleted CS229
• · 2024. 11. 19.
• textsms

Stanford CS229: Machine Learning | Lecture 16 강의 정리

Stanford에서 2018년 가을학기에 열린 Andrew Ng 교수의 CS229 머신러닝 강의의 대부분의 내용을 번역 정리한 글입니다.Course : Stanford CS229: Machine Learning Full Course taught by Andrew Ng | Autumn 2018Course 소개 : CS229는 기계 학습과 통계적 패턴 인식에 대한 포괄적인 소개를 제공합니다. 지도 학습(생성적/판별적 학습, 모수/비모수 학습, 신경망, 서포트 벡터 머신); 비지도 학습(클러스터링, 차원 축소, 커널 메소드); 학습 이론(편향/분산 트레이드오프, 실용적인 조언); 강화 학습 및 적응 제어에 대한 강의를 다룹니다. 또한 기계 학습의 최근 응용에 대해 논의되며, 로봇 제어, 데이터 마이닝, 자율 ..

• format_list_bulleted CS229
• · 2024. 11. 17.
• textsms

Stanford CS229: Machine Learning | Lecture 15-2 강의 정리

Stanford에서 2018년 가을학기에 열린 Andrew Ng 교수의 CS229 머신러닝 강의의 대부분의 내용을 번역 정리한 글입니다.해당 강의는 공식 재생목록에서 누락된 강의로 아래 링크를 통해 확인하실 수 있습니다.Course : Stanford CS229: Machine Learning Full Course taught by Andrew Ng | Autumn 2018Course 소개 : CS229는 기계 학습과 통계적 패턴 인식에 대한 포괄적인 소개를 제공합니다. 지도 학습(생성적/판별적 학습, 모수/비모수 학습, 신경망, 서포트 벡터 머신); 비지도 학습(클러스터링, 차원 축소, 커널 메소드); 학습 이론(편향/분산 트레이드오프, 실용적인 조언); 강화 학습 및 적응 제어에 대한 강의를 다룹니다..

• format_list_bulleted CS229
• · 2024. 11. 15.
• textsms

Stanford CS229: Machine Learning | Lecture 15 강의 정리

Stanford에서 2018년 가을학기에 열린 Andrew Ng 교수의 CS229 머신러닝 강의의 대부분의 내용을 번역 정리한 글입니다.Course : Stanford CS229: Machine Learning Full Course taught by Andrew Ng | Autumn 2018Course 소개 : CS229는 기계 학습과 통계적 패턴 인식에 대한 포괄적인 소개를 제공합니다. 지도 학습(생성적/판별적 학습, 모수/비모수 학습, 신경망, 서포트 벡터 머신); 비지도 학습(클러스터링, 차원 축소, 커널 메소드); 학습 이론(편향/분산 트레이드오프, 실용적인 조언); 강화 학습 및 적응 제어에 대한 강의를 다룹니다. 또한 기계 학습의 최근 응용에 대해 논의되며, 로봇 제어, 데이터 마이닝, 자율 ..

• format_list_bulleted CS229
• · 2024. 11. 15.
• textsms

Stanford CS229: Machine Learning | Lecture 14강의 정리

Stanford에서 2018년 가을학기에 열린 Andrew Ng 교수의 CS229 머신러닝 강의의 대부분의 내용을 번역 정리한 글입니다.Course : Stanford CS229: Machine Learning Full Course taught by Andrew Ng | Autumn 2018Course 소개 : CS229는 기계 학습과 통계적 패턴 인식에 대한 포괄적인 소개를 제공합니다. 지도 학습(생성적/판별적 학습, 모수/비모수 학습, 신경망, 서포트 벡터 머신); 비지도 학습(클러스터링, 차원 축소, 커널 메소드); 학습 이론(편향/분산 트레이드오프, 실용적인 조언); 강화 학습 및 적응 제어에 대한 강의를 다룹니다. 또한 기계 학습의 최근 응용에 대해 논의되며, 로봇 제어, 데이터 마이닝, 자율 ..

• format_list_bulleted CS229
• · 2024. 11. 14.
• textsms

Stanford CS229: Machine Learning | Lecture 13 강의 정리

Stanford에서 2018년 가을학기에 열린 Andrew Ng 교수의 CS229 머신러닝 강의의 대부분의 내용을 번역 정리한 글입니다.Course : Stanford CS229: Machine Learning Full Course taught by Andrew Ng | Autumn 2018Course 소개 : CS229는 기계 학습과 통계적 패턴 인식에 대한 포괄적인 소개를 제공합니다. 지도 학습(생성적/판별적 학습, 모수/비모수 학습, 신경망, 서포트 벡터 머신); 비지도 학습(클러스터링, 차원 축소, 커널 메소드); 학습 이론(편향/분산 트레이드오프, 실용적인 조언); 강화 학습 및 적응 제어에 대한 강의를 다룹니다. 또한 기계 학습의 최근 응용에 대해 논의되며, 로봇 제어, 데이터 마이닝, 자율 ..

• format_list_bulleted CS229
• · 2024. 11. 13.
• textsms

Stanford CS229: Machine Learning | Lecture 11 & 12 강의 정리

Stanford에서 2018년 가을학기에 열린 Andrew Ng 교수의 CS229 머신러닝 강의의 대부분의 내용을 번역 정리한 글입니다.Course : Stanford CS229: Machine Learning Full Course taught by Andrew Ng | Autumn 2018Course 소개 : CS229는 기계 학습과 통계적 패턴 인식에 대한 포괄적인 소개를 제공합니다. 지도 학습(생성적/판별적 학습, 모수/비모수 학습, 신경망, 서포트 벡터 머신); 비지도 학습(클러스터링, 차원 축소, 커널 메소드); 학습 이론(편향/분산 트레이드오프, 실용적인 조언); 강화 학습 및 적응 제어에 대한 강의를 다룹니다. 또한 기계 학습의 최근 응용에 대해 논의되며, 로봇 제어, 데이터 마이닝, 자율 ..

• format_list_bulleted CS229
• · 2024. 11. 13.
• textsms