2026
Towards Robustness against Typographic Attack with Training-free Concept Localization
Bohan Liu, Wenqian Ye, Guangzhi Xiong, Zhenghao He, Sanchit Sinha, Aidong Zhang
이미지에 그려진 텍스트가 모델이 보는 것을 결정해서는 안 됩니다. 우리는 주입된 단어를 읽는 소수의 CLIP 어텐션 헤드를 학습 없이 찾아내고, 이들을 재가중치하거나 제거합니다. RTA-100(ViT-H/14)에서 객체 정확도 +22.8점을 추론 비용 거의 없이 달성하며, 5개 백본에서 지도 학습 및 무학습 방어를 능가합니다.
MM-SPUBench: Towards Better Understanding of Spurious Biases in Multimodal LLMs
Wenqian Ye, B Liu, G Zheng, D Wang, X Cao, Y Ma, B Lai, JM Rehg, A Zhang
멀티모달 LLM의 허위 편향 벤치마크: 정답이 허위 단서(배경, 텍스트 오버레이, 동시출현)와 무관하도록 짝지은 이미지 세트. 강력한 MLLM이 지름길에 크게 의존함을 밝혀, 편향 인식 평가와 완화를 촉구합니다.
Attention-guided Fine-tuning of Multimodal Large Language Models Improves Chain-of-Thought Reasoning
S Sinha, G Xiong, B Liu, Z He, A Zhang
arXiv Jun 2026 논문 ↗
멀티모달 LLM의 가중치가 아닌 일부 어텐션 맵만 미세조정해도 사고연쇄(CoT) 추론이 향상됩니다. 어텐션 유도 업데이트는 모델 지식을 보존하며 '보는 곳'을 조절해, 전체 미세조정 비용의 일부로 ChartQA와 CoT 벤치마크를 끌어올립니다.
Toward Faithful Retrieval-Augmented Generation with Sparse Autoencoders
G Xiong, Z He, B Liu, S Sinha, A Zhang
RAG 모델은 생성 시 검색된 근거를 종종 무시합니다. 희소 오토인코더로 생성 행동을 분해하고, 충실성을 담당하는 특징을 찾아 조종합니다 — 기반 모델 재학습 없이 귀속과 근거성을 개선합니다.
SAGE: Spuriousness-Aware Guided Prompt Exploration for Mitigating Multimodal Bias
W Ye, D Wang, G Zheng, B Liu, A Zhang
프롬프트 수준의 멀티모달 편향 방어: SAGE는 프롬프트의 '허위 인식' 정도를 추정하고, 유도된 프롬프트 변형을 탐색해 모델이 데이터셋 지름길이 아닌 진짜 시각 내용에 의존하게 만듭니다.
Reasoning Beyond Chain-of-Thought: A Latent Computational Mode in Large Language Models
Z He, G Xiong, B Liu, S Sinha, A Zhang
사고연쇄가 LLM이 추론하는 유일한 방법은 아닙니다. 어떤 토큰도 생성되기 전에 은닉 상태 안에서 완료되는 잠재 계산 모드를 발견하고, 잠재 계산이 명시적 CoT를 능가하는 조건을 특징짓습니다.
2025
UrbanIR: Large-Scale Urban Scene Inverse Rendering from a Single Video
CH Lin, B Liu, YT Chen, KS Chen, D Forsyth, JB Huang, A Bhattad, et al.
한 번의 캐주얼한 동영상으로부터 대규모 도시 장면 역렌더링: 도시를 알베도, 기하, 일시적 조명으로 분해해, 기존 단일 이미지 방법을 훨씬 뛰어넘는 사실적인 재조명과 편집을 가능하게 합니다.
2022
Online Classifier of AMICA Model to Evaluate State Anxiety While Standing in Virtual Reality
G Liao, S Wang, Z Wei, B Liu, R Okubo, ME Hernandez
AMICA EEG 특징 기반 온라인 분류기가 가상현실에 서 있을 때의 상태 불안을 감지합니다 — 낙상 예방과 VR 치료에 응용 가능한 실시간 모니터링입니다.