최윤석 교수 연구실(DLILAB), ACL 2025 논문 1편 게재 승인

데이터 및 언어 지능(Data & Language Intelligence, DLILAB) 연구실의 논문 1편이 세계 최고 권위의 자연어처리 국제학술대회인 ACL 2025 (“2025 Annual Conference of the Nations of the Association for Computational Linguistics”)에 게재 승인되었습니다. 논문은 7월 오스트리아 빈에서 발표될 예정입니다. - Jihyung Lee, Jin-Seop Lee, Jaehoon Lee, YunSeok Choi†, Jee-Hyong Lee†, "DCG-SQL: Enhancing In-Context Learning for Text-to-SQL with Deep Contextual Schema Link Graph", Proceedings of the 2025 Annual Conference of the Association for Computational Linguistics (ACL 2025) († Corresponding Author) 자연어 질문을 SQL 쿼리로 변환하는 Text-to-SQL Task는 대형 언어 모델(LLM)의 In-context learning을 통해 발전해왔습니다. 하지만 기존의 방법들은 무작위로 선택한 Demonstration과 비교해도 성능 향상이 거의 없으며, Llama 3.1-8B와 같은 소형 LLM을 사용할 경우 성능이 크게 하락하는 문제를 보입니다. 이는 현재 방법들이 실제로 유용한 Demonstration을 효과적으로 검색하기보다는, 초대형 LLM의 내재된 능력에 과도하게 의존하고 있습니다. 본 논문에서는 Demonstration을 효과적으로 검색하고 SQL 쿼리를 생성하기 위한 새로운 접근법을 제안합니다. 우리는 질문(Query)과 스키마(Schema) 항목 간의 핵심 정보와 의미적 관계를 포함하는 Deep Contextual Schema Link Graph를 구성합니다. 제안된 방법은 Text-to-SQL 샘플을 효과적으로 표현하고, In-context learning에 유용한 Demonstration을 검색할 수 있도록 합니다. Spider 벤치마크에서의 실험 결과는 제안된 방법의 효용성을 입증하며, 다양한 초대형 LLM뿐만 아니라 소형 LLM에서도 SQL 생성 성능이 향상됨을 보여줍니다. 본 방법은 소형 모델과 초대형 모델 모두에서 효율성과 효과성을 입증했습니다. 최윤석 교수: ys.choi@skku.edu | 데이터 및 언어 지능 연구실: https://dli.skku.edu/

I2SLAB 송인표, 주민준 학생 (지도교수: 이장원), WACV2025 논문 발표

I2SLAB(지도교수: 이장원)의 송인표, 주민준 학생(실감미디어공학과)이 지난 2025년 2월 28일부터 3월 4일까지 미국 애리조나 투손에서 열린 컴퓨터 비전 분야의 대표 국제학회인 WACV 2025 (IEEE/CVF Winter Conference on Applications of Computer Vision)에 참가해 주목할 만한 연구 성과를 발표했다. 이번 학회에서 I2SLAB 연구팀은 웨어러블 360도 카메라를 활용해 사용자의 주변 환경을 인식하고, 시각장애인이 일상에서 마주칠 수 있는 다양한 위험 상황—예를 들어, 도로 위에서의 소매치기, ATM 이용 중 비밀번호를 도청당하는 상황 등—을 탐지할 수 있는 새로운 인공지능 모델을 제안했다. 해당 연구는 시각장애인의 안전한 사회 활동을 지원할 수 있는 기술적 가능성을 제시하며, WACV 2025 참석자들로부터 많은 관심과 긍정적인 평가를 받았다. I2SLAB 연구팀이 발표한 논문의 주요 내용은 다음과 같다. [논문] Inpyo Song, Sanghyeon Lee, Minjun Joo, and Jangwon Lee. “Anomaly detection for people with visual impairments using an egocentric 360-degree camera.” In IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), Feb 2025. [Abstract] Recent advancements in computer vision have led to a renewed interest in developing assistive technologies for individuals with visual impairments. Although extensive research has been conducted in the field of computer vision-based assistive technologies, most of the focus has been on understanding contexts in images, rather than addressing their physical safety and security concerns. To address this challenge, we propose the first step towards detecting anomalous situations for visually impaired people by observing their entire surroundings using an egocentric 360-degree camera. We first introduce a novel egocentric 360-degree video dataset called VIEW360 (Visually Impaired Equipped with Wearable 360-degree camera), which contains abnormal activities that visually impaired individuals may encounter, such as shoulder surfing and pickpocketing. Furthermore, we propose a new architecture called the FDPN (Frame and Direction Prediction Network), which facilitates frame-level prediction of abnormal events and identifying of their directions. Finally, we evaluate our approach on our VIEW360 dataset and the publicly available UCF-Crime and Shanghaitech datasets, demonstrating state-of-the-art performance.

최윤석 교수 연구실(DLILAB), NAACL 2025 논문 4편 게재 승인

데이터 및 언어 지능(Data & Language Intelligence, DLILAB) 연구실의 논문 4편이 자연어처리 분야의 최우수 국제학술대회인 NAACL 2025 (“2025 Annual Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics”)에 게재 승인되었습니다. 논문은 4월 미국 뉴 멕시코에서 발표될 예정입니다. 1. YunSeok Choi, CheolWon Na, Jee-Hyong Lee†, "CoRAC: Integrating Selective API Document Retrieval with Question Semantic Intent for Code Question Answering", Proceedings of the 2025 Annual Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics (NAACL 2025) 자동 코드 질문 응답(AQA)은 코드 스니펫을 분석하여 코드 관련 질문에 대해 정확한 답변을 생성하는 것을 목표로 합니다. 적절한 답변을 제공하려면 코드의 관련 부분을 정확히 이해하고, 질문의 의도를 올바르게 해석해야 합니다. 그러나 실제 환경에서는 질문자가 코드의 일부만 제공하는 경우가 많아 답변을 찾는 데 어려움이 발생합니다. 응답자는 이러한 제한된 정보를 기반으로 적절한 답변을 제공할 수 있어야 합니다. 이를 해결하기 위해 우리는 CoRAC이라는 지식 기반 프레임워크를 제안합니다. CoRAC은 선택적 API 문서 검색과 질문 의미 의도 클러스터링을 통해 이해력을 향상시켜 자동 코드 질문 응답을 지원합니다. 세 가지 실제 벤치마크 데이터셋에서 CoRAC의 성능을 평가했으며, 다양한 실험을 통해 그 효과를 입증했습니다. 또한, CoRAC이 ChatGPT와 같은 대규모 언어 모델에 비해 고품질의 답변을 생성할 수 있음을 보여주었습니다. 2. Suyoung Bae, Hyojun Kim, YunSeok Choi†, Jee-Hyong Lee†, "SALAD: Improving Robustness and Generalization through Contrastive Learning with Structure-Aware and LLM-Driven Augmented Data", Proceedings of the 2025 Annual Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics (NAACL 2025) († Corresponding Author) 이 논문에서는 SALAD (Structure-Aware and LLM-driven Augmented Data)라는 새로운 접근법을 제안합니다. SALAD는 대조 학습(Contrastive Learning)을 위해 구조를 인지하고 반사실적(counterfactual)으로 증강된 데이터를 생성함으로써 모델의 강건성(robustness)과 일반화(generalization)**를 향상시키는 것을 목표로 합니다. 태깅 기반 방식을 사용하여 구조를 인지한 긍정 샘플을 생성하고, 대규모 언어 모델(LLM)을 활용해 다양한 문장 패턴을 가진 반사실적 부정 샘플을 생성합니다. 이를 통해 모델이 주요 문장 구성 요소 간의 구조적 관계를 학습하도록 하며, 부적절한 상관관계(spurious correlations)에 대한 의존을 최소화합니다. 감정 분류(Sentiment Classification), 성차별 탐지(Sexism Detection), 자연어 추론(Natural Language Inference) 세 가지 과제에서 실험을 통해 SALAD의 효과를 검증했으며, 그 결과 SALAD가 다양한 환경에서 모델의 강건성과 성능을 향상시킬 뿐 아니라, 분포 외(out-of-distribution) 데이터셋과 교차 도메인 시나리오에서도 일반화 성능을 강화함을 보였습니다. 3. Suyoung Bae, YunSeok Choi†, Jee-Hyong Lee†, "DeCAP: Context-Aware Prompt Generation for Debiased Zero-shot Question Answering in Large Language Models", Proceedings of the 2025 Annual Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics (NAACL 2025) († Corresponding Author) 대규모 언어 모델(LLMs)은 제로샷 질문 응답(QA) 과제에서 뛰어난 성능을 보이지만, 기존 방법들은 모호한 질문과 명확한 질문 유형 간의 성능 격차가 크며, 주어진 지침이나 내부 지식에 강하게 의존하여 편향 제거 성능(debiasing performance)이 낮다는 한계를 가지고 있습니다. 이를 해결하기 위해, 우리는 DeCAP (Context-Aware Prompt Generation)을 제안합니다. DeCAP은 질문 유형의 차이로 인한 성능 격차를 줄이기 위해 질문 모호성 탐지기(Question Ambiguity Detector)를 활용하고, 중립적인 문맥을 제공하기 위해 중립적 다음 문장 생성기(Neutral Next Sentence Generator)를 사용하여 내부 편향 지식에 대한 의존도를 감소시킵니다. BBQ와 UNQOVER 데이터셋을 사용해 여섯 개의 LLM에 대한 실험 결과, DeCAP이 state-of-the-arts 편향 제거 QA 성능을 달성했으며, 다양한 QA 환경에서 LLM의 공정성과 정확성을 크게 향상시키는 데 효과적임을 입증했습니다. 4. CheolWon Na, YunSeok Choi†, Jee-Hyong Lee†, "Q-FAKER: Query-free Hard Black-box Attack via Controlled Generation", Findings of the 2025 Annual Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics (NAACL 2025 findings) († Corresponding Author) 언어 모델의 취약성을 검증하기 위해 많은 적대적 공격(adversarial attack) 방법들이 제안되었으나, 대부분 다수의 쿼리와 타겟 모델에 대한 정보를 필요로 합니다. 심지어 블랙박스 공격(black-box attack)조차도 타겟 모델의 출력 정보를 요구하며, 이는 타겟 모델이 닫혀있고 접근이 불가능한 하드 블랙박스(hard black-box) 환경에서는 현실적으로 적용이 어렵습니다. 최근 제안된 하드 블랙박스 공격 방법들도 여전히 많은 쿼리를 요구하며, 적대적 생성기를 훈련하는 데 매우 높은 비용이 소요됩니다. 이러한 문제를 해결하기 위해, 우리는 타겟 모델에 접근하지 않고 적대적 예제를 생성하는 효율적인 방법인 Q-faker(Query-free Hard Black-box Attacker)를 제안합니다. Q-faker는 타겟 모델에 접근하지 않기 위해 대리 모델(surrogate model)을 사용하며, 이 대리 모델은 타겟 모델을 속일 수 있는 적대적 문장을 생성합니다. 이 과정에서 제어된 생성 기법(controlled generation techniques)을 활용합니다. 우리는 8개의 데이터셋에서 Q-faker를 평가했으며, 실험 결과, Q-faker가 높은 전이성(transferability)과 높은 품질의 적대적 예제를 생성할 수 있음을 보여주었고, 하드 블랙박스 환경에서의 실용성을 입증했습니다. 최윤석 교수: ys.choi@skku.edu | 데이터 및 언어 지능 연구실: https://dli.skku.edu/

류은석 실감미디어공학과장, 과학기술정보통신부 장관상 수상

실감미디어공학과 류은석 학과장이 메타버스 분야 핵심 인재 양성과 국제협력·표준화로 차세대 기술 발전에 기여한 점을 인정받아 지난 12월 11일(수) 과학기술정보통신부 장관 표창을 수상하였다. 류은석 교수는 2023학년도 2학기 실감미디어공학과 개원 이래 영상처리, 컴퓨터그래픽스, 인공지능 등의 핵심기술을 바탕으로 실감미디어 콘텐츠 기술을 연구/개발하는 것을 목표로 끊임없이 노력하고 있으며, 실감미디어공학과는 과학기술정보통신부의 메타버스융합대학원 사업의 지원으로 우수한 전일제 대학원생을 선발해오고 있다. 한편, 실감미디어공학과는 ICT기술과 콘텐츠를 융합한 교육과정을 운영하며, 소속 대학 학생 전원 인턴십 및 25%에 해당하는 인원에 대한 해외 연구기관 파견 지원 정책 등을 운영하여 미래를 선도하는 글로벌 리더 양성에 힘쓰고 있다.