발전기금
-
-
- [연구] 보안공학연구실(지도교수: 김형식), ACM Conference on Computer and Communications Security (CCS’25), Best Poster Award 수상
- 보안공학 연구실 (지도교수: 김형식, https://seclab.skku.edu)의 조예나(학부과정) 학생과 김형식 교수가 진행한 "Poster: Scalable Privacy-Preserving Linear Regression Training via Homomorphic Encryption" 논문이 보안 분야 최우수 컨퍼런스 중 하나인 ACM Conference on Computer and Communications Security (CCS’25)에서 Best Poster Awards를 수상했습니다. (41편 중 2편 (~4.9%)에 수여함.) 해당 연구는 암호화된 데이터 환경에서도 효율적으로 선형회귀 모델을 학습할 수 있는 새로운 프로토콜을 제안합니다. CKKS 기반의 PP-LR(Privacy-Preserving Linear Regression) 프로토콜을 개발하여, 기존 동형암호를 활용한 학습 방식의 높은 계산 비용 문제를 해결했습니다. PP-LR은 특징 단위 병렬화와 조건부 부트스트래핑 기법을 사용해 암호화된 상태에서의 경사하강법을 효율적으로 수행할 수 있습니다. 그 결과, 기존 동형암호 구현 대비 최대 15.7배 빠른 학습 속도를 달성하면서도, 평문 학습 모델 대비 정확도 오차 0.2% 이내를 유지했습니다.
-
- 작성일 2025-11-05
- 조회수 282
-
- [연구] 자연어처리연구실(NLP lab, 지도교수: 고영중), EMNLP 2025의 Main Track(long paper)에 논문 2편 게재
- 자연어처리연구실(NLP lab, 지도교수: 고영중)의 논문 2편이 인공지능 및 자연어처리 분야의 Top-tier 국제학술대회인 EMNLP 2025(The 2025 Conference on Empirical Methods in Natural Language Processing)의 Main Track(long paper)에 게재되었습니다. 논문: ECO Decoding: Entropy-Based Control for Controllability and Fluency in Controllable Dialogue Generation, Main Track (long paper) (인공지능학과 석사과정 신승민, 인공지능학과 박사과정 김두영) 논문 요약: 본 연구에서는 기존의 속성 제어 연구 방법론 중 하나인 가중치 기반 생성(Weighted Decoding)에서 엔트로피 기반의 동적인 가중치를 활용하는 방법을 제안합니다. 가중치 기반 생성 방법은 생성 AI의 확률 분포에 각 토큰이 생성될 경우 제어하고자 하는 속성으로 분류될 확률 분포를 결합하여 최종 확률 분포를 계산합니다. 따라서 생성 AI의 추가적인 학습 없이 속성 분류기만을 학습하여 최소한의 학습으로 속성을 제어할 수 있으며, plug-and-play 방식으로 효율적인 활용이 가능합니다. 기존의 가중치 기반 생성 방법은 두 확률 분포의 가중치를 실험적으로 선택하지만, 이러한 방식은 경우에 따라 생성 품질을 저하하거나 속성 제어가 잘 이뤄지지 않을 수 있습니다. 이러한 문제를 해결하기 위해서는 응답에 생성되는 과정에 따라 동적으로 가중치를 할당할 수 있어야 합니다. 본 연구에서는 이러한 동적인 가중치를 할당하기 위해 각 확률 분포의 엔트로피를 활용하였습니다. 엔트로피는 확률 분포의 불확실성을 정량화하는 값입니다. 엔트로피가 높은 경우 선택 가능한 합리적인 토큰 후보가 많고, 엔트로피가 낮은 경우 선택 가능한 토큰이 제한적이라는 점에서 착안하여 엔트로피에 반비례하는 동적인 가중치를 설계하였습니다. 2가지 대화 데이터셋에서 다양한 베이스라인 가중치 기반 생성 기법에 동적인 가중치를 적용한 결과, 추가적인 학습 과정 없이도 높은 생성 품질을 유지하면서 속성 제어가 가능함을 실험적으로 증명하였습니다. 또한 다양한 모델 사이즈에서도 모두 성공적인 제어 결과를 확인할 수 있었습니다. 또한 기존의 가중치 기반 생성 기법에서 다루기 어려웠던 다중 속성 제어 환경에서도 성공적인 성능 향상을 달성할 수 있었습니다. Abstract: Controllable Dialogue Generation (CDG) enables chatbots to generate responses with desired attributes, and weighted decoding methods have achieved significant success in the CDG task. However, using a fixed constant value to manage the bias of attribute probabilities makes it challenging to find an ideal control strength that satisfies both controllability and fluency. To address this issue, we propose ECO decoding (Entropy-based COntrol), which dynamically adjusts the control strength at each generation step according to the model’s entropy in both the language model and attribute classifier probability distributions. Experiments on the DailyDialog and MultiWOZ datasets demonstrate that ECO decoding consistently improves controllability while maintaining fluency and grammaticality, outperforming prior decoding methods across various models and settings. Furthermore, ECO decoding alleviates probability interpolation issues in multiattribute generation and consequently demonstrates strong performance in both single- and multi-attribute scenarios. 논문: Decoding Dense Embeddings: Sparse Autoencoders for Interpreting and Discretizing Dense Retrieval, Main Track (long paper) (인공지능학과 석사과정 박성완, 인공지능학과 석사과정 김택림) 논문 요약: 밀집 문서 검색(Dense Passage Retrieval, DPR)은 우수한 성능을 보이지만, dense embedding의 불투명성으로 인해 검색 결과에 대한 설명 가능성과 신뢰성에 한계가 있습니다. 본 연구는 희소 오토인코더(Sparse Autoencoder, SAE)를 활용하여 DPR의 dense embedding을 해석 가능한 latent concept로 분해하고, 각 concept에 대해 대규모 언어 모델(LLM)을 이용해 자연어 설명을 생성하는 새로운 해석 프레임워크를 제안하고, 다양한 정성적·정량적 실험을 통해 DPR 모델에 대한 SAE 기반 해석의 타당성과 효과성을 검증하였습니다. 더불어, 기존 단어 기반 sparse retrieval 대신, latent concept를 정보 검색 단위로 활용하는 Concept-Level Sparse Retrieval (CL-SR) 구조를 제안하였습니다. 이는 sparse retrieval의 효율성과 해석 가능성을 유지하면서도 dense retrieval 수준의 표현력과 의미적 강건성을 동시에 활용할 수 있는 구조로, 기존 sparse 모델에 비해 높은 검색 효율성과 정확도를 보였으며, 의미 불일치 상황에서도 우수한 성능을 유지하였습니다. Abstract: Despite their strong performance, Dense Passage Retrieval (DPR) models suffer from a lack of interpretability. In this work, we propose a novel interpretability framework that leverages Sparse Autoencoders (SAEs) to decompose previously uninterpretable dense embeddings from DPR models into distinct, interpretable latent concepts. We generate natural language descriptions for each latent concept, enabling human interpretations of both the dense embeddings and the query-document similarity scores of DPR models. We further introduce Concept-Level Sparse Retrieval (CL-SR), a retrieval framework that directly utilizes the extracted latent concepts as indexing units. CL-SR effectively combines the semantic expressiveness of dense embeddings with the transparency and efficiency of sparse representations. We show that CL-SR achieves high computational and storage efficiency while maintaining robust performance across vocabulary and semantic mismatches. 고영중 교수: yjko@skku.edu, nlp.skku.edu, 자연어처리연구실: nlplab.skku.edu
-
- 작성일 2025-10-30
- 조회수 441
-
- [연구] 인공지능융합학과 박은일 교수 연구팀, ICCV 2025 - ABAW VA Estimation Challenge 우승
- 인공지능융합학과 박은일 교수 연구팀, ICCV 2025 - ABAW VA Estimation Challenge 우승 ▲(왼쪽부터) 성균관대 이유빈 박사과정생, 이상은 졸업생(現 ETRI 연구원), 박채원 석사과정생, 차준엽 박사과정생, 박은일 교수 우리 대학 인공지능융합학과 박은일 교수 연구팀이 세계 최고 권위의 인공지능(컴퓨터 비전) 학술대회인 ICCV 2025 (International Conference on Computer Vision)에서 개최된 ABAW (Affective Behavior Analysis in the Wild) / Valence-Arousal Estimation Challenge에서 1위를 차지했다고 밝혔다. 이번 대회는 2025년 10월 미국 하와이에서 열렸으며, 전 세계 유수 대학과 연구기관이 참가해 영상과 음성 등 비정형 멀티모달 데이터를 활용한 감정 상태 예측 기술을 경쟁했다. ▲ ICCV 2025 - ABAW Valence-Arousal Estimation Challenge에서 1위를 차지하며 수상한 인증서 ▲ ICCV 2025에서 1위 수상 연구를 발표하는 이유빈 박사과정(2025년 10월 20일, 미국 하와이 호놀룰루 컨벤션센터) ABAW 챌린지는 실제 환경에서 수집된 복잡한 멀티모달 데이터를 바탕으로 인간의 감정을 Valence-Arousal(긍정-부정, 활성화-비활성화) 축에서 정밀하게 추정하는 기술력을 평가한다. 특히 올해 대회는 시간적 변화에 대한 이해와 멀티모달 융합의 정교함을 요구해, 실시간 감정 추정 및 인간-인공지능 상호작용 분야의 핵심 벤치마크로 자리잡았다. 박은일 교수 연구팀은 Time-aware Gated Fusion(TAGF) 기반의 정서 인식 프레임워크를 제안해 우수한 성과를 거두었다. 제안된 모델은 BiLSTM 게이팅 메커니즘을 활용하여 시간에 따른 감정 변화를 동적으로 반영하고, 불필요한 잡음을 억제하면서 핵심 정서 단서를 강조함으로써 기존 모델 대비 높은 예측 성능을 달성했다. 이 결과는 실제 환경에서도 안정적이고 해석 가능한 감정 인식이 가능함을 보여주며, 향후 인간-AI 상호작용, 감정 기반 콘텐츠 분석, 정서 지능형 에이전트 개발 등 다양한 응용 분야로 확장될 수 있을 것으로 기대된다. ▲ 시각 및 음성 정보를 융합한 Time-aware Gated Fusion(TAGF) 기반 정서 예측 프레임워크 개략도 이번 성과는 박은일 교수 연구팀이 꾸준히 축적해 온 사용자 이해 기반의 범용 인공지능 기술 연구 역량을 다시 한번 세계적으로 인정받은 사례로 평가된다. 연구팀은 향후 감정 이해를 넘어, 인간의 인지적 맥락과 의도를 정밀하게 해석하는 차세대 정서 지능형 인공지능 기술 개발에 주력할 계획이다. 또한 이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)이 지원하는 인간지향적 차세대 도전형 AI 기술 개발과 딥페이크 연구센터 사업의 일환으로 수행되었으며, ICCV 2025에서 공식 발표되었다. ※ 논문명: Dynamic Temporal Gating Networks for Cross-Modal Valence-Arousal Estimation ※ 저자명: 이유빈(제1저자), 이상은, 박채원, 차준엽(공동저자), 박은일(교신저자) ※ 학술대회: ICCV 2025 (International Conference on Computer Vision)
-
- 작성일 2025-10-30
- 조회수 436
-
- [연구] [차수영 교수] 소프트웨어분석 연구실(SAL), ICSE 2026 논문 게재 승인
- 소프트웨어 분석 연구실 (지도교수: 차수영)의 김민종 학생 (박사과정)의 논문이 소프트웨어공학 분야 최우수 학회인 ICSE 2026 (IEEE/ACM International Conference on Software Engineering)에 게재 승인(Accept) 되었습니다. 해당 논문은 2026년 4월에 브라질 Rio에서 발표될 예정입니다. 본 논문 "Enhancing Symbolic Execution with Self-Configuring Parameters"은 강력한 소프트웨어 테스팅 방법론인 “기호 실행(Symbolic Execution)”의 성능을 높이기 위해, 완전히 자동화된 외부 파라미터 값 조정(external parameter tuning) 기술을 제안한다. 학계나 산업계에서 널리 사용되는 실용적인 기호 실행 도구들은 일반적으로 그 성능에 영향을 끼치는 다양한 외부 파라미터들을 적게는 수십 개에서 많게는 수백 개까지 포함하고 있다. 그러나, 기호 실행을 기존의 파라미터 조정 기술들은 테스트 대상 소프트웨어마다 수작업으로 값을 조정하거나 사용자의 개입을 요구하는 반자동화(Semi-Automatic) 방식만 존재했다. 본 논문에서는 학계에 잘 알려진 두 가지 기호 실행 도구들(KLEE, CREST)에 사용자의 개입이 없이도 적절한 외부 파라미터 값을 자동으로 선정할 수 있는 방법인 ParaSuit를 제안한다. 실험적으로, ParaSuit는 다수의 오픈소스-C 프로그램을 대상으로 기존의 최신 파라미터 조정 기술과 비교해서 분기 커버리지(Branch Coverage)와 오류 검출 능력을 크게 향상시키는데 성공하였다. [논문 정보] - 제목: Enhancing Symbolic Execution with Self-Configuring Parameters - 저자: 김민종, 차수영 - 학회: IEEE/ACM International Conference on Software Engineering (ICSE 2026) Abstract: We present ParaSuit, a self-configuring technique that enhances symbolic execution by autonomously adjusting its parameters tailored to each program under test. Modern symbolic execution tools are typically equipped with various external parameters to effectively test real-world programs. However, the need for users to fine-tune a multitude of parameters for optimal testing outcomes makes these tools harder to use and limits their potential benefits. Despite recent efforts to improve this tuning process, existing techniques are not self-configuring; they cannot dynamically identify which parameters to tune for each target program, and for each manually selected parameter, they sample a value from a fixed, user-defined set of candidate values that is specific to that parameter and remains unchanged across programs. The goal of this paper is to automatically configure symbolic execution parameters from scratch for each program. To this end, ParaSuit begins by automatically identifying all available parameters in the symbolic execution tool and evaluating each parameter’s impact through interactions with the tool. It then applies a specialized algorithm to iteratively select promising parameters, construct sampling spaces for each, and update their sampling probabilities based on data accumulated from symbolic execution runs using sampled parameter values. We implemented ParaSuit on KLEE and assessed it across 12 open-source C programs. The results demonstrate that ParaSuit significantly outperforms the state-of-the-art method without selfconfiguring parameters, achieving an average of 26% higher branch coverage. Remarkably, ParaSuit identified 11 unique bugs, four of which were exclusively discovered by ParaSuit.
-
- 작성일 2025-10-27
- 조회수 520
-
- [연구] 구형준 교수 (SecAI 연구실), ACM Conference on Computer and Communications Security (CCS’25), Distinguished Paper Award 수상
- SecAI 연구실 (지도교수 구형준, https://secai.skku.edu/)에서 Shakhzod 학생 (석사과정)과 전미진 학생 (석사과정)이 연구한 "A Decade-long Landscape of Advanced Persistent Threats: Longitudinal Analysis and Global Trends" 논문이 보안 분야 최우수학회인 ACM Conference on Computer and Communications Security (CCS’25) 학회에서 Distinguished Paper Award를 수상했다. (316편 중 30편 (~9.4%)에 수여함). 해당 논문은 지난 10년 간 (2014–2023) 수집된 총 1,509건의 개별 APT 기술 보고서 (24,215페이지)를 분석하여 603개의 고유한 APT 그룹을 식별하고, 이를 통해 APT 공격의 전반적 양상과 글로벌 트렌드를 거시적 관점에서 분석한다. 이를 위해 기술 보고서를 중심으로 한 세 가지 소스와 위협 행위자 중심의 또 다른 세 가지 소스를 포함한 신뢰할 수 있는 6개 출처와 177개의 관련 뉴스 기사를 활용하였으며, 대용량 문서 처리를 위해 규칙 기반 정보 검색 기법과 대형 언어 모델(LLM) 기반 검색 기법을 결합한 하이브리드 기법을 적용했다. 그 결과, APT 캠페인의 10년간 진화 과정, 사이버 위협 인텔리전스 기록 현황, APT의 공통적 특성, 그리고 정치적 사건, 국제 분쟁, 글로벌 팬데믹 등 외부 요인이 APT 활동에 미치는 영향 등을 종합적으로 분석할 수 있었다. 특히 10년 동안 총 154개국이 APT의 영향을 받았으며, 초기 침입 벡터로는 주로 악성 문서와 스피어 피싱이 사용되었고 2016년 이후 제로데이(zero-day) 취약점 활용이 감소하는 추세를 보였다. 또한, APT의 글로벌 동향을 직관적으로 이해할 수 있도록 APT 지도와 위협 행위자들과 표적 국가들 간의 관계를 보여주는 흐름도를 통해 시각화 자료도 제공한다.
-
- 작성일 2025-10-23
- 조회수 1082
-
- [연구] [구형준 교수] SecAI 연구실, Annual Computer Security Applications Conference 2025 (ACSAC ’25) 논문 게재 승인
- SecAI 연구실 (지도교수 구형준, https://secai.skku.edu) 김민석 학생 (석사과정)의 "Rescuing the Unpoisoned: Efficient Defense against Knowledge Corruption Attacks on RAG Systems" 논문이 보안분야 우수학회인 Annual Computer Security Applications Conference (ACSAC) (ACSAC ’25)에 게재 승인되어 2025년 12월에 발표할 예정입니다. 검색증강생성 (Retrieval-Augmented Generation, RAG) 기술은 대규모 언어 모델의 한계인 환각 현상과 최신 정보 부족 문제를 해결하기 위해 외부 지식베이스를 활용하는 기술로 주목받고 있습니다. 하지만 최근 연구들은 악의적인 공격자가 위키피디아와 같은 공개 지식 소스에 오염된 정보를 주입하여 RAG 시스템이 잘못된 답변을 생성하도록 유도할 수 있음을 보여주었습니다. 기존 방어 기법들은 효과적이지만 각 문서를 개별 검증하거나 별도 모델 학습이 필요해 상당한 계산 비용이 발생하는 한계가 있었습니다. 본 연구에서는 추가적인 언어 모델 추론이나 모델 재학습 없이도 악성 콘텐츠를 효과적으로 탐지하는 RAGDefender를 제안합니다. 핵심 기술은 검색된 문서들 간의 의미적 유사도와 TF-IDF 기반 어휘 패턴을 활용한 2단계 필터링 메커니즘으로, 첫 번째 단계에서는 계층적 클러스터링(single-hop QA) 또는 집중도 분석(multi-hop QA)을 통해 잠재적 악성 문서 수를 추정하고, 두 번째 단계에서는 코사인 유사도 기반 쌍별 순위화와 빈도 점수를 계산하여 악성 문서를 정밀 식별합니다. NQ, HotpotQA, MS MARCO 데이터셋에서 3가지 공격 기법과 6가지 언어 모델(LLaMA, Vicuna, GPT-4o, Gemini)을 대상으로 실험한 결과, 악성 문서가 정상 문서보다 4배 많은 상황에서도 공격 성공률을 0.89에서 0.02로 감소시키며 답변 정확도는 0.21에서 0.73으로 향상시켰습니다. 특히 기존 기법 대비 12.36배 빠른 처리 속도를 달성하면서도 GPU 메모리를 전혀 사용하지 않아, 다양한 RAG 프레임워크와 여러 검색 모델에 즉시 통합 가능한 실용적 방어 솔루션임을 입증했습니다. Abstract: Large language models (LLMs) are reshaping numerous facets of our daily lives, leading to widespread adoption as web-based services. Despite their versatility, LLMs face notable challenges, such as generating hallucinated content and lacking access to up-to-date information. Lately, to address such limitations, Retrieval-Augmented Generation (RAG) has emerged as a promising direction by generating responses grounded in external knowledge sources. A typical RAG system consists of i) a retriever that probes a group of relevant passages from a knowledge base and ii) a generator that formulates a response based on the retrieved content. However, as with other AI systems, recent studies demonstrate the vulnerability of RAG, such as knowledge corruption attacks by injecting misleading information. In response, several defense strategies have been proposed, including having LLMs inspect the retrieved passages individually or fine-tuning robust retrievers. While effective, such approaches often come with substantial computational costs. In this work, we introduce RAGDEFENDER, a resource-efficient defense mechanism against knowledge corruption (i.e., by data poisoning) attacks in practical RAG deployments. RAGDEFENDER operates during the post-retrieval phase, leveraging lightweight machine learning techniques to detect and filter out adversarial content without requiring additional model training or inference. Our empirical evaluations show that RAGDEFENDER consistently outperforms existing state-of-the-art defenses across multiple models and adversarial scenarios: e.g., RAGDEFENDER reduces the attack success rate (ASR) against the Gemini model from 0.89 to as low as 0.02, compared to 0.69 for RobustRAG and 0.24 for Discern-and-Answer when adversarial passages outnumber legitimate ones by a factor of four (4x).
-
- 작성일 2025-10-14
- 조회수 624
-
- [연구] 우사이먼성일 교수 연구실 (DASH연구실), NeurIPS 2025 논문 2편 게재 승인
- DASH연구실 (지도교수: 우사이먼성일)의 논문이 인공지능 분야 우수학회인 NeurIPS2025 (The Thirty-Ninth Annual Conference on Neural Information Processing Systems)에 2편 논문이 게재 승인(Accept) 되었습니다. 논문은 25년 12월 샌디에고 컨벤션 센터에서 발표될 예정입니다. 1. 논문 “Through the Lens: Benchmarking Deepfake Detectors Against Moiré-Induced Distortions”은 소프트웨어학과 Razaib Tariq(소프트웨어학과 박사과정, 공동 제1저자), 인공지능학과 허민지(인공지능학과 석사졸업생, 공동 제1저자), Shahroz Tariq(CSIRO, Data61) 연구원이 저자로 참여했습니다. (교신저자: 우사이먼성일 교수) (Datasets and Benchmarks Track) 본 연구에서는 스마트폰으로 디지털 화면을 촬영할때 발생하는 모아레(Moiré) 아티팩트가 딥페이크 탐지 성능을 저하한다는 문제를 다룹니다. 이를 위해 모아레패턴이 포함된 동영상에 대해 최신 딥페이크 탐지 모델들을 체계적으로 평가하였습니다. Celeb-DF, DFD, DFDC, UADFV, FF++에서 총 12,832개(35.64시간 분량)의 영상을 수집하고, 다양한 디스플레이 스크린, 스마트폰 기종, 조명유무, 카메라 각도 등 실제 사용 조건을 폭넓게 반영하였습니다. 또한 모아레 패턴의 영향을 정밀하게 분석하기 위해, 자체 구축한 DeepMoiréFake(DMF) 데이터셋과 두 가지 합성 모아레 생성 기법을 활용해 추가 실험을 수행했습니다. 실험 결과, 15개의 탐지 모델 전반에서 모아레 아티팩트로 인해 성능이 최대 25.4%까지 저하되었고, 합성 모아레 역시 정확도를 21.4% 감소시켰습니다. 더욱이 완화 방안으로 사용되는 디모아레(모아레 제거) 기법은 오히려 문제를 악화시켜 정확도를 최대 16%까지 낮추는 것으로 나타났습니다. 이러한 결과는 압축, 샤프닝, 블러링 등 다른 현실적 변동 요인과 함께 모아레 왜곡에 견고한 탐지 모델의 필요성을 강조합니다. 본 연구는 DMF 데이터셋을 제시함으로써, 통제된 실험 환경과 실제 딥페이크 탐지 환경 사이의 격차 해소를 위한 벤치마크를 제공합니다. Deepfake detection remains a pressing challenge, particularly in real-world settings where smartphone-captured media from digital screens often introduces Moiré artifacts that can distort detection outcomes. This study systematically evaluates state-of-the-art (SOTA) deepfake detectors on Moiré-affected videos—an issue that has received little attention. We collected a dataset of 12,832 videos, spanning 35.64 hours, from Celeb-DF, DFD, DFDC, UADFV, and FF++ datasets, capturing footage under diverse real-world conditions, including varying screens, smartphones, lighting setups, and camera angles. To further examine the influence of Moiré patterns on deepfake detection, we conducted additional experiments using our DeepMoiréFake, referred to as (DMF) dataset, and two synthetic Moiré generation techniques. Across 15 top-performing detectors, our results show that Moiré artifacts degrade performance by as much as 25.4%, while synthetically generated Moiré patterns lead to a 21.4% drop in accuracy. Surprisingly, demoiréing methods, intended as a mitigation approach, instead worsened the problem, reducing accuracy by up to 16%. These findings underscore the urgent need for detection models that can robustly handle Moiré distortions alongside other real-world challenges, such as compression, sharpening, and blurring. By introducing the DMF dataset, we aim to drive future research toward closing the gap between controlled experiments and practical deepfake detection. 2. 논문 “RUAGO: Effective and Practical Retain-Free Unlearning via Adversarial Attack and OOD Generator”은 소프트웨어학과 이상용(소프트웨어학과 박사과정, 제1저자), 인공지능학과 정상준(인공지능학과 석사과정, 제2저자)연구원이 저자로 참여했습니다. (교신저자: 우사이먼성일 교수) (Main Track) 본 연구에서는 머신 언러닝 분야에서 보존 데이터(retain data)에 접근할 수 없는 환경에서 모델이 특정 데이터를 효과적으로 잊도록 하는 문제를 다루었습니다. 일반적으로 언러닝 과정에서는 잊어야 할 데이터(forget data)를 제거하면서 나머지 데이터의 성능을 유지해야 하지만, 보존 데이터에 접근하지 못할 경우 모델의 성능 저하가 심각하게 발생합니다. 이를 해결하기 위해서 RUAGO(Retain-free Unlearning via Adversarial attack and Generative model using OOD traning)라는 새로운 프레임워크를 제안합니다. RUAGO는 세 가지 핵심 요소를 통해 안정적이고 효과적인 언러닝을 달성합니다. 첫째, Adversarial Probability Module (APM)을 통해 forget data에 대해 단일 클래스(one-hot) 레이블 대신 soft label 기반 adversarial 확률을 사용하여 과도한 언러닝을 방지합니다. 둘째, Out-of-Distribution (OOD) 데이터로 학습된 생성 모델을 활용하여 보존 데이터 없이도 원본 모델의 지식을 보존합니다. 이때 생성된 합성 데이터는 모델의 내부 표현에 근접하도록 모델 인버전(model inversion) 과정을 거쳐 정제됩니다. 셋째, Sample Difficulty Scheduler를 도입하여 쉬운 샘플에서 어려운 샘플로 점진적으로 학습하는 Curriculum Learning 기반 지식 증류 전략을 적용했습니다. 이를 통해 학습 초기의 안정성과 후반의 일반화 성능을 동시에 확보하였습니다. CIFAR-10, CIFAR-100, TinyImageNet, VGGFace2 등의 다양한 데이터셋을 대상으로 실험한 결과, RUAGO는 기존 retain-free 방법들을 크게 능가하며, 보존 데이터를 사용하는 최신 방법들과도 동등하거나 더 우수한 성능을 달성했습니다. 특히 Membership Inference Attack (MIA) 평가에서도 재학습 모델과 유사한 수준의 개인정보 보호 효과를 보여, 정확도와 프라이버시를 동시에 만족하는 효과적인 언러닝 방법임을 입증했습니다. This paper addresses the problem of enabling a model to effectively forget specific data in scenarios where access to the retain data is unavailable in the field of machine unlearning. In general, the unlearning process aims to remove the forget set while maintaining the performance of the retain set. However, when the retain data is inaccessible, the model often suffers from severe performance degradation. To address this challenge, we propose a novel framework called RUAGO (Retain-free Unlearning via Adversarial attack and Generative model using OOD training). RUAGO achieves stable and effective unlearning through three key components. First, the Adversarial Probability Module (APM) mitigates over-unlearning by replacing one-hot labels with soft-label-based adversarial probabilities for the forget data. Second, a generator trained on Out-of-Distribution (OOD) data is employed to preserve the original model’s knowledge without requiring access to the retain data. The synthetic samples generated from the OOD data are further refined through a model inversion process to better align with the internal representations of the model. Third, the Sample Difficulty Scheduler introduces a Curriculum Learning-based knowledge distillation strategy that gradually transitions from easy to hard samples, ensuring both early-stage stability and improved generalization in later training stages. Extensive experiments on diverse datasets on CIFAR-10, CIFAR-100, TinyImageNet, and VGGFace demonstrate that RUAGO significantly outperforms existing retain-free approaches and achieves performance comparable to or better than state-of-the-art retain-based methods. Moreover, evaluation under the Membership Inference Attack (MIA) shows that RUAGO provides a privacy protection level similar to that of retrained model, demonstrating its effectiveness in achieving both high accuracy and strong privacy preservation simultaneously. Feel free to contact us at: https://dash-lab.github.io/ swoo@g.skku.edu
-
- 작성일 2025-10-13
- 조회수 648
-
- [연구] 우홍욱 교수 연구실 (CSI연구실), NeurIPS 2025 논문 3편 게재 승인
- CSI연구실 (지도교수: 우홍욱)의 논문이 인공지능 분야 우수학회인 NeurIPS2025 (The Thirty-Ninth Annual Conference on Neural Information Processing Systems)에 3편 (Spotlight 2편 포함) 논문이 게재 승인(Accept) 되었습니다. 논문은 25년 12월 샌디에고 샌디에고 컨벤션 센터에서 발표될 예정입니다. 1. 논문 “Policy Compatible Skill Incremental Learning via Lazy Learning Interface”은 소프트웨어학과 이대희(석박통합과정), 곽태윤(학사과정), 최원제(박사과정) 연구원이 저자로 참여했습니다. (Spotlight ; top 3.2%) 본 연구에서는 로봇과 인공지능 에이전트가 새로운 스킬을 학습하면서도 기존 정책과의 호환성을 유지하는 스킬 증분 학습(Skill Incremental Learning; SIL) 문제를 다루었습니다. 특히 진화하는 스킬 레퍼토리(evolving skill repertoire) 속에서도 기존 정책의 재학습 없이 신규 스킬을 활용할 수 있도록 하여, 장기적·지속적 학습의 안정성과 효율성을 동시에 달성하는 것을 목표로 합니다. SIL-C는 Lazy Learning(지연 학습) 기반 인터페이스를 통해 고수준 정책이 제시한 하위 과업(subtask)을 적절한 스킬과 동적으로 연결하는 방식을 제안합니다. 이 과정에서 스킬 검증(skill validation)과 스킬 후킹(skill hooking) 메커니즘을 활용하여 기존 정책과 새롭게 학습된 스킬 간 불일치를 최소화합니다. Franka Kitchen과 Meta-World 등 다양한 시뮬레이션 환경 실험 결과, SIL-C는 기존 방법 대비 Backward(과거 정책이 새로운 스킬을 활용) 및 Forward(새로운 스킬이 미래 정책에 활용) 호환성을 모두 확보했습니다. 특히 제한된 시연(few-shot) 상황에서도 성능을 최대 두 배 가까이 향상시켜, 지속적 학습 환경에서도 효율적이고 강건한 정책 실행이 가능함을 입증했습니다. 2. 논문 “Towards Reliable Code-as-Policies: A Neuro-Symbolic Framework for Embodied Task Planning” 은 소프트웨어학과 안상현 (석사과정), 최원제 (박사과정), 이준용 (학사과정), 인공지능학과 박진우 (석사과정) 연구원이 저자로 참여했습니다. (Spotlight ; top 3.2%) 본 연구에서는 로봇이 부분관찰 환경에서도 신뢰성 있는 정책 코드를 생성할 수 있도록 하는 신경-심볼릭(Neuro-symbolic) 프레임워크 NeSyRo를 제안했습니다. 기존 Code-as-Policies(CaP) 방식의 환경적합성(grounding) 문제를 해결하여, 동적 환경에서도 안정적 정책 실행을 가능하게 하는 것이 목표입니다. NeSyRo는 verification과 validation단계를 재귀적으로 결합해 코드의 논리적 타당성과 환경 실행 가능성을 모두 확보합니다. 또한 Neuro-Symbolic Confidence (NeSyConf)를 통해 스킬의 실행 가능성을 평가하고, 낮을 경우 재귀적으로 안전한 탐색(Safe Probe)을 생성하여 누락된 관찰을 보완합니다. RLBench 및 실제 로봇 실험 결과, NeSyRo는 기존 방법 대비 성공률 46.2% 향상, 실행 가능성 86.8% 이상을 달성했습니다. 또한 장기 과제에서도 기존 접근법이 10% 이하에 머무는 반면 52.5% 성공률을 기록하며, 비가역적 실패를 크게 줄였습니다. 특히 잠긴 서랍이나 어두운 방과 같은 불완전 관찰 상황에서도 안전 탐색으로 관찰을 보완하고 정책 코드를 보정하여, 강건하고 신뢰성 있는 장기 로봇 계획을 입증했습니다. 3. 논문 “NeSyPr: Neurosymbolic Proceduralization For Efficient Embodied Reasoning” 은 소프트웨어학과 최원제 (박사과정), 김주영 (석사과정) 연구원이 저자로 참여했습니다. 본 연구는 언어모델 기반의 에이전트가 외부 심볼릭 도구 없이도 구조적이고 적응적인 추론을 수행할 수 있도록 하는 NeSyPr (Neurosymbolic Proceduralization) 프레임워크를 제안합니다. 이 연구는 인간의 지식 절차화(proceduralization) 과정을 모방하여, 심볼릭 도구가 산출한 행동 계획을 언어모델이 활용할 수 있는 절차적 기억으로 변환함으로써 외부 도구 없이도 효율적인 추론을 가능하게 합니다. 학습 단계에서는 심볼릭 도구의 지식을 절차 메모리로 변환 및 축적하고, 실행 단계에서는 이를 뉴럴 네트워크 기반의 언어 모델과 통합하여 빠르고 일반화된 추론을 수행합니다. 실행 중, 환경에서의 성공과 실패 경험을 지속적으로 절차 기억에 축적하고 이를 비교·대조함으로써, 에이전트가 올바른 절차를 강화하고 잘못된 절차는 억제하여 새로운 상황에도 유연하게 적응합니다. NeSyPr은 PDDLGym, VirtualHome, ALFWorld 세 가지 벤치마크에서 평가되었으며, 기존 대규모 추론 모델과 비교했을 때는 훨씬 작은 언어모델로도 더 높은 성공률과 짧은 지연 시간을 달성했고, 심볼릭 플래너와 비교했을 때는 새로운 환경 변화에 훨씬 더 잘 적응하는 성능을 보여주었습니다. CSI 연구실은 Embodied Agent, Reinforcement Learning, Self-Learning 기술을 활용하여 네트워크, 클라우드 시스템 최적화 연구와 로봇, 드론 자율주행 연구 등을 수행하고 있습니다. 우홍욱 | hwoo@skku.edu | CSI Lab | https://csiagentgroup.com
-
- 작성일 2025-10-01
- 조회수 942
-
- [연구] 우사이먼성일 교수 연구실 (DASH Lab): CIKM (Full: 3편/Short: 3편), ACMMM (3편), ICCV (3편) 등의 학회에 총 12편 논문 게재 승인, 2 Workshops, & 1 Tutor
- 우사이먼성일 교수 연구실 (DASH Lab)의 딥페이크 탐지/생성, 머신 언러닝, 객체인식, 이상 탐지, 워터마킹등의 연구를 CIKM (Full: 3편/Short: 3편), ACMMM (3편), ICCV (3편) 데이터마이닝/멀티미디어/비전 BK 우수 학회에 총 12편을 게재 예정. 또한, ACM AsiaCCS (WDC)와 ACM CCS (3D-Sec)에 딥페이크관련 국제 워크숍 개최와, 2025 ICIP에서 딥페이크 탐지관련 Tutorial을 진행. 논문1. “FakeChain: Exposing Shallow Cues in Multi-Step Deepfake Detection”은 인공지능학과 허민지(석사졸업생)이 제1저자로 게재하였습니다. (교신저자: 우사이먼성일 교수) - CIKM 2025, Research track (Full) 본 논문은 딥페이크 탐지 모델이 단일 조작 방식만을 학습했을 경우, 여러 단계의 변조를 순차적으로 거친 다단계(manipulation steps) 딥페이크에 얼마나 취약한지를 분석하고자 합니다. 기존 연구들은 보통 하나의 조작 방식(예: FaceSwap, GAN, Diffusion 등)만을 단독으로 고려했지만, 실제 환경에서는 다양한 생성 방식이 결합된 복합 조작이 등장하고 있습니다. 이 문제를 해결하기 위해, 본 연구는 서로 다른 딥페이크 생성 기법(FaceSwap, GAN 기반 생성, Diffusion 기반 생성 등)을 단계적으로 적용한 1단계, 2단계, 3단계 딥페이크 이미지로 구성된 대규모 벤치마크 데이터셋인 FakeChain을 제안합니다. 총 다섯 가지 기법을 활용하여 생성된 이 데이터셋을 통해, 조작 단계의 깊이, 생성 방식 조합, 이미지 품질 변화가 탐지 성능에 미치는 영향을 체계적으로 분석하였습니다. 실험 결과, 탐지 성능은 마지막 조작 단계에 크게 의존하며, 학습에 사용된 조작 방식과 다를 경우 F1-score가 최대 58.83%까지 하락하는 것을 확인했습니다. 이는 기존 탐지기가 누적된 조작 흔적보다는 최종 조작의 특징에만 의존하고 있음을 의미하며, 일반화 성능의 한계를 드러냅니다.이러한 결과는 복합 조작 이력을 고려하는 탐지 모델의 필요성과, 실제 환경의 복잡성을 반영한 벤치마크 데이터셋(FakeChain)의 중요성을 강조합니다. This paper investigates how deepfake detection models trained only on a single type of manipulation perform when faced with multi-step deepfakes, which have undergone multiple sequential transformations. While previous studies have typically focused on individual manipulation methods such as FaceSwap, GAN-based generation, or Diffusion, real-world scenarios increasingly involve composite manipulations that apply multiple techniques in sequence. To address this challenge, we introduce FakeChain, a large-scale benchmark dataset that includes 1-step, 2-step, and 3-step manipulated face images. These images are generated by sequentially applying different deepfake creation methods, including FaceSwap, GAN-based generation, and Diffusion-based refinement. By using five state-of-the-art generators, this dataset enables a systematic analysis of how manipulation depth, generator combinations, and image quality affect detection performance. Experimental results show that detection models strongly depend on the final manipulation stage. When the final manipulation type differs from the one seen during training, the F1-score drops by up to 58.83 percent. This indicates that existing detectors rely mainly on artifacts introduced in the last step, rather than capturing the cumulative traces of earlier manipulations, which limits their generalization ability. These findings underscore the need for detection models that consider the full manipulation history and highlight the importance of benchmark datasets like FakeChain, which reflect the growing complexity of synthetic media in real-world environments. 논문2. “Seeing Through the Blur: Unlocking Defocus Maps for Deepfake Detection”은 소프트웨어학과 전민선(소프트웨어학과 석사졸업생)이 제1저자로 게재하였습니다. (교신저자: 우사이먼성일 교수) - CIKM 2025, Research track (Full) 생성형 AI의 발달로 합성 이미지가 실제와 구분하기 어려울 만큼 정교해지면서 미디어 신뢰성에 대한 우려가 커지고 있습니다. 이 논문은 이에 대한 새로운 해법으로, 카메라 촬영 과정에서 자연스럽게 발생하는 디포커스 블러(Defocus Blur)에 주목했습니다. 이를 물리적으로 신뢰할 수 있는 단서로 활용해 딥페이크를 탐지하는 방식을 제안합니다. 합성 이미지는 현실의 심도(Depth of Field) 기반 블러 패턴을 제대로 재현하지 못하는 경우가 많습니다. 본 연구는 이러한 차이를 활용해 입력 이미지지에서 Defocus Blur Map을 생성하고 이를 분류기에 적용했습니다. Defocus 모듈은 확장 가능한 구조로 설계되어 다양한 탐지 모델과 쉽게 결합할 수 있으며, feature-level과 model-level을 아우르는 폭넓은 실험을 통해 신뢰성과 해석 가능성을 검증했습니다. 실험 결과, 제안된 방법은 FaceForensics++ 데이터셋에서 AUC 0.998을 달성하며 기존 최첨단 기법을 능가했습니다. 단순한 구조로도 높은 정확도와 해석력을 확보한 이 접근법은 범용성과 확장성을 갖춘 차세대 미디어 포렌식 기술로써 합성 이미지로 인한 신뢰성 위협에 대응할 새로운 가능성을 제시했습니다. With the rapid advancement of generative AI, synthetic images have become nearly indistinguishable from real ones, raising serious concerns about media integrity. This paper introduces a novel solution by focusing on defocus blur, a natural optical phenomenon that occurs during camera capture. By leveraging this physically grounded cue, the method provides a new approach to deepfake detection. Synthetic images often fail to reproduce realistic depth-of-field blur patterns. Building on this observation, the proposed framework generates a defocus blur map from the input image and applies it to standard classifiers. Designed as a modular and extensible component, the defocus module can be easily integrated into various detection systems. The authors conducted comprehensive experiments across both feature-level and model-level analyses, validating the reliability and interpretability of defocus-based detection. Experiments showed that the method achieved an AUC of 0.998 on the FaceForensics++ dataset, surpassing prior state-of-the-art approaches. Despite its simplicity, the framework delivers both high accuracy and interpretability, highlighting its scalability and potential as a next-generation media forensic technology against the growing threat of synthetic content. 논문3. 이 연구는 현대케피코와의 공동연구로 진행되었습니다. “Anomaly Detection for Advanced Driver Assistance System with NCDE-based Normalizing Flow”은 소프트웨어학과 이강준(박사과정), 인공지능학과 김민하(석사졸업생), 전영호(현대케피코 연구원)이 저자로 게재하였습니다. (교신저자: 우사이먼성일 교수) - CIKM 2025, Applied Research track, Full paper (Long) 본 논문은 전기차의 첨단 운전자 보조 시스템(ADAS)에 적용되는 적응형 크루즈 컨트롤(ACC)의 성능을 개선하기 위한 새로운 이상 패턴 탐지 방법론인 GDFlow(Graph Neural Controlled Differential Equation Normalizing Flow)를 제안합니다. 기존의 ADAS는 개발 과정에서 수집된 주행 데이터가 제한적이어서 운전자의 다양한 주행 습관을 모두 반영하지 못하고, 이로 인해 급작스럽거나 지연된 제동이 발생하는 문제가 있었습니다. 또한, 기존에 사용되던 클러스터링 기반의 이상 탐지 알고리즘은 특정 조건에 민감하여 복잡한 실제 주행 환경에 적용하기 어려웠습니다. 이러한 한계를 극복하기 위해 GDFlow는 신경 제어 미분 방정식(NCDE, Neural Controlled Differential Equations)과 정규화 흐름(Normalizing Flow) 기술을 결합하여 정상적인 주행 패턴의 분포를 학습합니다. 이 모델은 차량 센서 데이터의 시공간적 정보를 동시에 포착하여 연속적인 주행 패턴의 변화를 정밀하게 모델링할 수 있습니다. 이를 통해 정상 분포에서 벗어나는 이상(anomalous) 제동 패턴을 효과적으로 식별합니다. 또한, 본 연구는 분위수 기반 최대 가능도(quantile-based maximum likelihood)라는 목적 함수를 도입했습니다. 이 기법은 정상 데이터와 이상 데이터의 경계에 있는 모호한 데이터까지 명확하게 구분할 수 있도록 모델의 학습 능력을 향상시킵니다. 본 연구는 현대 아이오닉 5와 GV80 EV에서 직접 수집한 실제 주행 데이터와 공개된 벤치마크 데이터셋을 통해 GDFlow의 성능을 검증했습니다. 실험 결과, GDFlow는 9개의 최신 이상 탐지 모델들보다 뛰어난 성능을 보였으며, 특히 서로 다른 차종이나 다른 운전자의 데이터에 대해서도 높은 일반화 성능을 입증했습니다. This paper proposes GDFlow (Graph Neural Controlled Differential Equation Normalizing Flow), a novel anomaly detection methodology designed to improve the performance of Adaptive Cruise Control (ACC) in Advanced Driver Assistance Systems (ADAS) for electric vehicles. Existing ADAS faces challenges because the limited and non-diverse driving data collected during development fails to capture a wide range of driver habits, leading to problems such as late or aggressive braking. Furthermore, conventional clustering-based anomaly detection algorithms are often sensitive to specific conditions, making their application in complex, real-world driving environments difficult. To overcome these limitations, GDFlow combines Neural Controlled Differential Equations (NCDE) and Normalizing Flow to learn the distribution of normal driving patterns. The model captures spatio-temporal information from vehicle sensor data, allowing it to accurately model continuous changes in driving patterns. This enables the effective identification of anomalous braking patterns that deviate from the learned normal distribution. Additionally, the study introduces a quantile-based maximum likelihood objective function. This technique enhances the model’s learning capability to clearly distinguish between normal and anomalous data, especially for ambiguous data points at the margin of the distribution. The performance of GDFlow was validated using real-world driving data collected from the Hyundai IONIQ 5 and GV80 EV, as well as on public benchmark datasets. Experimental results demonstrate that GDFlow achieves state-of-the-art performance, outperforming nine baseline models, and shows strong generalization capabilities across different vehicle types and drivers. 논문4. “MU-OT: Effective and Unified Machine Unlearning with Optimal Transport for Feature Realignment” 은 인공지능학과 정상준 학생이 제1 저자로 게재하였습니다. (교신저자: 우사이먼성일 교수) CIKM 2025, Research track, Short paper 이 논문은 머신 언러닝 문제를 다루며, 특정 데이터(Forget Set)의 영향을 제거하면서도 나머지 데이터(Retain Set)에 대한 성능을 유지할 수 있는 새로운 방법인 MU-OT를 제안합니다. MU-OT는 클래스 단위(class-wise) 및 인스턴스 단위(instance-wise) 언러닝을 모두 지원하는 통합적 프레임워크입니다. 본 연구는 머신 언러닝을 특징 분포 정렬(feature distribution alignment) 문제로 재정의하고, 이를 위해 Optimal Transport(OT) 기반의 프레임워크 MU-OT를 도입합니다. Forget Set의 특징 분포를 Retain Set 분포와 정렬시켜 기존의 구조적으로 응집된 패턴을 해체하여 Retain Set 분포에 통합되도록 합니다. 추가적으로, Class-aware 비용함수를 추가하여 동일 클래스 내부 정렬은 억제하고, 클래스 간 정렬을 유도함으로써 언러닝 효과를 강화합니다. 실험 결과, MU-OT는 기존 방법들보다 효과적으로 Forget Set의 영향을 제거하면서도 Retain Set에 대한 높은 정확도를 유지함을 확인했습니다. 결론적으로 MU-OT는 클래스 단위와 인스턴스 단위 언러닝을 모두 지원하는 효율적이고 효과적인 통합적 프레임워크임을 입증합니다. This paper addresses the problem of machine unlearning and proposes a novel method, MU-OT, which effectively removes the influence of specific data (forget Set) while preserving the performance on the remaining data (retain Set). In particular, MU-OT serves as a unified framework that supports both class-wise and instance-wise unlearning. We redefine machine unlearning as a feature distribution alignment problem and introduce an Optimal Transport (OT)-based framework to achieve this. MU-OT aligns the feature distribution of the Forget Set with that of the Retain Set, dispersing the structured patterns originally formed by the Forget Set. In addition, a class-aware cost function is incorporated to discourage intra-class alignment and encourage inter-class alignment, thereby strengthening the unlearning effect. Experimental results demonstrate that MU-OT outperforms existing methods by effectively eliminating the influence of the forget Set while maintaining high accuracy on the retain set. In conclusion, MU-OT provides an efficient and effective unified framework that supports both class-wise and instance-wise unlearning. 1. CIKM#2 찬 논문5. 논문 “Beyond Masking: Landmark-based Representation Learning and Knowledge-Distillation for Audio-Visual Deepfake Detection”은 인공지능학과 박찬(석사과정), M. Shahid Munneer (소프트웨어학과 박사과정)이 저자로 게재하였습니다. (교신저자: 우사이먼성일 교수) - CIKM 2025, Research track, Short paper 본 Beyond Masking 논문은 오디오-비주얼(Audio-Visual) 멀티모달 딥페이크 탐지 방법을 제안합니다. 기존 오디오-비주얼 딥페이크 탐지 방법들이 Academic 데이터셋에서는 우수한 성능을 보이지만 Real-World 딥페이크에서는 성능이 크게 저하되는 도메인 갭 문제를 해결하고자 했습니다. 기존 방법들이 배경 정보나 조명 등 spurious correlation에 영향을 많이 받는다는 것을 통해, 실제 얼굴의 기하학적 특징과 시간적 움직임을 모델링하여 문제를 해결하였습니다. Landmark-based Distillation (LBD)을 통해 비주얼과 오디오의 중간 표현이 각각 얼굴 랜드마크를 예측하도록 하고, 실제 랜드마크를 teacher signal로 사용하여 KL-divergence 계산을 통해 비주얼, 오디오 인코더가 기하학 특징을 더 잘 표현할 수 있는 강화된 특징을 추출하도록 유도하였습니다. 또한, 프레임 수준으로 오디오-비디오 쌍을 대조학습 Multimodal Temporal Information Alignment (MTIA)을 통해 시간적 일관성을 향상시켰습니다. 이를 통해 학술 데이터셋과 Real-World 딥페이크에서 우수한 일반화 성능을 달성했습니다 The paper proposes a multimodal detection method to solve the domain gap problem, where existing audio-visual deepfake detection methods perform well on academic datasets but show degraded performance on real-world deepfakes. This study points out that existing models tend to rely excessively on spurious correlations, such as background or lighting, and to overcome this, it focuses on directly modeling the geometric features and temporal movements of a real face. The core methodologies proposed for this are twofold. First, 'Landmark-based Distillation (LBD)' trains the visual and audio encoders to predict facial landmarks at an intermediate stage, and by using the actual landmarks as a teacher signal to calculate KL-divergence, it guides both encoders to extract geometric features more precisely. Second, 'Multimodal Temporal Information Alignment (MTIA)' applies contrastive learning to audio-video pairs to enhance the temporal consistency between the two modalities. Through this approach, the model in this paper achieved excellent generalization performance not only on academic datasets but also on real-world deepfakes. 논문6. “FASE: Feature-Aligned Scene Encoding for Open-Vocabulary Object Detection in Remote Sensing”은 소프트웨어학과 황현수 (석사과정)이 제1저자로 게재하였습니다. (교신저자: 우사이먼성일 교수) - CIKM 2025, Research track, Short paper 본 논문은 원격 탐사(Remote Sensing, RS) 이미지에서의 오픈 어휘 객체 탐지(open-vocabulary object detection, OVD) 성능을 개선하기 위한 새로운 방법론인 FASE(Feature-Aligned Scene Encoding)를 제안합니다. 기존 방법들은 이미지의 객체 레이블에 대한 텍스트 임베딩을 단순히 평균 내는 방식으로 장면 컨텍스트를 근사화하여, 장면에 존재하는 풍부한 언어적 맥락을 포착하는 데 한계가 있었습니다. 이를 해결하기 위해 FASE는 원격 탐사에 특화된 비전-언어 모델이 생성한 고품질 캡션을 통해 종합적인 장면 표현을 구축합니다. 이후, ' Feature Alignment Module (FAM)'은 이 캡션 임베딩이 시각적 특징과 정밀하게 정렬되도록 유도하여, 모델이 깊은 컨텍스트를 학습하도록 합니다. 특히, 이러한 향상된 장면 인코딩은 훈련 과정에만 적용되므로 추론 비용을 증가시키지 않으면서도 탐지 성능을 크게 향상시키는 장점이 있습니다. 여러 벤치마크를 통한 실험 결과, 제안된 방법은 기존 최고 성능(state-of-the-art) 모델들보다 뛰어난 성능을 보이며 효율성과 효과성을 모두 입증했습니다. This paper proposes a novel methodology, FASE (Feature-Aligned Scene Encoding), for improving the performance of open-vocabulary object detection (OVD) in remote sensing (RS) imagery. Existing methods approximate scene context by simply averaging the text embeddings of object labels, which limits their ability to capture the rich linguistic context present in the scene. To address this limitation, FASE constructs comprehensive scene representations using high-quality captions generated by a vision-language model specialized for remote sensing. Subsequently, a Feature Alignment Module (FAM) guides these caption embeddings to be precisely aligned with visual features, enabling the model to learn deep context. Notably, this enhanced scene encoding is applied only during the training process, which provides the advantage of significantly improving detection performance without increasing inference cost. Experimental results on multiple benchmarks show that the proposed method outperforms state-of-the-art models, proving both its efficiency and effectiveness. 논문7. “SpecXNet: A Dual-Domain Convolutional Network for Robust Deepfake Detection”, Inzamamul Alam (소프트웨어학과 박사과정), Md Tanvir Islam and Simon S. Woo* ACM MM '25: Proceedings of the 33nd ACM International Conference on Multimedia, Dublin, Ireland This paper introduces SpecXNet, a deepfake detector that looks at images in two ways at once: what you can see in pixel space (textures, edges) and what hides in the frequency patterns revealed by a Fast Fourier Transform (FFT). Prior detectors usually commit to just one view either spatial or frequency so they miss subtle artifacts and struggle to generalize to new generators and datasets. SpecXNet tackles that gap by unifying both clues in a single, lightweight architecture. At the heart of SpecXNet are two components. The Dual-Domain Feature Coupler (DDFC) splits features into a local spatial branch and a global spectral branch (via FFT) so the model can capture fine details and long-range periodic traces at the same time. The Dual Fourier Attention (DFA) then fuses those branches, learning when to emphasize spatial cues and when to lean on frequency cues, so the final decision uses the right evidence for each image. The supplementary further motivates the spectral view by showing that different generators leave distinct FFT “signatures,” patterns that are often invisible in raw pixels. 논문8. 제목: PromptFlare: Prompt-Generalized Defense via Cross-Attention Decoy in Diffusion-Based Inpainting 저자: 나호현(지능형 소프트웨어 석사재학생), 홍승후(인공지능학과 박사재학생), 우사이먼성일(교신저자) 학회: ACM MM 2025, Regular track, Full paper 본 논문은 텍스트 입력만으로 이미지를 쉽게 조작하는 생성형 AI 기술의 악용을 막기 위해, PromptFlare라는 혁신적인 방어 프레임워크를 제안합니다. 기존 방어 기술들은 특정 공격 조건에서만 유효하거나, 조작자가 텍스트 프롬프트의 영향력을 강화하면 쉽게 무력화되는 한계가 있었습니다. PromptFlare는 이러한 문제를 해결하여 사용자가 자신의 이미지를 악의적인 조작으로부터 안전하게 보호할 수 있도록 돕습니다. PromptFlare의 핵심은 생성 모델이 텍스트를 이해하는 내부 작동 원리인 크로스-어텐션(Cross-Attention) 메커니즘을 직접 반영하는 새로운 접근법입니다. 이 기술은 공격자의 프롬프트 종류와 무관하게 항상 존재하는, 의미 정보가 없는 시작 토큰(BOS)을 미끼로 활용합니다. 이미지에 특수한 노이즈를 주입하여, 생성 모델이 악의적인 프롬프트의 실제 내용 대신 이 미끼 토큰에만 집중하도록 유도함으로써 어떤 프롬프트가 입력되어도 그 영향력을 무력화합니다. 이를 통해 기존 기술의 한계를 극복하고 예측 불가능한 다양한 공격에 효과적으로 대응하는 프롬프트 일반화 방어를 구현했습니다. 실험 결과, 제안된 PromptFlare 프레임워크는 벤치마크 데이터셋에서 기존 최첨단 기술들을 능가하는 성능을 보였으며, 특히 프롬프트의 영향력을 측정하는 핵심 지표에서 새로운 최고 기록을 달성했습니다. 또한, 조작자가 시도할 수 있는 다양한 방어 우회 시도에도 가장 강건함을 실험적으로 입증하였으며, 이미지 보호에 소요되는 연산 시간과 메모리 사용량을 크게 단축시켜 실용성까지 확보했습니다. 논문9. 이 연구는 호주 CSIRO와 호주 퀸스랜드대학과의 공동연구로 진행되었습니다. From Prediction to Explanation: Multimodal, Explainable, and Interactive Deepfake Detection Framework for Non-Expert Users Shahroz Tariq, PRIYANKA SINGH, Simon S. Woo , Irena Irmalasari, Saakshi Gupta and Dev Gupta ACM MM '25: Proceedings of the 33nd ACM International Conference on Multimedia, Dublin, Ireland Abstract: The proliferation of deepfake technologies poses urgent challenges and serious risks to digital integrity, particularly within critical sectors such as forensics, journalism, and the legal system. While existing detection systems have made significant progress in classification accuracy, they typically function as black-box models offering limited transparency and minimal support for human reasoning. This lack of interpretability hinders their usability in real-world decision-making contexts, especially for non-expert users. In this paper, we present DF-P2E (Deepfake: Prediction to Explanation), a novel multimodal framework that integrates visual, semantic, and narrative layers of explanation to make deepfake detection interpretable and accessible. The framework consists of three modular components: (1) a deepfake classifier with Grad-CAM-based saliency visualisation, (2) a visual captioning module that generates natural language summaries of manipulated regions, and (3) a narrative refinement module that uses a fine-tuned Large Language Model (LLM) to produce context-aware, user-sensitive explanations. We instantiate and evaluate the framework on the DF40 benchmark, the most diverse deepfake dataset to date. Experiments demonstrate that our system achieves competitive detection performance while providing high-quality explanations aligned with Grad-CAM activations. Human evaluation with non-expert participants confirms the perceived usefulness, understandability, and trustworthiness of the generated narratives. By unifying prediction and explanation in a coherent, human-aligned pipeline, this work offers a scalable approach to interpretable deepfake detection advancing the broader vision of trustworthy and transparent AI systems in adversarial media environments. 논문10. 이 연구는 성균관대 허재필 교수님과의 공동연구로 진행되었습니다. 논문명: Translation of Text Embedding via Delta Vector to Suppress Strongly Entangled Content in Text-to-Image Diffusion Models 저자명: Jae-Pil Heo, Simon S. Woo(공동 교신저자), Seunghoo Hong, Eunseo Koh, Tae-Young Kim (인공지능학과 공동 제1저자) International Conference on Computer Vision 2025 (ICCV), Honolulu, Hawaii, United States Text-to-Image (T2I) 확산 모델은 텍스트 프롬프트로부터 고품질 이미지를 생성하지만, 특정 단어와 강하게 얽힌(entangled) 콘텐츠를 억제하는 데 어려움을 겪습니다. 예를 들어, ‘찰리 채플린’ 이미지 생성 시 ‘콧수염 없음’을 명시해도 콧수염이 계속 나타나는 문제가 있습니다. 이 논문은 이러한 문제를 해결하기 위해 텍스트 임베딩 공간을 직접 수정하여 원치 않는 콘텐츠의 영향을 약화시키는 새로운 접근법을 제안합니다. 핵심 아이디어는 ‘델타 벡터(delta vector)’를 도입하여 텍스트 임베딩을 조정하는 것이며, 이 벡터는 별도의 학습 없이(zero-shot) 얻을 수 있습니다. 나아가, 제안하는 Selective Suppression with Delta Vector (SSDV) 기법은 교차 어텐션(cross-attention) 메커니즘에 델타 벡터를 적용하여 원치 않는 콘텐츠가 생성될 특정 영역을 더욱 효과적으로 억제합니다. 실험 결과, 제안된 방법은 기존 방법들을 크게 능가하는 성능을 보였으며, 특히 개인화된 T2I 모델에서도 정밀한 억제가 가능함을 입증했습니다. Text-to-Image (T2I) diffusion models have made significant progress in generating diverse high-quality images from textual prompts. However, these models still face challenges in suppressing content that is strongly entangled with specific words. For example, when generating an image of "Charlie Chaplin", a "mustache" consistently appears even if explicitly instructed not to include it, as the concept of "mustache" is strongly entangled with "Charlie Chaplin". To address this issue, we propose a novel approach to directly suppress such entangled content within the text embedding space of diffusion models. Our method introduces a delta vector that modifies the text embedding to weaken the influence of undesired content in the generated image, and we further demonstrate that this delta vector can be easily obtained through a zero-shot approach. Furthermore, we propose a Selective Suppression with Delta Vector (SSDV) method to adapt the delta vector into the cross-attention mechanism, enabling more effective suppression of unwanted content in regions where it would otherwise be generated. Additionally, we enabled more precise suppression in personalized T2I models by optimizing the delta vector, which previous baselines were unable to achieve. Extensive experimental results demonstrate that our approach significantly outperforms existing methods, both in terms of quantitative and qualitative metrics. 논문11. ※ 논문명: DIA: The Adversarial Exposure of Deterministic Inversion in Diffusion Models ※ 저자명: Simon S. Woo(교신저자), Seunghoo Hong, Geonho Son (인공지능학과 박사과정, 공동 제1저자), Juhun Lee (인공지능학과 박사과정) DDIM의 역변환(inversion) 기능은 실제 이미지를 편집하는 데 유용하게 사용되지만, 악의적인 사용자들이 이를 이용하여 허위 정보나 딥페이크 콘텐츠를 쉽게 만들 수 있는 문제를 낳았습니다. 기존의 방어 기술들은 확산 모델의 반복적인 노이즈 제거 과정과의 목표 불일치로 인해 효과적인 방어 성능을 보여주지 못했습니다. 본 논문에서는 이러한 문제를 해결하기 위해 DDIM의 전체 역변환 경로를 직접 공격하는 새로운 방어 기법인 DDIM Inversion Attack (DIA)를 제안합니다. 실험 결과, DIA는 기존의 방어 방법들보다 다양한 편집 기술에 대해 훨씬 효과적으로 이미지 조작을 방해하는 것을 보여주었으며, 이는 AI 기술의 악용을 막는 실질적인 방어책이 될 수 있음을 시사합니다. Diffusion models have shown to be strong representation learners, showcasing state-of-the-art performance across multiple domains. Aside from accelerated sampling, DDIM also enables the inversion of real images back to their latent codes. A direct inheriting application of this inversion operation is real image editing, where the inversion yields latent trajectories to be utilized during the synthesis of the edited image. Unfortunately, this practical tool has enabled malicious users to freely synthesize misinformative or deepfake contents with greater ease, which promotes the spread of unethical and abusive, as well as privacy-, and copyright-infringing contents. While defensive algorithms such as AdvDM and Photoguard have been shown to disrupt the diffusion process on these images, the misalignment between their objectives and the iterative denoising trajectory at test time results in weak disruptive performance. In this work, we present the DDIM Inversion Attack (DIA) that attacks the integrated DDIM trajectory path. Our results support the effective disruption, surpassing previous defensive methods across various editing methods. We believe that our frameworks and results can provide practical defense methods against the malicious use of AI for both the industry and the research community. 논문12. 이 연구는 Khan교수와의 공동연구로 진행되었습니다. SpecGuard: Spectral Projection-based Advanced InvisibleWatermarking Inzamamul Alam (소프웨어학과 박사과정), Md Tanvir Islam, Khan Muhammad and Simon S. Woo* International Conference on Computer Vision 2025 (ICCV), Honolulu, Hawaii, United States Watermarking embeds imperceptible patterns into images for authenticity verification. However, existing methods often lack robustness against various transformations primar ily including distortions, image regeneration, and adver sarial perturbation, creating real-world challenges. In this work, we introduce SpecGuard, a novel watermarking ap proach for robust and invisible image watermarking. Un like prior approaches, we embed the message inside hid den convolution layers by converting from the spatial do main to the frequency domain using spectral projection of a higher frequency band that is decomposed by wavelet pro jection. Spectral projection employs Fast Fourier Trans form approximation to transform spatial data into the fre quency domain efficiently. In the encoding phase, a strength factor enhances resilience against diverse attacks, includ ing adversarial, geometric, and regeneration-based distor tions, ensuring the preservation of copyrighted information. Meanwhile, the decoder leverages Parseval’s theorem to ef fectively learn and extract the watermark pattern, enabling accurate retrieval under challenging transformations. We evaluate the proposed SpecGuard based on the embedded watermark’s invisibility, capacity, and robustness. Comprehensive experiments demonstrate the proposed SpecGuard outperforms the state-of-the-art models. Workshop 1. The 4th Workshop on the security implications of Deepfakes and Cheapfakes (WDC '25) co-located with ACM ASIACCS 2025 https://sites.google.com/view/wdc-2025/home Workshop 2. The 1st Deepfake, Deception, and Disinformation Security Workshop (3D-Sec) co-located with CCS 2025 Taipei, Taiwan October 2025 https://sites.google.com/view/3d-sec2025/ Tutorial 1. ICIP2025 (Half-Day) Deepfakes From Creation to Detection, and Future Challenges Presenters: Simon S. Woo, Sungkyunkwan University, South Korea https://2025.ieeeicip.org/tutorials/ Congratulations to all authors and students!
-
- 작성일 2025-09-16
- 조회수 1253