인공지능(AI) 시스템의 보안 위협 및 오류 해결에 대한 연구
|
| 인공지능과 사이버 보안, 정보보안 및 개인정보보호 논문 |
|
(사)한국인터넷정보학회
2026년도 춘계 학술발표대회
|
❖ 일시 : 2026. 5. 07(목) ~ 08(토)
❖ 장소 : 제주도 서귀포시, 휘닉스아일랜드
❖ 연구회 발표일 : 2026년 5월 07일(금)
|
|
|
 |
|
 논문 주제 인공지능(AI) 시스템의 보안 위협 및 오류 해결에 대한 연구 |
|
| 영문명 A study on security threats and error resolution in artificial intelligence (AI) systems. |
|
| 논문 저자 공병철 Byung Chul Gong, 남혁우 NAM HYEUK WOO, 공민지 GONG MIN JI |
|
 1. 서 론 |
|
 인공지능(AI)은 인공적인 의사결정으로 정의된다. AI는 데이터를 분석하고, 패턴을 식별하며, 미래 사건을 예측하는 데 사용될 수 있으며, 사이버 공격을 탐지하고 예방하는 데에도 활용되고 있다.
사이버 보안은 디지털 공격으로부터 핵심 시스템과 민감한 정보를 보호하는 것이 목표이며, AI 시스템을 활용하여 네트워크 트래픽을 분석하고 서로 다른 데이터 문자열이 동일한 비정상적인 패턴으로 접근되는지 여부를 판단함으로써 사이버 공격과 같이 인간이 쉽게 알아차리기 어려운 패턴을 감지하는 등 점점 더 복잡해지는 사이버 공격에 대하여 인공지능(AI)은 기업이 방어 체계를 강화하고 사이버 범죄를 더 효과적으로 분석할 수 있도록 지원하고 있다.
세계경제포럼(WEF)이 발간한 Global Risks Report 2026 에서는 가장 빠르게 증가하는 사이버 위험으로 'AI 관련 취약성'을 꼽았으며 AI가 사이버 공격 세력과 방어 세력 양측의 역량을 모두 변화시키며 새로운 '사이버 군비 경쟁'을 촉진하고 있다고 분석했다.
본 연구는 인공지능(AI) 시스템에 대한 보안 위협 위협을 완화시키기 위한 위험전략은 AI 시스템을 사용하거나 개발하는 조직의 신뢰도 향상에도 도움이 될 수 있으며, 기술이 빠르게 발전하고 혁신됨에 따라 AI 시스템에서 새롭게 발생하는 보안 취약점과 오류들에 대한 지속적인 보안 목표 평가 방법론에 대한 연구의 적용 방법을 살펴보고자 한다. |
|
| 2. 관련 연구 |
|
2.1 AI 시스템에 대한 주요 보안 위협
생성형 AI 기술을 악용한 피싱, 딥페이크, 사기 행위 등 AI 기반 위협 고도화와 지경학적 대립 심화에 따라 국가 기반 시설 및 공급망을 노리는 사이버 테러와 국가 지원 해킹 그룹의 활동 증가 등 사이버 위협이 단기 및 장기 모두에서 핵심 위험으로 자리 잡았으며, 기술적인 문제를 넘어 비즈니스 연속성을 위협하는 구조적 위험으로 진화하고 있다.
AI 시스템은 기존의 모든 사이버 보안 취약점, 익스플로잇 및 공격과 데이터 조작 및 AI 모델 입력 조작과 같은 새로운 위협에도 노출되어 있으며, 전반적인 사이버 보안 위협 환경이 진화함에 따라 AI 시스템 자체에 특화된 위협이 아닌 다른 위협으로부터 AI 시스템을 보호해야 할 필요성은 지속적인 과제가 되고 있다.
AI 보안(Security) 전략은 외부의 사이버 공격‧침해행위 등으로 인한 AI 시스템 손상, 탈취 등 무결성, 기밀성, 가용성을 저해하는 행위로부터 AI 시스템을 보호하기 위한 AI 보안 위협(Security Threat)을 구분하고, AI 보안 위협 예방·대응을 위한 보안 요구사항들을 우선적으로 마련하여야 한다.
2.2 인공지능(AI) 시스템을 위한 위험평가
생성형 및 에이전틱 AI가 비즈니스 운영을 변혁하는 상황에서 AI 시스템과 관련된 위험을 평가하기 위한 역량기반 위험평가(Capabilities-Based Risk Assessment, CBRA)는 AI의 기능이나 결과물만을 평가하는 전통적인 방식과 달리, AI 구현의 시스템적 및 현황(맥락)적 역량을 고려한 확장 가능한 위험 관리 접근법을 제공한다.
CBRA는 AI 시스템을 시스템 중요도(System Criticality), AI 자율성(AI Autonomy), 접근 권한(Access Permissions), 영향 반경(Impact Radius) 등 이 네 가지 요소의 조합은 시스템의 기술적 능력과 잠재적 영향을 모두 반영하는 종합 위험 점수를 산출하며 네 가지 곱셈 차원을 기반으로 평가하게 된다. 이러한 위험 기반 계층화를 통해 AI 보안, 규정 준수, 거버넌스 팀은 정적인 분류가 아닌 실제 위험 노출 수준에 따라 제어 수위를 조정할 수 있게 한다.
2.3 AI 보안 프레임워크
AI 시스템 보안(Security) 목표는 AI 기술을 안전하게 보호하고 신뢰할 수 있는 방식으로 운영되도록 보장하는 데 있다. 이 목표는 AI 시스템이 외부 공격, 데이터 유출, 시스템 오작동 등 다양한 보안 위협에 대응할 수 있도록 설계되고 유지되는 것을 의미한다. 조직은 AI 보안 프레임워크(Security Framework) 수립을 위한 관리체계를 구축해야 한다. |
|
| 3. 결 론 |
|
범용 인공지능(General-purpose AI)의 급격한 발전에 따라 AI가 수학, 코딩, 과학 분야에서 인간 전문가 수준의 역량을 갖추게 되었으나, AI 시스템이 여전히 허위 정보를 생성하거나 악의적 이용, 시스템 오작동, 데이터 오염, 프롬프트 주입 및 탈옥, 모델 역전 및 개인정보 유출, 공급망 공격 등 물리적 세계와 상호작용하는 데 한계와 불균형한 성능 문제 등 그에 따른 잠재적 위험성을 분석할수 있는 기술적 방법론 연구가 필요한 시점이다.
향후 연구에서는 GAI를 활용한 인공지능(AI) 시스템의 오류 분석을 위한 솔루션 개발 방법론을 위한 세부적인 방법론을 제시하고자 한다.
|
|
|
|
 |
|
|
공병철_AI_시스템의_보안_위협_및_오류_해결.pdf
인공지능(AI) 시스템의 개인정보 보호 위험관리에 대한 연구