보안 인사이트

기업 혁신의 중심 생성형 AI, 새로운 공격 표면이 된다

김인순

2025. 4. 3.

기업이 생성형 AI(GenAI) 도입을 서두르고 있다. 오픈AI의 챗GPT, 앤트로픽의 클로드(Claude), 구글의 재미나이(Gemini), 마이크로소프트 코파일럿(Copilot)과 같은 생성형 AI가 기업과 개인 사용자들 사이에서 빠르게 확산 중이다. 업무 효율성을 높이고 혁신적인 서비스 모델을 만들어가는 데 핵심적인 역할을 한다.

우리 정부도 생성AI 활용을 위해 N2SF라는 새로운 보안 체계로 변화하고 있다. 공공기관도 생성형 AI를 도입해 업무를 혁신해야 하기 때문이다.

가트너 보고서에 따르면 2024년 기준으로 기업의 70%가 생성형 AI(GenAI)를 도입했거나 도입을 검토 중인 것으로 나타났다.

생성형 AI, 기업 혁신의 중심에 서다

생성형 AI는 단순한 기술이 아니라 기업 운영 방식 자체를 바꾸는 혁신 도구로 자리 잡고 있다. MIT Technology Review Insights가 발표한 "The Great Acceleration: CIO Perspectives on Generative AI" 리포트에 따르면, CIO(최고정보책임자)들은 생성형 AI가 비즈니스 전반에 걸쳐 AI를 확산시키는 결정적 계기가 될 것으로 보고 있다.

caption - 생성형AI를 활용한 기업용 애플리케이션과 사용사례(자료: MIT 테크놀로지 리뷰 인사이트)

맥킨지(McKinsey)에 따르면, 생성형 AI는 연간 2.6~4.4조 달러의 경제적 가치를 창출할 것으로 예상된다.

AI 도입으로 2040~2060년 사이 현재 인간이 수행하는 절반 이상의 업무가 자동화될 전망이다. AI는 단순히 일자리를 대체하면서 새로운 기회를 창출할 전망이다.

생성형 AI는 비정형 데이터 처리에 강점을 가진다. 기업들은 이를 활용해 숨겨진 데이터를 발굴하고 가치를 창출할 수 있다. 이에 따라 데이터 인프라를 유연하고 확장 가능하게 설계하는 것이 필수적이다.

많은 기업이 챗GPT, 구글 재미나이 같은 외부 AI를 활용하면서도, 기업 데이터 보호 및 IP(지적 재산권) 문제를 우려한다. 일부 기업은 자체 AI 모델 개발을 추진하고 있으며, 특히 오픈소스 모델(LLaMA, Dolly 등)을 활용한 맞춤형 AI 구축에 관심을 보이고 있다.

AI 도입에 대한 우려

기업이 생성형AI를 도입하며 가장 우려하는 것은 기밀 정보를 보호하면서 활용할 수 있느냐는 것이다.

생성형 AI는 자동화, 데이터 분석, 보안 강화, 고객 응대 등 다양한 분야에서 엄청난 효율성 향상을 가져온다. 하지만, 동시에 새로운 보안 위협과 사이버 공격 표면을 확대하는 주요 요인으로 작용한다.

AI 모델 자체의 위험성과 취약성뿐만 아니라 이를 뒷받침하는 인프라에서도 공격 표면이 확대되고 있다. 특히, 많은 AI 모델과 학습 데이터셋이 오픈소스로 공개돼 개발자뿐만 아니라 악의적인 공격자들도 쉽게 접근할 수 있는 환경이다.

AI모델 보안 위협 현실화

최근 연구자들은 오픈소스 생성형 AI 모델과 학습 데이터셋을 제공하는 대표적인 플랫폼인 허깅페이스(Hugging Face)에서 수천 개의 악성 파일을 발견했다.

이 중 일부는 사용자 시스템에 악성 코드를 주입할 수 있는 백여 개의 악성 모델을 포함하고 있다.

해커들이 유전자 검사 기업 23AndMe를 사칭한 가짜 프로필을 설정해 사용자가 손상된 모델을 다운로드하게 유도했다. 이 모델은 AWS 비밀번호를 탈취할 수 있는 기능을 가지고 있었으며, 수천 번 다운로드된 후에야 신고 및 삭제됐다.

또 다른 사례로, ChatGPT의 API에서 취약점이 발견됐다. 연구자들은 단 하나의 HTTP 요청으로 두 개의 응답이 생성되는 이상한 코드 경로를 확인했다. 이 취약점이 해결되지 않는다면 데이터 유출, 서비스 거부(DoS) 공격, 권한 상승 등의 문제를 초래할 수 있다고 경고했다. 또한, ChatGPT 플러그인에서도 취약점이 발견되어 계정 탈취 가능성이 확인됐다.

오픈소스 라이선스와 클라우드 컴퓨팅은 AI 발전을 이끄는 핵심 요소이지만, 동시에 보안 위험을 증가시키는 요인이다. AI 모델 자체의 보안 문제뿐만 아니라, 클라우드 구성 취약점이나 부적절한 로그 모니터링 등 일반적인 인프라 보안 문제도 중요한 위협 요소로 작용하고 있다.

AI모델 자체가 새로운 공격 표면

빅테크와 AI 스타트업이 막대한 자본과 인력을 투입해 AI 모델을 개발했는데, 이를 도난당하거나 역설계(reverse-engineering)될 가능성이 높아지고 있다.

AI 모델에는 민감한 정보가 포함될 수 있으며, 악의적인 조직에게 넘어갈 경우 중요한 기밀이 노출된다. AI챗봇이 기업의 내부 정보를 학습할 경우, 외부 요청에 의해 기밀 정보가 유출될 가능성이 높다.

가장 흔한 모델 도난 방식 중 하나는 모델 추출(Model Extraction) 공격이다. 공격자는 API의 취약점을 이용해 모델에 접근하고, 블랙박스 모델(예: ChatGPT)에서 충분한 데이터를 수집한 후 이를 역설계할 수 있다.

대부분의 AI 시스템은 클라우드 기반으로 운영된다. 클라우드는 AI 모델을 운영하는 데 필요한 확장 가능한 데이터 저장소와 연산력을 제공한다. 접근성이 높아질수록 공격 표면도 커진다. 공격자는 잘못된 접근 권한 설정과 같은 취약점을 악용할 가능성이 높다.

AI 모델을 제공하는 기업은 일반적으로 AI 챗봇과 같은 클라이언트 애플리케이션을 통해 서비스를 제공한다. 만약 API를 통해 사용 모델을 선택할 수 있는 기능이 있다면, 공격자는 이를 악용해 비공개 모델에 접근하려고 시도할 수 있다.

해커는 AI 모델이 잘못된 데이터를 학습하도록 유도해 잘못된 보안 정책을 적용하게 하는 공격 기법을 활용할 수 있다. AI 보안 시스템을 교란하여 공격을 탐지하지 못하게 만드는 방식이다.

기업이 AI 도입 시 고려해야 할 보안 대책은

AI 보호는 단순한 기능적 보안 문제를 넘어, 모델 보호, 공급망 안전성, 그리고 과도한 자율성 제어와 같은 복합적인 요소를 포함한다.

기업들은 AI 개발하거나 도입할 때 보안을 우선순위에 두어야 한다. 레드팀 활동이나 적극적인 보안 테스트를 지속적으로 수행해야 위협을 최소화할 수 있다.

AI를 도입하면서 AI에 높은 권한을 부여하면 보안 리스크가 커진다.

예를 들어, AI 비서가 Microsoft Teams 회의록을 요약하기 위해 OneDrive의 모든 파일에 접근할 수 있다면? 해커가 이 취약점을 악용하여 기밀 데이터를 탈취할 가능성이 높아진다.

기업은 도입 초기는 물론이고 정기적으로 생성형 AI 보안을 점검해야 한다. API 및 모델 보호를 위해 분기별 보안 테스트 수행한다. 오픈소스 모델을 사용할 경우 악성 코드 탐지 및 정밀 분석을 지속해야 한다. AI모델을 운영하는 클라우드 환경과 컨테이너, 네트워크 구성확인도 놓쳐서는 안된다.