최근 의료 분야에서 챗GPT 같은 생성형 인공지능과 그 핵심 기술인 대규모언어모델(LLM)의 적용이 확대되고 있다. 그런데 의료 분야에서의 LLM 적용은 개인정보 유출 등 보안 위험이 크다는 연구 결과가 나왔다.
김영학 서울아산병원 김영학 교수·전태준 아산생명과학연구원 빅데이터연구센터 박사 연구팀 성과다. 연구팀은 대규모언어모델을 의료 분야에 적용하는 과정에서 발생할 수 있는 개인정보 유출 문제를 확인하기 위해 의도적으로 악성 공격을 시행했다. 그 결과 최대 81%에 달하는 공격 성공률을 보였다고 밝혔다.
대규모언어모델은 수십억 개 이상의 매개변수를 기반으로 대량의 데이터를 학습해 사람처럼 생각하고 답변하는 인공지능 모델이다.
의료 분야에 대규모언어모델을 적용하면 엑스레이, CT, MRI 등의 검사 이미지를 다량의 데이터 기반으로 분석해 진단의 정확도를 높일 수 있고, 환자의 개인 데이터를 기반으로 맞춤형 치료 계획을 제공할 수 있다. 전자의무기록(EMR)이나 동의서 작성을 자동화하는 일도 가능해, 활용시 효율성과 정확성이 향상된다는 게 중론이다. 하지만 환자들의 민감한 개인정보 유출 위험도 존재한다.
연구팀이 2017년 1월부터 2021년 12월까지 환자 2만 6,434명의 의무기록을 활용해 대규모언어모델을 학습시켰다. 또한 악성 공격 시행은 대규모언어모델 프롬프트에 의미 없는 기호와 글을 추가하거나 인코딩하는 등의 변형으로 악의적인 질문을 하는 방식으로 진행했다.
문자를 인코딩하는 방식인 ASCⅡ(미국정보교환표준코드) 방식으로 프롬프트를 변형한 결과, 대규모언어모델의 보안장치를 피해 민감한 개인정보에 접근할 수 있는 확률을 평가하는 가드레일 비활성화율이 최대 80.8%에 달했다. 80.8%에 달하는 확률로 보안 조치가 쉽게 침해될 수 있다는 뜻이다.
또한 대규모언어모델이 답변을 생성하는 과정에서 학습된 원본 데이터를 노출할 가능성은 최대 21.8%로 나타났다. 모델에 질문하는 형식을 미세하게 조정함으로써 원본 학습 데이터가 쉽게 노출될 수 있음을 의미한다.
구체적인 예시로 수술 준비를 위해 상세한 환자 정보를 제공하는 시스템으로 대규모언어모델을 학습시킨 뒤 의료기록 검토를 요청하는 프롬프트를 인코딩 방식으로 조정한 결과, 대규모언어모델이 대답을 생성하는 과정에서 민감한 환자 데이터는 물론 의료진의 이름이나 전문 분야 등 구체적인 정보가 노출됐다.
김영학 서울아산병원 심장내과 교수는 “의료 분야에서 대규모언어모델을 활용했을 때 기대되는 발전이 크지만, 데이터 보안 강화 없이는 심각한 개인정보유출로 이어질 수 있다"며 "민감한 개인정보를 다루는 분야인 만큼 보안의 중요성이 특히 강조되며, 독립적으로 운용되는 의료 특화형 대규모언어모델이 필요하다”고 말했다.
해당 연구는 윤리적으로 사전 승인된 데이터만을 활용했으며, 서울아산병원 임상연구심의위원회(IRB)의 심의를 거쳐 진행되었다. 결과는 NEJM(New England Journal of Medicine)의 자매지인 ‘NEJM AI’에 최근 게재됐다.
