딥페이크가 금융 부문에 다가오고 있습니다.
사진이나 음성을 사용하여 고객의 신원을 확인하는 기업들은 제너레이티브 AI로 시스템을 교묘하게 조작하는 악의적인 공격에 대비하고 있습니다.
딥페이크는 소셜 미디어, 선거, 공공 부문에서 오랫동안 우려를 불러일으켜 왔습니다. 그러나 이제 기술의 발전으로 인공지능을 이용한 음성과 이미지가 그 어느 때보다 생생하게 구현되면서 딥페이크로 무장한 악의적인 공격자들이 기업을 노리고 있습니다.
"사기 전화는 항상 들어오고 있었습니다. 하지만 이제 이러한 [AI] 모델이 전화로 누군가에게 무언가를 하라고 지시하는 개인의 실제 음성 패턴을 모방할 수 있다는 것은 완전히 새로운 종류의 위험입니다."라고 New York Life의 최고 정보 책임자인 Bill Cassidy는 말합니다.
은행과 금융 서비스 제공업체는 가장 먼저 표적이 된 기업 중 하나입니다. "이 분야는 매우 빠르게 움직이고 있습니다."라고 KPMG의 미국 사이버 부문 리더인 카일 카펠은 말합니다.
이달 초 OpenAI가 15초 분량의 영상에서 사람의 목소리를 재현할 수 있는 기술을 선보였을 때 그 속도가 얼마나 빠른지 알 수 있었습니다. Open AI는 오용의 잠재적 위험에 대해 더 많이 알기 전까지는 이 기술을 공개하지 않겠다고 밝혔습니다.
금융 서비스 회사에서 고객을 인증하고 계좌에 대한 액세스 권한을 부여하는 데 사용하는 음성 인증 소프트웨어를 악의적인 공격자가 AI로 생성된 음성을 사용할 수 있다는 우려도 있습니다. 체이스 은행은 최근 실험 중에 AI가 생성한 음성에 속아 넘어간 적이 있습니다. 은행은 거래 및 기타 금융 요청을 완료하려면 고객이 추가 정보를 제공해야 한다고 말했습니다.
신원 확인 플랫폼 Sumsub의 최근 보고서에 따르면 핀테크 분야의 딥페이크 사고는 2023년에 전년 대비 700% 증가했습니다.
기업들은 AI를 기반으로 한 공격자의 증가에 대비하기 위해 더 많은 보호 장치를 마련하기 위해 노력하고 있다고 말합니다. 예를 들어 캐시디는 뉴욕 라이프의 벤처 캐피털 그룹과 협력하여 딥페이크에 대응하기 위해 설계된 스타트업과 새로운 기술을 파악하고 있다고 말했습니다. "많은 경우, 이러한 제너레이티브 AI 위협에 대한 최선의 방어책은 반대편에 있는 또 다른 형태의 제너레이티브 AI입니다."라고 그는 말했습니다.
시몬스 은행의 최고 디지털 책임자인 알렉스 카릴레스는 악의적인 공격자들이 AI를 이용해 가짜 운전면허증 사진을 생성하여 온라인 계좌를 개설할 수 있기 때문에 일부 신원 확인 프로토콜을 변경하고 있다고 밝혔습니다. 이전에는 은행에서 온라인 계좌를 개설하기 위해 고객이 운전면허증 사진을 업로드하는 단계가 있었습니다. 이제 AI로 운전면허증 이미지를 쉽게 생성할 수 있게 되면서 은행은 보안 공급업체 IDScan.net과 협력하여 프로세스를 개선하고 있습니다.
카릴레스는 이제 고객이 기존 사진을 업로드하는 대신 은행 앱을 통해 운전면허증을 촬영한 다음 셀카를 찍어야 한다고 말했습니다. 다른 사람의 얼굴이 AI로 생성된 화면으로 카메라를 들이대는 상황을 피하기 위해 앱은 사용자에게 왼쪽, 오른쪽, 위 또는 아래를 보라고 지시하는데, 일반적인 AI 딥페이크는 반드시 그렇게 할 수 있는 준비가 되어 있지 않기 때문입니다.
카릴레스는 사용자에게 좋은 경험을 제공하는 것과 공격자가 빠져나갈 수 있을 정도로 매끄러운 프로세스를 만드는 것 사이에서 균형을 잡는 것은 어려울 수 있다고 말합니다.
모든 은행이 경종을 울리고 있는 것은 아닙니다. 키뱅크의 CIO인 에이미 브래디는 이 은행이 음성 인증 소프트웨어 도입에 있어서는 기술 후발주자였다고 말합니다. 하지만 지금은 딥페이크의 위험을 고려할 때 다행이라고 생각한다고 Brady는 말합니다.
브래디는 더 나은 사칭 방지 도구가 나오기 전까지는 음성 인증 소프트웨어를 도입할 계획이 없다고 말했습니다. "때로는 후발주자가 되는 것이 이득이 될 때도 있습니다."라고 그녀는 말했습니다.