Meta Ray-Ban으로 손가락 움직임에서 비밀번호를 훔치는 공격
機械翻訳 / Machine-translated
A
AI Friends
1日前・7分で読める
機械翻訳 / Machine-translated
@aifriends
AI Friends（https://aifriends.jp）のクロスポスト公式アカウント。AIツールの紹介・使い方・できることを、中学生でもわかるやさしい日本語で届けます。
카페에서 맞은편 자리의 사람이 쓴 안경이 사실은 카메라라면 어떻게 하시겠습니까? 텔아비브 대학교 연구자들이 스마트 글라스 영상에서 손가락 움직임을 읽어 스마트폰 비밀번호를 알아내는 방법을 발표했습니다. 이 기사에서는 그 원리와 우리가 할 수 있는 대책을 쉽게 설명합니다.
이번 연구는 arXiv에 공개된 논문 「Watch and Crack」에서 보고되었습니다. 논문은 2026년 9월 6일에 투고되었습니다.
저자는 Yoav Orenbach 씨와 Avishai Wool 씨입니다. ITmedia의 보도에 따르면, 연구 기관은 이스라엘의 텔아비브 대학교입니다.
사용하는 것은 Meta Ray-Ban이라는 스마트 글라스입니다. 겉모습은 평범한 안경이지만 카메라가 달려 있습니다.
공격자는 이 글라스로 스마트폰을 조작하는 사람의 손을 촬영합니다. 영상을 분석해 화면에 입력된 문자를 추측하는 방식입니다.
이러한 엿보기는 예전부터 「숄더 해킹（어깨 너머로 훔쳐보기）」이라고 불려왔습니다. 이번 특징은 뒤에 서지 않아도 맞은편 자리에서 노릴 수 있다는 점입니다.
ITmedia의 해설 기사에 따르면, 공격은 여러 AI를 조합해서 수행합니다.
먼저 이미지 인식 AI（SAM 3）와 손 추적 모델（MediaPipe Hands）로 손끝을 추적합니다. 정밀도는 서브픽셀, 즉 픽셀 하나보다 더 세밀한 단위입니다.
다음으로 3D 신경망（시간의 흐름을 포함해 영상을 보는 AI）이 키를 누르는 순간을 감지합니다.
잘못 입력해서 백스페이스로 수정한 입력도 자동으로 구분해서 제거합니다.
화면이 찍히지 않아도 공격은 성립됩니다. 시프트 키나 배열 전환 키를 누르는 위치로부터 키보드의 범위를 역산하기 때문입니다.
상대방 스마트폰의 기종이나 키보드 앱（Gboard, iOS, Samsung）에 대한 사전 지식도 필요 없다고 합니다. 대문자, 소문자, 숫자, 기호가 섞인 비밀번호에도 대응한다고 합니다.
영상에서 알 수 있는 것은 「이 키를 눌렀을 확률이 높다」는 정보까지입니다. 확실히 특정할 수 있는 것은 아닙니다.
그래서 논문 개요에 따르면, 21억 9천만 건의 유출된 비밀번호 통계를 결합합니다. 사람들이 자주 선택하는 문자 배열을 단서로 후보를 좁혀나가는 것입니다.
예를 들어, 영상에서는 「5 아니면 6」까지밖에 좁히지 못하는 상황에서도 자주 사용되는 배열을 고려하면 어느 쪽이 유력한지 짐작할 수 있습니다.
ITmedia에 따르면, 참가자 16명의 실험에서 전체의 77.8%에서 타건 수 특정에 성공했습니다.
촬영 거리는 최대 1.8m까지 유효했습니다. Pixel 10, iPhone 16, Galaxy A53 세 기종에서 효과가 확인되었습니다.
논문 개요에는 더 구체적인 수치가 있습니다.
기업의 비밀번호 정책에 맞춰 사람이 정한 비밀번호는 최대 16자리여도 수 시간에서 수 일 만에 해독할 수 있다고 합니다.
비밀번호 관리자가 생성하는 무작위 비밀번호도 최대 13자리라면 최신 GPU로 1시간도 걸리지 않습니다.
기존 기준 방법과 비교해 비밀번호의 엔트로피（예측하기 어려움을 나타내는 수치）를 최대 60비트 줄일 수 있었다고 합니다.
ITmedia의 기사에 따르면, 항상 성공하는 것은 아닙니다.
손가락 움직임이 극히 작고 빠르게 입력하는 젊은 사람에게는 정확도가 떨어집니다. 망설이면서 입력하는 사람이나 양손 엄지로 거의 동시에 입력하는 사람도 마찬가지입니다.
이 논문은 실험실에서의 실험입니다. 거리에서 누구나 피해를 입는다는 의미는 아닙니다.
그래도 「손가락 움직임만으로 입력 내용이 추측된다」고 제시한 점에는 큰 의미가 있습니다.
스마트폰 엿보기 대책으로 자주 사용되는 것은 훔쳐보기 방지 필름입니다. 옆이나 비스듬한 각도에서 화면이 보이지 않게 됩니다.
그런데 이번 공격이 노리는 것은 화면이 아니라 손끝입니다. ITmedia의 기사는 필름이나 프라이버시 표시 기능만으로는 손끝의 움직임이 녹화되면 뚫릴 가능성이 있다고 지적합니다.
비교하면 다음과 같이 정리할 수 있습니다.
게다가 안경 형태의 카메라는 주변 사람들이 알아채기 어렵습니다. Gizmodo Japan의 기사도 평범한 안경처럼 보여서 촬영 중임을 알아채기 어렵다고 지적합니다. 촬영 중을 나타내는 램프가 있기는 하지만 이를 알아채는 사람은 많지 않을 것입니다.
한국에서도 출퇴근 지하철이나 카페, KTX 맞은편 좌석 등 스마트폰을 공공장소에서 사용하는 상황은 많습니다.
어떤 직장인이 출장지의 카페에서 노트북을 열고 스마트폰으로 회사 서비스에 로그인하는 상황을 생각해봅시다. 맞은편 자리의 사람이 안경을 쓰고 있다는 것만으로 경계하는 사람은 거의 없을 것입니다.
이 논문에는 대책 제안이 실려 있지 않습니다. 아래는 일반적인 자기 방어 방법이며, 논문의 내용은 아닙니다.
다중 인증이 있으면 비밀번호를 도둑맞더라도 곧바로 부정 로그인이 되지는 않습니다. 먼저 여기부터 설정해 보세요.
이것은 실험실에서의 실험 결과입니다. 다만, 일반적으로 판매되는 스마트 글라스로 성립된다고 제시된 점은 가볍게 볼 수 없습니다.
의미가 없어지는 것은 아닙니다. 다만 ITmedia의 기사는 손끝이 녹화되면 뚫릴 가능성이 있다고 지적합니다. 필름에만 의존하는 것은 위험합니다.
Pixel 10, iPhone 16, Galaxy A53 모두에서 효과가 확인되었습니다. 특정 기종만의 문제가 아닙니다.
네. 시프트 키 등을 누르는 위치로부터 키보드의 범위를 역산하는 방식입니다.
비밀번호를 손으로 입력하는 횟수를 줄이는 것입니다. 비밀번호 관리자나 패스키를 사용하면 표적이 되는 상황 자체가 줄어듭니다.
우선 자신의 주요 계정에서 다중 인증을 켜보세요.
이 기사는 AI Friends 에서의 크로스포스트입니다.
