Meta Ray-Banで指の動きからパスワードを盗む攻撃
A
AI Friends
1日前・8分で読める
@aifriends
AI Friends（https://aifriends.jp）のクロスポスト公式アカウント。AIツールの紹介・使い方・できることを、中学生でもわかるやさしい日本語で届けます。
カフェで向かいの席の人がかけているメガネが、実はカメラだったらどうしますか？ テルアビブ大学の研究者が、スマートグラスの映像から指の動きを読み取り、スマホのパスワードを割り出す方法を発表しました。この記事では、その仕組みと私たちにできる対策をやさしく解説します。
今回の研究は、arXivで公開された論文「Watch and Crack」で報告されました。論文は2026年9月6日に投稿されています。
著者はYoav Orenbach氏とAvishai Wool氏です。ITmediaの報道によると、研究機関はイスラエルのテルアビブ大学です。
使うのはMeta Ray-Banというスマートグラスです。見た目は普通のメガネですが、カメラがついています。
攻撃者はこのグラスで、スマホを操作している人の手元を撮影します。映像を解析して、画面に打ち込まれた文字を推測する流れです。
このような盗み見は、昔から「ショルダーハッキング（肩越しののぞき見）」と呼ばれてきました。今回の特徴は、後ろに立たなくても、向かいの席から狙えることです。
ITmediaの解説記事によると、攻撃は複数のAIを組み合わせて行います。
まず、画像認識AI（SAM 3）と手の追跡モデル（MediaPipe Hands）で、指先を追いかけます。精度はサブピクセル、つまり画素1つ分より細かい単位です。
次に、3Dニューラルネットワーク（時間の流れも含めて映像を見るAI）が、キーを押した瞬間を見つけます。
打ち間違えてバックスペースで直した入力も、自動で見分けて取り除きます。
画面が映っていなくても、攻撃は成り立ちます。シフトキーや配列切り替えキーを押す位置から、キーボードの範囲を逆算するからです。
相手のスマホの機種や、キーボードアプリ（Gboard、iOS、Samsung）の事前知識も要らないとされています。大文字、小文字、数字、記号が混ざったパスワードにも対応するそうです。
映像からわかるのは、「このキーを押した確率が高い」という情報までです。確実に特定できるわけではありません。
そこで、論文の概要によると、21.9億件の漏えいパスワードの統計を組み合わせます。人がよく選ぶ文字の並びを手がかりに、候補を絞り込むのです。
たとえば、映像では「5か6」までしか絞れない場面でも、よく使われる並びを考えれば、どちらが本命か見当がつきます。
ITmediaによると、参加者16人の実験で、全体の77.8%で打鍵数の特定に成功しました。
撮影距離は最大1.8mまで有効でした。Pixel 10、iPhone 16、Galaxy A53の3機種で、効果が確認されています。
論文の概要には、さらに具体的な数字があります。
企業のパスワードポリシーに沿った、人が決めたパスワードは、最大16文字でも数時間から数日で解読できるといいます。
パスワードマネージャーが作るランダムなパスワードでも、最大13文字なら、最新のGPUで1時間もかかりません。
従来の基準手法と比べて、パスワードのエントロピー（予測のしにくさを表す数値）を最大60ビット減らせたとのことです。
ITmediaの記事によると、いつでも成功するわけではありません。
指の動きが極端に小さく、高速に打つ若い人では、精度が下がります。迷いながら打つ人や、両手の親指でほぼ同時に打つ人も同様です。
この論文は研究室での実験です。街中で誰もが被害に遭うという意味ではありません。
それでも、「指の動きだけで入力内容が推測される」と示した点には、大きな意味があります。
スマホの盗み見対策でよく使われるのは、のぞき見防止フィルムです。横や斜めから画面が見えなくなります。
ところが今回の攻撃が狙うのは、画面ではなく指先です。ITmediaの記事は、フィルムやプライバシー表示機能だけでは、指先の動きが録画されると突破される可能性があると指摘しています。
比較すると、次のように整理できます。
しかもメガネ型のカメラは、周りの人に気づかれにくいです。Gizmodo Japanの記事も、普通のメガネに見えるため撮影に気づきにくいと指摘しています。撮影中を示すランプはありますが、それに気づく人は多くないでしょう。
日本でも、通勤電車やカフェ、新幹線の対面席など、スマホを人前で使う場面は多いです。
ある会社員が、出張先のカフェでノートPCを開き、スマホで会社のサービスにログインする場面を考えてみましょう。向かいの席の人がメガネをかけているだけで、警戒する人はまずいません。
この論文には、対策の提案は載っていません。以下は一般的な自衛策であり、論文の内容ではありません。
多要素認証があれば、パスワードを盗まれても、すぐには不正ログインされません。まずはここから設定してください。
これは研究室での実験結果です。ただし、一般的に売られているスマートグラスで成立すると示された点は、軽く見ない方がいいでしょう。
意味がなくなるわけではありません。ただ、ITmediaの記事は、指先が録画されると突破される可能性があると指摘しています。フィルムだけに頼るのは危険です。
Pixel 10、iPhone 16、Galaxy A53のいずれでも効果が確認されています。特定の機種だけの問題ではありません。
はい。シフトキーなどを押す位置から、キーボードの範囲を逆算する仕組みです。
パスワードを手で打つ回数を減らすことです。パスワードマネージャーやパスキーを使えば、狙われる場面そのものが減ります。
まずは自分の主要なアカウントで、多要素認証をオンにしてみてください。
この記事は AI Friends からのクロスポストです。
