利用Meta Ray-Ban通过手指动作窃取密码的攻击
機械翻訳 / Machine-translated
A
AI Friends
1日前・6分で読める
機械翻訳 / Machine-translated
@aifriends
AI Friends（https://aifriends.jp）のクロスポスト公式アカウント。AIツールの紹介・使い方・できることを、中学生でもわかるやさしい日本語で届けます。
如果咖啡厅里对面座位的人戴的眼镜其实内置了摄像头，你会怎么想？特拉维夫大学的研究人员发布了一种方法，能够通过智能眼镜的视频读取手指动作，从而破解智能手机密码。本文将通俗易懂地介绍其原理以及我们可以采取的应对措施。
本次研究发表于arXiv上公开的论文《Watch and Crack》，该论文于2026年9月6日提交。
论文作者为Yoav Orenbach和Avishai Wool。据ITmedia报道，研究机构为以色列特拉维夫大学。
所使用的设备是Meta Ray-Ban智能眼镜。外观与普通眼镜无异，但内置了摄像头。
攻击者通过这副眼镜拍摄正在操作智能手机的人的手部动作，再对视频进行分析，推测输入到屏幕上的字符。
这种窥视行为自古以来被称为"肩窥（Shoulder Surfing）"。此次的特点在于，攻击者无需站在目标身后，从对面座位就能实施攻击。
据ITmedia的解说文章介绍，该攻击通过多个AI组合实现。
首先，利用图像识别AI（SAM 3）和手部追踪模型（MediaPipe Hands）追踪指尖，精度达到亚像素级别，即比单个像素更细的单位。
其次，3D神经网络（能够结合时间序列分析视频的AI）识别按键时刻。
输错后用退格键修正的输入内容也会被自动识别并排除。
即使屏幕没有入镜，攻击依然成立。这是因为系统会通过按下Shift键或切换布局键的位置，反向推算出键盘的范围。
据称无需事先了解对方智能手机的型号或键盘应用（Gboard、iOS、Samsung）的信息，并且能够应对大写字母、小写字母、数字和符号混合的密码。
从视频中能够获得的，只是"按下某个键的概率较高"这样的信息，并不能确定无疑地识别具体字符。
因此，根据论文摘要，系统将21.9亿条泄露密码的统计数据与之结合，以人们常用的字符排列规律为线索缩小候选范围。
例如，即使视频只能将范围缩小到"5或6"，结合常用排列规律，也能判断出哪个更有可能是正确答案。
据ITmedia报道，在16名参与者的实验中，整体77.8%的案例成功识别了按键内容。
拍摄距离最远可达1.8m，并在Pixel 10、iPhone 16、Galaxy A53三款机型上得到了验证。
论文摘要中还有更具体的数据。
对于符合企业密码策略、由人工设定的密码，即使最长16位，也只需数小时到数天即可破解。
对于密码管理器生成的随机密码，最长13位的情况下，使用最新GPU甚至不需要1小时。
与传统基准方法相比，密码熵（表示不可预测程度的数值）最多可降低60比特。
据ITmedia的文章介绍，并非在所有情况下都能成功。
对于手指动作极小、打字速度极快的年轻人，识别精度会下降。打字时犹豫不决的人，或几乎同时用双手大拇指输入的人，精度同样会降低。
这篇论文是实验室实验结果，并不意味着街上任何人都会成为受害者。
尽管如此，"仅凭手指动作就能推测输入内容"这一结论本身，具有重要意义。
智能手机防窥对策中常用的是防窥贴膜，可以防止从侧面或斜面看到屏幕内容。
然而，此次攻击的目标不是屏幕，而是指尖。ITmedia的文章指出，仅靠贴膜或隐私显示功能，一旦指尖动作被录像，就可能被突破。
对比来看，可以归纳如下：
此外，眼镜形状的摄像头不易被周围人察觉。Gizmodo Japan的文章也指出，由于外观与普通眼镜无异，很难注意到正在拍摄。虽然有指示灯提示拍摄中，但注意到它的人恐怕并不多。
在日本，通勤电车、咖啡厅、新干线对面座位等场合，在公共场所使用智能手机的情景非常常见。
试想这样一个场景：某位上班族在出差地的咖啡厅打开笔记本电脑，用智能手机登录公司服务。仅仅是对面座位有人戴着眼镜，几乎没有人会提高警惕。
这篇论文中没有提出应对措施建议。以下为一般性自我防护措施，并非论文内容。
有了多因素认证，即使密码被盗，也不会立即遭到非法登录。请首先从这里开始设置。
这是实验室实验的结果。但是，该方法已被证明可通过市面上普通销售的智能眼镜实现，这一点不宜掉以轻心。
并非毫无意义。但ITmedia的文章指出，一旦指尖被录像，就可能被突破。仅靠贴膜是危险的。
Pixel 10、iPhone 16、Galaxy A53均已得到验证，并非某一特定机型的问题。
是的。系统通过按下Shift键等按键的位置，反向推算出键盘范围。
减少手动输入密码的次数。使用密码管理器或通行密钥，可以从源头减少被攻击的机会。
请首先为自己的主要账户开启多因素认证。
本文为 AI Friends 的转载文章。
