华盛顿大学团队打造摄像头耳机VueBuds 实时描述所看到的一切via cnBeta全文版

4月21日消息，美国华盛顿大学团队展示了一款名为 VueBuds 的新型原型耳机，在常规真无线耳机内嵌入微型摄像头，并结合视觉语言模型（VLM），可以通过语音互动实时描述佩戴者视野中的画面、识别物体并进行翻译，被研究人员形容为“移动端、纯语音版的反向图片搜索”。 VueBuds 的原型基于索尼 WF-1000XM3 无线降噪耳机改造，在耳机外壳中嵌入米粒大小的黑白摄像头，通过内置的视觉语言模型进行本地或低带宽处理，用户只需开口提问，就可以获得对眼前场景的语音描述、物体名称或文字内容的解释与翻译。研究团队在人机交互领域重要会议…