[智能应用]上海交大教授为视障人士研发了可穿戴AI导航系统 [2P] [复制链接]

“墨镜、手杖、导盲犬是视障人士出行的三件套，这是他们的助手，也是他们的标志。通过创新的智能软硬件，逐渐去除这些标志，让视障人士从外观到行为都能像正常人一样生活，是我们的终极目标。”上海交通大学计算机学院清源研究院长聘教轨副教授、博士生导师顾磊磊日前在接受澎湃科技记者采访时表示。
4月14日，国际学术期刊《自然-机器智能》在线发表了他的一篇论文，即介绍了一款可以为障碍人士提供导航辅助功能的可穿戴系统。
该系统通过摄像头拍照来获得图像等视觉信息，然后基于AI算法进行分析，确定目标及障碍物后等关键情况后作出判断，通过骨传导耳机的立体音和腕部皮肤的触觉等信号传递给使用者，指导使用者做出前进、左移或者右移等安全动作。该指示随着使用者移动而实时更新，一步步指示使用者达到最终目标。
上海交通大学电院清源研究院长聘教轨副教授、博士生导师顾磊磊（左二）和部分实验室成员。 受访者 供图
顾磊磊表示，以前为视障人士提供的类似导航系统往往把人当作一台车来处理。但人不是机器，有自己的特点，也对系统有自己独特的要求。人有大脑，完整的视觉回路需要AI和大脑中继完成，AI的输出需要和大脑的认知一致，两套系统才能良好配合，人用起AI系统才会觉得像在使用自己本来的器官一样轻松自在；行为上，人也没法像机器一样严格地遵循指令，需要AI系统平衡准确度与自由度；最后，人的承载能力也无法和机器相比，人体力有限，希望系统足够轻、薄甚至美。传统电子辅助系统在这些方面的差距使其在盲人群体接受度始终不高。
顾磊磊的这套系统目标是提高视障人士的行动能力，通过系统提示可以避开障碍物。新系统总重约200克，由装载了RGB-D（红绿蓝和深度）摄像头的眼镜、两小块人造电子皮肤和一个微型单板计算机组成。新系统从拍照到响应、输出的时间是仅200-300毫秒，与人类的反应时间一致，从而可以与使用者更默契地配合。
为了解决光线不足可能给拍照系统带来的风险，该系统还集成了一个红外探测器，可以“像激光雷达一样”进行主动探测，提供距离、高低等信息。
“我们调研后发现，视障人士的基本需求有三个，第一个是明暗变化，比如眼前有没有障碍物；第二个是形状；第三是看到运动的信息，比如面前是不是有东西移动过去。他们没有爬山、游泳那么高的要求。所以，我们是一直在做减法。把功能做得像车载系统一样很高很强不是我们的最终目的，我们是要它具有人们刚需使用时的合理功能，在此基础上尽力压低它的体积、重量以及能量算力等方面需求。”顾磊磊表示。
此外，该系统还提供了一双摩擦供电的智能鞋垫和VR训练平台，让使用者在正式出行前可以在虚拟系统中进行模拟、训练，降低摔倒、碰撞等风险。
对于新系统的局限性，顾磊磊表示，目前属于基础研究阶段，只是进行了少量的测试——一共有20人试用的数据，其中18人是视障人士。该产品如果要投放市场，需要更多的反馈数据，以进行优化。
“说不定我们可以把摄像头换掉。”顾磊磊希望把摄像头整合到隐形眼镜中，取代目前系统中的镜框眼镜，代替手杖，“让使用者尽力看起来像健全人”。
此外，他表示，很重要的一点是，希望未来的类似系统是个性化的，因为每位用户关注的东西不一样。而这样的“量身定做”可以基于AI算法的优化来实现。
眼球模型 澎湃新闻记者 吴跃伟 摄

上海交大教授为视障人士研发可穿戴AI导航系统介绍
系统研发目标
上海交通大学计算机学院清源研究院长聘教轨副教授、博士生导师顾磊磊介绍了这款为视障人士提供导航辅助功能的可穿戴系统，其终极目标是让视障人士从外观到行为都能像正常人一样生活，“以人为本”地提升视障人士的行动能力。

系统工作原理
该系统以AI算法为智能核心，通过摄像头拍照来获得图像等视觉信息，然后基于AI算法进行识别、判断和输出，为使用者选择一条无障碍路线。在导航提示中，综合提供听觉和左右手部皮肤的触觉等信号，比如骨传导耳机传递简要的声音信号，以及能戴在手腕上的可伸展人造皮肤，能将振动信号传给使用者，以指导移动方向，避开两侧的物体，从而辅助视力障碍人士穿过迷宫，避开障碍物，以及抓取某个物体。

系统组成与特点
组成部分
新系统总重约200克，由装载了RGB - D（红绿蓝和深度）摄像头的眼镜、两小块人造电子皮肤和一个微型单板计算机——树莓派组成。还集成了一个红外探测器，可以“像激光雷达一样”进行主动探测，提供距离、高低等信息。此外，该系统还提供了一双摩擦供电的智能鞋垫和VR训练平台，让使用者在正式出行前可以在虚拟系统中进行模拟、训练。

特点优势
功耗与响应：最耗电的树莓派功率大约3瓦到5瓦。从拍照到响应、输出的时间仅200 - 300毫秒，与人类的反应时间一致，从而与使用者更默契。
功能针对性：关注使用者面前一米左右范围内的区域，针对视障人士的基本需求做减法，聚焦在明暗变化、形状、运动信息等刚需功能上，而非追求过高过强但非必要的功能。
系统局限性
目前该系统属于基础研究阶段，只是进行了少量的测试，一共有20人试用的数据，其中16人是视障人士

顾磊磊教授及其团队开发的这款可穿戴AI导航系统，为视障人士提供了一种新的出行辅助工具。以下是该系统的一些关键特点：

1. 去除传统标志：顾教授的目标是通过创新的智能软硬件，让视障人士从外观到行为都能像正常人一样生活，逐渐去除墨镜、手杖、导盲犬这些传统标志。

2. AI算法导航辅助：系统通过摄像头拍照获取视觉信息，基于AI算法分析确定目标和障碍物，并通过骨传导耳机和腕部触觉信号指导使用者安全行动。

3. 实时更新指示：指示会随着使用者移动而实时更新，一步步引导使用者到达目的地。

4. 人性化设计：系统考虑了人的大脑和视觉回路，使AI输出与大脑认知一致，提高系统的易用性和接受度。

5. 轻量化设计：新系统总重约200克，包括RGB-D摄像头眼镜、人造电子皮肤和微型单板计算机，以减轻使用者负担。

6. 快速响应：系统从拍照到响应输出的时间仅为200-300毫秒，与人类反应时间一致。

7. 红外探测功能：为解决光线不足问题，系统集成红外探测器进行主动探测，提供距离和高低信息。

8. 满足基本需求：系统专注于满足视障人士的三个基本需求：明暗变化、形状识别和运动信息。

9. 智能鞋垫和VR训练：系统还包括摩擦供电的智能鞋垫和VR训练平台，帮助使用者在虚拟环境中模拟训练，降低实际出行风险。

10. 基础研究阶段：目前系统处于基础研究阶段，已进行了20人（18位视障人士）的测试。要投放市场，需要更多反馈数据进行优化。

11. 个性化发展：顾教授希望未来系统能更加个性化，根据每位用户的关注点进行"量身定做"，这可以通过AI算法优化实现。

12. 未来展望：顾教授希望将摄像头整合到隐形眼镜中，取代目前的镜框眼镜，让使用者外观上更接近健全人。

总的来说，这款AI导航系统体现了顾磊磊教授团队对视障人士需求的深刻理解和人性化设计。通过AI技术的应用和不断的优化改进，该系统有望为视障人士提供更加便捷、舒适和安全的出行体验。