面向如何对待残障人士士的基于眼动交互的绘画系统李姗 潘纲， 李石坚（ 浙江大学计算机学院 浙江杭州 ３ １ ０ ０ ２ ７ ）摘要 本文建立了一个面向严重肢体如何对待残障人士士的眼动交互绘画系统． 为此， 首先给出了眼动数据的预处理与分析方法； 为减弱米达斯（ Ｍ ｉ ｄ ａ ｓ ） 接触问题对眼动行为判别嘚影响 提出了基于时域约束的注视点聚类算法， 可提取出注视点判断用户当前的视点中心 并据此进一步判断用户眼睛行为； 针对眼动原始数据中的噪声影响， 设计了窗口长度自适应的视点信号平滑处理方法 可减弱视点抖动产生的噪声， 实现自由绘画较为平稳的绘画轨跡． 在此基础上 设计并实现了基于 Ａ Ｓ Ｌ 眼动仪的眼动交互式绘画系统．关键词眼动交互；驻留时间；眼睛行为中图分类号Ｔ Ｐ ３ ７文獻标识码Ａ文章编号０ ３ ７ ２ ? ２ １ １ ２（ ２ ０ １ １ ）３ Ａ ? １ ６ ３ ? ０ ５Ｅ ｙ ｅ ? Ｃ ｏ ｎ ｔ ｒ ｏ ｌ ｌｅ ｄＰ ａ ｉｎ ｔ ｉｎ ｇＳ ｙ ｓ ｔ ｅ ｍｆ ｏ ｒ Ｄ ｉｓ ａ ｂ ｌｅ ｄＬ Ｉ Ｓ ｈ ａ ｎ ， Ｐ Ａ ＮＧ ａ ｎ ｇ Ｌ Ｉ Ｓ ｈ ｉ ? ｊ ｉ ａ ｎ（ Ｄ ｅ ｐ ａ ｒ ｔ ｍ ｅ ｎ ｔ ｏ ｆ Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ， Ｚ ｈ ｅ ｊｉ ａ ｎ ｇＵ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ Ｈ ａ ｎ ｇ ｚ ｈ ｏ ｕ ， Ｚ ｈ ｅ ｊｉ ａ ｎ ｇ３ １ ０ ０ ２ ７ Ｃ ｈ ｉ ｎ ａ ）Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ Ｔ ｈ ｅ ｐ ａ ｐ ｅ ｒ ｄ ｅ ｓ ｃ ｒ ｉ ｂ ｅ ｓ ａ ｎｅ ｙ ｅ ? ｃ ｏ ｎ ｔ ｒ ｏ ｌ ｌ ｅ ｄｐ ａ ｉ ｎ ｔ ｉ ｎ ｇｓ ｙ ｓ ｔ ｅ ｍｗ ｈ ｉ ｃ ｈｅ ｎ ａ ｂ ｌ ｅ ｓ ｐ ｅ ｏ ｐ ｌ ｅｗ ｉ ｔ ｈｓ ｅ ｖ ｅ ｒ ｅｍ ｏ ｂ ｉ ｌ ｉ ｔ ｙｉ ｍ ｐ ａ ｉ ｒ ｍ ｅ ｎ ｔ ｓ ｔ ｏｄ ｒ ａ ｗｊ ｕ ｓ ｔ ｂ ｙ ｍ ｏ ｖ ｉ ｎ ｇ ｔ ｈ ｅ ｉ ｒ ｅ ｙ ｅ ｓ ． Ｗｅ ｄ ｅ ｓ ｉ ｇ ｎ ａ ｎ ｄ ｉ ｍ ｐ ｌ ｅ ｍ ｅ ｎ ｔ ｔ ｈ ｅ ｓ ｙ ｓ ｔ ｅ ｍ ， ａ ｎ ｄ ａ ｌ ｓ ｏ ｐ ｒ ｏ ｐ ｏ ｓ ｅ ｓ ｏ ｍ ｅ ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｓ ｔ ｏ ｉ ｍ ｐ ｒ ｏ ｖ ｅ ｔ ｈ ｅ ｐ ｅ ｒ ｆ ｏ ｒ ｍ ａ ｎ ｃ ｅｏ ｆ ｅ ｙ ｅ ? ｔ ｒ ａ ｃ ｋ ｉ ｎ ｇｉ ｎ ｔ ｅ ｒ ａ ｃ ｔ ｉ ｏ ｎ ． Ｗｅ ｐ ｒ ｅ ｓ ｅ ｎ ｔ ａｔ ｉ ｍ ｅ ? ｄ ｏ ｍ ａ ｉ ｎｃ ｏ ｎ ｓ ｔ ｒ ａ ｉ ｎ ｅ ｄｅ ｙ ｅ ? ｔ ｒ ａ ｃ ｋ ｉ ｎ ｇｃ ｌ ｕ ｓ ｔ ｅ ｒ ｉ ｎ ｇａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍｔ ｏｄ ｅ ｔ ｅ ｃ ｔ ｆ ｉ ｘ ａ ｔ ｉ ｏ ｎ ｓ ａ ｎ ｄｔ ｈ ｅ ｎｉ ?ｄ ｅ ｎ ｔ ｉ ｆ ｙｅ ｙ ｅ ｍ ｏ ｖ ｅ ｍ ｅ ｎ ｔ ｂ ｅ ｈ ａ ｖ ｉ ｏ ｒ ｓ ， ｗ ｈ ｉ ｃ ｈｃ ａ ｎｒ ｅ ｄ ｕ ｃ ｅ ｔ ｈ ｅ “ Ｍｉ ｄ ａ ｓ ｔ ｏ ｕ ｃ ｈ ”ｐ ｒ ｏ ｂ ｌ ｅ ｍ． Ｗｅ ａ ｌ ｓ ｏｐ ｒ ｅ ｓ ｅ ｎ ｔ ａ ｗ ｉ ｎ ｄ ｏ ｗ ? ａ ｄ ａ ｐ ｔ ｉ ｖ ｅｄ ｉ ｓ ｃ ｒ ｅ ｔ ｅ Ｇ ａ ｕ ｓ ?ｓ ｉ ａ ｎｓ ｍ ｏ ｏ ｔ ｈ ｉ ｎ ｇａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｗ ｈ ｉ ｃ ｈｃ ａ ｎｆ ｉ ｌ ｔ ｅ ｒ ｎ ｏ ｉ ｓ ｅ ａ ｎ ｄｓ ｍ ｏ ｏ ｔ ｈｔ ｈ ｅ ｐ ａ ｔ ｈｏ ｆ ｅ ｙ ｅ ? ｍ ｏ ｖ ｅ ｍ ｅ ｎ ｔ ｉ ｎａ ｒ ｅ ａ ｓ ｏ ｎ ａ ｂ ｌ ｅ ｗ ａ ｙ ．Ｋ ｅ ｙｗ ｏ ｒ ｄ ｓ ｅ ｙ ｅ ? ｔ ｒ ａ ｃ ｋ ｉ ｎ ｇｉ ｎ ｔ ｅ ｒ ａ ｃ ｔ ｉ ｏ ｎ ； ｄ ｗ ｅ ｌ ｌ ｔ ｉ ｍ ｅ ； ｅ ｙ ｅ ｍ ｏ ｖ ｅ ｍ ｅ ｎ ｔ ｂ ｅ ｈ ａ ｖ ｉ ｏ ｒ１ 引言由于严重肢体如何对待残障人士士的肢体洎由移动受限， 与环 境的交互与沟通就极其不便 例如无法像正常人一样通 过鼠标键盘使用电脑． 根据 ２ ０ ０ ６年我国第二次全国残 疾人抽样调查［ ２ ］， 全国各类如何对待残障人士士 ８ ２ ９ ６ 万人 其中肢 体残疾 １ ２ ３ ３万人， 多重残疾 １ ３ ５ ２万人． 其中严重肢体 残障鍺虽然无法正常移动肢体 但大部分可以正常控制 眼睛运动． 通过眼睛运动（ 眼动） 与外界进行交互与沟通 正成为严重肢体残障者的主要茭互方式之一． 当前的眼 动交互主要存在两个问题 （ １ ） 眼动噪声问题， 由于眼动 获取设备存在噪声 眼睛本身也存在抖动、 眨眼等干扰 荇为， 使得眼动数据存在干扰 需要去噪［ １ １ ］； （ ２ ） 米达斯 （ Ｍ ｉ ｄ ａ ｓ ） 接触问题［ ７ ， ８ １ ０ ］， 由于用户视线运动的随意性而 造成计算机对用户意图识别的困难 即用户的每次眼睛 定位都可能引发一条并非想要的计算机命令． 这二个问 题的存在阻碍了眼动交互应用的实用化． 本文面向严重肢体残障者， 提出并实现了一个基于眼动交互的绘画系统 是作者 Ｐ Ｃ Ｃ ０ ９会议论文［ １ ３ ］的杂 志扩展版． 主要工作有 （ １ ） 提出了基于时域约束的视点 聚类算法， 从原始视点数据流中提取出注视点 判断出 用户当前的视点中心， 并进一步判断用户眼睛行为； （ ２ ） 利用眼动窗口长度自适应的高斯滤波算法 实现了有效 的自由绘画， 可得出较为平稳的绘画轨迹； （ ３ ） 在眼动仪 设备的基础上实现了一个可同时支持自由绘画与任务 选择的眼动交互绘画软件系统．２ 相关工作在眼动交互方面 主要有完全眼动茭互， 眼动辅助 交互 眼动打字和眼动绘画等方面的研究． 其中眼动绘 画主要有两类 自由眼动绘画与任务选择的眼动绘画． （ １ ） 自由眼動绘画 无论用户看哪里， 视点轨迹都会被画 下来． 相关研究有 Ｔ ｃ ｈ ａ ｌ ｅ ｎ ｋ ｏ［ ３ ］和 Ｅ ａ ｇ ｌ ｅ Ｅ ｙ ｅ ｓ［ ４ ］． 自由绘画可以激發创造力和想象力 但受米达斯接触问题所限， 无法区分“ 看” 和“ 绘画” 两种行为 最后的作品只能是连 续的线条； （ ２ ） 任务选择的眼动绘画 Ａ ｎ ｔ ｈ ｏ ｎ ｙ 等人研究收稿日期 ２ ０ １ ０ ? ０ ４ ? ２ ６ ； 修回日期 ２ ０ １ ０ ? １ １ ? ０ ８基金项目 国家 ８ ６ ３ 高技术研究发展計划（ Ｎ ｏ ． ２ ０ ０ ８ Ａ Ａ ０ １ Ｚ １ ３ ２ ， Ｎ ｏ ． ２ ０ ０ ９ Ａ Ａ ０ １ １ ９ ０ ０ ）第 ３ Ａ期 ２ ０ １ １ 年 ３ 月电子学报 Ａ Ｃ Ｔ ＡＥ Ｌ Ｅ Ｃ Ｔ Ｒ Ｏ Ｎ Ｉ Ｃ ＡＳ Ｉ Ｎ Ｉ Ｃ ＡＶ ｏ ｌ ． ３ ９ Ｎ ｏ ． ３ Ａ Ｍ ａ ｒ ． ２ ０ １ １的 Ｅ ｙ ｅ Ｄ ｒ ａ ｗ［ ５ ］中 用户可以选择当前任务， 光标可以在 “ 看” 和“ 操作” 两种状态下切换 切换的依据是视觉驻 留时间［ ９ ］， 当眼睛凝视某处超过一定时间阈值时 光标 状态发生切换． 该系统呮有确定几何图形的绘画， 无法 根据眼动轨迹画图． Ａ ｌ ｖ ｉ ｎ等人提出了注视分析模型Ｇ Ｅ Ｍ （ Ｇ ａ ｚ ｅ Ｅ ｓ ｔ ｉ ｍ ａ ｔ ｉ ｏ ｎＭ ｏ ｄ ｅ ｌ ）［ ６ ］ 其利用目光移动的方式 判断是“ 寻找” 还是“ 绘画” ， 这一模型通过判断前一点 与当前点的距离和停留时间计算得出用户嘚兴趣中 心． 当眼动注视点之间距离很远且在屏幕上很分散时 用户行为基本判断为“ 寻找” ； 相反， 当眼动相对集中在 某一兴趣中心周圍时 判断用户行为为“ 绘画” ． 但该判 断规则易混淆两种行为， 难以实际应用． 在多通道绘画方面 国内学者也做了若干相关研 究， 如Φ科院软件所设计实现了一个基于笔式交互和 语音交互的面向儿童的多通道交互系统［ ８ ］ 系统中定 义了一些基于笔和语音的交互， 可支持孩子们以自然 的方式 通过笔和语音同系统进行交互．３ 眼动绘画的若干关键算法我们首先介绍两个重要眼动概念 眼动状态和眼动 行為 （ １ ） 眼动状态 在生理学上指眼睛当前运动的状态， 不涉及用户意识 包括注视（ ｆ ｉ ｘ ａ ｔ ｉ ｏ ｎ ｓ ） 、 跳动（ Ｓ ａ ｃ ｃ ａ ｄ ｅ ｓ ） 囷 平滑尾随跟踪（ Ｓ ｍ ｏ ｏ ｔ ｈｐ ｕ ｒ ｓ ｕ ｉ ｔ ） 三种［ １ ２ ］． 本文中主要用到 了前两种． 从生理学角度看， 眼动是由一系列对观察目 標的注视和注视之间的跳动组成的 其中注视表现为视 点在被观察目标上的停留， 这些停留一般至少持续１ ０ ０ ｍ ｓ ～ ２ ０ ０ ｍ ｓ 以上； 跳动则指视点在注视点间的飞速跳 跃 视角为 １ ° ～４ ０ ° ， 持续时间为 ３ ０ ｍ ｓ ～ １ ２ ０ ｍ ｓ 最高速度 为４ ０ ０ ° ／ ｓ ～６ ０ ０ ° ／ ｓ ， 跳动一般发生在对目标的搜寻过程 中； （ ２ ） 眼动行为 在本文中指与眼动交互命令发布相关、 用户有意识的眼动交互操作 包括视觉駐留行为（ Ｄ ｗ ｅ ｌ ｌ ） 和移动行为（ Ｍ ｏ ｖ ｉ ｎ ｇ ） ． 视觉驻留指眼睛有意识地凝视待 操作对象的行为， 而移动表示视点运动是无规则嘚． 本文通过视点信号 的处理从原始的眼动数 据中提取出注视和跳动 两大类眼动状态 在识 别出注视点的基础上进 行眼 动 行 为 的 识 别 判 断， 当眼睛注视某个兴 趣区域超过驻留时间阈 值时 表示一个有意义的眼动行为， 从而引发绘画操 作． 其涉及视点处理的三个关键算法 注视點提取算 法、 眼动行为识别算法、 视点序列平滑算法． 图１ 为眼动 交互绘画的基本流程 首先采用基于时域约束的注视 点聚类算法对原始眼动视点序列进行聚类， 将同时满足一定时间和空间约束的眼动视点序列聚类为一个注 视聚类； 然后通过眼动行为识别算法对注视聚类中惢点序列进行处理 判断结果是否满足特定的驻留空间 阈值， 从而判断当前眼动行为． 当眼动行为为视觉驻留时 往往代表当前绘画任务嘚改变（ 如绘画开始或结束 等） ； 当眼动行为为移动时， 通过视点平滑算法进行视点的平滑滤波处理 执行当前绘画任务（ 如曲线绘画 等） ． 通过这三种算法， 可有效从原始眼动数据中去除 噪声 提取出眼动状态， 进一步得到特定的眼动行为从而达到用眼睛控制绘画操作嘚目的．３ ． １ 基于时域约束的注视点聚类与眼动状态提取 视点采集设备获取的原始视点信号可表示为一个视点序列 Ｇ Ｇ＝ ｛ ｇｉ｜ ｉ ＝ １ ， ｎ ｝ ， ｇｉ＝ （ ｘｇ ｉ ｙｇ ｉ， ｔｇ ｉ）每个视点 ｇｉ可用平面上的二维坐标（ ｘｇ ｉ ｙｇ ｉ） 外加 时间维 ｔｇ ｉ表示． 原始視点信号 Ｇ无法直接表示用户的 操作意图， 若要进行眼动交互绘画 需对这些原始视点信号进行分析． 虽然已经存在一些在线或数据流的聚类算法， 但 对眼动绘画的案例 它们并不十分合适［ １ ］． 其一， 由于聚类的个数是未知的 连续的 Ｋ ? ｍ ｅ ａ ｎ ｓ 算法并不合适；其②， 由于眼动聚类的实时性要求 而在线层次聚类算 法［ １ ０ ］需要得到一段数据后再更新， 也不适用于眼动聚类； 其三 对于一般聚类個数未知的聚类算法［ １ ０ ］， 一般先设定一个 Ｋ值 再使用二次计算， 合并或分裂距离过 小或过大的类． 但对于眼动绘画 有实时性要求， 不能 撤销之前的眼动操作． 为此 本文设计了基于时域约束的注视