帮您成为专业的发明人 – Help you become a professional inventors

新闻动态 > 技术交流

FlexIn:我与柔性设备面对面

三星、LG、诺基亚及微软等行业巨头与先行者不断地展示其在柔性触控屏上取得的进展,吸尽了用户的眼球,国内资本也随之骚动,柔宇科技更是产品未出便已获得广泛的报道。在柔性设备这个市场爆发的前期,让我们一起来看看柔性设备人机交互方面来自企业界和学术界的研究成果,也借这个机会和大家聊聊来自智谷公司的柔性设备交互技术FlexIn.

 

来自企业界的柔性交互技术

Nokia Kinetic在2011年诺基亚世界大会(Nokia World 2011)上一经展出便引起各大媒体的广泛关注,这个大小为4英寸的柔性屏幕提供了包括扭曲在内的形变自由,并针对图片浏览和音乐播放两个应用分别定义了不同弯曲姿势代表的不同输入含义,例如把屏幕向用户自己弯曲放大当前正在浏览的图片或者会控制当前选中的音乐开始播放,通过扭曲选择上一个条目或者下一个条目。

 

2013年CES展上,三星的基于其OLED显示技术的Youm柔性显示屏再次博取了大众的眼球。更为引人注意的是,微软的首席战略官展出了一部加载了WindowsPhone操作系统的柔性设备,细心的读者可能会发现,该设备上印有三星的商标。这个细节揭示了柔性消费电子设备中各个玩家座次初定,其产业链初现端倪。

 

企业界除了通过展出原型机来吸引消费者的眼球外,各自的研发部门更是在相关技术的发明创新上暗暗较劲,均表现出了其“技术占坑不嫌早”的态度。例如,来自LG的一个技术发明给柔性设备赋予了防止跌落的功能:当监测到设备从用户手中滑落的事件时,调整柔性设备的弯曲度,使得柔性设备“挂”在用户的手指上,进而预防设备的跌落。

 

 

来自学术界的柔性交互技术

CHI (Computer-Human Interaction) 和UIST(Symposium on User Interface Software and Technology) 是学术界关于人机交互研究的两个顶级会议,每届会议上都会有多篇关于柔性交互技术的文章发表,多集中在讨论柔性设备有哪些交互可用的形变,以及如何使用这些形变提供用户喜爱的交互操作。

 

首先让我们一起来看两项输入方面的研究工作。

 

PaperPhone[1]是一个以智能手机的弯曲手势输入为研究目标、利用E-Ink进行显示的原型。基于该原型,研究者让10个用户对5个应用的20种输入操作分别自定义对应的弯曲手势,共得到了87对弯曲手势对。对这些手势对进行研究发现,用户有着类似的想法:其中的3个手势对(参考下图中的AB,CD,EF)是所有用户均强烈认同的。据此可以认为这3对弯曲手势对于类似于PaperPhone这种形态的设备,是最自然的弯曲输入手势。

 

 

另一项有意思的关于输入方面的研究[2]来自卡耐基梅隆大学(Carnegie Mellon University)。配合正在呈现的数字内容,研究者利用气动器来驱动显示区域中的一些物理区域的形变,在触屏上给用户提供类似物理按钮的触感交互体验。这一研究模糊了原来人们认知中物理按键和触屏虚拟按键之间的界限。

 

 

接下来让我们看一下两项来自MIT媒体实验室关于输出的脑洞大开的研究。

 

一个被命名为Relief[3]的桌上显示器,通过在桌面下方使用Arduino控制的Ladyada驱动铝顶针,在桌面上方使用投影仪进行配合来实现立体显示效果。研究者特别地把3D地图浏览应用作为一个示例进行了开发和展示:地图中常见的山谷、溪流和平原实现了十分逼真的显示效果。

 

 

另一项被称为百叶窗[4]的研究则受到现实中百叶窗在地上投影的启发,通过动态驱动一个类似百叶窗的装置进行信息的输出与表达。看图感受下其脑洞吧。

看起来是这样式儿的:

 

用起来是这样式儿的:

 

除了上述这些可以被分类为输入输出交互相关的研究外,还有不少利用柔性进行情感表达方面的研究成果。与此同时,也有研究者[5]对利用柔性面进行交互本身提出疑问,例如:在利用形变提供交互时,其表达方式的模糊性是否会阻碍交互?

 

来自智谷的柔性设备交互技术FlexIn

通过实际体验、实验分析与研究,智谷公司的研究员从设备的可揉折性这一交互新元素所带来的机遇和问题两个角度出发,获得了一个基于柔性设备的系列性交互技术FlexIn。

 

FlexIn—把握柔性设备带来的新机遇

Case1:绕指神功。考虑到柔性接触面可以与用户用于交互的身体部位更好的贴合,FlexIn提供了一种根据压力传感器的输出,调整皮肤纹理感知传感器表面弯曲度的方法,进而让传感器的探测面与皮肤表面贴合的更紧密、更均匀。在指纹识别这一热点应用上,这个方法可以有效的提高指纹的采集速度和识别率。

Case2:大有可为。考虑到柔性设备的整体大尺寸形变更容易操作以及被用户察觉的特性,FlexIn感知用户对于一个计算任务启动的弯曲形变操作,巧妙地利用对该弯曲形变的恢复过程的进度控制,来反馈计算任务执行的进度。这一进度指示方法,由于有效的利用了输入带来的形变,对用户感知计算任务的执行进度提供了直观自然的视觉反馈。

Case3:柔出来的续航。续航问题一直困扰着移动设备,FlexIn根据柔性显示屏的弯曲情况,判断物理上的视觉模糊区域,通过降低视觉模糊区域的图像渲染像素数、降低OLED显示屏点亮的像素点数量、以及相关区域的在线图片的较低像素版本的下载,在显示和数据传输两个方面进行能耗节约,在不降低用户体验的情况下,有效的增加了设备的续航能力。

 

FlexIn—应对柔性变形引入的新问题

Case1:看眼缘。由于人的眼睛是横着排列的,对于横向的弯曲显示往往有更强的适应能力,也能因此提供沉浸感增强的视觉体验。然而,对于竖向的弯曲显示却比较难以适应:使用几分钟竖向凸出来的显示屏后,再向正常的物理世界观看时,会产生所有物体都凹下去了的感觉。为了避免给用户造成这种揪心的变形的视觉体验,FlexIn会根据用户的眼睛横向方向,主动调整柔性显示设备的弯曲形变,从而在利用柔性设备带来的形变交互设计自由的同时避免糟心的视觉变形干扰。

Case2:以毒攻毒。柔性触控显示设备的弯曲或者揉折形变,往往造成相关交互区域的视觉割裂:用户需要转动或者移动显示设备才能把两个相关的区域看完整。比如,计算器应用的虚拟输入键盘与计算结果输出框分别显示在凸起曲面的顶部和底部,用户输入时需要看着底部的虚拟输入键盘以便确保按到正确的虚拟数字键上,而同时又需要观看处于顶部的输入或计算的结果,所以用户需要频繁的来回切换目光。然而由于这两个区域处于凸起曲边的上下两个部位,用户不得不上下来回旋动曲面显示设备来进行有效的交互。为了克服这种柔性弯曲带来的交互困难,FlexIn以毒攻毒,通过主动调整柔性设备其他区域的弯曲参数,把这样相互关联的交互区域形变到同一个视觉区域中去。

 

 

结束语

从齐天大圣的如意金箍棒到变形金刚里的汽车人,都以其自由的形变能力让人陷入无尽的想象而不能自拔。事实上,形变能力在自然界、设计、建筑中已经有着广泛的应用[5]。随着柔性材料的发展,智能手机、腕表等随身设备也具有柔性可形变的能力,及其所带来的自由的交互图景,正在越来越清晰的展现在人们面前。 聚焦于柔性形变交互技术,本文分享了来自企业界和学术界的交互技术,并简要介绍了智谷公司的FlexIn交互技术。由于篇幅所限,柔性交互的低层支撑技术和材料方面的内容(例如国内资本市场上火热的柔宇科技的柔性显示屏)均没有在此进行讨论。

 

FlexIn是由点到面的一系列交互原创技术,由智谷公司的于魁飞博士和徐然博士共同发明,目前已通过初步原型验证并在进一步研发之中,篇幅所限本文也仅就几个点做了介绍,欢迎感兴趣的读者线下做进一步的交流。智谷始终保持着开放共赢的态度,欢迎各方以多种形式进行合作开发,共同为发明创新产品早日进入市场造福大众而努力,让科技发明创新带给人们更美好的生活。

 

参考文献

[1] Lahey, Byron,Audrey Girouard, Winslow Burleson, and Roel Vertegaal. “PaperPhone:understanding the use of bend gestures in mobile devices with flexibleelectronic paper displays.” In Proceedingsof the SIGCHI Conference on Human Factors in Computing Systems, pp.1303-1312. ACM, 2011.
[2] Harrison, Chris,and Scott E. Hudson. “Providing dynamically changeable physical buttons ona visual display.” In Proceedingsof the SIGCHI Conference on Human Factors in Computing Systems, pp.299-308. ACM, 2009.
[3] Leithinger,Daniel, and Hiroshi Ishii. “Relief: a scalable actuated shapedisplay.” In Proceedingsof the fourth international conference on Tangible, embedded, and embodied interaction,pp. 221-222. ACM, 2010.
[4] Coelho, Marcelo,and Pattie Maes. “Shutters: a permeable surface for environmental controland communication.” In Proceedingsof the 3rd International Conference on Tangible and Embedded Interaction,pp. 13-18. ACM, 2009.
[5] Rasmussen, Majken K., Esben W. Pedersen,Marianne G. Petersen, and Kasper Hornbæk. “Shape-changing interfaces: areview of the design space and open research questions.” In Proceedings of the SIGCHIConference on Human Factors in Computing Systems, pp. 735-744. ACM, 2012.