人机交互方式的发展趋势：后 WIMP 界面

你知道当前人机交互处于什么阶段吗？

我们正处于一种新兴的人机交互技术爆炸之中，技术的发展将重新定义我们对人机交互的理解。

写在前面

近期阅读了一篇 2008 年发表于 CHI 上的论文《Reality-Based interaction: A framework for post-WIMP interfaces》，介绍了一种用于当前「后 WIMP 界面」的分析框架，作者在文中提出了一种基于现实的交互方式的概念。

Rob Jacob 是一位计算机科学家和交互设计师，他在计算机科学和心理学交叉领域的研究中有着广泛的贡献。他的研究重点是探索如何设计和改进人机交互的方式，以提高用户的效率、可靠性和满意度。他最新的研究方向是新型领域的内隐式脑机界面。

人机交互方式的演变

人机交互方式的发展趋势：从命令行界面到后 WIMP 界面。人机交互方式的演变趋势可以大致分为三个阶段：

1960 年代至 1980 年代：命令行界面（CLI）最早的人机交互方式，通过输入文本命令与计算机进行交互的方式。用户需要记忆特定的命令和参数，并通过键盘输入。这种界面仍然被许多专业用户使用。

1980 年代至 2000 年代：图形用户界面（GUI）通过窗口、图标、菜单和指针（WIMP）等元素，使得用户可以通过鼠标或触摸板等输入设备，以更加直观和易于理解的方式与计算机进行交互。这是当前最常用的界面类型。

2000 年代至今：后 WIMP 界面采用更加直观和身体化的交互方式。

命令行界面（CLI）

命令行界面（CLI）用户通过键盘输入命令来与计算机交互，代表性的 CLI 系统包括 Unix 和 DOS 等。最早的人机交互方式就是基于命令行界面，计算机科学家 J.C.R. Licklider 的人机交互理论，他在 1960 年代初提出了“人机增强（Man-Computer Symbiosis）”的概念，主张计算机应该成为人类智慧的扩展，从而更好地服务于人类。

Licklider 认为，人类和计算机应该形成一种“共生关系”，通过交互式的界面进行沟通和协作，以实现更高效、更自然的计算机应用。

基于这一理念，命令行界面被设计出来，让用户可以通过输入命令来与计算机进行交互。虽然命令行界面并不如现代的图形用户界面那样直观和易用，但它为后来的界面设计提供了基础和启示，被认为是人机交互领域的重要里程碑。

图形界面（GUI）

图形用户界面（GUI）：GUI 通过使用窗口、图标、菜单和指针等图形元素来改进用户体验。代表性的 GUI 系统包括 Mac OS 和 Windows 等。

1982 年由施奈德曼（Ben Shneiderman）提出直接操作（Direct Manipulation）的概念。

Direct Manipulation（直接操作）是一种用户与计算机交互的方式，它允许用户直接在屏幕上操纵可视化对象，以完成特定任务。直接操作的特点是用户通过物理手势（例如拖放、点击、滑动等）直接控制屏幕上的对象，而不是通过命令或文本输入。

这种交互方式使用户能够更快地完成任务，因为它直接反映了用户的意图，同时也提高了用户的满意度和可信度。

Direct Manipulation 是一种常见的交互模式，被广泛应用于图形用户界面（GUI）和许多其他应用程序。

后 WIMP 界面（post-WIMP interfaces）

2000 年代至今，历经二十多年的发展。

什么是后 WIMP 界面（post-WIMP interfaces）？

后 WIMP 界面（post-WIMP interfaces）是指不再基于窗口、图标、菜单和指针（WIMP）的交互方式，而是探索新的人机交互方式。

新的交互设计范式

后 WIMP 界面，随着计算机技术的发展和人们对更加自然、直观的交互方式的需求，出现了一些新的交互方式。代表性的后 WIMP 界面包括多点触控屏幕、手势识别、语音识别、虚拟现实和增强现实等。

以下是几个代表性的后 WIMP 界面及其发展时间：

多点触控屏幕：2007 年苹果公司发布了第一款采用多点触控屏幕的 iPhone 手机，这种交互方式得到了广泛的应用。

手势识别：2007 年微软发布了 Kinect 游戏设备，该设备可以通过摄像头和红外线传感器实现人体动作的识别。

语音识别：2011 年苹果公司发布了 Siri 语音助手，用户可以通过语音指令控制 iPhone 等设备。

虚拟现实：2016 年谷歌发布了 Daydream 虚拟现实平台，用户可以通过 VR 眼镜进入虚拟现实环境。

增强现实：2016 年苹果公司发布了 ARKit 增强现实平台，用户可以在现实世界中通过手机或平板电脑看到虚拟图像。

作者提出了一种新的交互范式框架，了解基于现实的交互方式的视角，有利于我们对新技术的理解和洞察。

设计师不是天马行空的筑梦师，设计师必须在界面的能力和现实程度之间取得平衡，而基于现实的交互框架，有利于让日常实践中的设计决策权衡变得更加显性化。通过了解这个框架的原则，设计师可以更好地决定如何平衡界面的需求和现实世界的实际情况。

什么是基于现实的交互方式？

我们进一步认为，越来越多地基于现实世界知识和技能的交互趋势是积极的。将交互建立在现有的真实世界知识和技能之上，可能会减少操作系统所需的心理劳动，因为用户已经具备所需的技能。

基于现实的交互方式，使用现实世界中人们已经习惯了的交互方式，使用户更容易理解和使用界面。这种方法通常包括利用物理世界中的直观操作和手势，如滑动、抓取、旋转等，来操作虚拟对象或数字界面。

作者将基于现实的交互范畴与边界定义为四个主题，分别是直觉物理学、身体感知与技能、环境感知与技能以及社会感知与技能。

1）直觉物理学（Naïve Physics）。即人类对物理世界的常识性认识。

2）身体感知与技能（Body Awareness & Skills）。即人们独立于环境所具有的对自己身体的熟悉和理解。

3）环境感知与技能（Environment Awareness & Skills）。即人们在空间环境中具有物理存在感。

4）社交意识与技能（Social Awareness & Skills）。即个人对社交环境的敏感性和理解力。

挖掘来自现实世界的自然行为，基于现实的交互方式应该成为未来设计人机交互的新起点。

2020 年之后，随着技术的不断发展，当下的我们正迈入人机交互设计的新时代。基于大语言模型的人工智能技术，开启新一轮的技术革命，人机交互的演变还远未结束。

论文基本信息

原文标题：Reality-Based interaction: A framework for post-WIMP interfaces.

中文标题：《基于现实的交互：后 WIMP 界面框架》

关键词：

• 基于现实的交互（Reality-Based Interaction）
• 交互方式（interaction styles）
• 虚拟现实（virtual reality）
• 泛在计算（ubiquitous computing）
• 有形界面（tangible interfaces）
• 多模式（multimodal）
• 上下文感知（context-aware）
• 后 WIMP 界面（post-WIMP interfaces）

完整引文信息：

Jacob, R. J. K., Girouard, A., Hirshfield, L. M., Horn, M. S., Solovey, E. T., & Zigelbaum, J. (2008). Reality-Based interaction: A framework for post-WIMP interfaces. Conference on Human Factors in Computing Systems - Proceedings, 201–210

2023 年，期待与大家一起多阅读，多思考。