报告：多维数据的感知互补视图评估

发表于 | 分类于

报告：多维数据的感知互补视图评估

  • 论文原文：An Evaluation of Perceptually Complementary Views for Multivariate Data
  • 作者：Chunlei Chang,Tim Dwyer,Kim Marriott
  • 发表刊物/会议： PVis 2018

背景介绍

各个领域越来越多的自动化数据收集，因此越来越复杂的高维数据变得可用。有效的可视化和分析工具也越来越重要。多维数据的可视化技术和方法有很多，比如经典的MDS，PCA，但是这类方法在数据降维的过程中难免会损失原始数据的信息。而既能保证数据信息不丢失又能展示所有维度的信息，应用最广泛的是散点图矩阵（SPLOMs）和平行坐标图（PCPs）。

本文工作

评估散点图矩阵（SPLOM）、平行坐标图（PCP）、以及这两种技术的并排组合图（ Combined ）在可视化多维数据时的各自优势。

重点贡献

1 . 总结6个用户分析多维数据时需要解决的Tasks；
2 . 总结5种志愿者在使用组合图时常用的策略；

  • 论文作者为什么会想到评估组合视图呢？

思路来源于一篇感知互补网络可视化的评估论文（CHI 2017 Evaluating perceptually
complementary views for network exploration tasks），这篇论文比较网络的单个矩阵视图、节点链接视图、以及它们的并排组合，发现并排组合的综合视图有明显的优势。但是现在还没有人做过这种组合视图的评估工作。

注：感知互补视图，不同于多视图，在感觉上是互补的，即它们都展示相同的信息，但是对不同类型的分析任务有不同的和互补的支持。

  • 本文的组合视图与以往研究工作中的组合视图有什么区别呢？

以往做法：使用复杂的视觉和交互设计将两种不同技术组合成单个可视化方案
本文：更为直接地做法将两种技术视图并排放在一起

  • 主要研究的问题？

Q1：PCP或SPLOM各自适合哪些任务？
Q2：解决复杂任务时组合视图有没有优势？
Q3：用户是否意识到不同视图的优点？ 如果有，他们用什么策略来解决分析任务。

视觉编码及交互设计

视觉编码

  • PCP：每个数据项都被编码为一条折线，标签命名轴表示数据维度和范围；
  • SPLOM：每个数据项由多个圆点表示，对角线上的空白单元格用来显示维度标签，数据范围标记在左边和底边。

图1

图1：可视化技术介绍

交互设计

  • 鼠标悬浮数据项，高亮，该数据点的相关信息展示在旁边
  • 范围过滤，选择范围内的数据项高亮
  • 组合视图Brush（两个视图的联动），包括上面两个交互技术的应用
  • 平行坐标轴和矩阵重排序

** 维度排序步骤：**
1 .点击PCP的轴或者散点图的轴启动拖拽
2 .将选定的轴拖动到所需的位置。
3 .释放鼠标，两个视图更新

图2

图2 组合视图中轴的重排序

实验研究过程

首先总结Tasks，确定6个通用任务，来源于以往基于PCP和SPLOM的评估工作。

实验参与者需要回答每个任务后面的具体问题。问题是基于实验中使用的数据。

  • 实验数据：学生成绩数据，6个维度，包含姓名、性别和4门学科的分数。

Best-Performer

  • Q： 哪个学生的平均分数最高？

Subset-Tracing

  • Q： 年龄在22岁，科学分数少于75分但是数学分数最高的学生姓名是？

Object-Comparison

  • Q： 在所有4门学科中，标记3个数据为黄色，1个数据为蓝，要求找出标记为黄色的学生哪个与标记为蓝色的学生平均分最为相近？

Outlier-Detection

  • Q： 找出工程得分高于其他三门课程的学生（最为明显的那一个）？

Correlation-Estimation

  • Q： 哪两门学科最为正相关？

Cluster-Identification

  • Q： 在哪对维度上有明显的簇？（找视觉上聚在一起的点或线）

实验

数据

人造的学生成绩数据，共15个。3个训练集，12个用于正式实验。

  • 包括两个难易程度：容易6个、难6个。通过数据密度和答案选对的难易程度来控制题目的难易程度。
  • 容易：100-120个数据项；正确答案与候选答案之间相差较远。
  • 难：180-200个数据项；正确答案与几个候选答案之间很接近。

参与者

实验分成A、B两个部分进行，每部分完成3个任务，时间花费在45分钟左右。参加A部分的人完成前3个任务，参加B部分的人完成后3个任务。

  • 每个参与者需要完成：3（任务）*12（数据）*3（可视化）次试验。

实验参与人员结构：

全部来自于大学里的学生或工作人员。

  • 参加A部分的人，21名，8女13男；
  • 参加B部分的人，30名，9女21男；
  • 其中有9个人，同时参与两部分实验；
  • 年龄在19岁-55岁，平均年龄为29岁。

实验环境

电脑配置

  • 英特尔酷睿i7 MacBook Pro（2016）和24英寸屏幕（1920×1080）

使用Tobii X3-120眼动仪

  • 跟踪参与者眼睛在屏幕上的移动情况，收集数据，为后面分析参与者使用组合视图时使用的策略作准备。

交互方式

  • 通过鼠标和键盘进行答题和操作。

实验设计

  • 分成A，B两部分：A：完成前3个任务；B：完成后3个任务；
  • 为了实验条件平衡，每部分的参与者又分成2组，一组先用单独的一种可视化，后用组合可视化；另一组先用组合可视化，后用单独的可视化；对于同一个数据集，参与者在用不同可视化技术回答问题时，通过改变数据中学生的姓名和维度的排列顺序来避免可视化技术之间的影响；
  • 每个参与者的问题顺序随机；
  • 屏幕上方有计时条，参与者最多有30s使用可视化的时间；若在30s之内有答案，可按空格键停止计时；
  • 屏幕弹出答案选项，包括几个候选答案，以及“太难”、“都不是”选项。

实验过程

1 .背景知识调查，调查参与者以往对两种可视化方法是否了解过。结果如图3所示。对于PCP技术，49%的人从未见过；而对于SPLOM技术，43%的人偶尔使用。

图3

图3 参与者背景知识调查结果

2 .眼动仪校准
要求参与者对眼动仪进行校准，用时不超过30秒。

3 .训练
包括内容：

  • 指导每个参与者如何用可视化完成任务；
  • 每个任务有3个实例，训练之后给出正确答案；
  • 通过第一个实例来演示交互技术；正确通过一个实例后才能进入下一个实例；
  • 告诉参与者答题时间的限制，要尽可能快和准地完成实验。

4 .正式实验
为每个参与者，呈现3种视图，每个视图都包含3个任务，每个任务包含12个不同数据集的问题。

5 . 收集反馈

  • 收集参与者对3种可视化方法在每个任务上的排名；
  • 收集参与者对每个可视化方法的优缺点评论。

实验结果

数据分析

数据收集

  • 每次试验的完成时间
  • 每次试验的准确率
  • 眼睛和鼠标的移动数据
  • 对于每个任务，参与者对可视化技术的主观偏好

数据处理

  • 移除6次不合理数据，完成时间小于1s
  • 移除选“太难” 或“都没有” 的试验

统计分析

  • 数据不服从正态分布，使用Friedman test检验数据的总体差异性
  • 由于移除了不合理的数据导致样本量不等，成对差异比较使用Mann-Whitney U test

眼动仪数据分析

通过分析眼动仪数据来了解参与者使用组合视图采用的策略。

数据收集

组合视图中的每次试验，测量参与者花在观察两个AOI（兴趣区域），即PCP和SPLOM上各自的停留和访问持续时间，用于检查和识别参与者策略。

策略分类结果，总共分为5种，如图4所示。

  • 只看SPLOM，每次在PCP上停留时间不超过1s。
  • 只看PCP，每次在SPLOM上停留时间不超过1s。
  • 先看SPLOM，后看PCP，每次来回切换的停留时间不超过1s。
  • 先看PCP，后看SPLOM，每次来回切换的停留时间不超过1s。
  • 参与者视线在两个视图上频繁切换。

图4

图4 组合视图中5种常见的使用策略

任务结果

T1：Best-Performer

  • 时间，3种技术无显著差异
  • 准确率，PCP和Combined视图显著高于SPM
  • 参与者更喜欢用PCP视图
  • 眼追踪数据表明，参与者花在PCP上的时间多于SPLOM

T2：Subset-Tracing

  • 时间，PCP和Combined视图显著快于SPLOM
  • 准确率，SPLOM显著最差
  • 参与者更喜欢用PCP视图
  • 眼追踪数据表明，Combined视图中，参与者花在PCP上的时间更多

T3：Object-Comparison

  • 时间，3种技术无显著差异
  • 准确率，SPLOM显著最差
  • 参与者更喜欢用Combined视图
  • 眼追踪数据表明，表明频繁切换视图策略最受欢迎，单独使用PCP与先使用PCP的比例相同，无人单独使用SPLOM

T4: Outlier-Detection

  • 时间，PCP显著多于SPLOM和Combined视图
  • 准确率，SPLOM和Combined视图显著高于PCP
  • 参与者更喜欢用Combined视图
  • 眼追踪数据表明，频繁切换和先使用SPLOM最受欢迎

T5: Correlation-Estimation

  • 时间，PCP显著多于SPLOM和Combined视图
  • 准确率，所有技术之间都有显著性，SPLOM>C>PCP
  • 参与者更喜欢用SPLOM视图
  • 眼追踪数据表明，无人单独使用PCP，单独使用SPLOM的人最多

T6: Cluster-Identification

  • 时间，SPLOM显著快于其余两个
  • 准确率，Combined视图最高，其次是SPLOM，最后是PCP
  • 参与者更喜欢用SPLOM视图
  • 眼追踪数据表明，只使用SPLOM的人最多，无人只使用PCP

图5，图6，图7，图8展示了相关结果

图5

图5 按任务分类的三种可视化技术中每一种的平均结果。黄色背景表明该值与相同指标下的其他值有显著差异；黑色加粗字体表明是该指标下的最优值。

图6

图6 按任务分类的三种可视化技术中每一种的完成时间的平均值和标准偏差。

图7

图7 按任务分类的三种可视化技术中每一种的准确率平均值和标准偏差。

图8

图8 (a)每个任务下，参与者在Combined视图中的偏好选择；(b)每个任务下，参与者在Combined视图中使用的策略情况。

视图使用情况对比

组合视图中，参与者花费在每个视图中的时间对比图，如图9所示。

发现：在前3个任务中，多数参与者使用PCP 1st and Parallel Use两种策略；后3个任务，则多数参与者使用SPLOM 1st and Parallel Use 两种策略

图9

图9 用于查看Combined视图中每个视图的相对时长（栏高度）；1-3是训练任务。

结论总结

提出PCP和SPLOM的组合表示，主要探讨并评估多维数据的感知互补视图的影响。

  • PCP和SPLOM视图在感知上是互补的。

SPLOM点可视化可以帮助参与者理解整体（后3个Tasks）,PCP线可视化帮助参与者识别单个观察点，两种结合既可以解决整体任务又可以解决细节任务。

  • 并排放置感知互补的视图是获得两者优点的有效方法。

以往用复杂的设计和交互手段使两个技术结合成一种可视化方案并不是没有效果，但是这种效果普通参与者无法体验。更为直接的方法就是让两个视图并排放置在一起，本文的实验结果证明了这种做法是有效的。

  • 基于眼动追踪数据，针对组合视图确定了五种常用视图使用策略。

  • 有些人在没有意识的情况下使用互补视图的优势。

参与者给出的每个任务下对技术的主观偏好与眼动仪追踪数据分析的结果并不完全一致，使用组合视图时，参与者主观偏好某一种可视化技术，但是眼动仪数据表明他们使用组合策略时间更久。这说明参与者其实在没有意识的情况下已经体验了互补视图的优势。

  • 当一个视图对于特定任务明显比另一视图更好时，使用组合视图会有更多的时间开销。

例如分析任务5，SPLOM视图明显比PCP更适合。当使用Combined视图时，会花费更多的时间，但是准确率仍然能够保证。

缺陷与未来工作

缺陷

  • 尽管得出组合视图在6个任务中的5个上都表现好，但是标准偏差比较高。

  • 整个实验使用的数据密度(100-200)太小，数据结构单一。意味着碰到数据密度很大，或者其他数据结构时，本文的实验结果不一定适用。

未来研究方向

  • 研究互补性对其他类型数据集的影响（例如，对于分层数据和动态网络）。

  • 哪些视图可以产生互补效应？有没有有效的分类？一个视图以数据项为中心（例如PCP和节点链接图）和一个视图以关系为中心（如SPLOM和邻接矩阵），这是不是一种有效的分类呢？还需要更多的研究。

  • 可以进一步研究训练对人们使用组合图的有效性的影响。有经验的参与者知道利用Combined视图的优势，而无经验的用户则可能只会使用单个视图，说明训练对人们的策略使用是有影响的。还可以进一步确定组合图的使用是否有助于人们学习更有效地使用单个视图。

-------------完-------------