AMID: Accurate Magnetic Indoor Localization Using Deep Learning

Sensors 2018, 18, 1598; doi:10.3390/s18051598

1. Introduction

1.1. Background

• 由于对室内定位服务的需求不断增长，对室内定位已经进行了多年研究。比如室内导航，基于室内位置的安全管理，社交媒体，广告和娱乐等服务；
• Wi-Fi信号或地磁数据通常用于室内定位服务。 每种方法在准确性，工作量和成本方面都有优缺点；
• 实际上，Wi-Fi是室内定位最常用的无线信号之一。 由于许多建筑物中已经安装了Wi-Fi接入点（AP: Access Point），因此部署成本几乎为零；
• 但是，由于多路径问题，错误的地面检测问题等原因，Wi-Fi信号不够稳定，无法产生可靠的定位结果；

1.2 Research Gap

• 最近，基于地磁的定位方法已经得到了进展。 这些方法是依靠由铁磁性物体（例如钢框架和电器）引起的扭曲的室内磁场实现的。
• 地磁数据可以在任何地方获得， 因此，不需要铺设基础架构。此外，磁信号相对来说更加稳定。
• 但是，从智能手机扫描的可用数据集是在笛卡尔空间中只有三个值的向量的集合。
• 此外，特别是在大范围内，地磁数据存在很大的不确定性。因此，构建一个单独的磁性定位系统十分具有挑战性。

1.3. Study Purpose

1.3.1 SLAM

• 对包括智能手机在内的低质量传感器的定位方法的一些研究借鉴了为高质量传感器开发的技术；
• Haverinen和Kemppainen对带有传感器的人使用了常用在机器人上的SLAM
  。 但是，这种做法的定位性能不如机器人那样精确，因为附着在人身上的惯性传感器会间接显示人的运动；
• 使用粒子滤波（particle filter）是针对上述问题的一种解决方法；
  1. 另外一种方法是：通过重组不受用户方向影响的磁数据，或者通过使用复杂的行人死角跟踪技术来更精确地推断人类运动，从而提高定位精度；
  2. 此外，一些研究利用平面布置图和人类运动的模式更快地收敛粒子；
  3. 还有一些其他的研究，是通过将无线电信号和地磁数据融合在一起来提高室内定位精度

1.3.2 Magnetic Sequence Pattern Recognition

• 估计位置的一种可能方法是分析磁序列（magnetic sequence）的模式（patterns）；
• 使用模式识别技术的可行性已在一维空间中得到证明；
• 然而，这这种做法存在一些问题：
  1. 首先，简单的序列匹配算法，例如动态时间规整（DTW），无法有效处理从磁力计获得的数据。即使沿着相同的路径获取数据，得到的sequence也显示出变化，这是因为路径上的磁场强度随位置的微小变化而波动。有研究从磁序列中提取特征以解决此问题，但它们无法为二维定位提供足够的信息；
  2. 其次，由于二维空间中可能的路径过多，因此可伸缩性受到限制。LocateMe通过从附近铁磁结构的位置推断位置来减少搜索空间。众所周知，受相同磁性地标影响的路径具有相似的模式，但这些路径未在二维空间中评估。在这篇文章之前，尚无在2D空间中高精度运行的独立磁定位系统。

1.3.3 本文的创新

• 在本文中，作者使用深度神经网络识别磁序列模式（AMID），进而进行精确的室内磁性定位；
• 为了识别模式，AMID从序列中提取新类型的特征，包括递归图（RPs: Recurrence plots）；这些特征对于二维定位足够有用。由于它们表示曲线的形状，因此可以将其视为具有微小变化的路径的概括。
• 而且，AMID可以采用类似于LocateMe的方法来估计二维空间中的位置；AMID更加使用，是因为通过使用一种自动定位磁性地标的新方法；
• 此外，基于深度学习的分类器用于增强磁性界标检测的准确性。深度学习已被证明，可通过融合语音识别中的mel-frequency cepstral coefficient（MFCCs）和linear frequency cepstral coefficients（LFCCs）的特征，实现对图像特征的分类。

2. Preliminaries

• 图1直观描绘了AMID中磁定位的原理。AMID利用一个人从一个磁性地标走到另一个磁性地标时观察到的磁性序列模式。图1a图表示磁性地标：地标由磁场分布的网格图上的峰值得出，并且可以通过在磁图中找到峰的位置来估计其位置。图1b中的磁图将磁地标的位置标记为实心圆圈。图上的这些标记表示超过特定阈值的峰。换句话说，磁序列可以用磁坐标来表示。如图所示，磁序列具有独特的模式。通过分析这些模式，AMID可以估计大概的磁性坐标。
  

  图1. 深度学习磁定位的直观理解：(a)磁坐标 (b)特征提取

• 这种磁性定位的做法类似于语音识别。众所周知，基于深度学习的语音识别优于其他现有的语音识别技术。语音识别方法包括两个阶段：特征提取和DNN训练。

• 在特征提取阶段，将时域中的音频信号的转换为MFCCs和LFCCs。MFCC和LFCC的倒谱融合在一起，并在DNN训练阶段用作图像特征。

• 因为输入是图像，作者使用的模型是卷积神经网络。训练数据标记有正确的音素。经过训练的模型可以预测给定音频信号的音素。磁定位模型遵循相同的过程。磁数据序列根据参考点分为训练数据，参考点是图1b中的峰值。然后提取特征，例如图像特征和RPs。 除了语音识别的DNN结构外，在第一个全连层还插入了RPs以外的辅助功能。 最后，在模型训练好以后，输入磁性序列，模型会预测出相应磁性坐标。

3. AIMD System Design

• 图2是AMID本地化过程的示意图。主要步骤是：磁数据收集——磁地标定位——磁地标分类——定位预测：
  1. 在数据收集步骤中，通过操纵移动机器人来收集用于训练的磁数据。通过安装在机器人上的智能手机中的传感器收集磁数据时，也会收集机器人的位置。通过将磁传感器数据与相应位置进行匹配来构造磁指纹。此外，同时收集惯性传感器测量的数据，这些数据用于估计用户步行距离以支持分类步骤。需要进行预处理以消除磁力计的噪音并重组磁性元件，以提高定位性能；
  2. 在磁性地标定位步骤中，生成磁性地标数据和地磁统计数据。 需要磁性地图才能找到磁性地标。 可以通过内插机器人收集的磁性指纹来构建地图。 地图中的峰是候选地标。 通过找到这些点，可以确定磁性地标的位置。 在分类步骤中存储位置并将其用于数据标记；
  3. 在分类步骤中，使用来自收集步骤的数据训练分类模型。 用磁数据中的参考点划分的磁序列用相应的磁界标标记。 然后将磁序列用作模型的输入；
  4. 最后，在定位步骤中，在构造的分类模型上检测磁性地标。 根据检测到的地标估计位置。

图2. AMID的示意图

4. Magnetic Data Collection

• 磁性数据收集步骤包括数据收集，降噪，磁性数据校正和磁性元素转换；
• 当产生磁性指纹时，将执行降噪和磁性数据校正程序以校正来自磁性传感器的噪声和数据的位置标记的误差；
• 此外，磁力计的三轴数据向量被转换为三个磁性元素。

4.1. Data Collection and Noise Reduction

• 深度学习通常需要大量的训练数据。 为了在短时间内获得准确的磁数据，作者使用了机器人而不是手动的数据收集；
• 机器人提供与位置有关的数据：(t, x, y, yaw, pitch, androll)，这些数据捕获了时间，x坐标，y坐标和三个平面中的方向。机器人利用SLAM进行定位；
• 此外，通过安装在机器人上的智能手机从磁传感器获得的数据包括时间（t）和三轴磁矢量（m_x, m_y, m_z）；
• 训练中使用的磁性数据结构D_train =（t, x, y, yaw, pitch, androll, m_x, m_y, m_z）是通过参考这两组数据的时间戳整合而构建的。
• 在预测阶段的磁数据中，D_prediction = (t, Acc_x, Acc_y, Acc_z, m_x，m_y，m_z) 是由用户的智能手机收集的。
• 在这种情况下，代替由机器人获得的位置信息（x, y, yaw, pitch, roll），收集三轴加速度计数据(t, Acc_x, Acc_y, Acc_z)，来自惯性传感器的数据用于估计用户在分类步骤中的步距；
• 但是，智能手机中的低质量MEMS磁力计会发出大量噪声，我们使用的Nexus 6P的磁性传感器（BMM150）通常会产生高达1.4 µT的噪声，为了消除噪声，我们使用具有特定窗口大小的平滑过滤器（smoothing filter with a particular window size）。

4.2. Magnetic Data Correction

• 机器人使用的SLAM可能由于激光传感器（LIDAR）的错误读数而导致定位错误：当机器人四处移动以生成地图时，传感器的读数可能会被诸如玻璃墙之类的反射材料影响，因此构建SLAM地图的过程中会受到干扰;
• 磁数据校正通过变形的SLAM映射来缓解此问题。使用分段线性变换比较两个地图上关注点的位置，以减少磁数据中的位置误差。

4.3. Magnetic Data Elements Conversion

• 使用智能手机的进行方向估计比较容易出错，这是因为陀螺仪很难避免累积积分的误差；
• AMID使用不受方向变化影响的三个磁性元素(m_x^', m_y^', m_z^'），其中磁力计的Z坐标通过使用如图3所示与重力方向相反的Z^'进行变换。
• 可以通过下列运算方法，计算Z^'和Z之间的角度差θ来得到这些元素：
  
  
  
  其中：；

图3.磁力计坐标和变换后的坐标