香港城市大学低空经济下UAV导航通信！O-VIB：面向任务的空地协同视觉导航通信框架

• 作者：Zhengru Fang*, Zhenghao Liu‡, Jingjing Wang‡, Senkang Hu*, Yu Guo*, Yiqin Deng*, Yuguang Fang*

• 单位：

  • * 香港赛马会STEM智慧城市实验室 & 香港城市大学计算机科学系
  • ‡ 北京航空航天大学网络与空间安全学院

• 论文题目：Task-Oriented Communications for Visual Navigation with Edge-Aerial Collaboration in Low Altitude Economy

• 论文链接：https://arxiv.org/abs/2504.18317v3

• 代码链接：https://github.com/fangzr/TOC-Edge-Aerial

背景介绍

低空经济（Low Altitude Economy, LAE）时代，轻型无人机（UAV）被广泛应用于物流、巡检与应急响应等场景。然而，城市中 GPS 信号失效（如高楼遮挡、干扰）严重制约其定位性能。视觉导航成为主流替代方案，但受限于轻型无人机的算力和通信能力，目前大部分基于深度学习、大语言模型的视觉导航算法难以部署在资源严重受限的无人机平台。本研究借助边缘节点的计算卸载服务与面向任务的通信（Task-Oriented Communications, TOC）方法，提出一种基于空地协同的无人机视觉定位新框架，实现无GPS定位、极低通信开销的情况下的高效无人机视觉定位。

---

主要贡献

1. 创新编码器 O-VIB：设计了融合正交性约束与自动相关性判定（ARD）的压缩编码器，压缩特征同时保障定位精度。
2. 多视角UAV数据集：机载摄像头“前、后、左、右、俯视”五个视角数据，包含 357,690 帧对齐的 RGB、深度与语义图像，模拟城市中无人机采集的多视角摄像头数据。
3. 实地部署与验证：在 Jetson Orin NX 与 Raspberry Pi 构建的测试平台上部署系统，验证其在带宽受限下的定位精度与延迟表现。

---

相关工作

在动力约束和带宽受限的场景下，UAV 定位历来是一大挑战。早期方法主要依赖特征匹配与搜索算法：

SIFT/SURF + RANSAC 算法中，首先检测图像关键点（如 SIFT／SURF），接着在数据库中通过暴力匹配找出最近邻，最后用 RANSAC 去除外点并估计相机位姿。此方法对光照与视角变化敏感，而且匹配步骤计算量随数据库规模呈二次增长，在大城市级场景下难以实时执行。

随后出现的单视图深度网络（以 PoseNet 系列为代表）将输入 RGB 图像直接映射到位姿向量，实现端到端回归。尽管这种方式简化了管线，它对遮挡、动态物体及强透视效果不具鲁棒性，而且单视角信息往往不足以支撑高精度定位。

为了提升可靠性，研究者们引入多视角特征融合 + Transformer 架构：各路相机特征先分别提取，再通过自注意力或图神经网络整合全局上下文。这类方法在静态或半动态场景中显著提高了定位准确度，但其弱点在于所有视角特征都被全量回传，忽视了无线链路的容量上限——带宽瓶颈下，特征数据堆积会导致延迟暴涨或丢包增多。

更进一步的工作尝试使用学习型压缩——如基于 AutoEncoder/VAE 的潜变量编码，或在编码损失里加入 KL 散度约束，来压缩特征维度。但大多数此类方法缺乏对“传输比特数”或“延迟”这一实际通信成本的显式建模，难以保证在极端带宽受限环境下仍能达到目标任务精度。

本工作的创新在于将“任务性能”与“通信开销”耦合进同一可微优化目标，利用 ARD 瓶颈 自动剔除无效通道，并通过 正交正则 确保剩余维度互补，从根本上解决了“有用信息 vs. 有成本”两难问题，使 UAV 在严格的网络条件下依然保持高精度与低延迟。

---

问题定义

目标是：在通信受限（带宽上限为 $C_{\max }$）条件下，最小化无人机定位误差：

$$\underset{\Theta }{\min }\mathbb{E}\left[\Vert {\hat{Y}}_t-Y_t{\Vert }^2\right],\text{s.t.}C(Z_t)\le C_{\max }$$

其中：

• $X_t$：多视角提取的高维特征；
• $Z_t$：压缩后的潜在表示；
• ${\hat{Y}}_t$：推理后的定位；
• $C(Z_t)$：通信开销函数。

---

系统框架总览

多摄像头UAV + 无线通信 + 边缘服务器

核心思路：多视角图像提取 → 特征压缩 → 传输至边缘 → 推理定位

• 前端UAV采集5路视角（前、后、左、右、下）
• 后端边缘服务器进行数据库匹配与融合定位
• 有效权衡定位精度与带宽使用

---

算法框架设计

多视角感知 + CLIP特征提取

搭载 5 视角摄像头（前后左右下），通过 CLIP-ViT 编码器提取每帧 512 维嵌入，拼接形成全局视觉描述符。

信息瓶颈 （Information Bottleneck）理论用于数据压缩

经典信息瓶颈理论Information Bottleneck（IB） 要求在 压缩 $X$ 的同时 保留 对任务标签 $Y$ 预测的最大信息量，形式化为

$$\underset{q_{\varphi }(z|x)}{\min }I(Z;X)-\beta I(Z;Y),\text{\hspace{1em}(1)}$$

其中 $I(\cdot ;\cdot )$ 为互信息，$\beta$ 控制“保留 vs. 压缩”。 在本场景中，瓶颈变量 $Z_t$ 直接通过无线链路发送，因此我们把 链路容量 纳入约束（或写成拉格朗日乘子）得到

$$\underset{\Theta }{\min }\mathbb{E}[\Vert {\hat{Y}}_t-Y_t{\Vert }^2]+\lambda I(Z_t;X_t),\text{s.t.}C(Z_t)\le C_{\max },\text{\hspace{1em}(2)}$$

并用 K-L 上界 将 $I(Z;X)$ 近似为

$$I(Z;X)\le {\mathbb{E}}_{p(x)}\left[D_{\mathrm{KL}}\right(q_{\varphi }(z|x)\Vert p(z))].\text{\hspace{1em}(3)}$$

若把 $p(z)=\mathcal{N}(0,I)$、$q_{\varphi }(z|x)=\mathcal{N}({\mu }_{\varphi }(x),{\sigma }_{\varphi }^2(x)I)$，则 (3) 可写成元素级的“重参数化 + KL”项，方便反向传播。

O-VIB （Orthogonally-constrained VIB） 编码器

• 核心思想：引入信息瓶颈（IB）理论，在保持定位信息的同时压缩无关冗余。

• 关键机制：

  • Automatic Relevance Determination（ARD）：自动淘汰不重要的潜变量维度（使用Log-Uniform先验）；
  • 正交性约束：避免不同维度冗余重合，确保信息有效分布。

符号	含义	与传统 VIB 的差别
O-VIB	Orthogonally-constrained VIB	在常规 VIB 的 KL 瓶颈外，加入 正交正则 $\Vert W{W}^{\top }-I{\Vert }_F^2$，确保各潜维度互补、避免冗余；同时引入 ARD 取代固定先验。
$W\in {\mathbb{R}}^{d\times m}$	编码投影矩阵	Vanilla VIB 只需输出 $(\mu ,\sigma )$；O-VIB 进一步要求 $W$ 的行正交。
$D_{\text{ARD}}(x)$	自动相关性判别惩罚	用 可学习方差 ${\sigma }_k^2(x)$ 近似 KL，与正交项一同塑形潜空间。

在带宽受限 ($C_{\max }$) 场景，可把 $\beta$ 视作对链路费用的“物价系数”。

ARD 机制的数学推导

1. 潜变量假设
   $$z_k={\mu }_k+{\sigma }_kϵ,ϵ\sim \mathcal{N}(0,1).$$

2. 对数均匀先验
   给每一维方差设置 $p(\log {\sigma }_k^2)=\text{const}$，等价于
   $$p(z_k)=\int \mathcal{N}(0,{\sigma }_k^2)p(\log {\sigma }_k^2)d\log {\sigma }_k^2\propto \frac{1}{|z_k|},$$
   产生“重尾”分布：小权重易被压向零，大权重得到保留。

3. KL 项近似
   $$D_{\text{ARD}}(x)\approx -\frac{1}{2}\sum _{k=1}^d\log {\sigma }_k^2+\frac{1}{2}\sum _{k=1}^d\frac{{\mu }_k^2}{{\sigma }_k^2}+\text{const},\text{\hspace{1em}(4)}$$
   其中第一项鼓励 ${\sigma }_k^2\to \infty$（弃用通道），第二项鼓励 ${\mu }_k\to 0$。
   训练后若 ${\sigma }_k^2$ 较大且 ${\mu }_k\approx 0$，该通道可 硬剪枝，实现自适应降维。

4. 与 VIB 的区别

   • Vanilla VIB：KL 与固定 $p(z)=\mathcal{N}(0,I)$；所有维度同等“纳税”。
   • O-VIB：KL 被 ARD 重写为 (5)，使 无用维的惩罚更高，配合正交项迫使剩余维度互补，从而在同带宽下获得更高定位精度、更低冗余熵。

最终训练的损失函数设计如下

$$\boxed{\mathcal{L}=\underset{\text{重建}}{\Vert x-\hat{x}{\Vert }^2}+\alpha \underset{\text{定位}}{\Vert y-\hat{y}{\Vert }^2}+\beta \underset{\text{可学习压缩}}{D_{\text{ARD}}(x)}+\gamma \underset{\text{正交正则}}{\Vert W{W}^{\top }-I{\Vert }_F^2}}\text{\hspace{1em}(5)}$$

其中在带宽受限 ($C_{\max }$) 场景，可把 $\beta$ 视作对链路费用的“物价系数”。

---

边缘推理机制：多视角注意力 ⊕ 回归–检索混合定位

---

压缩特征输入

五视角潜变量拼接为
$${\mathbf{Z}}_t=[{\mathbf{z}}_t^{(1)},\dots ,{\mathbf{z}}_t^{(V)}]\in {\mathbb{R}}^{V\times d},V=5.$$

---

多视角注意力融合

对每个视角嵌入施加线性投影得到
$${\mathbf{Q}}_t={\mathbf{Z}}_t{W}_Q,{\mathbf{K}}_t={\mathbf{Z}}_t{W}_K,{\mathbf{V}}_t={\mathbf{Z}}_t{W}_V,\text{\hspace{1em}(6)}$$
其中 $W_Q,W_K,W_V\in {\mathbb{R}}^{d\times d_h}$。 Scaled Dot-Product Attention 计算权重
$${\mathbf{A}}_t=\mathrm{softmax}\left(\frac{{\mathbf{Q}}_t{\mathbf{K}}_t^{\top }}{\sqrt{d_h}}\right),\text{\hspace{1em}(7)}$$
融合特征为
$${\mathbf{f}}_t=\mathrm{Agg}\left({\mathbf{A}}_t{\mathbf{V}}_t\right)\in {\mathbb{R}}^d,\text{\hspace{1em}(8)}$$
其中 $\mathrm{Agg}(\cdot )$ 可取均值或首行读取；多头情形将各头结果级联再经 FC 层得到 ${\mathbf{f}}_t$。

---

双路径位置推理

直接回归

$${\mathbf{y}}_t^{reg}=g_{{\Theta }_{reg}}\left({\mathbf{f}}_t\right),\text{\hspace{1em}(9)}$$
$g_{{\Theta }_{reg}}$ 为 3-layer MLP，输出三自由度 $(x,y,\psi )$。 同时回归分支预测对数方差 $\log {\sigma }_{reg}^2$ 作为置信度 ${\kappa }_{reg}=1/{\sigma }_{reg}^2$。

数据库检索

数据库 $\mathcal{D}=\{({\mathbf{g}}_i,{\mathbf{y}}_i){\}}_{i=1}^M$。 计算与融合特征的余弦相似度
$$s_i=\frac{⟨{\mathbf{f}}_t,{\mathbf{g}}_i⟩}{\Vert {\mathbf{f}}_t\Vert \Vert {\mathbf{g}}_i\Vert },w_i=\frac{e^{s_i}}{{\sum }_{j\in {\mathcal{N}}_k}{e}^{s_j}},i\in {\mathcal{N}}_k,\text{\hspace{1em}(10)}$$
其中 ${\mathcal{N}}_k$ 为相似度前 $k$ 个条目。 检索位姿
$${\mathbf{y}}_t^{ret}=\sum _{i\in {\mathcal{N}}_k}{w}_i{\mathbf{y}}_i,\text{\hspace{1em}(11)}$$
并用相似度均值 $\bar{s}=\frac{1}{k}{\sum }_{i\in {\mathcal{N}}_k}{s}_i$ 给出置信度 ${\kappa }_{ret}=\bar{s}$.

---

自适应权重融合

$${\eta }_t=\frac{{\kappa }_{reg}}{{\kappa }_{reg}+{\kappa }_{ret}},{\mathbf{y}}_t={\eta }_t{\mathbf{y}}_t^{reg}+(1-{\eta }_t){\mathbf{y}}_t^{ret}.\text{\hspace{1em}(12)}$$

• 当回归网络的方差小（${\kappa }_{reg}\uparrow$）且数据库相似度低，系统更信任回归；
• 反之，当收到高相似度检索结果时，${\eta }_t\downarrow$ ，检索分支主导。

---

端到端训练目标

边缘端仅对回归输出反向传播
L l o c = ∥ y ^ t   r e g − y t ∥ 2 , (13) \mathcal L_{loc}=\bigl\|\widehat{\mathbf y}_t^{\,reg}-\mathbf y_t\bigr\|^2, \tag{13} Lloc​= ​y ​treg​−yt​ ​2,(13)
而检索路径参与 推断 不参与梯度；其相似度 $s_i$ 间接影响 ${\eta }_t$，从而影响合成输出。
最终系统与 UAV-侧编码器共同最小化
$${\mathcal{L}}_{total}=\Vert x-\hat{x}{\Vert }^2+\alpha {\mathcal{L}}_{loc}+\beta D_{\text{ARD}}(x)+\gamma \Vert W{W}^{\top }-I{\Vert }_F^2,\text{\hspace{1em}(14)}$$
利用任务为导向的通信方法实现“少发 ⊕ 准解”的通信–学习协同优化。

---

实验结果与部署评估

• 定位精度：在8KB/s下仍保持 < 10m 定位误差，比原始VIB降低 42.1%，比WebP编码器降 62.6%。
• 通信延迟：在4KB/s网络下，O-VIB延迟仅 240ms，远优于JPEG/H.264/WebP 等标准编码器（超过5秒）。
• 压缩效率：通过调整瓶颈因子 $\beta$ 和正交性权重 $\gamma$，在压缩率与准确度之间取得优雅权衡。

硬件实现

我们基于真实硬件搭建原型系统，以评估算法的编码解码复杂度与端到端时延：
无人机侧使用 Jetson Orin NX 8 GB 对五路相机流进行实时编码，并通过 IEEE 802.11 链路发送到附近的路侧单元（RSU）。前级 RSU（Raspberry Pi 5, 16 GB）负责初步转发，拥塞时通过千兆以太网将数据转发到云端边缘服务器；后级 RSU（Jetson Orin NX Super 16 GB）承担主干部位姿推理任务。该部署验证了 O-VIB 在实际带宽受限场景下（10 KB/s）依旧能够实现 <150 ms 的端到端延时与高精度定位。

绿点为真实位置（GT），红点为算法 Top-1 预测位置。

---

多视角无人机感知数据集介绍

• 平台搭建：基于 CARLA 仿真器与 Jetson Orin NX 真实部署；
• 数据规模：357,690 帧，覆盖 8 张城市地图；
• 视角配置：5 路摄像头同时采集 RGB / 深度 / 语义；
• 用途：用于研究在 GNSS 拒止场景下的视觉定位、通信优化。

对应帧的语义分割结果，可见行人、建筑、车辆等类别掩码。

深度图示意，明暗表示近远距离。

数据集结构:

Dataset_CARLA/Dataset_all/
├── town01_20241217_215934.tar
├── town02_20241218_153549.tar
├── town03_20241217_222228.tar
├── town04_20241217_225428.tar
├── town05_20241218_092919.tar
├── town06_20241217_233050.tar
├── town07_20241218_153942.tar
└── town10hd_20241218_151215.tar

town05_20241218_092919/
├── calibration/
│   └── camera_calibration.json    # Contains parameters for all 5 UAV onboard cameras
├── depth/                         # Depth images from all cameras
│   ├── Back/
│   │   ├── 000000.npy             # Depth data in NumPy format
│   │   ├── 000000.png             # Visualization of depth data
│   │   └── ...
│   ├── Down/
│   ├── Front/
│   ├── Left/
│   └── Right/
├── metadata/                      # UAV position, rotation angles and timestamps
│   ├── 000000.json
│   ├── 000001.json
│   └── ...
├── rgb/                           # RGB images from all cameras (PNG format only)
│   ├── Back/
│   ├── Down/
│   ├── Front/
│   ├── Left/
│   └── Right/
└── semantic/                      # Semantic segmentation images (PNG format only)
    ├── Back/
    ├── Down/
    ├── Front/
    ├── Left/
    └── Right/

数据集开源地址：https://huggingface.co/datasets/Peter341/Multi-View-UAV-Dataset

---

结论

本文提出了一种面向任务的视觉通信框架，适用于低空无人机在城市环境中的导航定位。通过设计正交约束的O-VIB编码器和边缘协同推理机制，实现在极低带宽下的高精度导航，并在无人机和边缘计算节点的实物平台验证了算法在降低传输时延和定位精度提升方面的有效性。

---