Spectacular AI Gemini2 跑通实时建图

参考链接：Spectacular AI

硬件设备

gemini2
测试了gemini335没成功

修改record.cpp

仓库链接：sdk

读取Timu_cam
ros2 run tf2_ros tf2_echo imu坐标系（加速度计和陀螺仪都可以，两者变换为单位阵）camera_rgb_optical_frame

// Create Spectacular AI orbbec plugin configuration (depends on device type).
ob::Pipeline obPipeline;
spectacularAI::orbbecPlugin::Configuration config(obPipeline);
// 外参赋值
config.imuToCameraRgb = {{
   { 1, 0, 0, 0 },
   { 0, 1, 0, 0 },
   { 0, 0, 1, 0 },
   { 0, 0, 0, 1 }
}};

编译代码

注意sdk与OrbbecSDK的版本对应

（1）下载OrbbecSDK v1.10.12

cd OrbbecSDK && mkdir build && cd build && cmake .. && cmake --build . --config Release
make install

（2）下载spectacularAI_orbbecPlugin_cpp_non-commercial_1.40.1.tar.gz 与source code
（3）编译sdk orbbec目录下的record.cpp

mkdir target
cd target
cmake -DspectacularAI_orbbecPlugin_DIR=<path/to/spectacularAI_orbbecPlugin/lib/cmake/spectacularAI/> -DOrbbecSDK_DIR=<path/to/OrbbecSDK> ..
make

测试效果

同官网效果

ide debug记录

clion

debug的时候，执行./sai-record-orbbec报错：
找不到pip install “spectacularAI[full]”

echo $PATH
然后写到环境变量里面

vscode debug python

f5 写入python脚本参数

离线运行

./sai-record-orbbec --recording_only --no_preview # More lightweight
sai-cli process.py XXX

3DGS建图

dn-splatter