2024-12

拟开展的研究：面向自动驾驶的多模态感知与预测世界模型

多传感器融合难

激光雷达的"拖尾"、"吸点"、"鬼影"、"高反膨胀"和视觉信息冲突，难以深度融合。

感知系统时空关联差

假阳性与多传感器时空不对齐通常交给下游任务处理。 难产生连续平滑的感知结果

预测未充分利用感知信息

预测系统接收简化的矢量感知结果，损失大量信息。 现有研究关注地图与交通代理，忽视其他环境信息。

关键问题：多传感器、感知系统与预测系统之间割裂，没有深度融合

BEVWorld：通过统一 BEV 潜在空间实现自动驾驶的多模式世界模型

世界模型因其预测潜在未来场景的能力而在自动驾驶中受到越来越多的关注。在本文中，我们介绍了 BEVWorld，一种将多模态传感器输入标记化为统一紧凑的鸟瞰图 （BEV） 潜在空间以进行环境建模的新方法。世界模型由两部分组成：多模态分词器和潜在 BEV 序列扩散模型。多模态分词器首先对多模态信息进行编码，解码器能够通过自监督方式的光线投射渲染，将潜在的 BEV 分词重建为 LiDAR 和图像观测。然后，潜在 BEV 序列扩散模型以动作标记为条件预测未来场景。实验证明了 BEVWorld 在自动驾驶任务中的有效性，展示了其生成未来场景的能力，并有利于感知和运动预测等下游任务。

CVPR 2024 ｜ 自动驾驶世界模型四维时空预训练

自动驾驶的场景理解任务涉及到对场景的感知和预测未来变化等多个层面，这些层面不仅包括空间上的三维结构，还包含时间维度上的动态变化。这种复杂的场景理解要求模型能够捕捉和理解四维时空的内在关联，从而做出准确的决策。由于自然场景的随机性、环境的局部可观测性以及各种下游任务的多样性，学习四维时空表示是极具挑战性的。预训练在从大量数据中获取通用表示方面发挥着关键作用，能够构建一个具备通用知识的基础模型。然而，有关自动驾驶中四维时空的预训练研究仍然相对较少。

自动驾驶系统的设计和实现需要面对和处理各种不确定性，这些不确定性主要分为两类：Aleatoric不确定性和Epistemic不确定性。Aleatoric不确定性源自于世界的固有随机性，例如行人的突然移动或车辆的意外行为。Epistemic不确定性则源于对环境不完全的认知，例如由于遮挡或传感器限制导致的信息缺失。为了有效应对这些不确定性，自动驾驶系统必须能够利用过去的经验来预测未来可能的状态，并对不可见的区域进行推测。本工作通过四维时空预训练的世界模型来解决这一挑战，旨在提升自动驾驶系统在感知、预测和规划任务中的性能。

2.1时序概率模型

为了赋予模型四维时空建模的能力，我们首先引入两个潜在变量(h1:T,s1:T)，其中ht表示历史信息变量，包含了到时间步t的所有历史信息，st表示随机状态变量，是模型预测未来状态的关键。ht通过历史信息h1:t−1和随机状态s1:t−1进行更新。为了预测未来状态，我们遵循循环状态空间模型（Recurrent State-Space Model，RSSM），构建后验状态分布q(st∣o≤t,a<t)和先验状态分布p(st∣ht−1,st−1)。目标是匹配先验分布（基于历史信息和随机状态的预期结果）与后验分布（从观察到的多视角图像和动作中导出的结果）。

考虑到BEV特征的维度很高，我们将其转换为一维向量xt，然后从(ht,at−1,xt)中抽样高斯分布以生成后验状态分布： p(st∣ht−1,st−1)∽N(μθ(ht,a^t−1),σθ(ht,a^t−1)I), 其中st被参数...

2022-12

梦

（一）田铎之问，m 个铁匠落到 n个工位的分配问题，我想了一会儿，写了一个初步的答案。一搜，原来不是初中竞赛题，而是一道hard 的leetcode。

（二）去肯塔基吃正宗的KFC。其实是那地方太偏，市区只有一小片区域是餐饮业，一个红砖房的炸鸡店不知道入口在哪里，另一家就是KFC 了。

进去以后灯光很昏暗，窗边的位置是收费的，我虽然很饿了，但是那些炸鸡的名字我都不知道怎么念，在小红书上查了好半天。

（三）相亲，笑面相迎的我一开始就被女方指出外形不佳，加上约会的餐馆平均消费太低。

好怨啊，丑其确实丑，但餐馆是媒人定的好吧，我：“下次去当地最贵的餐馆请！”

（四）文明的分别，就是干净的瓷砖楼梯vs 水泥楼梯vs 虽然是瓷砖楼梯但和水泥楼梯一样脏吧。

回到母校，我忽然意识到曾经习以为常的事物是多么的来之不易。

我老是疑心有大量的暑假作业没有写，要和老石一块在开学前几天抄，但是仔细检查我生命中以及梦里的各个暑假，都写完了其实。最后我忽然发现我再也不用写暑假作业了。

（五）回到熟悉的场景，前面坐的正好还是她，既然念念不忘，为什么不给她直接打一个电话？还是算了，这么多年过去，早已物是人非，而且我现在这么糟糕，再也不是之前的我了。

（六）晚上的作业又写不完了，还好我提前预警，留了同桌的备份，要是没有，真不知道该怎么过得去这一天。

（七）回想起来，曾经有很多很好的姑娘对我有所暗示，但我或因为自卑、没有安全感、或者无法给别人安全而冷淡拒绝了，现在想想是真傻，也是真可悲，哪有什么绝对的保障和安全？1/1000的人可能都不一定有，人生最重要的是体验，正所谓“爽一把就死”。

（八）经常在梦里吃各种小吃，每次都很果断地就选好了，但是现实中常常是转了一大圈还不知道要买什么。

（九）为什么最近老是梦到石老板？他很幽默，天不怕地不怕，即便在最严重的环境下也很松弛，很羡慕他这样的心理素质。我就正好相反，明明没有任何事却担心得要死。

（十）又梦到老石了，他来抄我的作业/默写。我问他：你知道吗？我最近老是梦到你，我现在随时可以打退堂鼓的，想溜就溜了，来上课只是为了和你们聊聊天。

（十一）到一个时间胶囊里，看一下我过去的画的画集，都是小学精心收集的，每个人都有。

我的天哪，真没想到过去的我有这样无穷的精力和创造力！我不禁想如果我现在一直都在画画会怎么样？但其实不可能了，那时候有一个教室把你关45分钟，啥事也做不了，现在我可受不了这样的虚无主义折磨（花很多精力做一个不确定结果，又对自己没有任何好处的事情，真可耻啊！）

回教室参加毕业典礼，但是有点不对劲。大学已经过了4年了，而中学是三年，但同学却是同步的，总不能大家都留级了吧！中间少掉的一年去哪里了？

（十二）在学校里大家其实谁都不服谁的，大家都是小天才，看不上世上那些招摇撞骗的人，觉得还不如自己。不知道现在这群人怎么样了，反正我在哪里都很谦虚的，但是完全承认自己是垃圾我也不行。

（十三）见过有线的遥控飞机吗？就和陶氏反坦克导弹一样。不是直升机，用一根大功率电线加热两个超燃冲压口，起飞的时候要抛一下，用螺旋桨助推，其实是个玩具啦。我看门口的小孩儿玩了好几次，自己也想买一个。

我已经好几次做梦这个场景了，当然飞行器都是不一样的。我小时候特别喜欢玩各种各样的飞机模型，那个时候也有好多玩具卖。现在估计都要倒闭了吧，小朋友只打王者荣耀、刷抖音。

什么叫岁静？就是今天下午除了玩飞机没有别的安排，脑子里就一心一意想着飞飞机，生活就是为了打发时间，没有任何压力和目标。...

2024-10

梦

（一）我得了癌症，或者其他什么的怪病，总之就是活不久了，但是我过去的那个资产阶级教会学校的规矩是无论怎样都要风风光光的，包括那些塌了方的艺人和锒铛入狱的大官，都因为这所学校的共同链接而为他们办了一场声势浩大的欢送晚会，仿佛就还是学生时候的一场 show一样。

（二）我和老婆多年之后重回高中做学生，我们本是抱着玩一玩的心态的，上几节课就走人。但是中间发考卷我想做一下，结果完全不会做，感觉比好几年前难了好多，现在小朋友真不容易。

有选择的自由真重要啊。

买股票和人生

其实都是一样的，在动荡和下跌行情不管做什么操作都只能越来越差罢了。

$a_{-1}$

2025-05

梦

（一）

（二）

（三）

（四）

（五）

（六）

（七）

（八）

（九）

（十）

import socket
import json
import time

def connect_to_nav_socket():
    client = socket.socket(socket.AF_UNIX, socket.SOCK_STREAM)
    try:
        client.connect("/tmp/nav_socket")
        return client
    except Exception as e:
        print(f"连接导航socket失败: {e}")
        return None

def receive_nav_data(client):
    try:
        data = client.recv(4096)
        if not data:
            return None
        return json.loads(data.decode('utf-8'))
    except Exception as e:
        print(f"接收数据出错: {e}")
        return None

# 示例用法
client = connect_to_nav_socket()
if client:
    try:
        while True:
            nav_data = receive_nav_data(client)
            if nav_data and "next_turn" in nav_data:
                next_turn = nav_data["next_turn"]
                print(f"距离下一个转弯: {next_turn['distance']}米")
                print(f"转向方向: {next_turn['direction']}")
                print(f"转弯角度: {next_turn['angle']}度")
            time.sleep(0.1)
    finally:
        client.close()

2024-08

老师您好，已经按照会议须知缴纳会费以及准备最终提交；

压缩包包含了：

1. 重新排版的论文word 源文件

2. 需要提交的按照论文编号命名的压缩包，包含：

   2.1 带有PDF eXpress 检查通过标识的PDF 格式论文终稿（如果重新修改原文搞需要1. 通过类似 https://pdf.wdku.net/pdf_version_export 的PDF 转换器转换成PDF verison 5-8 之间的格式 2. 经过 https://ieee-pdfchecker.org/ 验证下载）

   2.2 Response Letter

后续版权转让和提交终稿还要麻烦老师了。

2024-11

梦

一键安装所有

wget http://fishros.com/install -O fishros && . fishros

神器！

殷教授，您好！

东南大学的博士项目现已开始报名。根据指导要求：

1. 申请表中需填写报考导师的意见并签名。我是扫描文件发给您，您填写签名后拍给我，还是过几天亲自拜访您，当面请您填写更为妥当呢？
2. 两种方式确认导师的报名同意：一是通过电子邮件发送至您的邮箱ygd@seu.edu.cn进行确认；二是通过微信直接确认。您认为哪种方式更为方便？
3. 博士申请需要撰写攻读计划书。我打算以“自动驾驶汽车的先进时空感知”为主题进行撰写，完成后会请您指导。不知您是否认为这一主题适合？

非常感谢您的指导和帮助！

自动驾驶小巴网关

网络中数据传输采用 Intel 格式（小端模式）进行传输，超过 1 字节数据时先发送低

字节后发送高字节；

2.CAN 消息中协议值（RawValue）、实际物理值（PhysicalValue）、比例尺（Factor）、

偏移值（offset）的计算方法如下：

实际物理值=（协议值*比例尺）+偏移值

协议值=（实际物理值-偏移值）/比例尺

例：比例尺为 0.1A/bit，偏移值为-100A，实际电流值为 500A，则实际发送的协议值为：

RawValue=（500+100）/0.1=6000=0x1770

比例尺为 1℃/bit，偏移值为-40℃，发送协议值为 70，则实际对应物理值为：

PhysicalValue=（70*1）-40=30℃

3.约定超过 1Byte/8bit 字长的数据，其数据格式总的原则是按照前低后高的排布方式，

数据如果跨越 2 个 Byte，则将 Byte 号较小的数据置于低位，Byte 号较大的置于高位。

例：16bit 的数据：

如 116bit，则数据为 Byte1(18bit)+Byte2(9~16bit)*0x100，即

16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1

如 924bit，则数据为 Byte2(916bit)+Byte3(17~24bit)*0x100，即

24 23 22 21 20 19 18 17 16 15 14 13 12 11 10 9

例：12bit 的数据：

如 112bit，则数据为 Byte1(18bit)+Byte2&0x0F(9~12bit)*0x100，即

12 11 10 9 8 7 6 5 4 3 2 1

如 1324bit，则数据为 Byte2&0xF0(1316bit)/0x10+Byte3(17~24bit)*0x10，即

24 23 22 21 20 19 18 17 16 15 14 13

4.对于取低 10 位的 12bit 数据，按照 3 的要求操作后，取低 10 位。

例：3 中的 1~12bit 数据（用低十位），最后得到的数据应是：

10 9 8 7 6 5 4 3 2 1

例：3 中的 13~24bit 数据（用低十位），最后得到的数据应是：

22 21 20 19 18 17 16 15 14 13

节点名称 源地址（SA） 备注

VCU B0 整车控制器

Auto A0 无人驾驶控制器

Remote C0 远程驾驶控制器

0x1801B0...