carla bounding box error(1)

[이승현]

ego_bounding box

1 2 3 4 5 6 7 8 9 10 11

if vehicle.id == self.ego.id:                     # Ego 차량 (자기 자신 기준 LiDAR)                     vehicle_transform = self.ego.get_transform()  #ego 차량 transform 확실히 지정                     bbox_o3d_ego = create_bbox_from_carla(bbox, vehicle_transform, lidar_transform_ego)                     bbox_o3d_ego.color = (0, 1, 0)                     bbox_o3d_vis_ego.center = bbox_o3d_ego.center                     bbox_o3d_vis_ego.R = bbox_o3d_ego.R                     bbox_o3d_vis_ego.extent = bbox_o3d_ego.extent                     # print()                     # print(f"bbox_R값{bbox_o3d_vis_ego.R}")                     # print("ego 차량의 r 값",extract_yaw_from_open3d_R(bbox_o3d_vis_ego.R))

cs

ego 차량의 정보를 그대로 대입하여 ego차량이 회전을 하여도 bounding box가 정확하게 그려짐 

lidar_transform= ego차량에 장착된 lidar의 위치 정보

vehicle_transorm= ego차량 자신의 위치 정보

두 좌표계가 동일 기준을 공유하고 있어 오차없이 정렬됨

ego차량이 lidar좌표계의 기준이므로 회전보정이 필요없음 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43

def create_bbox_from_carla(bbox, vehicle_transform, lidar_transform):     """     특정 차량의 BoundingBox를 현재 Ego LiDAR 좌표계 기준으로 변환     """     # 1. 차량 bbox center (world 기준)     bbox_world_center = vehicle_transform.transform(bbox.location)     bbox_center_world = np.array([         bbox_world_center.x,         bbox_world_center.y,         bbox_world_center.z,         1.0     ])       # 2. 차량 회전행렬 (CARLA → Open3D 우수)     R_vehicle = convert_carla_rotation_to_open3d(vehicle_transform.rotation)  # (3x3)       # 3. World → LiDAR 변환 행렬     T_world_to_lidar = np.linalg.inv(np.array(lidar_transform.get_matrix()))  # (4x4)       # 4. bbox center 변환     bbox_center_lidar_h = T_world_to_lidar @ bbox_center_world     bbox_center_lidar = bbox_center_lidar_h[:3]       # 5. 차량 회전행렬도 LiDAR 기준으로     R_lidar = T_world_to_lidar[:3, :3] @ R_vehicle       # 6. 좌수 → 우수 변환 (X축 플립)     bbox_center_lidar[0] *= -1     R_lidar[:, 1] *= -1       # 7. Left-handed 행렬 보정 (det < 0 이면 Y축 추가 플립)     if np.linalg.det(R_lidar) < 0:         R_lidar[:, 1] *= -1       # 8. BoundingBox 크기     extent = bbox.extent     bbox_extent = np.array([extent.x * 2, extent.y * 2, extent.z * 2])       # 9. Open3D OBB 생성     obb = o3d.geometry.OrientedBoundingBox(center=bbox_center_lidar,                                            R=R_lidar,                                            extent=bbox_extent)     return obb Colored by Color Scripter

cs

위 코드를 살펴보면  T_world_to_lidar = np.linalg.inv(np.array(lidar_transform.get_matrix())) 를 통해 world좌표계에서 lidar좌표계로 변환이 완료됨을 확인했고

R_lidar = T_world_to_lidar[:3, :3] @ R_vehicle 를 통해 회전을 포함하여 계산하여 차량이 회전하여도 잘 그려져야함

문제는 ego차량이 회전할때 R_lidar = T_world_to_lidar[:3, :3] @ R_vehicle 가 적용이 되는데 이것은 ego차량의 회전이 포함되어있어 다른차량의 회전도 같이 왜곡이 되는 현상이 발생하는거 같음 

다른 차량의 바운딩 박스가 Ego의 회전에 영향을 받지 않도록 Ego LiDAR 좌표계의 회전 성분을 제거한 좌표계 기준에서 표현 해야 할거같음 translation은 반영하되, rotation은 반영하면 안 되도록 해야함