carla bounding box error(2)

[이승현]

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46

def create_bbox_from_actor(actor, lidar_transform, ego_transform, is_ego=False):     bbox = actor.bounding_box     vehicle_tf = actor.get_transform()          # 1. World → LiDAR 변환 행렬     world2lidar = np.linalg.inv(np.array(lidar_transform.get_matrix()))          # 2. 바운딩 박스 중심 (World 기준)     bbox_world = vehicle_tf.transform(bbox.location)     bbox_center_world = np.array([bbox_world.x, bbox_world.y, bbox_world.z, 1.0])          # 3. World → LiDAR로 변환 (X축 반전 적용)     bbox_center_lidar_h = world2lidar @ bbox_center_world     bbox_center_lidar = bbox_center_lidar_h[:3]     bbox_center_lidar[0] *= -1  # X축 반전: LiDAR X축이 후방을 가리킴을 보정          # 4. 차량 회전 행렬 (CARLA → Open3D)     R_vehicle = convert_carla_rotation_to_open3d(vehicle_tf.rotation)          if is_ego:         bbox_center_lidar = np.array([0.0, 0.0, 0.0])         R_lidar = np.eye(3)     else:         ego_yaw_rad = np.radians(ego_transform.rotation.yaw)         vehicle_yaw_rad = np.radians(vehicle_tf.rotation.yaw)         correction_rad = ego_yaw_rad - vehicle_yaw_rad         if abs(correction_rad) > np.pi:             correction_rad = np.arctan2(np.sin(correction_rad), np.cos(correction_rad))  # 최단 경로 보정         correction_R = R.from_euler('z', correction_rad).as_matrix()         R_lidar = world2lidar[:3, :3] @ R_vehicle @ correction_R         if np.linalg.det(R_lidar) < 0:             R_lidar[:, 1] *= -1           yaw_deg = np.degrees(np.arctan2(R_lidar[1, 0], R_lidar[0, 0]))         print(f"Vehicle Yaw (LiDAR): {yaw_deg}")         print(f"R_lidar Matrix:\n{R_lidar}")          extent = bbox.extent     bbox_extent = np.array([extent.x * 2, extent.y * 2, extent.z * 2])          obb = o3d.geometry.OrientedBoundingBox(         center=bbox_center_lidar,         R=R_lidar,         extent=bbox_extent     )     return obb Colored by Color Scripter

cs

• lidar_transform: LiDAR 센서의 월드 좌표계 변환 행렬로, LiDAR 좌표계를 정의
• ego_transform: ego 차량의 월드 좌표계 변환 행렬로, 상대적 위치 및 방향 보정에 사용
• is_ego=False: ego 차량 여부를 나타내는 플래그로, ego일 경우 바운딩 박스 중심을 (0, 0, 0)으로 설정
• CARLA의 객체와 센서 데이터를 활용해 실시간으로 바운딩 박스를 생성하며, ego와 다른 객체를 구분해 처리하기 위함

• LiDAR 센서의 관점에서 객체 위치를 정확히 매핑하고, 사용자가 정의한 "X축은 ego 후방" 조건을 충족시키기 위함. np.linalg.inv는 LiDAR의 위치와 방향을 반영한 역행렬을 통해 좌표 변환을 가능하게 함.

• R_vehicle = convert_carla_rotation_to_open3d(vehicle_tf.rotation): CARLA의 회전 데이터를 Open3D 형식으로 변환
• correction_rad 및 correction_R: ego와 타겟 차량 간 yaw 차이를 계산해 방향 보정을 적용
• R_lidar = world2lidar[:3, :3] @ R_vehicle @ correction_R: LiDAR 좌표계, 차량 회전, 보정 행렬을 결합해 최종 회전 행렬 생성
• if np.linalg.det(R_lidar) < 0: R_lidar[:, 1] *= -1: 행렬 결정식 보정으로 올바른 방향 유지
• 차량의 방향을 LiDAR 좌표계에 맞게 조정하고, Open3D에서 OBB를 시각화할 때 방향이 자연스럽게 반영되도록 함 correction_rad는 yaw 차이를 최단 경로로 보정해 뒤틀림을 방지

correction_rad를 사용한 yaw 보정으로, ego와 타겟 차량 간 방향 차이(예: 89~90도)를 LiDAR 좌표계에 반영. 이는 바운딩 박스의 회전이 뒤틀리지 않고 실제 방향을 따르도록 함

실제로 bbox의 뒤틀림이 사라진 것을 확인함 하나의 식으로 해결하는 방법은 못찾고 조건문을 통해 부분적으로 해결하는 방법임

[Sungryul Lee]

2번째 그림은 잘 안맞는데

[이승현]

file:///C:/Users/224_PC8/Downloads/26_ROS2_%EB%9D%BC%EC%9D%B4%EB%8B%A4_250603.pdf