Localization of AUV Using Visual Shape Information of Underwater Structures

종대 정; 수영 최; 현택 최; 현 명

doi:10.5574/KSOE.2015.29.5.392

Abstract

An autonomous underwater vehicle (AUV) can perform flexible operations even in complex underwater environments because of its autonomy. Localization is one of the key components of this autonomous navigation. Because the inertial navigation system of an AUV suffers from drift, observing fixed objects in an inertial reference system can enhance the localization performance. In this paper, we propose a method of AUV localization using visual measurements of underwater structures. A camera measurement model that emulates the camera’s observations of underwater structures is designed in a particle filtering framework. Then, the particle weight is updated based on the extracted visual information of the underwater structures. The proposed method is validated based on the results of experiments performed in a structured basin environment.

1. 서 론

수중 로봇은 사람이 도달하기 어려운 수중환경 속에서 탐사 또는 매니퓰레이션과 같은 특정한 임무를 수행하기 위해 제작된다. 수중 로봇 중에서도 자율 유영 수중 로봇(Atonomous underwater vehicle, AUV)은 별도의 테더 케이블이 필요 없기 때문에 복잡한 인공구조물이 있는 수중 환경에서도 자유도가 높은 탐사를 수행할 수 있다. 수중로봇의 자율 유영을 위한 요소 기술들 중 위치인식(Localization)은 사용자와 로봇이 공유하고 있는 임의의 전역 좌표계 상에서 로봇의 3차원 위치 좌표를 획득하는 기술로서 자율 유영의 다른 구성 요소인 경로계획, 모션제어 등과 더불어 매우 중요한 요소이다. 이러한 수중 로봇의 위치인식을 위해 비전, 소나, 관성 센서(Inertial measurement unit, IMU) 등 다양한 센서 시스템이 개발되어 사용되고 있으며(Kim et al., 2014; Paull, 2014) 그 중 카메라 비전은 위치인식과 더불어 사용자에게 수중 환경에 대한 직관적인 정보를 제공할 수 있다는 장점이 있다. 수중항법에 보편적으로 사용되는 관성항법(Inertial navigation system, INS)의 경우 관성센서의 드리프트에 의해 누적 오차가 발생하게 되는데 이를 보정하기 위해서는 항법 좌표계 내에서 고정된 대상에 대한 측정값이 필요하다. 수중 인공구조물은 수중에서 고정되어 있기 때문에 이의 기하학적인 정보를 카메라를 통해 국지적으로 관측하여 사용할 수 있다. 이러한 구조물의 영상 관측에 의한 위치인식 방법으로는 수중에 특정한 기하형상을 가진 소형 구조물을 설치하여 템플릿 매칭 등의 방법으로 검출하는 방법(Kim et al., 2014; Lee et al., 2012), 수중 구조물에 레이저 빔을 쏘거나 패턴광을 조사하여 이를 관측한 영상에서 특징점을 추출하여 이용하는 방법(Kondo et al., 2003; Kondo et al., 2004) 등이 있다. 본 연구에서는 수중 환경의 시계가 어느 정도 확보되어 있다는 가정 하에서 구조물 형상이 추출된 전체 영상을 이용하여 로봇의 위치를 보정하는 방법을 소개한다. 또한 제안된 방법을 실제 수조 환경에서의 실험을 통해 검증하고자 한다.

2. 위치인식기 설계

2.1 파티클필터 프레임워크 설계

위치인식 시스템 설계에 있어 먼저 각 센서의 측정값들을 확률적으로 융합할 수 있는 프레임워크의 선정이 필요하다. 본 연구에서는 베이지안 필터 중 하나인 파티클 필터(Particle filter)를 기본 프레임워크로 사용하였다(Thrun et al., 2005). Fig. 1은 파티클 필터 프레임워크 내의 센서 입력 및 로봇 위치를 추정하기 위한 필수 단계들을 설명하고 있다. 센서의 경우, 기본적으로 관성항법에 필요한 DVL (Doppler velocity log), AHRS (Attitude and heading reference system), Depth sensor, IMU 등이 사용되며 추가적으로 비전 정보 획득을 위한 단일카메라가 사용된다. 관성항법을 통해 얻은 결과는 파티클의 모션 예측단계(Motion update)에 사용되며 비전 정보는 파티클의 가중치 업데이트(Weight update)에 사용된다.

Fig. 1

Procedure of the proposed localization algorithm.

2.2 파티클 모션 업데이트

수중로봇의 경우 3차원에서 움직이기 때문에 위치에 대한 상태변수는 일반적으로 SE(3) 그룹(Special euclidean group of dimension 3)에서 정의된다. 본 연구에서는 수식의 단순화와 연산량 감소를 위해 로봇의 Roll과 Pich모션은 수평으로 유지된다고 가정하고 로봇의 상태변수를 SE(2) 그룹(Special euclidean group of dimension 2)내에서 정의하고 수심(Depth)을 추가하였다. 따라서 로봇의 상태변수 x는 전역좌표계상에서 정의된 3차원 병진 벡터(Translation vector) T = [x_R, y_R, z_R]^T와 Yaw 회전각 θ_R의 합인 x = [x_R, y_R, z_R, θ_R]^T이 된다.

파티클의 모션 업데이트는 본 연구에서 사용된 P-SURO II 수중로봇의 관성항법을 이용하는데(Li et al., 2014), 로봇 내의 단일보드 컴퓨터(Single board computer, SBC) 내에서 자체적으로 계산된 관성항법 결과를 이용하여 i번째 시간 단계에서 모션 업데이트에 사용될 오도메트리 입력값 u를 아래와 같이 생성한다.

여기서 x_INS,i는 관성항법 결과로 얻은 로봇의 i번째 시간 단계에서의 위치값이다. 위의 결과를 이용하여 k번째 파티클의 모션 업데이트는 다음과 같이 수행된다.

여기서 모션 오차

는 블랙박스 오차모델(Fernandez-Madrigeal and Claraco, 2013)에 의해 계산되는 값이며 관련 파라미터인 오차분산

은 다음과 같이 계산된다.

여기서

는 정지상태에 대한 최소 불확실성, α₁ (m²/m), α₃ (rad²/m)는 로봇의 병진거리 증분에 따른 위치값 증분의 불확실성, α₂ (m²/rad), α₄ (rad²/rad)는 회전 증분에 따른 위치값 증분의 불확실성에 대한 파라미터를 각각 나타낸다.

2.3 비전 기반 파티클 가중치 업데이트

대부분의 수중 인공구조물의 경우 설계 도면이 있기 때문에 구조물의 기하학적인 정보를 사전에 입력 받아 사용할 수 있다. 이러한 정보를 바탕으로 카메라에서 예측되는 관측 이미지를 모사할 수 있는데 이를 위해서는 카메라의 내부 파라미터 (Intrinsic parameter) 정보 M_int가 추가적으로 필요하다. M_int값은 Fig. 2와 같이 카메라 캘리브레이션을 통하여 구할 수 있다.

Fig. 2

Camera calibiration

카메라 내부 파라미터가 정해지면 우리가 임의로 정한 좌표계 내에서 카메라 관측모델을 만들 수 있다. Fig. 3은 본 연구에서 정한 좌표계를 나타낸 것으로 좌표계 원점에 표시된 영문 대문자는 각각 전역(Global) 좌표계, 수조(Basin) 좌표계, 구조물 모델(Model) 좌표계, 구조물 단면(Section) 좌표계, 로봇(Robot) 좌표계, 카메라(Camera) 좌표계를 의미한다. 모든 좌표계 간의 변환은 Homogeneous transformaion matrix를 통해 계산된다. 관측모델 생성에 필요한 좌표계 간의 변환은 크게 세 가지로, (1) R → B : 관성항법 결과 저장, (2) S → M → G : 구조물 정의, (3) G → C: 카메라 외부 파라미터(Extrinsic parameter) 정보 계산이 있다. 여기서 (1)과 (2)를 조합한 결과로 카메라 관측모델(S → C)을 정의할 수 있다. 부재요소 단면의 경우 극좌표계를 이용, 점군으로 나타내었다.

Fig. 3

Coordinate systems used in the observation model

Fig. 4는 KIRO (Korea institute of robot and convergence) 수조 내에 설치된 모형 자켓 구조물에 대해 카메라 관측모델을 적용한 결과를 나타낸다. 임의로 주어진 카메라 위치에 따라 구조물이 카메라에 어떻게 관측되는지 확인해 볼 수 있다.

Fig. 4

Examples of predicted camera images for target underwater structure.

이러한 카메라 관측모델은 연산량이 매우 많기 때문에 실시간성이 떨어진다. 때문에 관측모델에 대한 데이터베이스를 미리 생성해 놓고 룩업테이블을 이용하여 접근하는 방법을 사용한다. 데이터베이스는 다음과 같은 과정으로 생성한다: (1) 임의의 수조 공간에 대해 카메라가 위치할 영역을 유한개의 3차원 셀로 나눈다. (2) 각 셀에서 카메라가 위치할 수 있는 Yaw angle을 다시 유한개로 나눈다. (3) 각 셀, 각 Yaw angle에서 카메라 관측 모델을 생성한다. (4) 생성된 관측모델 정보를 해당되는 위치정보와 함께 룩업테이블 형태로 저장한다.

실제 비전 정보가 갱신되어 들어오게 되면 각 파티클은 현재 위치에서 예상되는 관측모델을 룩업테이블에서 찾은 다음, 현재 영상에서 추출된 구조물 정보와 비교함으로써 가중치를 업데이트 하게 된다. 구조물 정보를 추출하는 데에는 다양한 영상 분할 기법이 사용될 수 있는데 Fig. 5는 관련하여 몇 가지 기법을 적용한 결과를 나타낸다(Achanta et al., 2012; Meyer and Beucher, 1990). Fig. 5(a)는 적응형 이진화 기법을 적용한 것으로 이진화 임계값 계산에 해당 화소 주변의 국소영역 평균을 참고함으로써 조명 변화에 강인하도록 한 것이다. Fig. 5(b)의 워터쉐드 알고리즘은 영상의 화소값을 등고선의 높낮이와 유사하게 생각하여 경계선을 따라 영역이 분할되도록 침수(Flooding) 연산을 하는 방법이다. Fig. 5(c)와 Fig. 5(d)의 방법은 모두 컬러 공간에서 클러스터링을 수행하는 것인데 전자는 단순히 화소값들을 적절한 컬러 공간으로 변환한 후에 K-means와 같은 클러스터링 기법을 적용한 것이며 후자는 화소값 뿐 아니라 화소의 위치 벡터도 고려한 입력값을 이용하여 클러스터링을 수행한 결과이다. 본 연구의 최종 실험에서는 적응형 이진화 기법을 적용하였다.

Fig. 5

Segmentation examples.

영상에서 직접 추출된 구조물의 정보와 해당 파티클이 룩업 테이블에서 찾은 관측모델 정보를 비교하여 최종적인 가중치 값을 구할 때에는 Fig. 6과 같이 구조물의 형상이 겹치는 부분을 산정하여 구하는데, 추출된 구조물 형상 픽셀의 총합에 대한 겹치는 부분의 픽셀 개수의 비율을 가중치로 사용한다.

Fig. 6

Procedure of particle weight update.

3. 수조 실험

제안된 알고리즘의 성능을 검증하기 위해 KIRO에서 개발한 P-SURO II 수중 로봇 플랫폼(Li et al., 2014)을 사용하여 실제 KIRO 내 수조 실험데이터를 획득, 오프라인으로 결과를 분석하였다. 로봇에는 Sidus 사의 SS440 수중카메라가 설치되어 있다. Fig. 7은 실험에 사용된 수중로봇 및 수조 내에 설치된 인공 구조물의 설치환경을 보여준다. 로봇은 수상의 시작점에서 잠수하여 인공 구조물 주변을 선회하여 한바퀴 돈 후에 다시 부상하는 경로로 운행되었다. 모든 데이터는 지상의 컨트롤유닛에서 실시간으로 저장되었으며 관성항법 데이터 및 카메라 데이터는 각각 컨트롤유닛의 CPU 타임 기준으로 타임스탬프와 함께 저장되었다. 실험결과는 저장된 데이터를 오프라인으로 처리하여 생성하였다. 오프라인 분석에는 Intel i7-4770 CPU (3.4GHz) 기반 데스크탑 PC가 사용되었으며, 데이터 처리 시간은 파티클 500개 사용 기준으로 1회의 필터링 수행에 평균 57 msec이 소요되었다.

Fig. 7

Experimental environments

4. 실험 결과

Fig. 8는 최종적으로 생성된 수중 로봇의 이동경로를 나타낸다. Fig. 8(a)는 위에서 바라본 경로이며 X축 8m 지점에 수조의 벽이 있다. 절대 위치인식 시스템의 부재로 추정 경로의 절대오차는 구할 수 없었으나 정성적인 평가는 가능하였다. 즉, 관성항법(INS)의 경우 드리프트로 인해 오차가 누적되어 로봇의 경로가 수조 밖으로 벗어나는 반면, 구조물 영상 기반의 파티클 필터(INS+Vision)는 수조 내에서 지속적으로 경로를 생성함을 확인할 수 있다. 차후 절대 위치인식시스템을 이용하여 좀 더 정량적인 평가를 할 예정이다.

Fig. 8

Estimated trajectories calculated by the vision-aided PF (magenta) and INS (cyan).

5. 결 론

본 논문에서는 수중 인공구조물 주변을 유영하는 자율 유영 로봇의 위치인식을 위해 인공구조물로부터 획득된 비전 정보 중 구조물의 형상 정보를 사용하는 방법을 제시하였다. 또한 실제 실내 수조 실험을 통해 제안된 방법이 관성항법의 누적 오차를 보정할 수 있음을 확인하였다. 추후 연구 내용으로는 데이터베이스 간의 보간을 통한 정확도 향상 및 본 연구에서는 고려하지 않은 Roll, Pitch 모션에 대한 추정을 위한 호모그래피 기법의 적용 등이 있다.