1. 서 론
지상 로봇 기술의 발전으로 다양한 센서 정보를 이용한 외부 환경 인식 기법들이 활발히 연구되고 있다. 특히 광학 카메라와 레이저 스캐너, GPS(Global positioning system)와 같은 센서 기술의 발전으로 지상 로봇의 인식 기술에 대한 많은 연구 성과들이 발표되었다. 최근에는 군사⋅학문⋅상업적 목적으로 한 심해 환경에 대한 관심의 증가로 수중 로봇에 관한 수요가 증가하고 있다. 하지만 수중 환경은 지상과는 다르게 물이라는 매개체로 채워져 있는 공간의 특수성으로 인해 환경인식에 많은 어려움이 따른다. 특히 물은 빛과 전파 등의 흡수율이 높아 레이저 스캐너, GPS, RF beacon(Radio frequency beacon) 등의 센서를 이용하기 어렵다. 이러한 어려움에도 불구하고 수중 로봇을 이용한 댐⋅파이프라인 등의 인프라 점검(Ridao et al., 2010), 선박 조사(Hover et al., 2012) 등에 대한 연구가 활발히 이루어져 왔으며 최근에는 과학적 탐사와 자원 개발을 목적으로 하는 심해용 수중 로봇들이 개발되어 심해저 탐사에 이용되고 있다.
특히 지상 로봇의 환경 인식분야에서는 광학카메라에 기반을 둔 컴퓨터 비전 기술의 지속적인 발전으로 이를 이용한 환경 인식, 위치 추정, 항법, 영상 모자이킹 기법들이 성공적으로 적용되고 있다. 지상 로봇 분야에서 광학카메라 기반의 컴퓨터 비전 기법이 상당히 발달하면서 수중 로봇 분야에서도 광학카메라를 이용한 환경 인식에 관한 연구들이 시도되고 있다. 그러나 수중환경에서 광학 영상은 물의 탁도에 의해 가시거리가 제한되며, 심해의 경우에는 부족한 조명으로 인해 인공 광원에 의존한 영상만이 획득 가능하여 비교적 가시성이 많이 확보되는 제한된 상황을 가정한 연구들이 주로 이루어지고 있다. 이러한 한계를 극복하기 위해서 고해상도 수중 영상 소나를 이용한 수중 로봇의 환경 인식 기법에 대한 연구들이 수행 되고 있다.
영상 소나(Imaging sonar)는 수중에서 음파가 물체에서 반사되어 돌아오는 시간과 음파의 세기를 측정하여 광학 영상과 비슷한 형태의 이미지를 만들어 제공해준다. 뿐만 아니라 상대 거리 및 위치를 계측 할 수 있어 수중 환경에서는 탁도에 따라 가시거리가 제한되는 광학 카메라에 비해 활용도가 꽤 높다. 하지만 광학 영상에 비해 해상도가 낮으며 음파를 이용하여 영상을 만들기 때문에 수면, 바닥, 벽면에 의한 다중 반사파와 매질의 변화에 따른 영상의 잡음으로 인해 환경 인식에 어려움이 따른다. 결론적으로 수중 영상 소나는 광학 영상에 비해 탁도의 영향은 작으나 대상체의 표면 재질이나 수온에 따라 화소 값에 차이가 날 수 있으며 낮은 해상도와 잡음으로 인해 영상이 뚜렷하지 않은 특징이 있다. Fig 1은 본 연구에서 사용된 고해상도 2D Forward looking sonar의 일종인 Sound Metirics 사의 “Dual-frequency Identification Sonar(DIDSON)”(Belcher et al., 2002)와 그것을 이용하여 획득한 영상을 나타낸다.
수중로봇에 영상 소나를 적용하기 위한 초창기 연구들은 광학 카메라에서 사용하는 지역 특징점 검출 기법을 이용하였다(Negahdaripour et al., 2005; Negahdaripour et al., 2011; Kim et al., 2004). 하지만 기존의 선형 스케일 공간 기반의 지역 특징점 검출 기법들을 소나 영상에 적용하는 경우, 저해상도와 높은 잡음들로 인해 안정적인 특징점 검출에 어려움이 따르며 특히 개체가 거의 없는 모래나 자갈들이 쌓여있는 해저면 영상들에서는 기존의 특징점 검출 기법을 안정적으로 사용할 수 없게 된다. 이러한 이유로 Aykin은 k-means 군집화 알고리즘을 이용하여 소나 영상에서 물체 영역을 분리하고, 분리된 영역을 가우시안 맵(Gaussian map)기반의 특징으로 기술하여 수중 로봇의 모션 추정에 관한 연구를 수행하였다(Aykin and Negahdaripour, 2012). Johannson et al.(2010)은 Median filter를 이용하여 전처리된 소나 영상에 Gradient를 적용하여 물체 영역을 추출하였으며 NDT(Normal distribution transform)를 이용해 환경 정보를 인식하고 수중 로봇의 움직임을 추정해 항법에 이용하였다(Johannsson et al, 2010). Natàlia Hurtós는 CLAHE(Contrast-limited adaptive histogram equalization)기법을 이용해 소나 영상의 전처리를 수행하여 영상의 Contrast를 향상하면서 스펙클 노이즈(Speckle noise)를 줄였으며 특징점 기반의 접근법 대신 전체 이미지를 푸리에 변환하여 위상 상관도(Phase correlation)를 이용하여 소나 영상의 모자이킹을 수행하였다 Hurtós et al, 2015). Shin은 소나 영상에 비선형 스케일 공간 구성 기반의 KAZE 특징점을 적용하여 수중 로봇의 항법에 관한 연구를 수행하였다(Shin et al. 2015).
이에 본 논문에서는 영상 처리 요소 기술 중 전처리 기술과 특징점 추출 기법에 주목한다. 저해상도 고잡음 소나 영상을 이용한 수중 환경인식을 위한 초기 연구 단계로 소나 영상에 적합한 전처리 기법에 대하여 분석하였으며 소나 영상에 적합한 특징점 검출 기법을 찾기 위해 기존의 지역 특징점 검출 기법들을 소나 영상에 적용하여 비교 분석 하였다. 수중 소나 영상의 경우 광학 영상과는 달리 물체의 색 정보가 아닌 음파의 반사값을 밝기로 표현하기 때문에 전처리 기법을 통한 영상 개선의 정도를 쉽게 예측하기가 어렵다. 따라서 본 논문에서는 광학 영상의 개선을 위해 일반적으로 사용되는 기법들인 감마 보정(Gamma correction), 적응형 히스토그램 평활화(Adaptive histogram equalization)와 Median filter를 이용한 소나 영상의 개선 정도를 비교하여 그 특징을 살펴본다. 또한 기존의 특징점 검출 기법들을 선형 스케일 공간과 비선형 스케일 공간을 이용한 특징점 검출 기법들로 구분하여 소나 영상에 적용하여 그 결과를 분석하고 소나 영상에 효과적인 특징점 검출 방법을 찾는데 주력하였다.
2. 본 론
2.1 소나 영상의 전처리 기법
수중 소나 영상을 개선하기 위해 사용되는 전처리 기법들은 대부분 수중 광학 영상이나 지상에서 사용하는 광학 영상에 사용되는 기법을 응용하여 사용하는 경우가 많다. 서론에서 언급되었던 전처리 기법들의 종류와 수중 영상에서의 적용에 대한 설명은 아래와 같다.
소나 영상 기반의 수중 로봇의 항법에 적용된 필터링 방법 중 하나인 Median filter(Johannsson et al, 2010)는 필터 패치에 포함되는 값 중 중간 값을 선택하는 것으로 Pepper and salt와 같은 노이즈를 포함한 영상의 개선에 많이 적용되었다. 이러한 필터 기반 노이즈 제거 방법은 크기가 작고 빈도가 높은 노이즈에 대해서는 적용이 가능하나 소나 영상과 같이 노이즈의 크기가 큰 경우에는 패치 사이즈를 키워야 하며 패치가 커지는 경우에는 영상의 뭉개짐이 심해지는 경향을 나타낸다. 아래의 식은 Median filter를 나타낸다.
여기서 I 는 해당 입력 영상을 의미하며, I′는 해당 필터의 위치(m, n)에서의 출력을 나타내고 i, j는 해당 필터의 위치에서 윈도우 ω 내에 포함된 픽셀들 모두를 의미한다.
Tomasi와 Manduchi (Tomasi and Manduchi, 1998)에 의해 제안된 Bilateral filter는 영상의 경계를 보존하면서 노이즈는 감소시키고자 하는 목적으로 주로 사용되고 있다. Bilateral filter는 영상 주변의 픽셀 값에 가우시안 가중치를 적용하여 이용한 비선형 필터이다. 이를 표현한 식은 아래와 같다.
여기서 I는 해당 입력 영상을 의미하며, I′는 필터가 적용된 출력 영상을 의미한다. fr (⋅)은 해당 윈도우의 중심 x와 현재 픽셀의 위치 xi에서의 픽셀 값간의 거리에 관한 함수이며, gr (⋅)은 해당 픽셀과 윈도우의 중심간의 거리 함수를 의미한다.
감마 보정은 비선형 전달 함수를 사용하여 빛의 강도를 비선형적으로 변형하는 보정 방법을 의미한다. 감마 보정은 기본적으로 입/출력 영상간에 로그 스케일에서 지수법칙을 따르는 모양의 곡선특성을 나타내며, 이 관계에서의 지수 값을 감마라고 일컫는다. 감마 보정은 아래 수식과 같이 표현된다.
여기서 I(m, n)는 해당 입력 영상에서 (m, n)에 위치한 픽셀값을 의미하며, I′(m, n)는 감마 보정에 의해 보정된 픽셀 값을 의미한다. 보정 영상은 감마 값의 선택에 따라 달라지게 되며 일반적으로 감마 값이 1 이상인 경우에는 영상이 어두워지는 비선형 함수를, 1 이하인 경우에는 밝아지는 비선형 함수를 나타내게 된다.
히스토그램 평활화는 인간의 인지도는 영상의 절대적 밝기의 크기보다 대비가 커질 때 더 증가하기 때문에 광학영상의 개선에 많이 적용된 방법이다. 일반적인 히스토그램 영상 전체의 각 채널에 대해서 히스토그램과 누적 히스토그램을 구성하고 명암 분포가 균일하도록 히스토그램을 픽셀 값의 전체 영역에 고르게 분포하도록 구성한다. 적응형 히스토그램 평활화는 일반적인 히스토그램 평활화와는 달리 영상의 영역별로 평활화를 수행하며 히스토그램 구간도 유저 파라미터로 두어 사용자의 선택에 따라 출력 영상을 조정할 수 있도록 하는 방법이다. 소나 영상의 경우에는 영상의 공백이 많기 때문에 히스토그램 평활화를 통해 특이 물체의 인식률을 높이려면 일반 히스토그램 평활화가 아닌 적응형 히스토그램 평활화 방법을 적용해야 한다.
일반 히스토그램 평활화와 적응형 히스토그램의 평활화에서도 가장 문제가 되는 부분은 영상의 노이즈도 함께 강조되어 나타난다는 것이다. 이러한 문제점을 보완하는 CLAHE(Hurtós et al, 2015)는 기존 적응형 히스토그램에서 노이즈가 강조되는 문제점을 개선하기 위해 제안된 모델로 일정 이상의 값을 가지는 히스토그램 값을 잘라서 평활하게 분포하게 하여 모델을 개선하였다. Fig. 2를 참고하면 CDF(Cumulative distribution function)를 만들기 전에 구성한 일반 히스토그램에서 Clip limit이상의 값을 가지는 히스토그램 값을 잘라서 모든 밝기값에 일정하게 분포되도록 한다.
다양한 전처리 방법 중에서 감마 보정과 CLAHE는 감마 값과 Clip limit의 설정에 따라서 보정 결과의 차이가 크며 그 경향은 Fig. 3에서 살펴볼 수 있다. Fig. 3은 감마 값을 0.1에서 2까지 변화시키며 그 출력 결과를 살펴본 결과이다. 앞의 설명과 마찬가지로 감마 값이 커짐에 따라서 영상의 대비가 어두워지는 쪽으로 픽셀 값이 맵핑되며 노이즈가 제거되었으나 마커의 밝기 또한 줄어드는 것을 알 수 있다. Fig. 4는 CLAHE에서 Clip limit을 0.0001에서 1까지 10의 배수로 증가하며 그 경향을 살펴본 것으로 값이 커질수록 마커의 밝기가 밝아졌으나 노이즈 또한 강조된 것을 확인할 수 있다.
2.2 소나 영상의 특징점 검출
영상을 이용해서 물체를 추적하고 인식하기 위해서는 영상과 영상을 매칭하는 과정이 필요하다. 컴퓨터 비전 분야에서 가장 일반적으로 쓰이는 방법은 영상에서 주요 지역 특징점을 뽑아서 해당 특징점들의 기술자를 비교하여 매칭하는 방법이다. 초기의 지역 특징점 검출 기법들은 영상자체의 코너점을 검출하는 방법을 이용하였다. 추후 영상의 스케일 변화에도 안정적인 특징점 검출의 필요성이 대두되었으며 이러한 스케일 불변의 지역 특징점을 검출하기 위한 다중 스케일 공간을 이용한 특징점 검출 방법들이 연구되었다. Lowe가 제안한 SIFT(Scale-invariant feature transform)는 가우시안 블러링(Gaussian blurring)을 이용하여 선형 스케일 공간의 영상을 다중으로 구성하고 DoG(Difference of gaussian)를 이용하여 특징점을 검출하는 방법을 제안하였다(Lowe, 2004). SURF(Speeded-up robust features)의 경우에도 SIFT와 동일하게 가우시안 블러링을 이용하여 선형 스케일 공간을 구성한다(Bay et al, 2006).
최근에는 연산속도를 개선하기 위하여 이진 기술자를 이용하는 특징점 검출 기법들이 제안되었다. 특징점 검출과 특징 기술자의 연산 속도를 개선하기 위하여 발표되었던 FAST(Features from accelerated segment test)와 BRIEF(Binary robust independent elementary features)를 활용한 ORB(Oriented FAST and rotated BRIEF)의 경우, 선형 스케일 공간을 구성한 후 FAST 코너 검출 기법을 이용하여 특징점을 검출하고 BRIEF 기술자를 이용하여 객체의 크기와 회전 등의 변화에 불변이면서도 연산 효율이 높은 특징점 검출 기법으로 활용되었다(Rublee et al., 2011). BRISK(Binary robust invariant scalable keypoints)는 동심원으로 구성된 구조적 샘플링 패턴을 사용하여 기술자를 기술하는 방법을 제안하였다. BRISK는 ORB의 화소 기반 비교와는 달리 각 원으로 표현되는 영역의 가우시안 스무딩 된 대표값을 사용한 방법을 제시하였다(Leutenegger et al., 2011).
이에 Pablo는 비선형 스케일 공간을 구성하여 지역 특징점을 검출하는 방법인 KAZE 특징점 검출 방법을 제안하였다. 가우시안 블러링 대신 비선형 확산 필터(Nonlinear diffusion filter)를 이용하여 영상의 세부정보는 보존하고 잡음은 제거하는 스케일 공간을 구성하였다(Alcantarilla et al., 2012). A-KAZE는 KAZE의 비선형 확산 필터의 연산속도를 개선한 FED(Fast explicit diffusion)과 M-LDB(Modified-local difference binary) 기술자를 적용하여 속도를 크게 개선하였다(Alcantarilla and Solutions, 2011). 비선형 스케일 공간을 구성하는 특징점 검출 기법은 Fig. 5에 나타난 바와 같이 스케일이 증가함에 따라 영상내의 텍스쳐(Texture)는 보존하고 잡음은 제거되어 저해상도 고잡음 소나 영상 이미지에 적합한 특징점 검출 방법으로 활용될 수 있다.
3. 실험 결과
3.1 전처리 기법 비교 실험 결과
소나 영상에 적합한 전처리 기법을 비교 분석하기 위해서 DIDSON 소나를 이용하여 실해역에서 획득한 소나 영상을 이용하여 본문에서 언급한 전처리 기법들을 적용하고 비교 분석하였다. 소나 영상의 노이지를 제거하기위해 Median filter와 Bilateral filter를 적용해 보고 영상의 대비 향상을 위해 CLAHE와 감마 보정을 적용하였다. Fig. 6은 원본 영상 (a)에 본문에서 언급한 전처리 기법 Median Filter(b), Bilateral Filter(c), CLAHE(d), 감마 보정(e)를 수행한 결과이다. 실험 결과 (b)의 경우 영상의 개선점을 파악하기 어려우며 필터의 크기를 키우는 경우 노이즈 제거의 효과는 있으나 영상의 경계를 보존하지 못하게 된다. Bilateral Filater(c)를 적용한 경우 텍스쳐가 뚜렷해지면서 노이즈가 어느 정도 제거되는 효과를 거두었으나 음파의 산란에 의해 후광 효과(Halo effect)가 나타나게 된다. CLAHE (d)를 적용한 경우에는 개체의 밝기가 개선되었지만 노이즈까지 강조되는 경향을 보이며, 감마 보정(e)의 경우 비선형적 변환으로 인해 영상의 밝기가 전체적으로 감소하여 개체의 모서리, 형태 등의 특징을 파악하기 어려운 것을 알 수 있다. 하지만 영상 전역에 퍼져있는 음파의 산란으로 인한 노이즈가 상당히 감소 되었음을 확인할 수 있다. (f)는 CLAHE와 감마보정을 함께 적용한 결과로 감마보정으로 산란효과에 의한 노이즈를 감소 효과를 거두면서 밝기 감소의 영향을 억제해 개체의 밝기가 크게 개선되었음을 확인할 수 있다.
Fig. 6
Sonar image preprocessing results (a) original (b) Median Filter (c) Bilateral Filter (d) CLAHE (e) gamma correction (f) CLAHE + gamma correction
Fig. 7은 전처리 기법들 중 CLAHE와 감마 보정, Bilateral Filter를 융합하여 소나 영상을 개선한 결과이다. 원본 영상 (a)와 전처리 결과 영상 (b)를 비교하면 마커 주변부의 노이즈는 감소한 반면 마커의 모양 및 밝기는 강조되었다. 특히 원형 마커의 경우에는 원본 영상에서 노이즈로 인해 마커의 정확한 방향 등을 파악하기 어려웠던 반면 (b)의 경우에는 육안으로도 마커의 방향 및 마커의 내부 공백의 모서리 등 특징 부분을 쉽게 파악할 수 있다. 이러한 영상의 개선을 통해 소나 영상을 이용한 마커 인식, 특징점 검출 등에 영상 기반 알고리즘을 적용하기가 용이해 질 것으로 기대된다.
3.2 특징점 검출 기법 비교 실험 결과
소나 영상을 위한 특징점 검출 기법을 적용하고 비교 분석하기위해 선박해양플랜트연구소 내 해양장비 시험용 수조에서 획득한 소나 영상을 이용하였다. 수조의 크기는 가로 5m, 세로 7m이며, 수조의 깊이 1m 아래에 물체들을 배치하여 Fig. 8의 (a)와 같이 텍스쳐가 풍부한 환경에서 획득한 소나 영상과 (b)와 같이 텍스쳐가 거의 존재하지 않는 환경에서 획득한 소나 영상을 이용하였다. 각각 15장의 연속적인 소나 영상을 이용하였으며 본문에서 언급한 특징점 검출 기법들을 모두 적용하여 최종 매칭 결과를 비교 분석하였다.
Fig. 9는 본문에서 언급된 선형 스케일 공간을 구성하여 특징점을 검출하는 SIFT, BRISK, ORB 특징점 검출 기법과 비선형 스케일 공간을 구성하여 특징점을 검출하는 A-KAZE 특징점 검출 기법을 텍스쳐가 거의 없는 소나 영상에 적용한 결과이다. 극한 환경에서의 특징점 검출 성능을 나타내기 위하여 텍스쳐가 거의 없는 수조의 바닥면에서 얻은 소나 영상에 특징점 검출을 수행하였다. Fig. 9에 그려진 원들은 소나 영상에서 추출된 특징점들을 나타내며 각 이미지의 선분들은 최근접 거리 비율 전략(Nearest neighbor distance ratio)를 이용하여 매칭(Matching)을 수행하고 RANSAC(Random sample consesus)을 이용하여 찾아낸 인라이어(Inlier) 쌍을 나타낸다.
Fig. 9
Comparison result of each feature detection methos (from left original images, SIFT, BRISK, ORB, A-KAZE)
BRISK의 경우 아웃라이어(Outlier) 제거를 위하여 RANSAC을 수행하였음에도 불구하고 불안정한 매칭쌍이 다수 포함되어 있다. SIFT와 ORB의 경우 스펙클 노이즈에서 많은 특징점이 검출되어 검출된 특징점 개수에 비해 인라이어의 개수가 매우 적음을 확인할 수 있다. 반면 A-KAZE에서는 비선형 스케일 공간 구성의 영향으로 잡음 영역에서 검출되는 특징점의 개수가 확연히 줄어들었으며 인라이어의 비율이 높아졌음을 확인할 수 있다.
정량적 분석을 위하여 텍스쳐가 풍부한 환경과 텍스쳐가 거의 없는 환경에서 연속적으로 획득한 15장의 소나 영상을 이용하여 특징점 검출 결과를 비교하여 Table 1과 Table 2에 나타내었다.
텍스쳐가 풍부한 환경에서 특징점 검출을 수행한 결과 스펙클 노이즈에서 검출되는 특징점들 때문에 ORB 기법이 가장 많은 특징점들을 검출하였고 평균 NNDR(Nearest neighbor distance ratio) 매칭 개수에서도 가장 많은 특징점을 검출하였음을 확인 할 수 있다. 하지만 검출된 특징점 검출 개수 대비 인라이어 개수 측면에서 보았을 때 A-KAZE에서 가장 뛰어난 성능을 보였다. 텍스쳐가 거의 없는 환경에서 또한 ORB가 가장 많은 특징점을 검출 하였지만 검출된 특징점 대비 인라이어 개수 측면에서 보았을 때 A-KAZE가 가장 뛰어난 결과를 보였음을 확인할 수 있다.
4. 결 론
본 논문에서는 소나 영상의 개선을 위하여 광학영상에서 사용되는 기법들을 적용하여 개선 성능을 비교 분석하였으며 CLAHE기법과 감마 보정을 적용한 영상에서 가장 개선된 영상을 얻을 수 있음을 보였다. 또한, 소나 영상에서의 특징점 검출 기법을 비교 분석하기 위하여 가우시안 블러링을 이용하여 선형 스케일 공간을 구성하여 특징점을 검출하는 방법들과 비선형 스케일 공간에서 특징점을 검출하는 방법을 비교 분석하였다. 비선형 스케일 공간에서 특징점을 검출하는 A-KAZE를 이용하는 경우, 대상체의 경계를 보존하면서 잡을을 제거하기 때문에 저해상도 고잡음 소나영상에서 상대적으로 정확한 특징점 검출이 가능하여 영상간의 매칭에 유용함을 확인하였다. 위의 연구 결과를 수중 로봇의 항법 및 영상 정합에 적용하여 기존보다 개선되는 결과를 얻어 낼 수 있을 것으로 기대된다.
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation
Print
