1. 서 론
최근 인공지능(Artificial intelligence, AI)을 이용한 연구는 적용분야에 구애받지 않고 세계적으로 다방면으로 활발하게 진행되고 있다. 특히 방재분야에서는 여러 물리적 인자와의 관계성과 그 특성을 학습하여 예측하는 기술이 발달되어 예측분야에 많은 활용되고 있다. 현재 계측 기술과 통신 기술의 발달에 의해 수집되는 데이터의 질이 향상되었고 동시에 계측 및 통신 Cost가 낮아져 다량의 정보를 Real-time으로 손쉽게 취득할 수 있다. 이러한 Big 데이터의 활용과 계산기의 성능 향상 등에 의해 물리모델에서의 주요한 경계조건의 파라미터를 추정해 미래의 수문량을 예측하고 다시 역해석에 의해 주요한 파라미터의 공간분포를 추정하는 데이터 동화의 적용도 가능해졌다.
Tanaka et al(2014)의 연구에서는 비선형 필터링을 이용하여 강우량으로부터 실시간 하천 수위를 예측하는 기법으로 유출모델, 부정류 모델 및 Kalman filter 모델과, 데이터 동화(Data assimilation)기법과 연동하여 실제의 관측치를 적용하여 예측치의 정도를 향상시키는 연구를 수행하였다. 하지만 이와 같이 예측값의 정확도를 향상하기 위해서 다수의 모델을 이용하고 또한 모델의 구축에 많은 시간과 기술력이 요구된다. 특히 물리모델을 이용해 지역적 특성을 보다 정확히 재현하기 위한 연구는 아직도 많은 연구 과제로 남아있다. 반면 인공지능을 이용한 예측모델에서는 비교적 모델의 구축이 용이하고 시간적⋅경제적으로 많은 장점이 내포되어 있을 뿐만 아니라 인공지능에 사용되는 방대한 데이터는 눈부신 컴퓨터의 성능 발달과 더불어 과거부터 지속적으로 수집하고 관측하고 있는 데이터를 실시간으로 제공받는 기술력(Telemetry) 발달에 의해 방대한 Big 데이터의 직각적인 활용이 가능해 졌고 이러한 방재데이터의 활용이 가능해 짐에 따라 인공지능을 이용한 연구 발전에 크게 기인하였다. 하지만 현재 방재분야에서의 인공지능 기술력은 학습데이터에 따라 예측 결과의 정확도가 크게 변화되므로 예측 정도의 향상을 위해서는 양질의 방재데이터의 구축 및 확보가 무엇보다 선행되어야 하며 인공지능에 의한 예측에 있어 인공지능의 알고리즘에 따른 구체적인 검토가 필요하다.
인공지능의 발달로 인해 방재의 패러다임이 변화고 있다. 이 결과 물리모델에만 의존하지 않고 얻고 싶은 대상(예측값)과 그것과의 상관관계가 강한 복수의 함수관계에 의해 다량의 데이터를 학습시킴으로서 경험적으로 미지의 값을 예측하는 심층학습 (Deep learning, DL)을 적용한 심층 신경망(Deep neural network, DNN)의 연구가 세계적으로 많은 연구 가 진행되고 있다.
Hinton et al.(2006)에서는 최초로 컨볼루션(Convolution) 연산을 사용하지 않고 심층 구조상에서 학습을 성공시킨 모델을 개발하였고,
Suzuki et al.(2018)의 연구에서는 강우의 발생 예측에 대한 뉴럴 네트워크의 활용을 검토하기 위해 관측 지점의 시계열 정보에서 작성한 시공간 2차원 데이터에 대해서 합성 뉴럴 네트워크 (Convolutional neural network, CNN)을 응용한 강우예측모델을 제안했다. 이외에 수많은 연구가 활발히 진행되고 있으나 뉴럴 네트워크에 의한 예측은 물리적 해석을 수반하지 않기 때문에 예측값의 정밀도나 결과에 대한 공학적 설명이 불충분해지는 경우에 대한 연구와 지금까지 경험하지 못한 자연현상에 대한 미계측 데이터에 대안 방안에 관한 연구및 인공지능의 알고리즘 최적화에 따른 예측 평가 등에 대한 기초적인 검토가 필요하다.
본 연구에서는 인공지능(AI, Artificial intelligence) 즉 심층학습을 방재 시스템에 도입하기 위한 기초적 연구로서 심층 신경망(DNN)을 이용하여 시시각각 변화하는 태풍의 진로에 대해 인공 신경망(Artificial neural network, ANN) 기술을 적용하여 유사태풍예측 시스템 개발을 목적으로 한다. 뉴럴 네트워크 모델의 알고리즘에 따른 적합성 검토를 실시하여 보다 정확하고 예측 효율이 향상되는 최적의 모델을 구축하고, 유사태풍 예측모델의 타당성을 평가하기 위해 태풍의 주요 정보인 태풍의 이동경로, 중심기압 및 이동속도 정보를 이용하여 현재 발생된 태풍이 우리나라에 영향이 미치기 전에 지금까지 발생된 과거 태풍 중 가장 유사한 태풍을 예측한다. 또한 인공지능 모델의 구축에 있어 입력신호를 출력신호로 변환할 때 사용되는 활성화 함수(Activation function)의 평가 및 은닉층의 layer 수에 따른 민감도 분석을 실시하며, 기계학습(Machine learning)에서 은닉층의 레이어 수가의 증가함에 따라 발생하는 과적합(Overfitting)의 문제점을 보완하기 위해 Dropout을 적용한다. 그 결과 ReLU function 활성화 함수 및 은닉층 2충의 경우에서 유사태풍의 예측 결과가 가장 우수하게 평가되었다.
2. 인공 지능
인공 지능은 학습, 문제 해결, 패턴 인식 등과 같이 주로 인간 지능과 연결된 인지 문제를 해결하는 데 주력하는 컴퓨터 공학분야이며 시스템에 의해 만들어진 지능, 즉 인공적인 지능을 뜻한다. 인공지능의 탄생은 1940년 후반과 1950년 초반에 수학, 철학, 공학, 경제 등 다양한 영역의 과학자들에게서 인공적인 두뇌의 가능성이 논의 되면서부터 시작하여 1956년에 이르러서, 인공지능이 학문 분야로 들어섰고 이후 많은 연구와 성장과정을 거쳐 오늘날의 기술까지 도달하였다(
Fig. 1).
인공지능은 크게 3차세대로 분류되고 있다. 1차 AI붐은 1950~60년대로서 추론 및 탐색에 의한 특정 간단한 문제를 해석하는 시대로서
Warren and Walter(1943)는 명제논리(Propositional logic)를 사용해 동물 뇌의 생물학적 뉴런이 복잡한 계산을 위해 어떻게 상호작용하는지에 대한 간단한 모델을 제시함으로써 인공 신경망(ANN)이 처음으로 소개되었다. 당시 인간의 뇌는 전기적인 신호로 이루어진 네트워크라고 보았는데 이를 시뮬레이션하면 학습이 가능하다는 사실을 증명하였다.
Rosenblatt(1958)는 퍼셉트론(Perceptron)이라는 신경망 구조를 개발하여 비교적 정확히 입력과 출력 노드로 연결되어 있는 간단한 계산을 실시하였고, 1950년대 후반 퍼셉트론 모델이 발표된 이후 신경망의 연구는 활성화 되었지만 1969년 퍼셉트론은 XOR 계산이 불가능하다는 문제점이 발견됨에 따라 인공지능에 관한 연구는 암흑기에 접어 들게 되었다. 이후 1980년대 들어 전문가처럼 지식에 대한 추론에 의해 복잡한 문제를 해결하는(Expert system) 시스템의 개발로 2차 AI붐의 시대가 전개 되었다. 또한 오류역전파(Back-propagation) 알고리즘이 개발되면서 다층 신경망을 구현할 수 있게 되었고 다시 신경망이 주목을 받게 되었다. 하지만 데이터 집합이 크고 복잡한 패턴을 처리하기 위해서는 다수의 은닉층을 연결해야 하는데 오류역전파 방법으로는 제대로 학습이 되지 않아 신경망을 적용할 수 있는 범위가 한정될 수밖에 없었다. 2000년 초반부터 인터넷의 보급과 컴퓨터의 성능 향상으로 인해 2010년 이후 Big 데이터를 처리하기 위해 AI 자신이 학습하는 방법(기계학습)이 진화하였고 심층학습의 개발을 통해 현재의 제3차 AI붐 시대가 열리게 되었다.
심층학습은 데이터를 좀 더 심층적으로 이해하기 위해 알고리즘을 계층화하는 것과 관련된 기계학습의 한 분야이다. 심층학습은 비선형 알고리즘 계층을 사용하여 일련의 요소를 기반으로 상호 작용하는 분산 표상을 생성하여 대규모 데이터에서 심층학습의 알고리즘이 요소 간 관계를 파악하는 것이 가능해져 방재 분야에서 주로 예측을 위해 많은 연구가 진행되고 있다. 기계학습은의 알고리즘은 수집된 데이터로부터 법칙성을 찾아내는 방법이며 인공지능의 기술을 기반으로 하고 있다. 그 중에서도 최근 심층학습을 이용한 인공 신경망의 발전이 많은 연구자를 통해 여러 분야에서 활용되고 있다. 현재 방재 분야에서는 주로 지역적인 특성을 최대한 반영하여 물리모델을 구축하고 이를 통해 예측 결과를 산출해 방재활동에 중요한 정보로 활용되고 있다. 일본에서는 과거부터 수많은 방재 데이터(Big 데이터)를 축적하고 있어 기계학습에 있어 많은 장점을 활용해 여러 분야에 걸쳐 연구가 진행 중에 있다. 특히 심층학습을 이용한 하천-수위 예측 수법의 개발(
Hitokoto et al, 2017), 심층학습을 이용한 감조하천의 수질변동 예측(
Nakatani et al, 2017) 등과 같이 비교적 물리모델을 구축보다는 비교적 용이하게 모델을 구축하여 좋은 결과를 제시하고 있다. 우리나라에서도 여러 분야에서 양질의 좋은 데이터가 축적되고 있으며 이를 활용한 기계학습에 대한 연구가 활발히 진행되고 있다.
2.1 심층학습(DL)을 이용한 심층신경망(DNN) 모델
심층 신경망(DNN)은 입력층(Input layer)과 출력층(Output layer)사이에 여러 개의 은닉층(Hidden layer)들로 이뤄진 인공 신경망(ANN)이다. 심층 신경망은 일반적인 인공 신경망과 마찬가지로 복잡한 비선형 관계(Non-linear relationship)의 모델링이 가능하다. 일반적으로 은닉층을 2층 이상의 뉴럴 네트워크를 심층학습이라 하며
Fig. 2에 일반적인 뉴럴 네트워크의 구성도를 나타내다. 본 연구에서는 은닉층을 2층으로 구성한 심층 신경망(DNN)으로 모델을 구성하였다.
2.2 활성화 함수(Activation function)
활성화 함수는 인공지능의 많은 알고리즘에서 다양한 형태로 사용되고 있다. 뉴럴 네트워크는 신경세포의 구조를 모방한 수학 모델이며 일정한 입력 데이터에 반응하여 적합한 데이터를 출력하는 구조이다.
Fig. 3에 뉴럴 네트워크의 은닉층의 구성을 나타냈다.
여기서
Xi는 입력층,
Wi는 Weight(입력치의 중요성),
B는 Bias(입력치의 총계를 조절하는 파라미터),
f(
u)는 활성화 함수(Activation function),
Z는 출력층 이다. 신경망에서 사용되는 대표적인 활성함 함수는 시그모이드(Sigmoid)형, 계단함수(Hard limiter), 임계논리(Threshold logic)함수, ReLU 및 Tanh(Hyperbolic tangent function) 등이 사용되고 있으며 일반적으로 많이 사용되는 활성화 함수의 특성을
Fig. 4에 나타냈다. 본 연구에서는 구축한 격자상에 원활한 태풍 정보의 학습을 위해 Sigmoid 형(
식 (3)), Tanh(
식 (4)) 및 ReLU(
식 (5))의 활성화 함수에 따른 모델의 적합성을 검토한다.
2.3 Dropout model
일반적으로 은닉층의 개수가 증가함에 따라 더욱 많은 문제를 해결 할 수 있도록 학습 능력이 향상되는 반면, 학습 데이터의 과잉학습에 의해 실제 데이터에 대한 오차가 증가하는 현상과적합(Overfitting) 발생하여 예측값의 정도가 하락하는 문제점이 발생한다. 따라서 은닉층의 개수에 따른 모델의 평가와 더불어 Deep learning에서 Overfitting을 감소시키는 방법으로(
Fig. 5) 본 연구에서는 Dropout(
Srivastava et al., 2014)을 적용한다.
2.4 학습방법(Learning method)
뉴럴 네트워크에 사용되는 주요 학습방법은 Hebbian learning, Perceptron rule, Gradient descent 및 오차역전파법(Back propagation) 등이 있다. 이중에서 주로 사용되는 Gradient descent는 미분의 개념을 최적화 문제에 적용한 대표적 방법으로 에러(Error)를 미분하여 Weight를 업데이트 하는 방법이며 오차역전파법은 은릭층에서 에러를 미분하여 Weight를 업데이트 하는 방법이다. 본 연구에서는 오차역전파법은 Feed forward 형(
Fig. 6) 뉴럴 네트워크의 대표적인 학습법으로 훈련 데이터가 주어질 때마다 결선무게(Weigh on a synapse)를 미세 수정하는 방법을 적용하였다.
3. 유사태풍 예측 시스템의 구축
학습 데이터(Study data)인 태풍의 주요 정보인 이동경로, 중심기압 및 이동속도에 대한 정보는 National Institute of Informatics (
NII, 2019)에서 제공되는 Digital typhoon을 이용한다. 태풍의 이동위치를 표현하기 위해 Mesh 데이터를 구축하였으며 격자간의 크기는 위경도 각각 2°로 구축하였다(
Fig. 7). 또한 Digital typhoon 데이터가 존재하는 기간(1951~2018)에 발생한 태풍을 대상으로 우리나라에 영향을 미친 태풍(218개, 국가태풍센터)을 선정하여 학습 및 Test 데이터를 구축하였다. 본 연구에서 구축한 모델의 구성 및 계산 조건을
Table 1에 표시하였고 검증을 위한 태풍 (Test)의 실제 이동 경로도를 태풍연구센터(
Typhoon Research Center, 2019)의 과거태풍 자료를 이용하여
Fig. 8에 나타내었다.
학습 데이터의 주요 인자인 태풍의 중심기압, 이동속도에 대해 관계형 데이터베이스의 중복을 최소화하기
식 (4)에 의해 정규화(Normalization)과정을 거쳐 학습데이터를 구축하였다. 이때 태풍의 중심기압은 900(=1.0)~1000(=0.0)hPa의 분포로 설정하였고 이동속도는 0(=0.0)~75(=1.0)m/s의 정규화 분포로 설정하였다. 또한 태풍의 이동 경로는 구축한 격자범위 안에 위치하고 있으면 1.0 이외는 0.0으로 설정하였다.
인공지능(AI) 개발에 적합한 많은 수많은 프로그래밍 언어(R, Python, JavaScript, C/C++, Matlab 등)가 개발되고 있으며 그중 기계 학습에 적합한(패키지) 언어의 특징을
Table 2에 나타내었다. 본 연구에서는 MxNet 프레임워크를 이용해 R의 언어로 모델을 구축하였고 R 언어의 가장 큰 장점은 방대한 양의 패키지와 즉시 사용 가능한 테스트 세트가 제공되어 비교적 데이터의 구축, 모델의 학습, 모델의 평가 등 모델의 구축이 용이하다.
4. 뉴럴 네트워크의 최적화(Optimization)에 따른 예측 결과
심층학습 모델의 구축을 위해 뉴럴 네트워크의 최적화 검토를 실시하였다. 학습 데이터(Study data)를 1951년~2018년에 발생된 태풍(214개)으로 구축하였고 테스트 태풍은 2018년 발생한 태풍(4개)을 대상으로 예측 모의를 실시하였다. 결과에 사용된 태풍명은 발생년도+T+발생순서(예: 2018T25) 순으로 표기하여 정리하며 모델의 예측 결과는 입력받은 값을 0~1(정규화)사이의 값으로 출력되는 값의 총합이 1이 되는 특성을 가진 Softmax 함수 값으로 유사성을 평가와 실험 조건에 따른 네트워크의 최적화 검토를 실시하였다. 각각의 모델에 따른 주요한 결과는 다음과 같다.
4.1 은닉층(Hidden layer)
심층학습 모델은 은닉층이 2층 이상으로 구성되어 있는 학습방법이다. 하지만 은닉층의 층수가 증가함에 따라 신경망이 복잡해지고 오히려 계산 시간의 증가와 정확도가 떨어지는 결과도 초래한다. 따라서 본 연구에서는 유사태풍 예측을 위한 모델의 구성에 있어 은닉층의 층수와 반복 계산 횟수(Iteration number)에 따른 민감도 분석을 실시하였다. Case 1~3의 실험 조건으로 활성화 함수는 Sigmoid, 학습데이터 및 출력증의 조건 Type-A에 의해 검토를 수행하였고 실험 조건에 따른 학습 적중률(Train accuracy)의 결과를
Table 3에 나타냈다. 이 결과로부터, 모델의 반복 계산 횟수(Iteration number)에 따른 Train accuracy은 은닉층 2층(반복횟수: 300)에서 1.0으로 수렴하여 이후 반복 회수의 증가에 따른 학습률은 동일한 것으로 나타났다. 하지만 은닉층의 개수의 증가로 인해(반복횟수 300회) 학습률은 오히려 감소하는 것으로 본 모델에서는 은닉층의 층수를 2층으로 모델을 구축하였다.
4.2 활성화 함수(Activation function)
Deep learning 네트워크에서는 노드에 입력되는 값들에 대해 반응하여 다음 레이어로 전달하지 않고 주로 비선형 함수를 통과시킨 후 전달하며 이때 활성화 함수(Activation function)사용하여 모델을 구축한다. 활성화 함수에 따른 예측정도를 비교하여 유사태풍 예측에 있어 가장 적합한 함수를 평가하기 위해 실험 조건 Case 4~6의 조건과 학습데이터/출력층의 조건은 Type-B를 이용하여 실험 조건에 따른 각각의 결과를
Table 4에 나타냈다. 이 결과로부터, Test 데이터가 포함된 학습 데이터로부터 Test 데이터를 예측하는 실험 과정으로 활성화 함수(반복횟수: 300)에 따라 적중률이 달리 평가되었고 ReLU의 활성화 함수를 사용했을 경우 가장 좋은 적중률을 나타내었다. 또한
Krizhevsky et al.,(2012)의 연구에서 ReLU 함수가 Sigmoid 및 Tanh에 비해 Stochastic gradient descent(SGD)에서 수렴속도가 약 6배 빠르다는 연구 결과와 같이 본 연구에서도 ReLU 모델에서 가장 빠르게 수렴하는 것으로 조사되었다.
4.3 Dropout의 평가
Dropout의 고려에 따른 예측 결과의 민감도 분석을 실시하였다. 실험에 사용된 모델의 구성은 학습데이터에 Test 데이터를 포함시켜 학습한 경우인 Type-B의 조건으로 ReLU의 활성화 함수(Iteration number=300)를 사용하여 Dropout 모델(Rate=0.5)의 유무에 따른 적중률을 평가하여 그 결과를
Table 5에 나타내었다. 이 결과로부터 4개의 테스트 태풍의 적중률은 Dropout를 고려할 때 더 좋은 적중률을 나타내었다. 따라서 유사태풍의 검색에서는 다수의 입력값에 따라 모델이 구성되므로 적중률 향상을 위해 Dropout을 도입하였다.
4.4 유사태풍 예측 결과
모델의 예측 정도를 평가하기 위해 학습 데이터(Study data) Type-A와 같이 1951년~2017년에 발생된 태풍(214개)으로 구축하였고 테스트 태풍은 2018년 발생한 태풍 4개(Prapiroon, Leepi, Soulik, Kong-rey)를 대상으로 예측모의를 실시하였다. 모델의 예측결과는 Softmax 함수값으로 유사성을 평가하였고 활성화 함수에 따른 인공지능을 이용한 예측 모델의 주요한 결과는 다음과 같다.
Case 6의 실험 조건에 따른 결과를
Table 6에 나타내었다. 활성화 함수에 따른 Softmax 함수값의 상위 5위까지의 적중률은 Sigmoid < Tanh < ReLU의 순위로 ReLU의 활성화 함수를 사용했을 때 가장 좋은 적중률을 기록하였다. 특히 우리나라에 영향을 준 2018년 태풍 4개중(07호, 15호, 19호, 25호) 태풍이 한반도 남단에서 북쪽으로 이동하는 태풍 07호(Prapiroon), 19호(Soulik), 25호(Kong-rey)에 대한 예측 태풍의 이동경로의 비교도를
Fig. 9에 나타내었다. 위의 결과로부터 Test 태풍 2018T07(Prapiroon)에 대한 예측 결과인 예측태풍 상위 5위 1999T05(Neil)를 제외한 이외의 예측 결과는 매우 유사한 태풍이 예측되었고 이 결과로부터 모델의 예측정도는 우수하다고 판단된다.
본 연구에서 적용한 태풍정보 입력 Mesh의 크기가 위경도 2°를 사용하고 있다. 비교적 Mesh의 크기가 과대하기 때문에 여러 학습 태풍간의 데이터 중첩으로 적중률이 하락하며, Digital typhoon의 주요 정보는 최대 6시간 간격으로 제공되고 있어 연속적인 이동 형태를 갖는 태풍의 주요 정보에 대해 Mesh의 격자 상에 태풍정보가 누락되어 있는 구간이 발생하여 이로 인해 학습효과가 상대적으로 하락되어 적중률이 낮게 평가 되었다. 따라서 연속적인 운동을 하는 태풍의 특성을 보다 정확히 재현하기 위한 학습 데이터의 구축과 관련된 추가적인 연구가 필요한 것으로 판단된다.
5. 결 론
현재 방재 예측 분야에서 인공지능을 이용한 많은 연구가 진행 되고 있지만 인공지능의 알고리즘에 따른 예측 성능 평가에 관한 연구는 아직 미비하다. 따라서 본 연구에서는 인공지능에서 사용되는 알고리즘에 따른 예측 성능 평가를 위한 기초적인 연구로서 심층 신경망(DNN)을 이용하여 시시각각 변화하는 태풍의 주요 정보를 학습 데이터로 구축하여 R의 언어로 유사태풍예측 모델을 구축하였다. 뉴럴 네트워크를 구성하는 알고리즘에 따른 최적화 검토 결과는 ReLU 함수, 2층의 은닉층으로 Dropout을 적용했을 경우 가장 좋은 적중률을 나타냈으며 최적화에 따른 유사태풍 예측도 매우 우수하게 평가되었다. 본 연구에서 시간에 따른 연속적인 운동을 하는 태풍정보를 학습하기 위해 위⋅경도 2°의 격자로 구축하였다. 그 결과 학습 데이터의 중첩 즉 태풍의 진행속도가 늦은 경우 같은 격자상 2개 이상의 정보가 입력되어 최신의 정보만이 데이터로 구축되어 학습데이터의 누락으로 인해 적중률이 하락하였다. 또한 학습 데이터인 디지털 태풍 정보에서는 태풍의 기본 데이터가 최대 6시간 간격으로 제공하고 있어 진행하는 태풍의 연속적인 표현에 있어 한계점이 나타났다. 따라서 향후의 연구에서 방재 시스템의 성격상 국민의 안전을 위한 시스템으로서 정확도 및 신뢰도를 확보가 매우 중요하다. 시스템 적용에 앞서 학습하는 태풍 정보를 보다 세분화하여 연속 운동을 하는 태풍의 특성이 반영되는 태풍정보 즉 학습 데이터를 구축하여 좀 더 정확하고 유사한 태풍예측 시스템 구축에 관한 연구를 수행할 것이다.
후기
본 연구는 2018년 해양수산부(과제번호 20180404) 재원으로 해양수산과학기술진흥원 및 2017년도 강원대학교 대학회계 학술연구조성비(관리번호-620170060)의 지원을 받아 수행된 연구 결과 중 일부임을 밝히며, 연구비 지원에 감사드립니다.
Fig. 1.
Fig. 2.
Structures of neural network
Fig. 3.
Neural network diagram of element
Fig. 4.
Graphs of activation function
Fig. 5.
Fig. 6.
Fig. 7.
Fig. 8.
Real typhoon route for Test typhoon
Fig. 9.
Results of similar typhoon by ReLU function
Table 1.
Parameters for Neural network
Parameter |
Case 1 |
Case 2 |
Case 3 Case 4 |
Case 5 |
Case 6 |
Model |
|
|
Deep Neural Network (DNN) |
|
|
Mesh size |
|
|
2 degree |
|
|
Mesh range |
|
|
latitude : 20°∼ 50° |
|
|
longitude : 115°∼ 145° |
Input parameter |
|
|
Route, Pressure, Moving speed |
|
|
Dropout |
× |
× |
× |
○ |
○ |
○ |
Activation function |
Sigmoid |
Sigmoid |
Sigmoid |
Tanh |
Sigmoid |
ReLU |
Hidden layer |
2 layers |
3 layers |
4 layers |
2 layers |
2 layers |
2 layers |
Input units |
|
|
675 (225×3) |
|
|
Middle units |
|
|
1 layer: 675 |
|
|
2 layer: 675 |
|
Type-A : Study Test data / output |
|
|
214 (1951∼2017) |
4 (2018) / 214 |
|
|
Type-B : Study Test data / output |
|
|
218 (1951∼2018) |
4 (2018) / 214 |
|
|
Table 2.
Suitable language for machine learning and its features
Language |
Characteristic |
DataFrame |
R |
Comprehensive statistical analysis package available |
data.frame |
Python |
Open source & free, Easy to learn and logically consistent |
pandas.DataFrame |
Scala |
Complex features promote better coding |
org.apache.spark.sql.DataFrame
|
Table 3.
Results of train accuracy by iteration number
Activation function (Sigmoid) |
Iteration number |
100 |
200 |
300 |
400 |
1000 |
Hidden layer |
Case1 (2 layers) |
0.620 |
0.855 |
1.000 |
1.000 |
1.000 |
Case2 (3 layers) |
0.620 |
0.620 |
0.680 |
0.720 |
1.000 |
Case3 (4 layers) |
0.255 |
0.555 |
0.610 |
0.615 |
0.730 |
Table 4.
Results of accuracy rate by activation function
Test Typhoon |
Value of softmax |
tanh |
Sigmoid |
ReLU |
2018T07 (Prapiroon) |
0.995 |
0.663 |
0.996 |
2018T15 (Leepi) |
0.993 |
0.367 |
0.993 |
2018T19 (Soulik) |
0.998 |
0.906 |
0.999 |
2018T25 (Kong-rey) |
0.995 |
0.585 |
0.997 |
Table 5.
Results of accuracy rate by test typhoon
Test typhoon (Name) |
Value of softmax |
without dropout |
with dropout |
2018T07 (Prapiroon) |
0.996 |
1.000 |
2018T15 (Leepi) |
0.993 |
0.999 |
2018T19 (Soulik) |
0.999 |
1.000 |
2018T25 (Kong-rey) |
0.997 |
1.000 |
Table 6.
Results of prediction model
No. |
Test. Typhoon |
Prediction of typhoon / Rank. |
Value of softmax |
Σ(1∼5) |
1 |
2 |
3 |
4 |
5 |
1 |
2 |
3 |
4 |
5 |
Case 4 |
2018T07 |
199109 |
197408 |
199113 |
200613 |
201216 |
0.464 |
0.398 |
0.031 |
0.020 |
0.014 |
0.927 |
2018T15 |
200610 |
196804 |
199211 |
199407 |
197209 |
0.623 |
0.068 |
0.063 |
0.062 |
0.039 |
0.854 |
2018T19 |
198508 |
200603 |
200215 |
196617 |
201207 |
0.340 |
0.168 |
0.129 |
0.081 |
0.069 |
0.787 |
2018T25 |
200415 |
201618 |
197408 |
198410 |
199711 |
0.441 |
0.211 |
0.139 |
0.099 |
0.022 |
0.912 |
|
Case 5 |
2018T07 |
199109 |
198410 |
197408 |
200415 |
200314 |
0.380 |
0.204 |
0.092 |
0.048 |
0.025 |
0.749 |
2018T15 |
196804 |
197611 |
199211 |
197209 |
196309 |
0.150 |
0.127 |
0.116 |
0.075 |
0.063 |
0.530 |
2018T19 |
198508 |
200215 |
197612 |
201207 |
196617 |
0.150 |
0.098 |
0.085 |
0.063 |
0.059 |
0.454 |
2018T25 |
201618 |
199711 |
197408 |
198410 |
200415 |
0.324 |
0.144 |
0.104 |
0.084 |
0.072 |
0.727 |
|
Case 6 |
2018T07 |
197408 |
199109 |
199113 |
200613 |
199905 |
0.516 |
0.404 |
0.025 |
0.019 |
0.010 |
0.974 |
2018T15 |
200610 |
196804 |
199211 |
197209 |
199407 |
0.662 |
0.110 |
0.046 |
0.043 |
0.042 |
0.902 |
2018T19 |
198508 |
200215 |
201207 |
200603 |
197006 |
0.740 |
0.141 |
0.025 |
0.024 |
0.021 |
0.952 |
2018T25 |
201618 |
200415 |
197408 |
198410 |
199711 |
0.330 |
0.320 |
0.172 |
0.124 |
0.023 |
0.969 |
References
Hitokoto, M., Sakuraba, M., & Sei, Y. (2017). Development of the Real-Time River Stage Prediction Method using Deep Learning.
Journal of Japan Society of Civil Engineers,
5(1), 422-429.
https://doi.org/10.2208/journalofjsce.5.1_422
Krizhevsky, A., Sutskever, I., & Hinton, GE. (2012). ImageNet Classification with Deep Convolutional Neural Networks.
Proceedings of the 25th International Conference on Neural Information Processing Systems,
1, 1097-1105.
Nakatani, Y., Ishizaki, M., & Nishida, S. (2017). Estimation of Water Quality Variation in a Tidal River by Applying Deep Learning Models.
Journal of Japan Society of Civil Engineers.
73(4), I_1141-I_1146.
https://doi.org/10.2208/jscejhe.73.I_1141
Rosenblatt, F. (1958). The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain.
Psychological Review,
65(6), 386-408.
http://dx.doi.org/10.1037/h0042519
Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., & Salakhutdinov, R. (2014). Dropout: A Simple Way to Prevent Neural Networks from Overfitting. Journal of Machine Learning Research, 15, 1929-1958.
Suzuki, T., Kim, S., Tachikawa, Y., Ichikawa, Y., & Yorozu, K. (2018). Application of Convolutional Neural Network to Occurrence Prediction of Heavy Rainfall.
Annual Journal of Hydraulic Engineering,
63, I_295-I_300.
Tanaka, K., Tsujikura, H., & Sugiura, M. (2014). Data Assimilation to the Flood Forecasting Model of the Real Time Water Level using the Unscented Kalman Filter.
Journal of Japan Society of Civil Engineers.
70(4), I_409-I_414.
https://doi.org/10.2208/jscejhe.70.I_409
Warren, S., & Walter, P. (1943). A Logical Calculus of the Ideas Immanent in Nervous Activity.
Bulletin of Mathematical Biophysiscs,
5(4), 115-133.
https://doi.org/10.1007/BF02478259