[시계열 딥러닝] 신경망 학습 파이프라인 만들기

앞서 딥러닝의 전반적인 개념에 대해 간단하게 알아보았다.

 

다음 순서로 신경망 프로그래밍에 대해 알아보자.

 

데이터, 기호, 연산, 계층, 그래프

일반적으로 딥러닝 프레임워크는 그래프 개념, 그리고 그 그래프를 만드는 데에 집중한다.

즉, 모든 구조는 개별 요소와 그들 간의 관계로 설명될 수 있어야 한다는 뜻이다. 

또한 변수와 대응되는 실젯값을 분리하는 개념도 매우 중요하다.

 

다음은 A와 B라는 기호를 정의하고, A와 B의 행렬곱 결과를 담은 기호 C를 정의하는 방법이다.

 

# 의사코드
symbol A;
symbol B;
symbol C = matmul(A, B);

# In python, np.matmul

참고: https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=cjh226&logNo=221356884894 

numpy에서 dot과 matmul의 차이

 

 

핵심이 되는 행렬 연산, 활성함수, 편향을 모두 고려하면 하나의 계층을 다음과 같이 표현할 수 있다.

• $layer L = tanh(A * B + bias)$

 

또, 여러 계층을 서로 연결하여 다음 계층으로 전달할 수 있는데,

• $layer L1 = tanh(A*B+bias1)$
• $layer L2 = tanh(L1*D +bias2)$

이러한 기호, 연산, 계층들의 전체적인 복합체는 하나의 그래프를 만들어 낸다.

 

이러한 과정들이 대부분의 딥러닝 패키지들에서 자동적으로 수행된다.

 

 

학습 파이프라인 만들기

이 절은 colab file로 대체한다.