Main Content

traingdx

모멘텀을 사용한 경사하강법과 적응적 학습률 역전파

페이지 내 모두 축소

구문

net.trainFcn = 'traingdx'
[trainedNet,tr] = train(net,...)

설명

net.trainFcn = 'traingdx'는 신경망의 trainFcn 속성을 설정합니다.

[trainedNet,tr] = train(net,...)은 traingdx를 사용하여 신경망을 훈련시킵니다.

traingdx는 경사하강법 모멘텀과 적응적 학습률에 따라 가중치와 편향 값을 업데이트하는 신경망 훈련 함수입니다.

아래에 디폴트 값과 함께 표시된 다음의 traingdx 훈련 파라미터에 따라 훈련이 이루어집니다.

  • net.trainParam.epochs — 훈련할 최대 Epoch 횟수. 디폴트 값은 1000입니다.

  • net.trainParam.goal — 성능 목표. 디폴트 값은 0입니다.

  • net.trainParam.lr — 학습률. 디폴트 값은 0.01입니다.

  • net.trainParam.lr_inc — 학습률 증가 비율. 디폴트 값은 1.05입니다.

  • net.trainParam.lr_dec — 학습률 감소 비율. 디폴트 값은 0.7입니다.

  • net.trainParam.max_fail — 최대 검증 실패 횟수. 디폴트 값은 6입니다.

  • net.trainParam.max_perf_inc — 최대 성능 증가. 디폴트 값은 1.04입니다.

  • net.trainParam.mc — 모멘텀 상수. 디폴트 값은 0.9입니다.

  • net.trainParam.min_grad — 최소 성능 기울기. 디폴트 값은 1e-5입니다.

  • net.trainParam.show — 다음 표시까지 진행할 Epoch 횟수(표시하지 않으려면 NaN). 디폴트 값은 25입니다.

  • net.trainParam.showCommandLine — 명령줄 출력값 생성. 디폴트 값은 false입니다.

  • net.trainParam.showWindow — 훈련 GUI 표시. 디폴트 값은 true입니다.

  • net.trainParam.time — 훈련을 진행할 최대 시간(단위: 초). 디폴트 값은 inf입니다.

입력 인수

모두 축소

입력 신경망으로, network 객체로 지정됩니다. network 객체를 만들려면 feedforwardnet 또는 narxnet 등을 사용하십시오.

출력 인수

모두 축소

훈련된 신경망으로, network 객체로 반환됩니다.

훈련 기록(epoch와 perf)으로, 신경망 훈련 함수(net.NET.trainFcn)에 따라 필드가 결정되는 구조체로 반환됩니다. 다음과 같은 필드를 포함할 수 있습니다.

  • 훈련, 데이터 분할, 성능 함수와 파라미터

  • 훈련, 검증, 테스트 세트의 데이터 분할 인덱스

  • 훈련, 검증, 테스트 세트의 데이터 분할 마스크

  • Epoch 횟수(num_epochs) 및 최적의 Epoch(best_epoch).

  • 훈련 상태 이름 목록(states).

  • 훈련 전체에 걸쳐 기록된 각 상태 이름에 대한 필드

  • 최적의 신경망의 성능(best_perf, best_vperf, best_tperf)

세부 정보

모두 축소

신경망 사용

feedforwardnet 또는 cascadeforwardnet으로 traingdx를 사용하는 표준 신경망을 만들 수 있습니다. traingdx을 사용하여 훈련할 사용자 지정 신경망을 준비하려면 다음을 수행하십시오.

  1. net.trainFcn을 'traingdx'로 설정합니다. 이렇게 하면 net.trainParam이 traingdx의 디폴트 파라미터로 설정됩니다.

  2. net.trainParam 속성을 원하는 값으로 설정합니다.

두 경우 모두, 그 결과 생성되는 신경망에 train을 호출하면 이 신경망을 traingdx를 사용하여 훈련시킵니다.

예제는 help feedforwardnet과 help cascadeforwardnet을 참조하십시오.

알고리즘

함수 traingdx는 적응적 학습률과 모멘텀 훈련을 결합합니다. 추가적인 훈련 파라미터로서 모멘텀 계수 mc를 갖는다는 점을 제외하면 traingda와 같은 방법으로 호출됩니다.

traingdx는 신경망의 가중치, 순 입력값, 전달 함수가 도함수를 갖는 한 어떤 신경망도 훈련시킬 수 있습니다.

역전파는 가중치와 편향 변수 X에 대한 성능 perf의 도함수를 계산하기 위해 사용됩니다. 각 변수는 모멘텀을 사용한 경사하강법에 따라 조정됩니다.

dX = mc*dXprev + lr*mc*dperf/dX

여기서 dXprev는 가중치 또는 편향의 직전 변경값입니다.

각 Epoch에서 성능이 목표 방향으로 감소하면 학습률이 lr_inc배만큼 증가합니다. 성능 증가량이 max_perf_inc배를 초과하면 학습률이 lr_dec배만큼 조정되고 성능 증가를 유발한 변경 사항은 적용되지 않습니다.

다음 조건 중 하나라도 충족되면 훈련이 중지됩니다.

  • epochs(반복)의 최대 횟수에 도달함.

  • time의 최대 값이 초과됨.

  • 성능이 goal로 최소화됨.

  • 성능 기울기가 min_grad 아래로 떨어짐.

  • (검증을 사용하는 경우) 검증 성능(검증 오류)이 마지막으로 감소한 이후로 max_fail배 넘게 증가함.

버전 내역

R2006a 이전에 개발됨

참고 항목

| | |