반응형
- 신경망이 학습하는 방법의 핵심 알고리즘인 역전파를 다룹니다 [00:04].
- 학습이란 가중치와 편향을 찾아 특정 비용 함수를 최소화하는 것을 의미합니다 [00:51].
- 역전파는 복잡한 기울기를 계산하는 알고리즘입니다 [01:41].
- 기울기 벡터의 크기는 비용 함수가 각 가중치와 편향에 얼마나 민감한지를 알려줍니다 [02:00].
- 역전파의 각 부분은 직관적이지만, 많은 작은 조정이 겹쳐져 있습니다 [02:54].
- 단일 훈련 예제가 가중치와 편향이 조정되는 방식에 미치는 영향에 대해 설명합니다 [03:10].
- 출력 레이어에 대한 조정과 이전 레이어의 활성화에 대한 조정에 대해 설명합니다 [04:06].
- 가중치의 영향 수준이 다르며, 이전 레이어의 가장 밝은 뉴런과의 연결이 가장 큰 영향을 미칩니다 [05:15].
- 뉴런이 함께 발화하면 함께 연결된다는 헤비안 이론과 유사합니다 [05:56].
- 이전 레이어의 활성화를 변경하여 뉴런의 활성화를 높이는 방법에 대해 설명합니다 [06:42].
- 역방향으로 전파하는 아이디어가 도입되었습니다 [07:57].
- 각 훈련 예제가 가중치와 편향을 변경하려는 방식을 기록하고 원하는 변경 사항을 평균화합니다 [08:45].
- 각 가중치와 편향에 대한 평균화된 너지는 비용 함수의 음의 기울기입니다 [09:02].
- 실제로 컴퓨터는 모든 훈련 예제의 영향을 추가하는 데 시간이 오래 걸리므로 미니 배치를 사용합니다 [09:37].
- 미니 배치를 사용하여 각 단계를 계산하는 것을 확률적 경사 하강이라고 합니다 [10:27].
- 역전파 알고리즘과 확률적 경사 하강에 대한 요약이 제공됩니다 [10:36].
- 역전파를 구현하는 데 사용되는 코드 줄에 대해 설명합니다 [11:27].
- 알고리즘이 작동하려면 많은 훈련 데이터가 필요합니다 [11:55].
https://youtu.be/Ilg3gGewQ5U?si=qEX6r9qrnXX6CYm2