Activation Function: cell body의 linear 성분을 non-linearity로 변경해주는 역할Sigmoid : 전통적으로 많이 사용했지만, 지금은 잘 사용되지 않음.: 넓은 범위의 수를 0~1로 squash해줌. Problem 1. vanishing gradient : neurons이 staturated 되어, gradients를 죽이는 것: backpropagation에서 chain rule을 사용해서, gradient를 구하는데,x값이 크거나 작을 경우, 미분값이 0이므로 곱해지는 미분값이 0이 되기 떄문에그 후 gradient들에 대해서 다 0이된다. 즉 gradient가 kill, 이때, 미분값이 0에 수렴되는 x축 범위를 포화지점, staturated regime이라고 ..

여러 자료를 봤는데... skip connection에 대해 설명이 어려워서 이해하기 쉽도록 수정해보았다.Degradation Problem이전에는 layer를 쌓아도 error rate가 증가하는 문제: layer가 깊어졌을 때 model이 수렴했음에도 레이어가 적을 때보다 모델의 error (training, test)가 더 커지는 현상이 발생, 이것은 overfitting 문제가 아니라, layer가 깊어짐에 따라 optimize가 잘 안되기에 발생하는 문제Skip connectionresnet에서 deep한 layer를 쌓기 위해   위의 문제를 해결하기 위한 skip connection 제안input(x)에 대해 만들고 싶은 것을 H(x)라고 가정이것을 기존에는 F(x)로 만들었다. Redisu..

Convolution Neural Network LayerConvolution Layer: filter를 stride씩 옮겨가며 dot product 연산 + bias: 해당 결과를 activation map이라고 부른다.32x32x3을 conv layer를 거치고 28x28x6의 activation volumns를 가졌다면?: 우선 채널이 6개이므로 kenel(filter)의 수는 6개.: stride를 1(1칸씩 움직이며 계산)한다고 가정할 경우, 32를 몇의 크기 filter로 한 칸씩 움직이면 28일까?: (N-F)/stride +1, (32-F)/1 +1 = 28, (32-F) = 27, F=5(혹시, stride가 1보다 클 경우 넘어가는, 연산결과가 소수점이 나올텐데, 이럴 때는 paddin..

Backpropagationforward pass에서 local gradient를 구하고backward pass에서 global gradient를 구한다.(local gradient를 chain rule을 활용해서): chain rule을 통해 local gradient와 global gradient의 곱으로써 표현해서 계산아래에 예시에서 살펴보자면: add gate -> gradient distributor, 전의 gradient를 그대로 전파(local gradient의 값이 1이므로): max gate : gradient router: mul gate : gradient switcher, local gradient가 바뀌기 때문에즉, 위를 정리해보자면local gradient1. local grad..

Regularization loss이전 강의에서,  linear classification에서의 결과를 보면 아래와 같다.: 여기서, SVM - Hinge Loss, Softmax - cross Entropy Loss를 알아보자.SVM Loss (hinge loss): x_i is image, x_i is label: ( correct label score -1 ) 보다 큰 incorrect label score가 있으면, loss 발생: ( correct lable score ) 가 다른 incorrect label score보다 1이상 크면 loss는 0: cat의 경우 3.2보다 socre가 큰 car가 존재하므로 loss가 0보다 큰 값, (5.1 - 3.2 +1) = 2.9: car의 경우 ca..

Image Classification : a core task in Computer Vision(assume give set of discrete labels) : {dog, cat, truck, plane, ...} -> cat !Problem : semantic gap: image는 기본적으로 숫자로 구성된 3d array (0~255의 color 숫자, 3d channel)Challenges 1 : Viewpoint Variation: viewpoint가 다름에 따라 image를 다르게 보일 수 있는 문제Challenges 2 : Illumination: 조명에 따라 이미지의 색상 정보가 바뀌는 문제.Challenges 3 : Deformation: 형태의 변형 문제Challenges 4 : Occ..

카테고리1. Data Augmentation Techniques      1-1-1: Synthetic occlusion generation during training     1-1-2: Randomized part masking to improve model robustness     1-1-3: Introducing artificial occlusion patterns in training datasets2. Advanced Neural Network Architectures     2-1-1: Multi-branch networks with occlusion-aware feature extraction     2-1-2: Attention mechanisms that can handle parti..