Study/cs251n

The power of small filters: 두 3x3 (s=1) Conv layer를 쌓는다.: 그럼, Second Conv Layer 한 개의 neuron은 input layer의 5x5를 보는 형태가 된다.: 만약, 3x3 Conv layer를 3개를 쌓는다면? input layer의 7x7를 보는 것이다.: Input-32x32x3, Filter-10 5x5, s=1, p=2일 때, parameter의 수는? (5x5x3+1)x10개 (+1은 bias)7x7을 갖는 1개의 Conv Layer  VS  3x3 3개 Conv Layer, (각 layer당 filter는 C개): 각각 weight의 수는? (7x7xC+1)xC, {(3x3xC+1)xC}x3 즉, 같은 영역을 보는건데, parame..

(8,9에서는 visulization, 옛날 CNN paper를 통한 구조 설명이다. 이에 대해서는 SOTA paper review에서 진행하기에 skip)RNN (Recurrent Neural Network): 일반적인 neural network는 첫 번째의 형태 (input layer -> hidden layer -> output layer): RNN에서는 input, output, hidden 등에 sequence를 추가하는 형태: one to many - Image Captioning, Image를 Input하여 단어 Sequence를 output: many to one - Sentiment Classification, 단어의 Sequence를 Input으로 하여 감정을 output: many t..

Activation Function: cell body의 linear 성분을 non-linearity로 변경해주는 역할Sigmoid : 전통적으로 많이 사용했지만, 지금은 잘 사용되지 않음.: 넓은 범위의 수를 0~1로 squash해줌. Problem 1. vanishing gradient : neurons이 staturated 되어, gradients를 죽이는 것: backpropagation에서 chain rule을 사용해서, gradient를 구하는데,x값이 크거나 작을 경우, 미분값이 0이므로 곱해지는 미분값이 0이 되기 떄문에그 후 gradient들에 대해서 다 0이된다. 즉 gradient가 kill, 이때, 미분값이 0에 수렴되는 x축 범위를 포화지점, staturated regime이라고 ..

Convolution Neural Network LayerConvolution Layer: filter를 stride씩 옮겨가며 dot product 연산 + bias: 해당 결과를 activation map이라고 부른다.32x32x3을 conv layer를 거치고 28x28x6의 activation volumns를 가졌다면?: 우선 채널이 6개이므로 kenel(filter)의 수는 6개.: stride를 1(1칸씩 움직이며 계산)한다고 가정할 경우, 32를 몇의 크기 filter로 한 칸씩 움직이면 28일까?: (N-F)/stride +1, (32-F)/1 +1 = 28, (32-F) = 27, F=5(혹시, stride가 1보다 클 경우 넘어가는, 연산결과가 소수점이 나올텐데, 이럴 때는 paddin..

Backpropagationforward pass에서 local gradient를 구하고backward pass에서 global gradient를 구한다.(local gradient를 chain rule을 활용해서): chain rule을 통해 local gradient와 global gradient의 곱으로써 표현해서 계산아래에 예시에서 살펴보자면: add gate -> gradient distributor, 전의 gradient를 그대로 전파(local gradient의 값이 1이므로): max gate : gradient router: mul gate : gradient switcher, local gradient가 바뀌기 때문에즉, 위를 정리해보자면local gradient1. local grad..

Regularization loss이전 강의에서,  linear classification에서의 결과를 보면 아래와 같다.: 여기서, SVM - Hinge Loss, Softmax - cross Entropy Loss를 알아보자.SVM Loss (hinge loss): x_i is image, x_i is label: ( correct label score -1 ) 보다 큰 incorrect label score가 있으면, loss 발생: ( correct lable score ) 가 다른 incorrect label score보다 1이상 크면 loss는 0: cat의 경우 3.2보다 socre가 큰 car가 존재하므로 loss가 0보다 큰 값, (5.1 - 3.2 +1) = 2.9: car의 경우 ca..

Image Classification : a core task in Computer Vision(assume give set of discrete labels) : {dog, cat, truck, plane, ...} -> cat !Problem : semantic gap: image는 기본적으로 숫자로 구성된 3d array (0~255의 color 숫자, 3d channel)Challenges 1 : Viewpoint Variation: viewpoint가 다름에 따라 image를 다르게 보일 수 있는 문제Challenges 2 : Illumination: 조명에 따라 이미지의 색상 정보가 바뀌는 문제.Challenges 3 : Deformation: 형태의 변형 문제Challenges 4 : Occ..