The power of small filters: 두 3x3 (s=1) Conv layer를 쌓는다.: 그럼, Second Conv Layer 한 개의 neuron은 input layer의 5x5를 보는 형태가 된다.: 만약, 3x3 Conv layer를 3개를 쌓는다면? input layer의 7x7를 보는 것이다.: Input-32x32x3, Filter-10 5x5, s=1, p=2일 때, parameter의 수는? (5x5x3+1)x10개 (+1은 bias)7x7을 갖는 1개의 Conv Layer  VS  3x3 3개 Conv Layer, (각 layer당 filter는 C개): 각각 weight의 수는? (7x7xC+1)xC, {(3x3xC+1)xC}x3 즉, 같은 영역을 보는건데, parame..

(8,9에서는 visulization, 옛날 CNN paper를 통한 구조 설명이다. 이에 대해서는 SOTA paper review에서 진행하기에 skip)RNN (Recurrent Neural Network): 일반적인 neural network는 첫 번째의 형태 (input layer -> hidden layer -> output layer): RNN에서는 input, output, hidden 등에 sequence를 추가하는 형태: one to many - Image Captioning, Image를 Input하여 단어 Sequence를 output: many to one - Sentiment Classification, 단어의 Sequence를 Input으로 하여 감정을 output: many t..

Activation Function: cell body의 linear 성분을 non-linearity로 변경해주는 역할Sigmoid : 전통적으로 많이 사용했지만, 지금은 잘 사용되지 않음.: 넓은 범위의 수를 0~1로 squash해줌. Problem 1. vanishing gradient : neurons이 staturated 되어, gradients를 죽이는 것: backpropagation에서 chain rule을 사용해서, gradient를 구하는데,x값이 크거나 작을 경우, 미분값이 0이므로 곱해지는 미분값이 0이 되기 떄문에그 후 gradient들에 대해서 다 0이된다. 즉 gradient가 kill, 이때, 미분값이 0에 수렴되는 x축 범위를 포화지점, staturated regime이라고 ..

여러 자료를 봤는데... skip connection에 대해 설명이 어려워서 이해하기 쉽도록 수정해보았다.Degradation Problem이전에는 layer를 쌓아도 error rate가 증가하는 문제: layer가 깊어졌을 때 model이 수렴했음에도 레이어가 적을 때보다 모델의 error (training, test)가 더 커지는 현상이 발생, 이것은 overfitting 문제가 아니라, layer가 깊어짐에 따라 optimize가 잘 안되기에 발생하는 문제Skip connectionresnet에서 deep한 layer를 쌓기 위해   위의 문제를 해결하기 위한 skip connection 제안input(x)에 대해 만들고 싶은 것을 H(x)라고 가정이것을 기존에는 F(x)로 만들었다. Redisu..

Convolution Neural Network LayerConvolution Layer: filter를 stride씩 옮겨가며 dot product 연산 + bias: 해당 결과를 activation map이라고 부른다.32x32x3을 conv layer를 거치고 28x28x6의 activation volumns를 가졌다면?: 우선 채널이 6개이므로 kenel(filter)의 수는 6개.: stride를 1(1칸씩 움직이며 계산)한다고 가정할 경우, 32를 몇의 크기 filter로 한 칸씩 움직이면 28일까?: (N-F)/stride +1, (32-F)/1 +1 = 28, (32-F) = 27, F=5(혹시, stride가 1보다 클 경우 넘어가는, 연산결과가 소수점이 나올텐데, 이럴 때는 paddin..

이전에 데이터셋을 분석-적용할 수 있다고 생각했던 부분은 다음과 같다.1. 비정상적인 경기 패턴- 킬 방생 시간과 골드 차이 데이터를 기반으로 어떤 시간대에 많은 골드가 발생했는 지- 어시스트와 킬 수를 비교해서 팀별 팀워크 집중도 탐지VAE, Lsolation Forest, Autoencoder 등등2. 어떤 팀이 승리할 지 예측- 분단위로 되어 있는 데이터가 많기에 분단위로 쪼개서 승리 팀을 예측- 블루/레드 팀의 분당 골드, 킬/데스 비율, 오브젝트 현황, 어느 라인에 골드가 많이 투자되었는 지 등해당 Feature들 기반으로 학습하고 타임라인별로 승리를 예측TabNet, XGBoost, ...등등3. 경기 중 어느 시점에 킬이 많이 발생하는지, 오브젝트를 점령하는지, 골드 추세- 골드 차이의 미래..

dataset 확보: https://www.kaggle.com/datasets/chuckephron/leagueoflegends?select=LeagueofLegends.csv League of LegendsCompetitive matches, 2015 to 2018www.kaggle.com: API로 데이터를 받아와서 사용하기에는 요청 수 제한 등이 있어서 너무 제한적이었다.: kaggle의 망령이 돼서....떠돌이해본 결과 다음의 적합한 데이터셋을 확보할 수 있었다.dataset 분석LeagueofLegends.csv1. 기본 정보League: 리그 이름 (예: NALCS, LCK 등).Year: 경기 연도.Season: 시즌 정보 (예: Spring, Summer 등).Type: 경기 유형 (예: ..

Backpropagationforward pass에서 local gradient를 구하고backward pass에서 global gradient를 구한다.(local gradient를 chain rule을 활용해서): chain rule을 통해 local gradient와 global gradient의 곱으로써 표현해서 계산아래에 예시에서 살펴보자면: add gate -> gradient distributor, 전의 gradient를 그대로 전파(local gradient의 값이 1이므로): max gate : gradient router: mul gate : gradient switcher, local gradient가 바뀌기 때문에즉, 위를 정리해보자면local gradient1. local grad..