티스토리

공진's Repository
검색하기

블로그 홈

공진's Repository

gongjin-repository.tistory.com/m

https://github.com/yeongjinHwang

구독자
1
방명록 방문하기
공지 https://github.com/y⋯ 모두보기

주요 글 목록

  • Chapter 17. Forecasting Performance Measures Chapter 17에서는 * residual forecast error와 forecast bias를 포함한 forecast performace의 기본 측정 * MAE(mean absolute error)와 같은 방법을 통한 forecast error calculations * MAE 및 RMSE와 같은 널리 사용되는 오차 계산 방법 Forecast Error (or Residual Forecast Error) * forecast error = expected value − predicted value * 0인 값은 error가 없는 것이다. * 따라서, 0에서 멀어지는 값일 수록 좋지 않은 값이다. # calculate forecast error expected = [0.0, 0.5, 0.0, 0.5, .. 공감수 2 댓글수 0 2021. 7. 21.
  • Chapter 16. Backtest Forecast Model Chapter 16에서는 * machine learning model을 평가하는 방법의 한계와 sample data에서 model을 평가해야하는 이유 * model 평가를 위해 time series data의 train-test split 및 multiple train-test split을 만드는 방법 * walk-forward 유효성 검사가 time series에 대한 machine learning model의 평가를 제공하는 방법에 대해 배운다. Model Evaluation * time series forecasting을 위해 model을 평가할 때, model training을 하는 데 사용하지 않은 data에 대한 model 성능에 관심이 있다. * 이것을 sample data라고 부른다. * .. 공감수 2 댓글수 0 2021. 7. 21.
  • Chapter 15. Stationarity in Time Series Data Chapter 15에서는 * line-plot을 사용하여 stationary 및 non-stationary time series를 식별하는 방법 * 시간에 따른 변화에 대한 평균 및 분산과 같은 요약 통계를 확인하는 방법 * time series가 stationary한 지 확인하기 위해 통계적으로 유의한 테스트를 사용하는 방법에 대해 배운다. Stationary Time Series * stationary하다는 말은 time series가 시간에 의존하지 않는다는 말이다. * time series가 trend, seasonal effect가 없는 경우 stationary하다. * 아래의 예제는 일별 여성 출생수에 대한 dataset이다. # load time series data from pandas i.. 공감수 2 댓글수 0 2021. 7. 21.
  • Chapter 14. Use and Remove Seasonality Chapter 14에서는 * Time Series의 seasonality 정의 및 machine learning method을 통한 예측에 제공되는 방법 * difference method를 사용하여 season별로 조정된 일일 온도 데이터의 time series 만드는 방법 * seasonal component를 직접 modeling하고 관측치에서 빼는 방법 Seasonality in Time Series * Time Series에는 seasonal variation이 포함될 수 있다. * seasonal variation or seasonality는 시간이 지남에 따라 반복되는 주기이다. Benefits to Machine Learning * Time Series의 seasonal component를.. 공감수 2 댓글수 0 2021. 7. 21.
  • Chapter 13. Use and Remove Trends Chapter 13에서는 * Time Series에 존재할 수 있는 trend의 중요성과 유형 및 식별 방법 * simple differencing method를 사용하여 trend를 제거하는 방법 * 선형 trend를 modeling하고 판매 Time Series dataset에서 제거하는 방법 Trends in Time Series * trend는 일반적으로 주기적이지 않은 시계열의 체계적인 변화를 말한다. * trend를 파악하고 이해하면 모델 성능 향상에 도움이 된다. * 1. Faster Modeling : 모델 선택 및 평가를 보다 효율적으로 만들 수 있다. * 2. Simpler Problem : 모델링을 단순화하고 모델 성능을 향상시키기 위해 trend를 수정하거나 제거할 수 있다. * 3.. 공감수 3 댓글수 0 2021. 7. 21.
  • Chapter 12. Decompose Time Series Data Chapter 12에서는 * Time Series decomposition method of analysis(시계열 분해 분석 방법) 및 forecasting에 도움이 될만한 방법 * Python에서 Time Series data를 자동으로 decompose(분해)하는 방법 * addtive and multiplicative time series problem을 decompose하고 결과를 plotting하는 방법에 대해 배운다. Time Series Components * forecasting method를 선택하는 데 Time Series가 Systematic(체계적), Non-Systematic(비체계적)인 구성 요소로 나누는 것은 유용하다. * Systematic : 일관성 또는 반복이 있고 설명.. 공감수 2 댓글수 0 2021. 7. 12.
  • Chapter 11. A Gentle Introduction to the Random Walk * Chapter 11에서는 * Random Walk가 무엇이며 Python에서 만드는 방법 * Random Walk의 속성을 분석하고 time series가 random walk인지 아닌 지 아는 방법 * Random Walk를 예측하는 방법 Random Series * python에서 기본적으로 randrange()함수를 제공한다. * randrange(n) 함수는 기본적으로 0에서 n사이의 임의의 정수를 생성하는 함수이다. * plot을 통해 보면 이는 time series와 거리가 멀게 느껴지며 random walk는 아니고 단순한 난수들이다. # create and plot a random series from random import seed from random import randrange.. 공감수 2 댓글수 0 2021. 7. 12.
  • Chapter 10. A Gentle Introduction to White Noise * Chapter 10에서는 * white noise time series의 정의와 그것의 중요한 이유 * time series가 white noise인지 확인하는 방법 * python에서 white noise를 식별하기위한 통계 및 진단 plot에 대해 배운다. What is a White Noise? * Time series는 변수가 독립적이고 평균이 0으로 동일하게 분포된 경우 white noise이다. * 모든 변수는 동일한 분산을 가지며 각 값은 다른 모든 값과 0의 상관관계를 가지면 white noise * 변수가 가우스 분포에서 추출된 경우는 gaussian white noise라고 한다. Why Does it Matter? * 1. 예측 가능성 : time series가 white nois.. 공감수 2 댓글수 0 2021. 7. 12.
  • Chapter 9. Moving Average Smoothing Chapter 9에서는 * Moving Average Smoothing의 원리와 data에 대한 기대치 * data 작성 및 feature enginerring을 위한 Moving Average Smoothing 사용방법 * Moving Average Smoothing을 이용하여 예측하는 방법에 대해 배운다. Monving Average Smoothing * Moving Average을 계산하려면 값이 원래 시계열의 원시 관측 값 평균으로 구성된 새 시리즈를 생성해야합니다. * Moving Average을 사용하려면 창 너비라는 창 크기를 지정해야합니다. * Moving Average의 목표는 노이즈를 제거하고 근본적인 인과 과정의 신호를 더 잘 노출 시키는 것이다. * 이 기법을 적절하게 적용하면 근본.. 공감수 2 댓글수 0 2021. 7. 12.
  • Chapter 8. Power Transforms Chapter 8에서는 * 제곱근 변환의 사용 시기 및 탐색 방법을 식별하는 방법 * 로그 변환의 사용 시기 및 탐색 방법 및 원시 데이터에 대한 기대 사항 * Box-Cox 변환을 사용하여 제곱근, 로그 작업을 수행하고 dataset에 가장 적합한 변환을 자동으로 찾는 방법 * 에 대해 배운다. Airline Passengers Dataset * Airline Passengers dataset은 시간 경과에 따른 총 항공사 승객 수에 대한 Time Series이다. # load and plot a time series from pandas import read_csv from matplotlib import pyplot series = read_csv('airline-passengers.csv', he.. 공감수 2 댓글수 0 2021. 7. 12.
  • Chapter 7. 추가 내용 우선 Upsampling 예제코드를 보면, # upsample to daily intervals with spline interpolation from pandas import read_csv from pandas import datetime from matplotlib import pyplot def parser(x): return datetime.strptime('190'+x, '%Y-%m') series = read_csv('shampoo-sales.csv', header=0, index_col=0, parse_dates=True, squeeze=True, date_parser=parser) upsampled = series.resample('D').mean() interpolated = upsam.. 공감수 2 댓글수 0 2021. 6. 14.
  • Chapter 7. Resampling and Interpolation Chapter 7에서는 * Time Series Resampling, 두 가지 유형의 Resampling과 이를 사용하는 주요 이유 * Pandas를 사용하여 Time Series Data를 더 높은 빈도로 Up Sampling하고 새로운 관측치를 Interpolation하는 방법 * Pandas를 사용하여 Time Series Data를 더 낮은 빈도로 Down Sampling하고 더 높은 빈도의 관측치를 요약하는 방법에 대해 배운다. Resampling * Two Types of resampling 1. Upsampling : 샘플의 빈도를 증가시키는 것 ex)빈도를 분 -> 초 2. Downsampling : 샘플의 빈도를 줄이는 것 ex)빈도를 일 -> 월 * Time Series Data를 re.. 공감수 3 댓글수 0 2021. 6. 14.
  • Chapter 6. Data Visualization Chapter 6에서는 * python을 사용하여 Time Series Data를 시각화 하는 데 사용할 수 있는 6가지 유형의 Plots * line plots, lag plots, autocorrelation plots를 사용하여 structure of Time series를 탐색하는 방법 * box-whisker plots, heat map plots를 이용하여 구간에 따른 분포의 변화를 파악하는 방법에 대해 배운다. Time Series Visualization * Visualization은 Time Series analysis and forecasting에 중요한 역할을 한다. * Plots of raw sample data는 model 선택에 영향을 미칠 수 있는 trend, cycles, s.. 공감수 2 댓글수 0 2021. 5. 27.
  • Chapter 5. Basic Feature Engineering Chapter 5에서는 * feature engineering time series data의 이론적 근거와 목표 * basic date-time 기반으로 input feature을 개발하는 방법 * 더 정교한 지연(lag) 및 sliding window 요약 통계 기능을 개발하는 방법에 대해 배운다. Feature Engineering for Time Series * Time Series dataset은 supervised learning problem으로 변환되어야한다. time 1 value 1 time 2 value 2 time 3 value 3 input 1 output 1 input 2 output 2 input 3 output 3 * 처음 표와 같이 표기된 Time Series는 두번 째 표.. 공감수 2 댓글수 0 2021. 5. 20.
  • Chapter 4. Load and Explore Time Series Data Chapter 4에서는 * Pandas library를 사용하여 CSV 파일에서 Time Series dataset을 로드하는 방법 * date-times를 사용하여 로드된 data를 보고 요약 통계를 계산하는 방법 * 요약 통계 계산과 리뷰 방법에 대해서 배운다 * 여기서 pandas의 역할은 로드된 data를 보고 dataset을 탐색하고 더 잘 이해하기 위해 사용된다. Daily Female Births Dataset * 여기서는 Daily Female Births Dataset을 사용한다. * https://raw.githubusercontent.com/jbrownlee/Datasets/master/daily-total-female-births.csv * 이 dataset은 위 sample과 같이.. 공감수 2 댓글수 0 2021. 5. 19.
  • Chapter 3. Time Series as Supervised Learning Chapter 3에서는 * Supervised Learning이 무엇이며 어떻게 Machine Learning Algorithms Modeling을 하는지 * Time Series Data를 프레임화하는 Sliding Window 방법과 사용 방법 * Multivariates Data, Multiple Steps forecasting Sliding Window를 사용하는 방법에 대해 배운다. Supervised Machine Learning(지도,지휘 머신러닝) * Supervised Learning : train data로부터 하나의 함수를 유추해내기 위한 Machine Learning Algorithm 입력 변수 x, 출력 변수 y가 존재하고, Algorithm을 통해 입력에서 출력으로의 mappin.. 공감수 2 댓글수 0 2021. 5. 13.
  • Chapter 2. What is Time Series Forecasting? Chapter 2에서는 * Time Series Forecasting의 정의, 분석 및 예측 * Time Series Forecasting Data에서 고려해야할 중요한 구성요소(Components) * Time Series Forecasting이 활용될 수 있는 범위들에 대한 예제에 대해 배운다. Time Series * Time Series는 일정 시간 간격으로 배치된 data들의 수열을 뜻한다. * 위의 그림과 같이 한 축을 t(시간)에 대해 표현을 할 수 있으면 Time Series이다. 즉, 시간과 관계된 data들을 모아놓은 것을 Time Series라고 한다. * 실제 결과가 미래의 시간에 대한 결과까지 알려져있지 않을 때, 미래의 시간에 대한 결과를 예측하기 위해 사용한다. Time Ser.. 공감수 2 댓글수 0 2021. 5. 13.
  • Chapter 1. Python Environment Chapter 1에서는 파이썬을 사용하는 이유와 3가지 라이브러리에 대해 배운다. 파이썬을 사용하는 이유 * 파이썬은 가독성을 중점으로 만들어졌으므로 사용하기 쉽다. * 파이썬은 우수한 라이브러리 지원으로 인해 머신러닝, 데이터 과학에서 널리 사용된다. 라이브러리 (Time Series Forecasting과 관련된 주요 기능) * pandas : data 처리 및 관리를 위한 도구를 제공해준다. series를 통해 일변량을 나타낼 수 있다. 또한, dataframe으로 날짜, 시간과 같은 것들을 인덱스로 처리, 관리할 수 있다. * statsmodels : 통계 모델링을 위한 도구를 제공해준다. 이는, 데이터를 시각화할 수 있게 해준다. * scikit-learn : 파이썬에서 머신러닝을 개발하고 연습.. 공감수 2 댓글수 0 2021. 5. 13.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.