본문 바로가기

전체 글

 (38)
velog로 이전 https://velog.io/@yetsyl0705
05. 리스트, 딕셔너리 리스트 - 리스트 선언 >>> a = list() 또는 >>> a = [ ] - append()를 통해 요소 추가 가능 >>> a = [1,2,3] >>> a.append(4) >>> a [1,2,3,4] - insert() 함수를 사용하면 특정 위치의 인덱스를 지정해 요소 추가 가능함 >>> a.insert(3,5) # 3번째 인덱스에 5를 삽입한다. (단, 인덱스는 0부터 시작) >>> a [1,2,3,5,4] - 리스트에서 값을 꺼내올 때 >>> a[3] 5 >>> a[1:3] [2, 3] - IndexError 발생 시 예외 처리 방법 try: print(a[9]) except IndexError: print('존재하지 않는 인덱스') - 요소 삭제 >>> del a[1] # 인덱스1에 있는 값 ..
04. 빅오, 자료형 빅오 빅오(O, big-O)란 입력값이 무한대로 향할 때 함수의 상한을 설명하는 수학적 표기 방법 → 충분히 큰 입력에서 알고리즘의 효율성을 따져야 하기 때문 : 어떤 알고리즘을 수행하는 데 걸리는 시간을 설명하는 계산 복잡도 - 대표적인 방법이 빅오 - 시간 복잡도를 표기할때는 입력값에 따른 알고리즘의 실행 시간의 추이만을 살핌 ① O(1) : 최고의 알고리즘 ② O(logn): log는 웬만한 n의 크기에 대해서도 매우 견고함 ③ O(n): 걸리는 시간은 입력값에 비례함 ④ O(nlogn): 병합정렬이 해당됨 ⑤ O(n^2): 버블 정렬이 해당됨 ⑥ O(2^n): 피보나치 수를 재귀로 계산하는 알고리즘 ⑦ O(n!): 각 도시를 방문하고 돌아오는 가장 짧은 경로를 찾는 외판원 문제에 해당됨 - 시간 ..
CoST: Contrastive learning of disentangled seasonal-trend representation for time series forecasting 더보기 feature engineering: 모델이 직접 할 수는 없는 부분을 전문지식을 사용하여 해결하는 것 -> representation learning(RL) : downstream task에 대한 의미론적으로 의미 있는 정보를 더 쉽게 추출할 수 있도록 고차원의 raw data를 저차원 공간에 mapping하는 것을 목표로 함 Disentangled Representation Learning: Input data variation을 야기하는 여러 factor를 분리하고자 함, 각 factor가 독립적으로 특정 정보를 담고 있게 함. Abstract end-to-end training 활발한 연구 - LSTM/RNNs TCNs, Transformers 컴퓨터 비전과 자연어 처리에서의 표현학습의 성..
N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting Abstract 긴 길이를 예측하는 것은 어려움 1) 예측값의 변동성 때문에 2) 계산 복잡도 때문에 그래서 N-HiTS : 새로운 계층적인 보간법과 멀티 비율 데이터 샘플링 기법 -> 예측을 순차적으로 조합하고 다른 주파수로 선택적 강조를 할 수 있게 한다. 실험 결과 다변량 시계열 예측에서 최근 transformer 모델 대비 25%가 넘는 향상을 보임 1. Introduction 위험관리를 위해 긴 길이의 시계열 예측은 중요하다. ex) 발전소 보수 스케쥴, 인프라 구축 계획, 조기경보 시스템, 헬스케어에서 심박수 등 최근 활발한 연구 1. 예측 모델 발달 attention mechanism // attention-free architecture=fully connected layer들로 구성된 모..
Autoformer 0. abstract (문제점) 1. 긴 미래의 복잡한 시간 패턴은 신뢰 가능한 의존성을 찾는데 어려움을 준다. 2. Transformer의 point-wise self-attention은 information utilization bottleneck이 있다. (제안) 1. Auto-Correlation mechanism 2. series decomposition as a basic inner block ot deep models 1. Introduction 시계열 예측 많이 사용됨 - 예측기간이 길수록 좋음 - 그래서 이 논문에서 긴 기간의 예측 문제를 다룸 - 시계열 예측에서 Transformer model이 성능 좋음 - self attention 방법에서 이득을 많이 봄 그러나 긴 길이에서도 좋은..
Informer RNN - 깊은 신경망에 대해 vanishing gradient 문제 - 시점간의 간격이 커진다면 멀리 떨어진 과거 시점 정보의 영향력이 약해지는 장기 의존성 문제 CNN : 시간 순서에 따라 filter를 적용함으로써 과거와 현재 정보 사이의 관계를 파악 - time step이 달라도 동일한 filter로 각 시점 정보를 파악해야 한다. - 또한 좋은 성능을 내기 위해서 filter를 직접 튜닝해 주어야 한다. - filter안에서 local한 dependency를 파악하기 때문에 장기 의존성 문제가 존재함 Attention - 서로 다른 시점의 정보들 간의 관계를 바탕으로 (attention) score를 부여하여 활용하고자 함. - long range dependency를 학습하기 용이하다는 장점 ..
Lecture 20: Generative Models 2 이해할 점! * VAE와 Autoencoder는 다르다는 것을 이해하자!! * MLE를 직접적으로 사용하지 않고 간접적으로 사용하는 이유를 이해하자!! Variational Autoencoders : 데이터가 생성되는 과정, 즉 데이터의 확률분포를 학습하기 위한 두 개의 뉴럴네트워크로 구성되어 있다. VAE는 잠재변수 (latent variable) z를 가정하고, encoder에서 Input data X를 받아서 잠재변수 z를 만들어 내어 decoder에서는 encoder에서 만든 z를 활용해 x를 복원해내는 역할을 한다. 그렇다면 여기에서 잠재변수 z는 어떤 의미일까요? 만약 X에 고양이 사진이 주어졌다고 하면, 사람들은 고양이 사진을 픽셀 단위로 자세히 보고 판단하는 것이 아니라, 털 색깔, 눈 모..

티스토리툴바