zip-sa | Data is important

목차서론방법론결과논의결론서론비트코인은 암호화폐 시장의 선두주자로서 그 가격 변동이 전체 시장에 큰 영향을 미칩니다. 이에 따라 비트코인 가격 예측은 투자자와 연구자들에게 중요한 관심사가 되었습니다. 본 연구에서는 시계열 데이터 분석을 통해 비트코인의 단기 가격 변동을 예측하는 모델을 개발하고자 했습니다.주요 가설은 "과거 24시간의 비트코인 관련 데이터를 사용하여 다음 시간의 가격 변동 방향을 예측할 수 있다"입니다. 이를 검증하기 위해 양방향 LSTM(Birectional Long Short-Term Memory) 모델을 사용했으며, 다양한 네트워크 및 시장 데이터를 활용했습니다.데이터 분석데이터셋 개요본 연구에서 사용된 데이터셋은 2022년 1월 1일부터 2023년 12월 31일까지의 1시간 단위 비..

0. 인과성과 기계학습: 인과성 추론의 이해와 최신 방법론인과성(Causality)은 사건 간의 원인과 결과를 밝히는 과정으로, 데이터 분석과 의사결정에 필수적인 개념입니다. 이 글에서는 인과성의 정의와 필요성, 인과성 추론 방법론, 그리고 최신 기계학습 기법을 통한 인과성 분석에 대해 설명합니다.1. 인과성이란 무엇인가?인과성은 특정 사건이 다른 사건에 미치는 영향을 밝히는 과정으로, 단순한 상관관계와는 다릅니다. 상관관계는 두 변수 간의 연관성을 보여주지만, 이것이 원인과 결과를 의미하는 것은 아닙니다.1.1 상관관계 vs. 인과성상관관계(Correlation): 두 변수 간의 연관성만을 보여줌. 예를 들어, 축구 FIFA 랭킹과 COVID 확진자 수 간의 관계가 있다고 해도, 축구 실력이 확진자 수..

다뤄볼 내용 :Monte Carlo ApproximationMarkov Chain Monte Carlo (MCMC)Metropolis-Hastings AlgorithmImportance Sampling 0. 개요MC 근사법은 매우 복잡하거나 정확하게 계산하기 어려운 확률 문제를 해결하기 위해 주로 사용되는 방법입니다. 특히 고차원 문제나 복잡한 확률 분포를 다룰 때, 랜덤 샘플링을 통해 근사치를 계산하여 효율적인 해법을 제공합니다.1. Monte Carlo Approximation의 기본 개념MC 근사는 복잡한 함수 ($f(z)$)와 확률 분포 ($p(z)$)의 기대값 ($E[f(z)]$)를 계산할 때 사용됩니다. 특히 정확한 계산이 불가능하거나 연산이 매우 오래 걸릴 때, 랜덤 샘플링을 통해 근사하는 ..

기록 일: 2023.03.04기상 : 6:50 am, 날씨 : 갑자기 폭풍이 왔다 빠르게 감 I’m Happy to Looking at Myself아직 3일 차 이긴 하지만, 11~01 시쯤 잠들고 7시에 일어나는 걸 실천 중이다.근 몇 년간 내 기억 속에는 제때 잠들고, 알람을 듣지 않아도 눈이 떠지는 경험이 없다.그러나, 오늘 2023년 3월 4일 토요일 (한국은 3월 5일이니 이 날로 기념일을 지정해야겠다.) 6:50 am에 눈이 떠졌다.심지어, 수면을 기록 및 분석하고 싶어서 Apple Watch 또한 차고 잔 날이었다. (Apple Watch 또한 구매 후 처음으로 잘 때 차고 잤다.)이렇게 호들갑 떨며 세세하게 다 기록하는 만큼 나에게는 큰 발전이었다. Miracle흔한 자기계발서나 관련 피드..

기록 일: 2023.03.04기상: 7:05  Desire to lean English 영어에 대한 욕구가 커졌다. 미국까지 왔는데, 3달이나 있는데, 등등 원래 있었던 욕심이 미국에 오니 더 커진 거 같다.  근데 성격 탓인지, 자신감이 부족한 건지 영어를 머릿속으로 다 구상해 놓고도 번역기까지 돌려가며 최적의 단어를 찾는 순간, 이미 영어로 말할 기회가 사라져 있어서 많이 후회스러웠다. 예를 들어, 한 여성분이 costco앞에서 자전거 뒷부분에 패딩을 묶어놓으시려고 애쓰시고 있었다. 난 한국이었으면 지체 없이 가서 도와드렸을 텐데, 머릿속으로 이렇게 말하는 게 맞나? 이 문장이 안 어색할까, 무례하지는 않을까 걱정하고 머릿속에 조합을 완성하던 찰나에 이미 짐 싸서 떠나셔 버렸다. 그 외에도 비슷한 경..

기록 일 : 2023.03.03기상 : 6:30 am , 날씨 : 굿굿, 이제 슬슬 봄 같아지려고 노력하나 보다. - 코세라 강의 한글 자막을 지원하지 않아, 많이 힘들 거 같았다. 그래도 익숙한 IT 단어들이라 귀에는 들려 영어로 이해하고 영어로 강의 노트를 작성했다.오랜만에 IT 공부를 해서 설레는 마음도 있었다. 다만, 돌고 돌아 다시 컴공 지식을 쌓으려 노력하는 동안 후회는 되지 않을까 했는데, 전혀 없어서 마음이 편안했다. 내 마음이 정리가 되어 간다는 게 요즘 대표님과 주변 지인들에게 말을 하다 보면 크게 체감이 된다. + 영어로 듣고 영어로 이해하는 게 맞는 건지, 영어로 듣고 한국어로 번역하여 이해하는 게 맞는지 헷갈렸다. 근데 대표님께서 명쾌한 답변을 주셨다.English > Progra..

인공지능 개발자나 데이터 과학자로서, 데이터를 이해하고 전처리하는 것은 매우 중요한 작업입니다. 특히 정형 데이터는 분석과 모델링 과정에서 자주 다루게 되는데, 이 글에서는 정형 데이터의 주요 유형인 범주형 데이터와 수치형 데이터에 대해 설명하고, 각 유형의 데이터를 전처리하는 방법을 소개하겠습니다.정형 데이터의 정의정형 데이터(Structured Data)는 일정한 형식과 구조를 가진 데이터로, 행과 열의 형태로 구성되어 있으며, 데이터베이스나 스프레드시트에 저장됩니다. 이러한 데이터는 쉽게 검색하고 분석할 수 있어 다양한 통계적 분석과 머신러닝 모델에 활용됩니다.범주형 데이터범주형 데이터(Categorical Data)는 데이터가 여러 범주로 나뉘어져 있는 형태를 말합니다. 이러한 데이터는 숫자로 나..

인공지능 개발자나 엔지니어로서, 데이터를 이해하고 이를 활용하여 효율적인 솔루션을 개발하는 것은 매우 중요합니다. 이 글에서는 데이터를 다루는 기본 개념을 중심으로, 데이터의 유형과 구조, 그리고 이를 기록하는 포맷에 대해 설명하겠습니다. 이를 통해 데이터의 본질을 이해하고, 실무에서 어떻게 데이터를 효과적으로 처리할 수 있을지에 대한 통찰을 제공하고자 합니다.데이터의 정의와 유형데이터는 인공지능 모델이 학습하고 예측하는 데 필요한 핵심 자원입니다. 데이터를 제대로 이해하는 것은 모델의 성능을 극대화하는 데 필수적입니다. 데이터는 크게 구조화된 데이터, 비구조화된 데이터, 그리고 반구조화된 데이터로 분류할 수 있습니다.구조화된 데이터: 일정한 형식과 규칙을 가지고 저장된 데이터로, 관계형 데이터베이스에 ..

역전파 (Backpropagation)1. Backpropagation이란?Backpropagation(역전파)은 신경망에서 학습을 가능하게 하는 핵심 알고리즘입니다. 이 알고리즘은 모델의 예측 결과와 실제 결과 사이의 차이(오차)를 기반으로 가중치와 편향을 조정하여, 모델이 더 정확한 예측을 할 수 있도록 만듭니다. 이 과정은 네트워크의 마지막 층에서부터 첫 번째 층까지 거슬러 올라가며 진행되기 때문에 "역전파"라고 불립니다. 2. 계산 그래프 (Computational Graph)계산 그래프는 복잡한 계산 과정을 시각적으로 표현한 구조입니다. 신경망에서 각 연산을 노드로 나타내고, 이들 간의 관계를 연결하여 표현합니다. 계산 그래프를 사용하면, 각 연산에 대한 미분(gradient)을 효율적으로 계산..

Neural Networks (신경망)은 현대 인공지능의 핵심 기술 중 하나로, 복잡한 데이터를 처리하고 다양한 문제를 해결하는 데 널리 사용됩니다. 이 글에서는 Neural Network의 기본 개념을 이해하고, PyTorch를 사용해 간단한 신경망을 구현하는 방법을 살펴보겠습니다.1. What is a Neural Network?Neural Network는 생물학적 뉴런의 구조와 기능을 본떠 만든 컴퓨팅 시스템입니다. 기본적으로, 신경망은 여러 개의 뉴런(neurons)이 레이어(layer)로 구성되어 있으며, 각 뉴런은 입력을 받아 계산한 후 결과를 다음 레이어로 전달합니다.신경망의 가장 기본적인 구성 요소는 입력층(input layer), 은닉층(hidden layers), 그리고 출력층(outp..