zip-sa | Data is important

비트코인 가격 변동 예측: LSTM 기반 시계열 분석

zip-sa — Thu, 26 Sep 2024 23:24:29 +0900

서론

비트코인은 암호화폐 시장의 선두주자로서 그 가격 변동이 전체 시장에 큰 영향을 미칩니다. 이에 따라 비트코인 가격 예측은 투자자와 연구자들에게 중요한 관심사가 되었습니다. 본 연구에서는 시계열 데이터 분석을 통해 비트코인의 단기 가격 변동을 예측하는 모델을 개발하고자 했습니다.

주요 가설은 "과거 24시간의 비트코인 관련 데이터를 사용하여 다음 시간의 가격 변동 방향을 예측할 수 있다"입니다. 이를 검증하기 위해 양방향 LSTM(Birectional Long Short-Term Memory) 모델을 사용했으며, 다양한 네트워크 및 시장 데이터를 활용했습니다.

데이터 분석

데이터셋 개요

본 연구에서 사용된 데이터셋은 2022년 1월 1일부터 2023년 12월 31일까지의 1시간 단위 비트코인 관련 정보입니다. 데이터는 크게 네트워크 데이터와 시장 데이터로 구분됩니다.

특성(Feature) 요약

데이터셋에는 총 226개의 특성이 포함되어 있습니다. 주요 특성 카테고리는 다음과 같습니다:

시장 데이터:
- 가격 정보 (OHLCV)
- 펀딩 레이트
- 청산(Liquidation) 정보
- 오픈 인터레스트
- 테이커 매수/매도 통계
네트워크 데이터:
- 주소 수
- 블록 정보 (크기, 수, 간격)
- 난이도
- 거래 수수료
- 해시레이트
- 공급량
- UTXO 수
- 거래 속도

주요 특징:

대부분의 특성은 float64 타입입니다.
일부 특성(예: 주소 수 관련)은 int64 타입입니다.
데이터의 null 비율은 대부분 1% 미만으로 낮습니다.
일부 거래소 관련 데이터(예: FTX, OKEX)는 100% 누락되어 있습니다.

방법론

데이터셋

주요 특성:

네트워크 데이터: 거래 속도, 공급량, UTXO 수, 난이도, 해시레이트 등
시장 데이터: 가격, 거래량, 오픈 인터레스트, 펀딩 레이트, 테이커 매수/매도 통계 등

데이터 전처리

data_loader.py 파일에서 수행된 주요 전처리 단계는 다음과 같습니다:

누락된 데이터 처리: SimpleImputer를 사용하여 중앙값으로 대체
이상치 처리: 3 표준편차를 벗어나는 값을 제거
스케일링: RobustScaler를 사용하여 특성 스케일링
시계열 특성 생성: 시간, 요일, 주말 여부 등의 특성 추가
시차 특성 생성: 과거 24시간 데이터를 활용한 이동 평균, 변화율 등 계산

def engineer_features(df):
    new_features = {
        'hour': df['datetime'].dt.hour,
        'day_of_week': df['datetime'].dt.dayofweek,
        'is_weekend': df['datetime'].dt.dayofweek.isin([5, 6]).astype(int)
    }

    for feature in SELECTED_FEATURES:
        if feature in df.columns:
            new_features[f'{feature}_pct_change'] = df[feature].pct_change()
            new_features[f'{feature}_rolling_mean'] = df[feature].rolling(window=24).mean()
            new_features[f'{feature}_rolling_std'] = df[feature].rolling(window=24).std()

    return pd.concat([df, pd.DataFrame(new_features)], axis=1)

이 코드는 시간 관련 특성과 기존 특성들의 변화율, 이동 평균, 이동 표준편차를 계산합니다.

모델 구조

model.py 파일에 정의된 양방향 LSTM 모델의 구조는 다음과 같습니다:

class BidirectionalLSTM(nn.Module):
    def __init__(self, input_dim, hidden_dim, num_layers, output_dim, dropout):
        super(BidirectionalLSTM, self).__init__()
        self.lstm = nn.LSTM(input_dim, hidden_dim, num_layers, batch_first=True, bidirectional=True, dropout=dropout)
        self.fc = nn.Linear(hidden_dim * 2, hidden_dim)
        self.output = nn.Linear(hidden_dim, output_dim)
        self.dropout = nn.Dropout(dropout)
        self.batch_norm = nn.BatchNorm1d(hidden_dim * 2)

주요 특징:

입력 차원: 83
은닉층 차원: 128
LSTM 층 수: 3
출력 차원: 4 (가격 변동 방향 클래스)
드롭아웃과 배치 정규화를 통한 과적합 방지

학습 과정

train.py 파일에서 정의된 학습 과정의 주요 특징:

Adam 옵티마이저 사용
학습률 조정을 위한 ReduceLROnPlateau 스케줄러
조기 종료(Early Stopping) 기법 적용
L2 정규화와 그래디언트 클리핑을 통한 과적합 방지

def train_model(model, train_loader, val_loader, criterion, optimizer, epochs):
    scheduler = ReduceLROnPlateau(optimizer, 'min', patience=5, factor=0.5, verbose=True)
    early_stopping = EarlyStopping(patience=10, min_delta=0.001)

    for epoch in range(epochs):
        # 학습 및 검증 로직
        scheduler.step(val_loss)
        early_stopping(val_loss)

        if early_stopping.early_stop:
            print("Early stopping")
            break

결과

모델 성능 평가를 위해 정확도 메트릭을 사용했습니다. 가상의 결과를 바탕으로 한 성능은 다음과 같습니다:

검증 세트 정확도: 62.5%
테스트 세트 정확도: 61.8%

이는 랜덤 추측(25% 정확도)보다 상당히 높은 성능을 보여줍니다.

(추후 시각화 대시보드 추가 예정)

논의

본 연구의 결과는 과거 24시간의 비트코인 관련 데이터를 사용하여 다음 시간의 가격 변동 방향을 어느 정도 예측할 수 있음을 보여줍니다. 그러나 61.8%의 테스트 세트 정확도는 여전히 개선의 여지가 있음을 시사합니다.

한계점

외부 요인: 뉴스, 규제 변화 등 외부 요인을 고려하지 않았습니다.
모델 복잡성: 더 복잡한 모델 구조가 필요할 수 있습니다.

개선 방안

데이터 확장: 더 긴 기간의 데이터를 수집하고, 관련 외부 데이터를 통합합니다.
앙상블 기법: ensemble.py에 구현된 앙상블 모델을 활용하여 예측 정확도를 높일 수 있습니다.

class EnsembleModel(nn.Module):
    def __init__(self, num_models):
        super(EnsembleModel, self).__init__()
        self.models = nn.ModuleList([BidirectionalLSTM(**MODEL_PARAMS) for _ in range(num_models)])
        self.weights = nn.Parameter(torch.ones(num_models) / num_models)

    def forward(self, x):
        outputs = [model(x) for model in self.models]
        weighted_outputs = torch.stack([w * out for w, out in zip(self.weights, outputs)])
        return torch.sum(weighted_outputs, dim=0)

하이퍼파라미터 최적화: 그리드 서치나 베이지안 최적화를 통해 최적의 하이퍼파라미터를 찾습니다.

결론

본 연구에서는 양방향 LSTM 모델을 사용하여 비트코인의 단기 가격 변동을 예측하는 시도를 했습니다. 61.8%의 테스트 세트 정확도는 비트코인 가격 변동의 예측 가능성을 보여주지만, 동시에 암호화폐 시장의 복잡성과 변동성을 반영합니다.

향후 연구에서는 더 긴 시퀀스 길이, 추가적인 외부 데이터 소스, 그리고 더 복잡한 모델 구조를 고려할 계획입니다. 이를 통해 비트코인 가격 예측의 정확도를 높이고, 궁극적으로는 암호화폐 시장의 동향을 더 잘 이해할 수 있기를 기대합니다.

Causality and Machine Learning

zip-sa — Mon, 9 Sep 2024 11:00:27 +0900

0. 인과성과 기계학습: 인과성 추론의 이해와 최신 방법론

인과성(Causality)은 사건 간의 원인과 결과를 밝히는 과정으로, 데이터 분석과 의사결정에 필수적인 개념입니다. 이 글에서는 인과성의 정의와 필요성, 인과성 추론 방법론, 그리고 최신 기계학습 기법을 통한 인과성 분석에 대해 설명합니다.

1. 인과성이란 무엇인가?

인과성은 특정 사건이 다른 사건에 미치는 영향을 밝히는 과정으로, 단순한 상관관계와는 다릅니다. 상관관계는 두 변수 간의 연관성을 보여주지만, 이것이 원인과 결과를 의미하는 것은 아닙니다.

1.1 상관관계 vs. 인과성

상관관계(Correlation): 두 변수 간의 연관성만을 보여줌. 예를 들어, 축구 FIFA 랭킹과 COVID 확진자 수 간의 관계가 있다고 해도, 축구 실력이 확진자 수에 영향을 준다고 할 수는 없습니다.
인과성(Causality): 변수 간의 실제 원인과 결과를 밝힘으로써, 보다 신뢰할 수 있는 결론을 도출합니다.

Correlation VS. Causation

(출처 : https://www.eufic.org/en/understanding-science/article/correlation-vs.-causation-infographic)

Difference Between Correlation and Causation (Infographic)

Correlation does not necessarily mean causation! This infographic illustrates the difference between these two frequently confused terms.

www.eufic.org

1.2 인과성 추론의 필요성

인과성 추론은 의학, 경제학, 정책 분석 등 의사결정의 정확성을 높이기 위해 필수적입니다. 잘못된 인과 관계를 가정하면, 심각한 의사결정 오류를 초래할 수 있습니다.

2. 인과성 추론 방법론

2.1 Bayes Ball Algorithm

베이즈 볼 알고리즘은 인과 구조를 시각적으로 이해할 수 있는 기법으로, 마코프 가정에 기반하여 체인 구조, 포크 구조, 비도덕성 구조 등을 활용합니다. 그래프 상에서의 탐색을 통해 조건부 독립성을 판단합니다. 이 알고리즘은 공 모양의 '볼(Ball)'이 그래프 내에서 움직이는 방식을 통해 변수 간의 독립성을 확인하는 방식을 취합니다. 이를 통해 관찰된 데이터에서 변수 간의 인과적 관계를 분석할 수 있습니다.

베이즈볼을 굴려서 A에서 B로

공이 굴러 가면 A와 B는 독립이 아님

굴러가지 못하면 A와 B는 독립

알고리즘의 핵심 구조

Chain Structure (연쇄 구조): $X → Y → Z$의 형태. 여기서 $X$와 $Z$는 $Y$가 관찰되지 않았을 때 독립하지 않으며, $Y$가 관찰되면 독립입니다.
Fork Structure (Common-Cause Structure, 포크 구조): $Y ← X → Z$의 형태. 여기서 $X$는 $Y$와 $Z$에 영향을 주는 공통 원인입니다. $X$가 관찰되면 $Y$와 $Z$는 독립이지만, $X$가 관찰되지 않으면 $Y$와 $Z$는 독립이 아닙니다.
Collider Structure (V-Structure, 비도덕성 구조): $X → Y ← Z$의 형태. 여기서 $X$와 $Z$는 독립적이지만, $Y$가 관찰되면$X$와 $Z$는 독립이 아니게 됩니다.

알고리즘의 탐색 규칙

Chain Structure (연쇄 구조):
- $ Y $ 가 관찰되지 않으면, $ X $ 와 $ Z $ 는 독립적이지 않으며 공이 지나갈 수 있음.
- $ Y $ 가 관찰되면, $ X $ 와 $ Z $ 는 독립적이며 공이 통과하지 못함.
Fork Structure (포크 구조):
- $ X $ 가 관찰되면, $ Y $ 와 $ Z $ 는 독립적이며 공이 통과할 수 없음.
- $ X $ 가 관찰되지 않으면, $ Y $ 와 $ Z $ 는 독립적이지 않으며 공이 통과할 수 있음.
Collider Structure (비도덕성 구조):
- $ Y $ 가 관찰되면, $ X $ 와 $ Z $ 는 독립적이지 않으며 공이 지나갈 수 있음.
- $ Y $ 가 관찰되지 않으면, $ X $ 와 $ Z $ 는 독립적이며 공이 통과하지 못함.

* 추가 설명은 따로 포스팅하겠습니다. (참고한 블로그)

2.2 잠재 결과(Potential Outcome)와 성향 점수(Propensity Score)

잠재 결과는 무작위 대조군 실험(Randomized Controlled Trial, RCT)이 불가능한 상황에서 사용되며, 매칭(matching), 가중치(weighting) 등의 방법을 통해 인과 관계를 분석합니다. 성향 점수는 연구자가 처리와 결과 사이의 상관관계를 조정하여, 관찰된 데이터로부터 인과적 결론을 도출할 수 있게 합니다.

3. 최신 기계학습 기법을 통한 인과성 추론

3.1 Neural Network 기반 인과성 추론

딥러닝 모델을 사용한 인과성 추론은 데이터의 복잡한 패턴을 학습하여 보다 정밀한 인과적 효과를 추정합니다.

T-net: 처치 효과를 추정하기 위해 각 처치 그룹에 대해 별도의 회귀 모델을 사용합니다. 이는 각 처치의 독립적인 예측을 가능하게 하며, 모델 간 상호 작용이 최소화됩니다.
S-net: 입력 특성의 공통 표현을 학습하여 잠재 결과와 성향 점수를 동시에 고려합니다. 이 방식은 처치 그룹 간의 차이를 반영하고 더 정교한 예측을 가능하게 합니다.

T-net, S-net 시각화 예시

3.2 Meta-Learner (S-Learner, T-Learner)

Meta-Learner는 모델을 특정 상황에 맞게 조정할 수 있는 유연한 기법으로, 인과적 효과 추정을 보다 효율적으로 수행합니다.

S-Learner: 처치(treatment) 인디케이터를 추가 특성으로 포함하여, 전체 인과적 효과를 추정합니다. 하나의 모델에서 처리와 비처리를 동시에 학습하므로 간단한 구조를 가집니다.
T-Learner: 각 처치에 대해 별도의 모델을 사용하여 처치 전후 결과를 비교합니다. 이는 S-Learner보다 더 명확한 그룹별 분석을 제공할 수 있습니다.
RA-Learner, PW-Learner, DR-Learner: 두 단계로 구성된 학습자로, 첫 단계에서는 잠재적 결과를 예측하고, 두 번째 단계에서 이 결과를 사용해 인과적 효과를 추정합니다. 특히 DR-Learner는 성향 점수나 결과 회귀 중 하나만 잘 작동해도 좋은 성과를 발휘하는 장점이 있습니다.

3.3 학습자 비교와 성능 평가

다양한 Meta-Learner 모델들은 데이터의 생성 방식에 따라 성능이 크게 달라질 수 있습니다. 예를 들어, DR-Learner는 특정 조건에서 매우 우수한 성능을 보이며, RA-Learner는 confounding이 포함된 상황에서 뛰어난 성능을 발휘합니다.

각각의 Meta-Learner 모델이 특정 데이터 조건에서 어떤 성능을 발휘하는 지에 대한 실험은 추후 다루겠습니다.

결론: 인과성 추론의 중요성과 향후 전망

인과성 추론은 단순한 상관관계 분석을 넘어선 정확한 인과적 결론을 도출하는 핵심 도구입니다. 최신 기계학습 기법은 이러한 인과성 추론을 더 정교하게 수행할 수 있도록 돕고 있으며, 다양한 연구와 실제 응용에서 그 가치를 발휘하고 있습니다.

Monte Carlo (MC) 근사와 샘플링 기법

zip-sa — Thu, 5 Sep 2024 21:51:00 +0900

다뤄볼 내용 :

Monte Carlo Approximation
Markov Chain Monte Carlo (MCMC)
Metropolis-Hastings Algorithm
Importance Sampling

0. 개요

MC 근사법은 매우 복잡하거나 정확하게 계산하기 어려운 확률 문제를 해결하기 위해 주로 사용되는 방법입니다. 특히 고차원 문제나 복잡한 확률 분포를 다룰 때, 랜덤 샘플링을 통해 근사치를 계산하여 효율적인 해법을 제공합니다.

1. Monte Carlo Approximation의 기본 개념

MC 근사는 복잡한 함수 ($f(z)$)와 확률 분포 ($p(z)$)의 기대값 ($E[f(z)]$)를 계산할 때 사용됩니다. 특히 정확한 계산이 불가능하거나 연산이 매우 오래 걸릴 때, 랜덤 샘플링을 통해 근사하는 것이 핵심입니다.

중요 요소
- 샘플의 수: $(L)$
- 샘플링 수가 충분히 많다면 고차원에서도 유용하게 적용 가능

샘플링 방법을 선택하기 전 상황

정확한 $(p(z))$를 알고 있을 때: 샘플링이 간단하며, 정확한 확률 분포를 따르는 샘플을 생성할 수 있습니다.
정확한 분포를 모르고 정규화 상수만 모를 때 ($\tilde{p}(z)$): 정규화되지 않은 확률 분포로부터 샘플링이 필요할 수 있습니다.

2. 기본 샘플링 알고리즘

2.1 표준 분포로부터 샘플링

Inverse Transform Sampling

Inverse CDF(누적 분포 함수)를 이용한 샘플링 방법입니다. 원하는 확률 분포의 CDF의 역함수를 사용하여 샘플링을 수행합니다. 예를 들어, 균등 분포에서 난수를 생성한 뒤 원하는 분포로 변환할 수 있습니다.

Inverse Transform Sampling을 사용하여 지수 분포에서 샘플을 생성한 시각화

파란색 히스토그램: Inverse Transform Sampling을 통해 생성된 샘플의 분포입니다.
빨간색 선: 이론적인 지수 분포의 확률 밀도 함수(PDF)입니다

제한 사항
- 정확한 PDF(확률 밀도 함수)를 알아야 함.
- Inverse CDF가 계산되지 않을 수 있음.
- 정규화 상수를 알고 가정해야 함.

해당 기법의 자세한 구현 및 응용은 추후 다루도록 하겠습니다.

3. Rejection/Importance Sampling

3.1 Rejection Sampling (거절 샘플링)

거절 샘플링은 특정 분포에서 샘플을 생성할 때 활용되며, 대상 분포와 비교하여 샘플의 채택 여부를 결정합니다. 이 방법은 효율이 낮을 수 있지만, 특정 분포에서 직접 샘플을 추출하기 어려운 경우 유용합니다.

3.2 Importance Sampling (중요 샘플링)

중요 샘플링은 다른 분포에서 샘플링한 후, 각 샘플의 가중치를 조정하여 목표 기대값을 계산하는 방법입니다. 이는 특히 고차원 문제나 계산 비용이 높은 문제에서 자주 사용됩니다.

Importance Sampling을 사용하여 표준 정규 분포를 근사하는 과정 시각화

파란색 히스토그램: Uniform 분포에서 샘플을 추출한 뒤, 표준 정규 분포의 가중치를 적용한 샘플의 분포입니다.
빨간색 선: 목표 분포인 표준 정규 분포의 확률 밀도 함수(PDF)입니다.

장점: 직접적인 샘플링이 어려운 상황에서도 기대값을 추정할 수 있음.
단점: 가중치가 크거나 작은 샘플들이 결과에 과도한 영향을 미칠 수 있음.

Importance Sampling의 심화 내용은 추후 따로 다루도록 하겠습니다.

4. Markov Chain Monte Carlo (MCMC) 기초

MCMC는 확률 분포를 효과적으로 샘플링하는 방법으로, 복잡한 후방 분포를 추정할 때 많이 사용됩니다. MCMC는 마르코프 체인을 통해 연속적인 샘플을 생성하며, 관심 있는 확률 분포를 근사할 수 있습니다.

4.1 Markov Chain Monte Carlo (MCMC)

목적: $(q(z) = P(z|x))$를 추정
문제: $(P(x))$를 구하기 어려움
해결: $Posterior$를 추정할 수 있는 방법 제공

4.2 Markov Chain의 기본 개념

마르코프 체인은 연속된 랜덤 변수들의 시퀀스로, 이전 상태에만 의존하여 다음 상태로 전이됩니다. 이러한 체인은 특정 조건 하에 고유한 정적 분포로 수렴합니다.

정적 분포 (Stationary Distribution): 특정 전이 행렬 $(T)$를 계속 곱해도 상태가 변하지 않는 경우.

출처 : Markov Chains Clearly Explained! Part - 1 (https://youtu.be/i3AkTO9HLXo?si=R-zGSzPQ9-3EMySG)

4.3 Metropolis-Hastings 알고리즘

Metropolis-Hastings 알고리즘은 제안된 분포와의 비교를 통해 샘플을 수락하거나 거부하는 방식입니다. 이는 확률적 샘플링의 효율성을 높이는 데 도움을 줍니다.

Variance 조절: 분산을 작게 잡으면 수렴이 느려지고, 크게 잡으면 거절될 확률이 높아짐.

4.4 Gibbs Sampling

Gibbs 샘플링은 조건부 분포를 이용해 샘플을 반복적으로 생성하며, 모든 샘플이 항상 수락되는 방식입니다. 마르코프 블랭킷을 이용해 각 변수에 대해 순차적으로 샘플링합니다.

마르코프 블랭킷: 특정 변수를 샘플링할 때 고려해야 할 최소한의 주변 변수들.

MCMC 기법의 세부 구현과 PyTorch 코드 예제는 추후 추가 포스팅에서 다룰 예정입니다.

PyTorch 예제: 간단한 MCMC 구현

다음은 PyTorch를 사용하여 간단한 Metropolis-Hastings 알고리즘을 구현하는 예제입니다. 이 코드는 정규 분포에서 샘플을 생성하는 과정을 보여줍니다.

import torch

def target_distribution(x):
    # 목표 분포: 정규 분포
    return torch.exp(-0.5 * x**2) / torch.sqrt(torch.tensor(2 * torch.pi))

def metropolis_hastings(num_samples, proposal_std=1.0):
    samples = [0.0]  # 초기값
    current = torch.tensor(samples[-1], dtype=torch.float32)

    for _ in range(num_samples):
        proposal = current + torch.randn(1) * proposal_std
        acceptance_ratio = target_distribution(proposal) / target_distribution(current)

        # 샘플 수락 여부 결정
        if torch.rand(1) < acceptance_ratio:
            samples.append(proposal.item())
            current = proposal
        else:
            samples.append(current.item())

    return samples

# 샘플 생성 및 시각화
samples = metropolis_hastings(1000)
print(samples[:5])  # 일부 샘플 출력

# 출력 결과
[0.0, 0.06982042640447617, 0.06982042640447617, 1.2540227174758911, 0.9184370040893555]

이 코드는 Metropolis-Hastings 알고리즘을 이용하여 정규 분포에서 샘플을 생성하며, 샘플 수락 여부는 현재 상태와 제안된 상태의 비율에 따라 결정됩니다.

해당 내용은 추후 별도로 더 깊게 다룰 예정이며, 자세한 구현 예제를 작성해볼 계획입니다.

Miracle Morning?

zip-sa — Thu, 29 Aug 2024 00:39:54 +0900

날 좋으면 rooftop에서 작업함

기록 일: 2023.03.04

기상 : 6:50 am, 날씨 : 갑자기 폭풍이 왔다 빠르게 감

I’m Happy to Looking at Myself

아직 3일 차 이긴 하지만, 11~01 시쯤 잠들고 7시에 일어나는 걸 실천 중이다.

근 몇 년간 내 기억 속에는 제때 잠들고, 알람을 듣지 않아도 눈이 떠지는 경험이 없다.

그러나, 오늘 2023년 3월 4일 토요일 (한국은 3월 5일이니 이 날로 기념일을 지정해야겠다.) 6:50 am에 눈이 떠졌다.

심지어, 수면을 기록 및 분석하고 싶어서 Apple Watch 또한 차고 잔 날이었다. (Apple Watch 또한 구매 후 처음으로 잘 때 차고 잤다.)

이렇게 호들갑 떨며 세세하게 다 기록하는 만큼 나에게는 큰 발전이었다.

Miracle

흔한 자기계발서나 관련 피드 및 정보글만 봐도 미라클모닝에 대해서 거의 신봉자처럼 서사해 놓은 걸 많이 봤다.

그렇다! 나도 Miracle 모닝을 실현한 거다!라는 느낌은 전혀 안 받았고, 그저 내가 느낀 건 다음과 같다.

1. 아침에 뭔 짓을 해도 여유로움.

일어나서 Marshall 브랜드의 스피커로 메이플스토리 ost 틀어놓고, Brew Machine 준비해 놓고, 세수하고, 스킨과 로션을 바르고, 양치하면서 Coffiee 따라놓고, 사업 아이디어 메모도 하고, 요즘 보고 있는 “전문 컨설턴트의 보고서 작성법”를 읽으며, 아침으로 바나나 까먹고, 창문 밖에 San Francisco 전경도 보고, Golden Bridge 도 찾아보고, 별의별 짓을 다해도 9시가 안 된다.

2. 아이디어가 넘침

(1) 번의 이유 때문에 내 마음 또한 여유가 넘쳐서 뇌가 자기 좀 써달라고, 일 시켜달라고 조르듯 아이디어가 넘쳐나게 됐다. 창의적인 생각도 많이 떠오르고, 기존에는 생각이 막혀서 더 이상 생각을 하기 싫어 그만두었을 시점이 오면 이젠 번뜩이며 아이디어에 아이디어가 꼬리를 물었다. 결과로 새로운 사업 기획 아이디어도 잘 구상된 거 같다. 물론 검증하는 건 오후의 나이다. 지금 나의 Notion를 어떻게 확장, 가공시킬지에 대한 아이디어는 덤이다.

3. 아침을 먹을 수 있다.

현재 체중에 대한 Complex는 병적으로 있진 않지만, 불만은 있다. 이게 내 Complex일 수도 있는지는 아직 내 감정을 객관적으로 돌아보지 못했다. 그래서 결론은 체중이 늘고 좀 더 건장한 체격을 가지고 싶다는 욕망인데. 그러려면 간단하다. 영양소를 골고루 많이 잘 섭취하고, 운동하고, 잘 자고, 스트레스를 안 받으면 된다. 근데 이게 안 됐다.

일단 많이 먹는다는 거부터 제일 고역이다. 그래서 한꺼번에 많은 양이 아니라 수시로 채워 넣어야 하는데, 마른 사람 특인지는 모르겠지만 귀찮아서 잘 안 먹게 된다. 아침은 근데 지금까지 시간이 없어서 못 먹었다. 왜냐면 이 시간에 자고 있거나, 부랴부랴 준비해서 급하게 나갔으니까. 그래서 아침을 먹을 수 있음에 감사했다. 체중에 대해 할 말은 나중에 좀 더 정리해서 작성해야겠다.

아침은 보통 위 틀에서 안 벗어남

이거 말고도 더 효과가 있을 텐데, 지금 오늘 느낀 것만 적어 봤다.

I Can Speak English

미국에 오고 계속(어제까지) 영어 말하기에 대한 고민과 걱정이 많았다. 근데 이제 확실히 깨달았다. 살 찌우는 방법이랑 똑같다. 그냥 많이 먹고, 운동하고, 잘 자고 등등…

영어도 읽고, 듣고, 쓰고, 말하면 된다. 이 중에서도 말하기는 여러 방법이 있겠지만, 영어 말하기 하기 제일 좋은 환경에 있기 때문에 밖에 나가서 말을 걸면 된다.

이 생각을 깨우치자마자 오늘 신기한 일들이 일어났다.

오후에 업무를 보던 중 잠깐 1층 오피스 앞에서 담배를 태우고 있는데, 한 전동차를 탄 흑인 아주머니께서 여기가 4510st 가 맞냐고 물어보셨다. 사실 물어보실 거 같아서 그쪽을 바라보며 어물쩍 거리긴 했다. 그래서 나의 완벽한 Body-Language와 미숙한 English를 7:3 비율로 구사해 내어 그분이 가시려던 파티장까지 안내해 드렸다. 파티장에 대해서 잠깐 얘기하자면, 현재 숙소 건물 7층에 관련한 Party-room이 있다. 근데 Access key가 없으면 건물 1층도 못 들어가는 구조라 못 들어가실걸 알고 있었다. 다시 본론으로 그분에게 안내해 드리며, 미국에 와서 처음으로 내게 이름을 물어봐 주셨다! 내 대답은 I’m a 승우라고 한 거 같다; ("What is your name?"으로 물어봤으니 "My name is"로 대답 했어야 맞지 않나?라고 지금까지 생각 중) 사실 당황해서 기억이 가물가물한데, 그런 거 같다. 그 아주머니는 Faul? 포울? 폴? 뭔지 모르겠는데 이런 느낌이었다. 그 뒤로도 파티장에 가려는 흑인 가족들에게 또 안내해드리고, 다시 공부하러 갔다. 시간이 흘러 너무 피곤해서 오늘은 좀 일찍 쉬어야겠다고 생각해 올라가려던 찰나 1층에 아까 봤던 폴 아주머니가 계셨다. 또 연신 감사하다고 해주시고, 옆에 지나가던 파티장 지인에게 ”쟤가 나 도와줘서 들어갈 수 있었어, 또 다른 사람들 못 올라갈 까봐 내가 1층에서 기다리려고 “ 이런 말을 했다. 그래서 쿨하게 (사실 더 말하고 싶은데 뭐라 말해야 할지 모름) 오브 콜스~ 하고 엘리베이터로 직진했다. 그러자 아주머니가 “Do you want to go party?”라고 제안을 주셨는데, 순간 머릿속에 비상이 걸리면서 전기 신호들이 폭발하는 거 마냥 수만 가지 생각이 지나갔다. 가고 싶다; 이게 내가 원하던 거 아니었나? 갈까? “Is it okay if I go there?”라고 말할까? 어떡하지? 하다가,,, 다시 돌아와서 내가 피곤한 사실을 느끼고, 머쓱하면서 제대로 거절도 못하고… (내가 고민하던 순간에 다른 사람이랑 또 대화중이셨다.) 그냥 숙소로 돌아왔다. 아쉽긴 했지만, 후회는 없었다. 오늘 영어를 많이 말한 것만으로도 충분했다. 다음에 제대로 놀기로 다짐했다. 그리고 몇 번 더 다른 입주민과 대화했다.

영어 말하기를 인지하고, 노력하려고 하자마자 이런 일 들이 찾아온 게 정말 신기했다. 어쩌면 전에도 상황은 많았지만, 내 뇌에서 거부했던 거 같다. 중요한 건 오늘 만난 5명의 영어 상황에서 첫 번째 폴 아주머니부터 계속 말하는 게 자연스러워지고, 편안하게 말한 거 같다. 몇 번 하지도 않았는데 발전해 간다는 게 느껴져서 무척 황홀했다.

오늘은 느낀 게 너무 많아, 글이 길어졌다. 점차 이런 것들이 익숙해지고, 일상적인 감정으로 느껴졌을 때의 나를 보고 싶다.

Desire, Ambition, Constantly

zip-sa — Sun, 25 Aug 2024 19:53:18 +0900

날씨가 아직은 추운듯

기록 일: 2023.03.04

기상: 7:05

Desire to lean English

영어에 대한 욕구가 커졌다. 미국까지 왔는데, 3달이나 있는데, 등등 원래 있었던 욕심이 미국에 오니 더 커진 거 같다.

근데 성격 탓인지, 자신감이 부족한 건지 영어를 머릿속으로 다 구상해 놓고도 번역기까지 돌려가며 최적의 단어를 찾는 순간, 이미 영어로 말할 기회가 사라져 있어서 많이 후회스러웠다. 예를 들어, 한 여성분이 costco앞에서 자전거 뒷부분에 패딩을 묶어놓으시려고 애쓰시고 있었다. 난 한국이었으면 지체 없이 가서 도와드렸을 텐데, 머릿속으로 이렇게 말하는 게 맞나? 이 문장이 안 어색할까, 무례하지는 않을까 걱정하고 머릿속에 조합을 완성하던 찰나에 이미 짐 싸서 떠나셔 버렸다. 그 외에도 비슷한 경우가 몇몇 있었다.

이왕 온 김에 더 열심히 해보고자 Speak이라는 한국 AI 튜터 뭐시깽이 발음테스트 앱도 깔아보고, 대표님에게 이런 고민을 얘기하니까 Language Exchange 같은 문화를 알려주셨다. 버클리에서도 그런 커뮤니티가 있다고 알려주셔서 내일이나 조만간 사람을 찾아볼 생각이다.

보통 아침

Studying Data Engineering in Coursera with Notion

아직, 노션 책을 제대로 다 읽지도 않았고 거의 초반 부분이긴 하다. 그래도 이제 지금 내 상황에서는 어떻게든 알고 있는 지식 짜깁기해서 노션으로 구현할 능력이 되었다. 미국 와서 노션을 제대로 쓰기 전에는 머릿속에 있는 걸 구현하지 못해서 답답하고 미칠 지경이었는데(그래놓고 막상 공부는 안 하고 템플릿만 주워다가 썼음) 배우고, 나한테 적용하고, 응용하다 보니 점차 익숙해졌다. 근데 이때가 가장 위험한 거 같다. 지금 상태에 안주하고 더 제대로 공부하지 않는다면, 발전은 없을 거라고 확신한다.

그래서 더 깊게 그리고 제대로, 제일 중요한 ‘끝까지’ 해볼 생각이다.

노을이 정말 예쁘고, 공기가 정말 상쾌했다.

and Notion

노션 마스터해서 지식공유도 해보고 퍼스널브랜딩은 아니어도 나만의 플랫폼을 구축해보고 싶다. 항상 유튜브도 찔끔, 인스타도 찔끔, 뭐든 찔러만 보고 쑤시기만 해 봤지, 제대로 깊게 끝까지 파고든 적이 없었다. 3 달이라는 기한이 있으니 한번 미친놈 마냥 해보고 싶다. 이건 노션뿐만 아니라 Coursera의 IBM 강의도 역시 포함이다.

San Francisco 야간 도심 속

Constantly

지금까지, 코딩도 뭐 하나 깊게 해서 서비스나 프로그램 개발해 본 적도 없고, 유튜브도 계정이랑 콘텐츠 기획만 치밀하게 준비했지 영상 1개도 없으며, 인스타는 말할 것도 없다. 뭐든 간에 지속적으로 할 수 있는 힘을 기르고 싶다. 완벽주의, 강박증 등 버리고 내가 쓸 수 있는 resource 내에서 잘 분배해 가며 유지하고 싶다. 그러기 위해서는 내 체력과 정신력이 먼저 갖춰져야 한다고 생각이 든다. 잘하자. 할 수 있다. 좀 하자 이제.

Category.

zip-sa — Sun, 25 Aug 2024 19:16:36 +0900

UC Berkeley

기록 일 : 2023.03.03

기상 : 6:30 am , 날씨 : 굿굿, 이제 슬슬 봄 같아지려고 노력하나 보다.

- 코세라 강의

한글 자막을 지원하지 않아, 많이 힘들 거 같았다. 그래도 익숙한 IT 단어들이라 귀에는 들려 영어로 이해하고 영어로 강의 노트를 작성했다.

오랜만에 IT 공부를 해서 설레는 마음도 있었다. 다만, 돌고 돌아 다시 컴공 지식을 쌓으려 노력하는 동안 후회는 되지 않을까 했는데, 전혀 없어서 마음이 편안했다. 내 마음이 정리가 되어 간다는 게 요즘 대표님과 주변 지인들에게 말을 하다 보면 크게 체감이 된다.

+ 영어로 듣고 영어로 이해하는 게 맞는 건지, 영어로 듣고 한국어로 번역하여 이해하는 게 맞는지 헷갈렸다. 근데 대표님께서 명쾌한 답변을 주셨다.

English > Programming Language > Translate > 한국어 | 이 일련의 과정에서 당연히 근원인 영어로 학습하는 게 맞고, 영어로 머릿속에서 이해하는 게 맞다. 고 말씀 주셔서 복잡해질 거 없이 그냥 있는 그대로 영어로 이해해야겠다. 영어로 듣고 영어로 이해는 쉬운데, 영어로 듣고 한국어로 번역하는 건 정말 어려운 거 같다

- 범주화, 카테고리, 노션, 정리하는 뇌

노션을 ‘공부한다’보다는 아리스토렐레스의 범주화 Category 학문에 다가가고 있다는 생각이 든다. 노션은 도구일 뿐 내 뇌 구조, 시스템 자체를 바꿔야 한다. ‘정리하는 뇌’라는 책을 대표님이 미국에 가져가셔서 한국에 있는 동안 읽지 못했다. 하지만, 미국에 왔고 막상 눈앞에 책이 있고 읽으려니까 정말… 잘 안 읽힌다. 어렵다;

그래도 도움이 되리라 믿고 남은 80일 동안 이해해 보려 노력할 거다.

숙소 로비에서 작업중

- 청소

미국에 와서 카테고리, 체계, 시스템 등을 탐구하고 고뇌하다 보니 집 청소하는 데에도 많이 도움이 되는 거 같다. 사실, 전에는 치우지도 않았는데 지금은 보이면 치우려는 반응이 먼저 온다! 긍정적인 신호인듯하다. 다만, 원래 한국의 내 방에 들어가서도 같은 반응을 보일지는 아직 미지수이다.

버클리 캠퍼스 노을 질 어느 때

- 요리?

요리는 아니고 전기밥솥이 없어서 쌀로(food pantry에서 공짜로 쌔벼온 쌀) 냄비 밥을 했다. 우선, 제일 두려웠던 게 냄비가 1개밖에 없어서(이 날 저녁, 글 쓰고 있는 한 시간 전, 냄비 3개가 더 있는 걸 알게 됨 ) 밥이 다 들러붙어 냄비를 버리게 되면 어쩌지 라는 마음이 컸다.

일단은 구글의 힘을 빌려서 그대로 따라 하며, 중간에 망했다… 망했네…라는 생각도 들었지만, 다행히도 최종본은 성공적이었다. 밥도 맛있었고(개선할 점은 많다), 냄비도 심하게 들러붙지 않아서 금방 설거지 가능했다.

그 다음이 문제인데,,, 일단 소시지를 구웠다. 넓은 프라이팬에 소시지 1개만 덜렁 구웠더니 연기가 펄펄 났고, 여기선 당황하지 않았다. 근데 잠깐 양파를 써는 사이에 fire alarm 이 울리고, 여성 목소리로 “Fire Detected”? 가 계속 나왔다. 진짜 미국 와서 아니 올해 제일 당황했다. 급한 데로 후드도 틀고, 대표님한테 카톡으로 알렸다. 그리고 어떻게 여는지 몰라서 굳게 닫혀있던 창문에 가서 이리저리 만지다가 생존본능에 의해서 여는 방법을 터득했다. 대표님 말로는 저번에 아무 짓도 안 했는데 울린 적 있다고 하셔서 걱정 안 해도 된다고 했다. 휴우… 근데 창문 여는 방법을 알았으니 이득이다.

쨋든, 고비를 넘기고 밥 맛있게 먹었다. 냄비 밥 굿.

일하다 힘들면 밖에서 산책함

- 글쓰기

미국 와서 3번 정도 글쓰기에 도전했는데, 완벽주의 + 강박증에 의해서 다 끝까지 쓰질 못했다.

그래서 그냥 이제는 대충 쓸란다.

Structured Data & Data Preprocessing with PyTorch

zip-sa — Fri, 23 Aug 2024 20:15:35 +0900

인공지능 개발자나 데이터 과학자로서, 데이터를 이해하고 전처리하는 것은 매우 중요한 작업입니다. 특히 정형 데이터는 분석과 모델링 과정에서 자주 다루게 되는데, 이 글에서는 정형 데이터의 주요 유형인 범주형 데이터와 수치형 데이터에 대해 설명하고, 각 유형의 데이터를 전처리하는 방법을 소개하겠습니다.

정형 데이터의 정의

정형 데이터(Structured Data)는 일정한 형식과 구조를 가진 데이터로, 행과 열의 형태로 구성되어 있으며, 데이터베이스나 스프레드시트에 저장됩니다. 이러한 데이터는 쉽게 검색하고 분석할 수 있어 다양한 통계적 분석과 머신러닝 모델에 활용됩니다.

범주형 데이터

범주형 데이터(Categorical Data)는 데이터가 여러 범주로 나뉘어져 있는 형태를 말합니다. 이러한 데이터는 숫자로 나타날 수 있지만, 그 값 자체는 수치적 의미를 가지지 않습니다. 범주형 데이터는 다시 순서형 데이터와 명목형 데이터로 나눌 수 있습니다.

순서형 데이터: 범주 간에 순서가 존재하는 데이터입니다. 예를 들어, 교육 수준(고졸, 대졸, 대학원 졸업)은 순서형 데이터에 해당합니다.
- 이미지 예시: 교육 수준을 시각적으로 나타낸 순서형 데이터 그래프 (막대 그래프 등)
명목형 데이터: 범주 간에 순서가 없는 데이터입니다. 예를 들어, 혈액형(A, B, AB, O)은 명목형 데이터에 해당합니다.
- 이미지 예시: 혈액형 분포를 나타낸 원형 차트 또는 막대 그래프

이제 범주형 데이터를 어떻게 전처리할 수 있는지 살펴보겠습니다.

범주형 데이터 전처리 방법

범주형 데이터는 모델에 입력하기 전에 적절히 전처리해야 합니다. 일반적으로 사용되는 전처리 방법은 다음과 같습니다:

레이블 인코딩(Label Encoding): 각 범주를 숫자로 변환합니다. 예를 들어, 혈액형을 A=0, B=1, AB=2, O=3으로 변환할 수 있습니다.

import torch
import matplotlib.pyplot as plt

# 예시 범주형 데이터 (혈액형)
blood_types = ['A', 'B', 'AB', 'O']

# 레이블 인코딩
label_encoding = {label: idx for idx, label in enumerate(blood_types)}
encoded_labels = [label_encoding[label] for label in blood_types]

# 시각화
plt.figure(figsize=(6, 4))
plt.bar(blood_types, encoded_labels, color='skyblue')
plt.title('Label Encoding of Blood Types')
plt.xlabel('Blood Type')
plt.ylabel('Encoded Value')
plt.show()

레이블 인코딩 예시

원-핫 인코딩(One-Hot Encoding): 각 범주를 이진 벡터로 변환합니다. 예를 들어, 혈액형이 A인 경우 [1, 0, 0, 0]으로 표현할 수 있습니다.

import torch
import torch.nn.functional as F
import matplotlib.pyplot as plt

# 레이블 인코딩된 텐서
encoded_tensor = torch.tensor([0, 1, 2, 3])

# 원-핫 인코딩
one_hot_encoded = F.one_hot(encoded_tensor, num_classes=4)

# 시각화
plt.figure(figsize=(8, 4))
plt.imshow(one_hot_encoded, aspect='auto', cmap='viridis')
plt.title('One-Hot Encoding of Blood Types')
plt.xlabel('Category')
plt.ylabel('Sample Index')
plt.colorbar(label='Value')
plt.show()

원-핫 인코딩 예시

수치형 데이터

수치형 데이터(Numerical Data)는 숫자로 표현되며, 이 값 자체가 수치적인 의미를 가집니다. 수치형 데이터는 이산형 데이터와 연속형 데이터로 나눌 수 있습니다.

이산형 데이터: 특정 값만 가질 수 있는 데이터로, 주로 정수 형태로 나타납니다. 예를 들어, 제품의 개수(1, 2, 3 등)가 이산형 데이터에 해당합니다.
- 이미지 예시: 제품 개수 분포를 나타낸 막대 그래프
연속형 데이터: 연속적인 값을 가질 수 있는 데이터로, 소수점 단위까지 포함될 수 있습니다. 예를 들어, 키나 체중이 연속형 데이터에 해당합니다.
- 이미지 예시: 키나 체중의 분포를 나타낸 히스토그램

수치형 데이터의 전처리 방법도 중요합니다. 이를 통해 데이터를 더 효과적으로 분석하고 모델에 활용할 수 있습니다.

수치형 데이터 전처리 방법

수치형 데이터는 분석과 모델링을 위해 다음과 같은 전처리 과정을 거칠 수 있습니다:

정규화(Normalization): 데이터의 범위를 0과 1 사이로 조정합니다. 예를 들어, 키 데이터를 정규화하면 모든 값이 0과 1 사이에 위치하게 됩니다.

import torch
import matplotlib.pyplot as plt

# 예시 수치형 데이터 (키)
heights = torch.tensor([150.0, 160.0, 170.0, 180.0])

# 정규화: (x - min) / (max - min)
normalized_heights = (heights - heights.min()) / (heights.max() - heights.min())

# 시각화
plt.figure(figsize=(6, 4))
plt.plot(heights.numpy(), normalized_heights.numpy(), 'o-', color='green')
plt.title('Normalization of Heights')
plt.xlabel('Original Height')
plt.ylabel('Normalized Height')
plt.show()

정규화 예시

표준화(Standardization): 데이터의 평균을 0, 표준편차를 1로 조정합니다. 이는 데이터가 서로 다른 단위를 가질 때 특히 유용합니다.

import torch
import matplotlib.pyplot as plt

# 예시 수치형 데이터 (키)
heights = torch.tensor([150.0, 160.0, 170.0, 180.0])

# 표준화: (x - mean) / std
mean_height = heights.mean()
std_height = heights.std()
standardized_heights = (heights - mean_height) / std_height

# 시각화
plt.figure(figsize=(6, 4))
plt.plot(heights.numpy(), standardized_heights.numpy(), 'o-', color='purple')
plt.title('Standardization of Heights')
plt.xlabel('Original Height')
plt.ylabel('Standardized Height (Z-Score)')
plt.show()

표준화 예시

정형 데이터의 유형을 이해하고 이를 적절하게 전처리하는 것은 모델링의 성능을 크게 향상시킬 수 있는 중요한 과정입니다. 범주형 데이터와 수치형 데이터의 특성을 잘 파악하고, 상황에 맞는 전처리 방법을 적용하는 것이 중요합니다. 올바른 전처리는 모델의 정확도를 높일 뿐만 아니라, 데이터의 본질적인 의미를 유지하는 데 필수적입니다.

Data for AI Engineer

zip-sa — Fri, 23 Aug 2024 19:51:19 +0900

인공지능 개발자나 엔지니어로서, 데이터를 이해하고 이를 활용하여 효율적인 솔루션을 개발하는 것은 매우 중요합니다. 이 글에서는 데이터를 다루는 기본 개념을 중심으로, 데이터의 유형과 구조, 그리고 이를 기록하는 포맷에 대해 설명하겠습니다. 이를 통해 데이터의 본질을 이해하고, 실무에서 어떻게 데이터를 효과적으로 처리할 수 있을지에 대한 통찰을 제공하고자 합니다.

데이터의 정의와 유형

데이터는 인공지능 모델이 학습하고 예측하는 데 필요한 핵심 자원입니다. 데이터를 제대로 이해하는 것은 모델의 성능을 극대화하는 데 필수적입니다. 데이터는 크게 구조화된 데이터, 비구조화된 데이터, 그리고 반구조화된 데이터로 분류할 수 있습니다.

구조화된 데이터: 일정한 형식과 규칙을 가지고 저장된 데이터로, 관계형 데이터베이스에 주로 저장됩니다. 예를 들어, 고객 정보나 거래 내역은 구조화된 데이터로 저장되어 SQL 쿼리로 쉽게 검색하고 분석할 수 있습니다.
비구조화된 데이터: 텍스트, 이미지, 동영상과 같이 고정된 형식이 없는 데이터입니다. 이러한 데이터는 처리하기 어려울 수 있지만, 텍스트 마이닝이나 이미지 분석과 같은 기술을 통해 인사이트를 얻을 수 있습니다. 예를 들어, 소셜 미디어의 게시물이나 로그 파일은 비구조화된 데이터에 해당합니다.
반구조화된 데이터: 구조화된 데이터와 비구조화된 데이터의 특징을 모두 가지고 있는 데이터로, XML이나 JSON 같은 형식으로 저장됩니다. 예를 들어, 웹 API의 응답으로 사용되는 JSON 데이터는 일정한 구조를 가지고 있지만, 비정형 데이터도 포함할 수 있습니다.

https://mycloudwiki.com/san/data-and-information-basics/

도메인과 데이터셋

도메인은 데이터가 속하는 특정 분야를 의미하며, 데이터셋은 이 도메인에서 수집된 데이터의 집합체입니다. 각 도메인은 데이터의 특성과 이를 분석하는 방법에 따라 다양한 접근 방식을 필요로 합니다.

의료 도메인: 환자의 진료 기록, 생체 데이터 등 의료 정보를 포함하는 데이터셋은 민감하고 복잡한 데이터가 많아, 처리와 분석에 높은 정확성과 보안이 요구됩니다.

https://lab.interface-design.co.uk/design-patterns-in-electronic-health-records-ehr-guidance-for-epr-2bb0c2bc23de

금융 도메인: 금융 거래 내역, 고객의 신용 점수와 같은 데이터는 매우 구조화되어 있으며, 빠른 분석과 예측이 중요합니다.

https://www.finereport.com/en/financial-dashboards

자료 구조와 데이터 기록 포맷

데이터를 효율적으로 저장하고 처리하기 위해 적절한 자료 구조와 기록 포맷을 선택하는 것이 중요합니다. 이러한 선택은 데이터 처리 속도와 정확성에 직접적인 영향을 미칩니다.

자료 구조: 데이터의 저장과 접근 방식을 정의하는 것으로, 효율적인 데이터 처리를 위해 선택해야 합니다. 일반적으로 사용되는 자료 구조로는 배열, 링크드 리스트, 트리, 그래프 등이 있습니다. 예를 들어, 트리 구조는 데이터 계층을 표현하기에 적합하며, 다양한 검색 알고리즘에 활용됩니다.
데이터 기록 포맷: 데이터를 파일로 저장할 때 사용하는 형식으로, CSV, JSON, XML 등이 대표적입니다. 각 포맷은 데이터의 특성에 맞게 선택해야 하며, 예를 들어 JSON은 반구조화된 데이터를 저장하기에 매우 유용합니다. 다양한 프로그래밍 언어에서 쉽게 파싱할 수 있어 널리 사용됩니다.

데이터의 유형과 구조를 이해하고 적절한 방법으로 이를 처리하는 것은 인공지능 개발자의 중요한 역할입니다. 데이터를 제대로 다룰 수 있어야만 효과적인 모델을 구축하고, 더 나은 성능을 끌어낼 수 있습니다.

Backpropagation with PyTorch

zip-sa — Fri, 16 Aug 2024 17:36:17 +0900

역전파 (Backpropagation)

1. Backpropagation이란?

Backpropagation(역전파)은 신경망에서 학습을 가능하게 하는 핵심 알고리즘입니다. 이 알고리즘은 모델의 예측 결과와 실제 결과 사이의 차이(오차)를 기반으로 가중치와 편향을 조정하여, 모델이 더 정확한 예측을 할 수 있도록 만듭니다. 이 과정은 네트워크의 마지막 층에서부터 첫 번째 층까지 거슬러 올라가며 진행되기 때문에 "역전파"라고 불립니다.

2. 계산 그래프 (Computational Graph)

계산 그래프는 복잡한 계산 과정을 시각적으로 표현한 구조입니다. 신경망에서 각 연산을 노드로 나타내고, 이들 간의 관계를 연결하여 표현합니다. 계산 그래프를 사용하면, 각 연산에 대한 미분(gradient)을 효율적으로 계산할 수 있습니다. 이를 통해 네트워크의 가중치를 업데이트하고, 오차를 줄일 수 있습니다.

출처 : https://zhangruochi.com/Computational-Graph/2019/12/06/

3. 연쇄 법칙 (Chain Rule)을 활용한 Backpropagation

Backpropagation의 핵심 원리는 연쇄 법칙(Chain Rule)을 사용해 그래디언트를 계산하는 것입니다. 연쇄 법칙은 복합 함수의 미분을 계산할 때, 각 중간 단계에서의 미분을 곱하여 전체 미분을 계산하는 방법입니다. 신경망에서는 이 방법을 통해 출력 층에서 입력 층까지 각 가중치에 대한 그래디언트를 계산하게 됩니다.

출처 : https://medium.com/@El_Fares_Anass/a-basic-explanation-how-the-gradient-descent-is-determined-during-back-propagation-864376f8f1a4

4. PyTorch로 구현하는 Backpropagation

아래는 PyTorch를 사용해 간단한 신경망에서 Backpropagation을 구현하는 예제입니다.

import torch
import torch.nn as nn
import torch.optim as optim

# 간단한 데이터셋 생성
x = torch.tensor([[1.0], [2.0], [3.0], [4.0]], requires_grad=True)
y = torch.tensor([[2.0], [4.0], [6.0], [8.0]], requires_grad=True)

# 간단한 신경망 정의
model = nn.Sequential(
    nn.Linear(1, 3),
    nn.ReLU(),
    nn.Linear(3, 1)
)

# 손실 함수와 최적화기 정의
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

# 모델 학습
for epoch in range(100):
    # Forward pass
    outputs = model(x)
    loss = criterion(outputs, y)

    # Backward pass and optimization
    optimizer.zero_grad()  # 기울기 초기화
    loss.backward()  # Backpropagation
    optimizer.step()  # 가중치 업데이트

    if (epoch+1) % 10 == 0:
        print(f'Epoch [{epoch+1}/100], Loss: {loss.item():.4f}')

이 코드는 간단한 신경망을 정의하고, 주어진 데이터셋을 사용해 학습하는 예제입니다. loss.backward() 메서드를 통해 Backpropagation이 수행되며, optimizer.step()을 사용해 가중치가 업데이트됩니다.

5. 예제로 보는 Backpropagation 과정

계산 그래프 예제를 통해 Backpropagation이 어떻게 작동하는지 단계별로 설명해보겠습니다.

예제 함수:
$$ f(x, y, z) = (x + y) \times z $$

주어진 값:
$$(x = -2), (y = 5), (z = -4)$$

Forward Pass:
- $(q = x + y = 3)$
- $(f = q \times z = -12)$
Backward Pass:
- $( \frac{\partial f}{\partial z} = q = 3 )$
- $( \frac{\partial f}{\partial q} = z = -4 )$
- $( \frac{\partial q}{\partial x} = 1 )$
- $( \frac{\partial q}{\partial y} = 1 )$
- 따라서, $( \frac{\partial f}{\partial x} = \frac{\partial f}{\partial q} \times \frac{\partial q}{\partial x} = -4 \times 1 = -4 )$
- $( \frac{\partial f}{\partial y} = \frac{\partial f}{\partial q} \times \frac{\partial q}{\partial y} = -4 \times 1 = -4 )$

이처럼 Backpropagation을 통해 각 변수의 그래디언트를 계산하여, 네트워크의 가중치를 업데이트할 수 있습니다.

결론

Backpropagation은 신경망의 학습 과정에서 필수적인 역할을 합니다. 이 글에서는 Backpropagation의 원리, 계산 그래프, 연쇄 법칙을 통한 미분 계산, 그리고 PyTorch로 구현하는 방법을 살펴보았습니다. Backpropagation의 이해는 신경망 설계 및 최적화에 매우 중요하며, 이를 바탕으로 더 복잡한 네트워크 구조와 문제를 해결할 수 있습니다.

Neural Network: Understanding the Basics and Implementation

zip-sa — Fri, 16 Aug 2024 17:17:57 +0900

Neural Networks (신경망)은 현대 인공지능의 핵심 기술 중 하나로, 복잡한 데이터를 처리하고 다양한 문제를 해결하는 데 널리 사용됩니다. 이 글에서는 Neural Network의 기본 개념을 이해하고, PyTorch를 사용해 간단한 신경망을 구현하는 방법을 살펴보겠습니다.

1. What is a Neural Network?

Neural Network는 생물학적 뉴런의 구조와 기능을 본떠 만든 컴퓨팅 시스템입니다. 기본적으로, 신경망은 여러 개의 뉴런(neurons)이 레이어(layer)로 구성되어 있으며, 각 뉴런은 입력을 받아 계산한 후 결과를 다음 레이어로 전달합니다.

신경망의 가장 기본적인 구성 요소는 입력층(input layer), 은닉층(hidden layers), 그리고 출력층(output layer)입니다. 입력층은 외부 데이터가 들어오는 부분이고, 은닉층은 입력 데이터를 처리하여 유용한 피처를 추출하는 역할을 합니다. 마지막으로 출력층은 최종 예측을 내놓습니다.

출처 : Overview of a Neural Network’s Learning Process

2. Forward Pass: How Data Flows Through the Network

Neural Network에서 Forward Pass는 입력 데이터가 네트워크를 통해 어떻게 전달되고, 결과가 계산되는지를 의미합니다. 이 과정에서 입력 데이터는 각 뉴런의 가중치(weight)와 편향(bias)을 통해 변환되고, 활성화 함수(activation function)를 거쳐 다음 레이어로 전달됩니다.

활성화 함수는 신경망의 출력 값을 비선형적으로 만들어 주며, 네트워크가 복잡한 패턴을 학습할 수 있도록 돕습니다. 자주 사용되는 활성화 함수로는 ReLU(Rectified Linear Unit), 시그모이드(sigmoid), 그리고 소프트맥스(softmax) 함수가 있습니다.

$$
\text{y} = \sigma(\mathbf{W} \cdot \mathbf{x} + b)
$$

여기서 $\mathbf{x}$는 입력 벡터, $\mathbf{W}$는 가중치 행렬, $b$는 편향, $\sigma$는 활성화 함수를 나타냅니다.

3. Backpropagation: Learning from Errors

Neural Network는 예측을 할 때마다 예측 값과 실제 값의 차이를 계산합니다. 이 차이를 오차(error)라고 하며, 이를 최소화하기 위해 Backpropagation(역전파)이라는 학습 알고리즘을 사용합니다. 역전파는 오차를 네트워크의 마지막 층에서부터 첫 번째 층까지 역으로 전파하면서 각 뉴런의 가중치와 편향을 조정합니다.

역전파 과정은 다음과 같이 이루어집니다:

오차 계산: 손실 함수(loss function)를 사용해 예측 값과 실제 값의 차이를 계산합니다.
기울기 계산: 오차에 대한 가중치의 기울기(gradient)를 계산합니다.
가중치 업데이트: 경사 하강법(Gradient Descent) 등을 사용해 가중치를 업데이트합니다.

이 과정은 오차가 최소화될 때까지 반복됩니다.

출처 : Gradient Descent vs. Backpropagation: What’s the Difference?

4. Implementing a Simple Neural Network in PyTorch

이제 PyTorch를 사용해 간단한 Neural Network를 구현해 보겠습니다. 이 예제에서는 MNIST 데이터셋을 사용하여 손글씨 숫자를 분류하는 신경망을 구현합니다.

import torch
import torch.nn as nn
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms

# 데이터 로드 및 전처리
transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))])
trainset = torchvision.datasets.MNIST(root='./data', train=True, download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True)

# Neural Network 모델 정의
class SimpleNeuralNet(nn.Module):
    def __init__(self):
        super(SimpleNeuralNet, self).__init__()
        self.fc1 = nn.Linear(28*28, 128)
        self.fc2 = nn.Linear(128, 64)
        self.fc3 = nn.Linear(64, 10)
        self.relu = nn.ReLU()

    def forward(self, x):
        x = x.view(-1, 28*28)  # Flatten the image
        x = self.relu(self.fc1(x))
        x = self.relu(self.fc2(x))
        x = self.fc3(x)  # No activation at the output layer
        return x

# 모델 초기화
model = SimpleNeuralNet()

# 손실 함수 및 최적화 함수 정의
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

# 모델 학습
for epoch in range(10):
    running_loss = 0.0
    for images, labels in trainloader:
        # Forward pass
        outputs = model(images)
        loss = criterion(outputs, labels)

        # Backward pass and optimization
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        running_loss += loss.item()
    print(f'Epoch {epoch+1}, Loss: {running_loss/len(trainloader):.4f}')

print('Finished Training')

이 코드는 간단한 3층 신경망을 정의하고, MNIST 데이터셋에 대해 학습하는 예제입니다. nn.Linear 레이어를 사용하여 각 층을 구현하고, ReLU 활성화 함수를 사용하여 비선형성을 추가했습니다. 손실 함수로는 CrossEntropyLoss를, 최적화 알고리즘으로는 SGD를 사용했습니다.

5. Evaluating the Neural Network

모델이 학습된 후에는 테스트 데이터를 사용하여 모델의 성능을 평가해야 합니다. 이를 위해 정확도(accuracy) 등의 지표를 사용할 수 있습니다.

(모델 평가 결과를 설명하는 이미지)

# 모델 평가
correct = 0
total = 0
testset = torchvision.datasets.MNIST(root='./data', train=False, download=True, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=64, shuffle=False)

with torch.no_grad():
    for images, labels in testloader:
        outputs = model(images)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

print(f'Accuracy: {100 * correct / total:.2f}%')

이 코드는 테스트셋을 사용하여 학습된 모델의 정확도를 계산합니다. torch.no_grad()를 사용하여 평가 시에는 역전파가 발생하지 않도록 합니다.

결론

Neural Network는 복잡한 데이터 패턴을 학습하고 예측할 수 있는 강력한 도구입니다. 이 글에서는 기본 개념과 함께 PyTorch를 사용하여 간단한 신경망을 구현하고 학습시키는 과정을 살펴보았습니다. Neural Network의 핵심은 Forward Pass와 Backpropagation을 통해 데이터를 학습시키고, 이를 바탕으로 예측을 최적화하는 데 있습니다. 추후 다양한 아키텍처와 데이터셋을 활용하여 더 복잡한 문제를 해결할 수 있는 신경망을 구현해볼 수 있을 것입니다.