Levels of Abstraction

Levels of Abstraction 1. Physical Level: 어떤 수준인가? 데이터베이스의 가장 낮은 추상화 단계. 이 단계에서는 데이터가 실제로 어떻게 저장되는지에 초점을 맞춤. 즉 컴퓨터의 하드디스크나 메모리 같은 물리적인 저장 장치에서 데이터가 어떻게 관리되는지를 다룸 주요 특징 데이터가 파일 형태로 어떻게 조직되는지, 어떤 index를 사용하는지, 데이터를 압축하는 방법 등을 결정함 ex) 학생 정보 라는 데이터가 하드디스크의 특정 위치에 파일로 저장되고, 빠른 검색을 위해 index가 설정되어 있다 누가 다룸? Database Administrator(DBA)나 시스템 엔지니어가 다룸. 일반 사용자는 이 복잡한 물리적 세부사항을 알 필요가 없음 ...

March 16, 2025

Binary Prediction with a Rainfall Dataset

이 글은 Kaggle의 “Binary Prediction with a Rainfall Dataset” 경진대회를 다룹니다. Kaggle 링크: Binary Prediction with a Rainfall Dataset 소스 코드: GitHub Repository 1. 환경 설정 및 데이터 로드 필요한 라이브러리 임포트 1 2 3 4 5 6 7 8 9 10 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns from sklearn.model_selection import train_test_split, cross_val_score, GridSearchCV from sklearn.preprocessing import StandardScaler from sklearn.metrics import classification_report, confusion_matrix, accuracy_score, roc_auc_score, roc_curve from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier from sklearn.linear_model import LogisticRegression import xgboost as xgb 데이터 로드 1 2 3 # 훈련 및 테스트 데이터 로드 train_data = pd.read_csv('train.csv') test_data = pd.read_csv('test.csv') 2. 데이터 탐색 (EDA) 기본 정보 확인 1 2 3 4 5 6 7 print("train data:", train_data.shape) # (2190, 13) print("train data info:\n", train_data.info()) print("train data describe:\n", train_data.describe()) print("train data isnull:\n", train_data.isnull().sum()) print("test data isnull:\n", test_data.isnull().sum()) print("train data rainfall value_counts:\n", train_data['rainfall'].value_counts()) print(f"train data rainfall value_counts(normalize):\n{train_data['rainfall'].value_counts(normalize=True)}") 데이터 구조 분석 데이터셋의 정보를 확인하면 다음과 같습니다: ...

March 12, 2025

WEF - Future of Jobs Report (2)

Jobs outlook Total job growth and loss 응답자들의 일자리 성장 및 감소에 대한 기대치와 국제노동기구(ILO)가 수집한 글로벌 고용 데이터를 결합하여 보면, 2030년까지 새로운 일자리 창출과 대체가 오늘날의 총 정규 일자리의 **22%**에 해당할 것이라고 추정함 거시적 추세로 인해 창출되는 새로운 일자리는 170,000,000자리(총 일자리의 14%) 하지만 현재 일자리 **92,000,000자리(총 일자리의 8%)**가 대체될 것임 -> 2030년까지 **78,000,000자리(총 일자리의 7%)**가 순증가할 것으로 전망 Growing and declining jobs 2030년까지 비율적으로 가장 빠르게 성장하는 직무는 AI 및 로봇 공학의 발전과 디지털 접근성 증가와 같은 기술 발전에 의해 주도되는 경향이 있음 ...

March 5, 2025

WEF - Future of Jobs Report (1)

Drivers of labour-market transformation 60%의 고용주는 디지털 접근성 확대가 그들의 비즈니스를 변화시킬 것이라고 예상함 이러한 디지털 접근성 확대는 신기술이 노동 시장을 변화시키는 중요한 촉진 요인으로 작용하고 있음 AI 및 정보 처리 기술 86% 로봇과 자율 시스템 58% 에너지 생성 및 저장 기술 41% 앞으로(2025-2030) 이 3가지 기술이 비즈니스에 가장 큰 영향을 미칠 것이라고 고용주들이 예상함 Technological change 2022년 11월 Chat GPT가 출시된 이후 AI에 대한 투자 흐름은 거의 8배 증가함 ...

February 27, 2025

Tracing the thoughts of an LLM

언어 모델, 예를 들어 Claude 같은 모델은 인간에 의해 직접 프로그래밍되지 않고, 대신 대량의 데이터를 기반으로 학습됩니다. 이 과정에서 모델은 문제를 해결하기 위한 자체적인 전략을 개발하며, 이는 모델이 단어 하나를 쓸 때마다 수행하는 수십억 번의 계산 속에 인코딩됩니다. 하지만 이런 전략들은 개발자들에게도 이해하기 어려운 형태로 나타납니다. 즉, 우리는 모델이 어떻게 작동하는지 대부분 모른다는 뜻입니다. 그렇다면 Claude 같은 모델이 어떻게 “생각"하는지 알아내면, 그 능력을 더 잘 이해하고 우리가 원하는 대로 작동하는지 확인할 수 있을 것입니다. 여러분이 던진 질문에 대해 아래에서 하나씩 답변해 보겠습니다. ...

January 1, 2001