스파르타클럽 내일배움캠프 QA/QC 5기 05/14 TIL

오늘은 공모전 위주로 학습을 진행했다.📌 현재 상황최고 대회 점수: 66.36% (09번 노트북)목표: 70%+ (현재 1등: 70.22%)평가 기준: R-Hit@1cm — 예측과 실제 간 3D 거리 ≤ 10mm이면 적중🔧 오늘 진행한 작업1. GPU 환경 문제 해결 시도Python 3.14에서 PyTorch CUDA 버전이 지원되지 않는 문제 발견cu121, cu124, nightly 버전 모두 설치 실패원인: PyTorch가 아직 Python 3.14를 공식 지원하지 않음CPU 버전(torch 2.11.0+cpu)은 설치 성공GPU: NVIDIA GeForce GTX 1650 (4GB VRAM), CUDA 12.4 확인결론: Python 3.12 설치가 필요하지만, 우선 CPU + 기존 GPU 환..

스파르타클럽 내일배움캠프 QA/QC 5기 05/13 TIL

오늘은 태블로 강의 3강과 라이브 세션을 듣고 개인적으로 진행하고 있는 공모전을 진행했다.1. 데이터 필드 생성 및 활용 (챕터 3-1)데이터 그룹차원의 멤버를 사용자 기준으로 묶어 새로운 범주를 만드는 기능원본 데이터는 변경되지 않고, 새로운 차원 필드가 생성됨실습 예시: 17개 시도를 6개 권역(강원, 경기, 경상, 전라, 충청, 제주)으로 그룹핑그룹은 계산식으로도 구현 가능 → IF [시도] IN ('경기도','서울특별시','인천광역시') THEN '경기' ...집합 (Set)차원의 멤버를 조건에 따라 **포함(True) / 제외(False)**로 나누는 기능세 가지 유형이 존재:정적 집합: 멤버를 수동 선택동적 집합: 조건이나 상위 N 기준으로 자동 분류결합된 집합: 교집합 / 합집합 / 차집합 ..

스파르타클럽 내일배움캠프 QA/QC 5기 05/12 TIL

Tableau Desktop을 활용한 다양한 차트 시각화, 분석 기능, 이중축 활용, 대시보드 저장 및 공유 방법을 학습했다.1. 다양한 차트 시각화 (챕터 2-1)태블로 시각화 3가지 방법더블클릭: 필드 특성에 맞는 차트를 자동 생성드래그 앤 드롭: 행, 열, 색상, 크기 등 선반에 자유롭게 배치하여 원하는 시각화 구현표현 방식(Show Me): 선택한 차원/측정값 조합에 따라 가능한 차트 유형을 보여주고 선택 가능주요 차트 유형차트 용도 구성막대차트범주별 값 비교열: 차원, 행: 측정값, 색상: 측정값라인차트시간에 따른 추이 확인열: 날짜(년/월), 행: 측정값맵 차트지역별 값 비교경도/위도 + 색상/크기에 측정값파이차트전체 대비 구성비 확인색상/각도/크기에 측정값, 레이블에 차원트리맵계층적 데이터의..

1. 비즈니스 인텔리전스(BI)란?Visual Analytics인간의 시각적 지각 능력을 활용해 데이터를 표현하고 분석하는 과정감각 기억(0.2~0.5초)에서 색상·크기·모양 등 특징 있는 정보를 빠르게 인지 → 단기 기억(7개 항목, 10~15초)으로 전환시각화를 통해 정보를 빠르고 효과적으로 전달 가능BI 정의 & 핵심 프로세스정의: 비즈니스 데이터를 수집·분석·시각화하여 실행 가능한 통찰을 생성하는 기술·전략·프로세스핵심: 데이터 시각화, 분석, 대시보드 생성, 데이터 소스 통합, 변환·모델링, 공유·협업, 실시간 모니터링BI 필요성전 세계 데이터: 2024년 149ZB → 2028년 394ZB 이상 예상기업 데이터의 60~73%는 분석되지 않음, 직원 74%가 데이터 작업에 부담BI 시장 규모 2..

오늘은 발표 자료 작성 및 대본을 마무리짓고 발표를 마무리했다.

오늘은 발표 보고서 및 발표 자료를 만들고 대본을 작성했다.

1. 오늘의 목표기존 모델(2차/3차) 문제점 분석 및 새 베이스라인 구축1차 모델 전체 파이프라인 구성 (DBSCAN + SMOTE + Optuna + Stacking)성능 개선을 위한 피처 엔지니어링 + 모델 확장2차 모델 (극단값 수동 제거 기반) 구축발표 자료(PPT) 초안 작성2. 기존 모델 문제점 분석2차 모델 (2차베이스모델_최지호_제조.ipynb)27개 변수 중 19개만 수동 선택 → Log_X_Index, Log_Y_Index 등 주요 변수 누락XGBoost 파라미터 오타: n_estimator(→ n_estimators), sub_sample(→ subsample)존재하지 않는 파라미터 사용: num_boost_aroundF1-Weighted만 사용 → 소수 클래스 성능 파악 불가파생변..

1. 프로젝트 개요철강 제조 공정에서 발생하는 7종 표면 결함(Pastry, Z_Scratch, K_Scratch, Stains, Dirtiness, Bumps, Other_Faults)을 예측하는 다중 클래스 분류 모델을 개발하는 프로젝트를 진행했다.데이터: 1,941개 샘플, 27개 공정 변수타겟: One-Hot 인코딩된 7개 결함 유형 → idxmax()로 단일 레이블 변환클래스 불균형 존재: Other_Faults(34.7%) vs Dirtiness(2.8%)2. 기존 모델(2차/3차) 문제점 분석2차 모델 문제점27개 변수 중 19개만 수동 선택 → Log_X_Index, Log_Y_Index 등 주요 변수 누락XGBoost 하이퍼파라미터 오타: n_estimator → n_estimators,..

오늘은 머신러닝과 라이브러리 이해 4챕터를 들었다.1. 머신러닝 vs 딥러닝둘 다 데이터로부터 가중치를 학습하여 패턴을 인식하는 AI의 하위 분야라는 공통점이 있다. 차이점은 머신러닝이 데이터의 통계적 관계를 찾아 예측하는 방법이라면, 딥러닝은 인간의 신경세포 구조를 모방한 인공 신경망(Artificial Neural Networks)을 사용한다는 것이다. 딥러닝은 특히 자연어처리와 이미지 처리에서 뛰어난 성과를 보여왔다.2. 인공 신경망의 핵심 개념들퍼셉트론(Perceptron): 인공 신경망의 가장 작은 단위다. 선형회귀식 Y = w0 + w1X + b에서 입력(X)에 가중치(w)를 곱하고 편향(b)을 더해서 출력을 만드는 구조가 곧 하나의 퍼셉트론이다. 키-몸무게 예제로 보면, 몸무게(X)에 가중치..

오늘은 머신러닝과 라이브러리 심화 강의를 들었다.지도학습 vs 비지도학습지도학습은 문제(X)와 정답(Y)이 모두 주어진 상태에서 학습하는 방식이다. 반면 비지도 학습은 정답(Y) 없이 데이터 간의 유사성만으로 그룹을 만들어내는 방식이다. 정답이 없기 때문에 지도학습보다 어렵고, 분석가의 주관적 판단이 개입될 수밖에 없다.비지도 학습의 대표적인 활용 예시로는 고객을 헤비유저/일반유저로 그룹화하거나, 구매 내역별로 데이터를 묶는 것이 있다. 본질적으로 데이터를 기반으로 레이블링하는 작업이라고 할 수 있다.K-Means Clustering가장 널리 사용되는 군집화 알고리즘이다. 수행 순서는 다음과 같다.1단계: 원하는 군집 수 K를 설정한다. 2단계: 임의의 중심점 K개를 선정한다. 3단계: 각 데이터를 가장..