느리지만 꾸준히

[AI 부트캠프 회고]Upstage AI Lab 7개월간의 도전과 성장, 그리고 수료

slowin — Thu, 19 Jun 2025 14:46:19 +0900

지난해 11월부터 어제까지, 약 7개월 동안 Upstage AI Lab 6기 부트캠프에 참여했다. 그리고 2025년 6월 18일 수요일, 마침내 그 여정을 마무리했다. 이 글은 그동안 내가 어떤 고민을 했고, 어떤 경험을 했으며, 무엇을 배웠는지를 기록하기 위한 회고록이다.

AI에 대한 첫 관심

AI에 처음 관심을 가지게 된 계기는, 한국 사람이라면 누구나 기억할 이세돌 vs 알파고 대국이었다. 그때 나는 웹 개발자로 일하고 있었고, "AI를 배워야겠다"는 생각으로 아무런 준비도 없이 머신러닝 책 『케라스』를 구매했다. 그러나 책장을 펴자마자 이해할 수 없는 내용에 당황했고, 그대로 책을 책상 깊숙한 곳에 넣어두었다.

그 이후에도 데이터 엔지니어링 강의, 유튜브 AI 콘텐츠 등을 종종 보며 흥미는 계속 이어졌지만, "아직은 너무 Low-Level 기술이다"라는 판단으로 본격적인 도전은 미뤄두었다. 그러다 ChatGPT의 등장으로 기술이 빠르게 고도화되는 걸 직접 체감했고, 다시 한번 진지하게 AI를 공부해봐야겠다고 결심했다.

부트캠프 선택기

시간이 많지 않았기 때문에 빠르게 시작할 수 있는 과정과 신뢰할 수 있는 교육 기관이 중요했다. 그 기준에서 눈에 들어온 두 가지 프로그램이 있었다.

Boostcamp (네이버 커넥트재단)
Upstage AI Lab

Boostcamp가 1순위였지만 일정이 맞지 않아, 한 달 후 시작하는 Upstage AI Lab을 선택했다.

부트캠프 초기: 기초 다지기

처음엔 방통대 편입학도 함께 고려했지만, 부트캠프의 첫 한 달 수업(파이썬, 선형대수, 통계 등)을 듣고 나서 두 가지를 병행하는 건 무리라는 판단에 방통대는 졸업 후로 미뤘다.

첫 대회: 서울 아파트 가격 예측 (2024.12.23 ~ 2025.01.07)

내가 Upstage 부트캠프를 선택한 가장 큰 이유는 대회와 프로젝트 중심의 커리큘럼이었다.
하지만 첫 대회에서는 전혀 성과를 내지 못했다.

로컬 평가 점수(5000)와 제출 점수(45000)의 괴리
실험에 대한 기준점 부재
평가셋 구성의 부정합

이런 시행착오 속에서 가장 크게 배운 것은 로컬 평가 환경의 중요성이었다. 대회가 끝난 후에는 혼자 다시 평가셋을 구성해보며 복기를 했고, 그 과정에서 더 많이 배울 수 있었다.

두 번째 프로젝트: MLOps (2025.01.16 ~ 2025.02.03)

팀장을 맡아 진행한 MLOps 프로젝트에서는 웹 개발자로서의 경험이 도움이 되었다.
프로젝트 주제는 서울 공공기상 데이터 기반 기온 예측이었고, Airflow, MLflow를 처음 접하며 "데이터 수집 → 학습 → 버전 관리 → 배포" 전 과정을 경험할 수 있었다.

세 번째 대회: 문서 타입 분류 (Computer Vision)

이 대회는 가장 기억에 남는 대회였다. 이유는 다음과 같다:

최종 점수: 0.9832 (전 기수 최고 성적 기록 갱신)
철저한 가설 설정 → 검증 프로세스로 실험 설계
실험의 이유와 효과를 명확히 이해하며 점진적 성능 향상
YOLOv5 객체탐지 모델을 도입하여 문서 타이틀 인식 → 성능 급상승

결국 강사님께 “감동적이다”는 칭찬까지 들을 수 있었고, 해당 대회의 점수는 과정중에 가끔식 회자되기도 했다.

그 외 프로젝트들

Dialogue Summarization
Scientific Knowledge QA
Chemical Process Anomaly Detection
기업 연계 프로젝트

다양한 실전 프로젝트를 경험하며 실력을 넓히고, 실무에 대한 감각도 키울 수 있었다.

마무리하며

사실 부트캠프 시작 전, 불안감과 두려움도 컸다. 내가 과연 잘할 수 있을까? 그 생각에 마음이 무거웠다. 하지만 욕심을 내려놓고 순간을 즐기자는 마음가짐으로 임했던 것이 큰 도움이 됐다.

그 결과, 나는 우수 수료생으로 선발되어 AI 부트캠프를 성공적으로 마무리할 수 있었다.

끝으로

AI는 여전히 어렵고 방대하지만, 처음보다 훨씬 가까운 기술이 되었다. 그리고 그 시작은 '호기심'과 '포기하지 않는 실험'이었다. 이 글을 읽는 누군가에게도 그 시작의 용기가 닿기를 바란다.

기업연계 - 고객센터 Agent 프로젝트

slowin — Mon, 9 Jun 2025 20:45:56 +0900

커머스 고객센터 챗봇을 위한 멀티 에이전트 기반 지식 그래프 시스템 구축

개요

본 프로젝트는 퓨처워크랩(Future Work Lab)과 협업하여 진행한 산업 연계형 프로젝트입니다. 총 4인의 팀으로 구성되었으며, 저는 팀장 역할과 함께 기술 검토 및 멀티 에이전트 시스템 개발을 담당하였습니다.

프로젝트의 핵심 목표는 커머스 고객센터에 특화된 멀티 에이전트 기반 챗봇 시스템을 개발하는 것이었습니다. 이를 위해 최신 LLM(대규모 언어 모델) 생태계 도구인 LangChain, LangGraph, Neo4j 등을 적극적으로 활용하였습니다.

프로젝트 기간

2025.05.09 ~ 2025.06.05

역할 및 책임

팀장
프로젝트 방향성 수립 및 팀원 간 협업 조율
기술 리드
멀티 에이전트 구조 및 지식 그래프 설계/검토
멀티 에이전트 개발
LangChain & LangGraph 기반 에이전트 시스템 구현

기술 스택

멀티 에이전트 프레임워크: LangChain, LangGraph, AutoGen
그래프 데이터베이스: Neo4j
Embedding Search: Vector Search (Neo4j)

주요 작업 및 성과

1. 멀티 에이전트 시스템 구축

초기 조사 및 프레임워크 비교
다양한 오픈소스 프레임워크(AutoGen, CrewAI 등)를 비교 분석하고, 구조적 유연성과 상태 관리 측면에서 LangChain + LangGraph 조합을 선택
AutoGen 기반 1차 프로토타입 설계
- hand off 구조 기반의 멀티 에이전트 시나리오 구현
- AutoGen을 통해 에이전트 간 협업 구조 개념을 명확히 이해

hand off 구조도

LangGraph로 전환 및 개선
- LangGraph의 명시적 State 관리 기능을 활용하여 복잡한 에이전트 간 워크플로우를 시각화 및 구현
- System Message 최적화를 통해 불필요한 턴(Turn) 발생 이슈를 해결

2. 온톨로지 기반 지식그래프 구축

GraphRAG 방식 학습 및 응용
- 강의 예제(Academic QA System)를 참고하여 온톨로지 설계 및 구축 방식 이해
- 고객센터 업무 문서를 Neo4j 그래프 구조로 변환하는 프로세스 실험
Graph DB 자동화 시도
문서 형식의 작업지시서를 입력으로 받아, 구조화된 Knowledge Graph 생성 파이프라인 설계

문서 -> LLM -> 온톨로지

3. 정보 검색 및 추론 방식 실험

Embedding Similarity Search
- 그래프 노드 정보를 벡터로 임베딩하여 유사도 기반 검색 구현
- 단일 노드 검색 성능은 우수하나, 다단계 그래프 추론이 어려움을 확인
- 검색용 embedding 속성 추가
기존 RAG 방식의 한계
- 문서 단위 검색으로는 A→B→C 형태의 그래프 추론이 필요한 KGQA에서 한계 발생
GNN-RAG 도입 가능성 탐색
- 논문 GNN-RAG: Graph Neural Retrieval for LLM Reasoning 기반으로,
  LLM의 자연어 이해력 + GNN의 구조적 추론 능력을 결합한 새로운 RAG 구조 가능성 탐색
- 진행 상황:
  실제 구현 및 정량적 평가까지는 이르지 못했으나, 구조적 탐색의 유연성과 LLM-기반 응답 정확도 개선 측면에서 실험적 가능성을 확인한 수준에서 마무리.
- \GNN - RAG

주요 이슈 및 인사이트

이슈	대응 및 인사이트
에이전트 간 상태 공유의 복잡성	LangGraph의 State Transition 기능 활용
반복되는 System Message	메시지 템플릿 최적화로 해결
스키마 구조의 확장성 문제	단일 구조보다 유연한 온톨로지 설계 필요
그래프 기반 검색의 한계	GNN 기반 추론 구조(GNN-RAG) 가능성 확인

결론

이번 프로젝트를 통해 멀티 에이전트 시스템 설계, 온톨로지 기반 지식 그래프 구축, LLM-RAG 시스템의 한계 및 확장성에 대한 깊은 통찰을 얻을 수 있었습니다. 특히, 단순 챗봇을 넘어 지식 추론이 가능한 고객 응대 시스템의 가능성을 탐색하는 소중한 계기가 되었습니다.

이상탐지(Anomaly Detection)

slowin — Fri, 2 May 2025 18:22:25 +0900

이상탐지란 무엇인가?

1. 서론: 왜 이상탐지가 중요한가?

이상탐지(Anomaly Detection)란 정상적인 패턴에서 벗어난 데이터를 찾아내는 과정입니다.
이상 데이터는 종종 문제의 전조이며, 때로는 기회일 수도 있습니다.

일상 속 예시

신용카드 사기: 평소와 다른 지역에서 큰 금액 결제
서버 이상: 갑작스러운 트래픽 급증
센서 고장: 이상한 값이 지속적으로 측정됨

머신러닝에서의 역할

정상 데이터를 학습해 정상 범위를 파악
이를 벗어나는 데이터를 이상치로 분류

2. 이상탐지의 분류

지도학습(Supervised)

특징: 이상/정상 라벨 존재
기법: 분류 모델 (로지스틱 회귀, 의사결정트리 등)
주의: 이상 라벨 확보가 어려움

비지도학습(Unsupervised)

특징: 라벨 없음
기법: 클러스터링, 거리 기반 (k-NN, LOF 등)
활용: 이상 라벨이 없을 때 가장 널리 사용

준지도학습(Semi-supervised)

특징: 대부분 정상 데이터로만 학습
기법: Autoencoder, One-Class SVM
장점: 이상 데이터가 적을 때 효과적

3. 주요 이상탐지 기법

분류	기법 예시	설명
통계 기반	평균, 표준편차, Z-Score	통계 지표로 기준 이상값 판별
거리 기반	k-NN, LOF	이웃과 거리 기반으로 이상 탐지
밀도 기반	DBSCAN	밀도가 낮은 점을 이상치로 간주
머신러닝 기반	Isolation Forest, One-Class SVM	학습 기반 이상탐지
딥러닝 기반	Autoencoder, LSTM	복잡한 패턴 학습 및 이상 검출

4. 이상탐지 모델 개발 흐름

데이터 수집 및 전처리

결측치 처리, 정규화, 특성 선택 등

이상 기준 설정

예: 평균 ± 3표준편차, 재구성 오차 임계값 등

모델 선택 및 학습

비지도/준지도/지도학습 모델 중 선택

성능 평가

Precision, Recall, F1-score, AUC

실무 고려사항

불균형 데이터, 개념 변화(Concept Drift), 실시간 처리 여부

5. 실생활 응용 예시

금융 분야: 신용카드 거래나 송금 데이터에서 비정상 패턴을 실시간으로 감지해 사기를 차단합니다
- 은행은 비정상적인 거래 금액·횟수를 발견하면 즉시 경보를 띄웁니다.
제조업 분야: 공장 설비의 센서 데이터나 카메라 영상을 분석해 장비 고장이나 제품 결함을 조기에 식별합니다
- 센서에서 이상 신호가 감지되면 예지보전을 수행해 생산 차질을 줄일 수 있습니다.
헬스케어 분야: 환자의 바이털(signals)이나 의료 기록에서 비정상 신호를 탐지해 질병 초기 징후를 발견하고 환자 모니터링에 활용합니다
- 심전도(ECG) 데이터에서 이상 패턴을 실시간으로 감지해 응급 상황을 예방할 수 있습니다.
IT/인프라 분야: 서버 로그나 네트워크 트래픽 분석을 통해 침입/오류 이상 징후를 실시간으로 모니터링합니다
- 침입탐지시스템(IDS)은 이상 패턴을 파악해 DDoS나 무단 접근 시도를 경고하고, 장애 예측 및 대응에 활용됩니다.

6. 마무리

오픈 데이터셋

Kaggle - Credit Card Fraud Detection

실전 시 주의점

오탐/미탐(FP/FN) 비용 고려
이상 판단 기준 재설정 주기 필요
도메인 지식 적극 활용

과학 지식 질의 IR 경진대회

slowin — Fri, 25 Apr 2025 20:02:59 +0900

1. 서론

이번 Information Retrieval(이하 IR) 대회는 “질문과 이전 대화 히스토리를 보고 최적의 문서를 찾아 답변을 생성”하는 과제를 해결하는 과정이었습니다. 2025-04-16 부터 2025-04-22 까지 단 1주일이라는 짧은 기간 동안 빠르게 가설을 세우고, 실험을 반복하며, 점차 성능을 끌어올렸습니다. 최종적으로는 0.8833이라는 만족스러운 점수에 도달했고, 그 과정에서 검색 · 분류 · 재랭킹 전반에 걸친 노하우를 축적했습니다.

2. 대회 목표 & 범위

구분 내용

궁극적 목표	다양한 질의 유형(과학 지식 질문 vs 일반 질문)에 대해 정확하고 빠른 문서 검색 파이프라인 구축
제한 사항	1. 과학 · 지식 질문에만 문서 검색 적용2. 그 외 질문은 문서 검색 X
평가지표	대회 측에서 제공한 전용 스코어(정확도 + 정성 평가 혼합)
기간	2025-04-16 ~ 2025-04-22 (7 일)

3. 실험 연대기

실험 핵심 전략 주요 변화 점수

1	Function Call 기반 검색	슬라이드 정보를 함수 호출로 직접 꺼내 쓰도록 시도	0.3197
2	한글 쿼리 + 간단 분류기	영문 대신 한글 쿼리로 전환, 질문을 과학/비과학으로 분류	0.7424
3	문서 기반 분류기 Fine-tuning	Gemma-3-4B를 미세조정하여 질문–문서 적합성 분류	0.7848
4	문서 Chunking	긴 문서를 문단 단위로 쪼개어 Recall ↑	—
5	Re-Ranker 도입	BM25 top-k → Cross-Encoder 재랭킹	—
6	임베딩 모델 교체	jinaai/jina-embeddings-v3 적용, 하이브리드 검색	0.8833
7	질문 증강	ReAct 스타일 키워드 보강	—

4. 단계별 회고

4.1 실험 1 — Function Call

“문서에 정답이 있는데 함수 호출이 안 일어난다?”

문제: LLM이 함수 호출 트리거 토큰을 학습하지 못함 → 정답 포함해도 call 불청.
교훈: 구조화 출력 제어(토큰 강제, tool description) 없이는 LLM이 일관되게 행동하지 않는다.

4.2 실험 2 — 한글 쿼리 & 라이트 분류기

쿼리를 Korean BM25로 변환
간단한 키워드 규칙으로 “과학 질문”만 검색 적용.
↳ 에러 케이스: “피라미드 높이는?” → 비과학으로 잘못 분류.

4.3 실험 3 — 문서 기반 분류기 Fine-tuning

Gemma-3-4B 파인 튜닝.
Prompt 설계: “질문 Q 와 문서 D 가 있을 때, 답이 D 안에 있나?” → 분류
Fine-tune 효과 검증.

4.4 실험 4 ~ 5 — Chunking & Re-Ranking

긴 PDF → 한글문장 분류 Chunking 후 성능 향상
Cross-Encoder로 top-10 재랭킹 → Precision 눈에 띄게 개선.
다만 latency ↑

4.6 실험 6 — Embedding 교체

기존 모델의 한국어 표현력 한계 인지 →jina-embeddings-v3(multilingual, 1024-dim)로 전환
최종 0.8833 달성

4.7 실험 7 — 질문 증강

ReAct 프롬프트로 “질문 분해 + 연관 키워드” 생성하여 검색 다양화
점수 개선은 미미

4.8 최종 구조

5. 활용 정리

범주 선택/구현 내용 이유

Retrieval	BM25 (elasticsearch) + Chroma	전통 vs 임베딩 결합 효과
Embedding	jina-embeddings-v3	한국어 다국어 성능 우수
Re-Rank	cross-encoder/ms-marco-MiniLM-L-6-v2	경량 + 빠른 추론
Prompt Eng.	Tool Calling	일관된 함수 호출

6. 결과 & 성과

Public Score: 0.8833
RAG 파이프라인 구축 경험: 검색-분류-재랭킹
한국어 IR에서 Chunking + 멀티랭 임베딩 조합의 실효성 확인.

7. 아쉬움 & 배운 점

데이터 스케일링
- Fine-tune 데이터가 제한적이어서 Overfitting 위험 ⟶ knowledge distillation 시도 못함.
Latency–Quality Trade-off
- Re-Ranker depth 조정이 어려웠음. Elastic Search score cutoff 자동화 필요.
Tool Calling 안정화
- System prompt 설계가 성능만큼 중요. 함수 호출 실패확률 존재

8. 다음 단계

Dense Retriever 학습: Korean ColBERT or Contriever-KR로 BM25 대체.
Adaptive Chunking: 문서 구조 분석(heading, list) 기반 가변 chunk.
Re-Ranker Distil: larger cross-encoder knowledge → Tiny-BERT distillation.
RAG 강화: Retrieval-Aware Generation(RAG-Fusion)로 answer faithfulness 향상.

9. 결론

짧은 기간이었지만, 실험적 탐구 → 원인 분석 → 전략 수정을 일일 사이클로 빠르게 반복하며 의미 있는 성과를 냈습니다. 특히 IR에서 하이브리드 검색 + 임베딩 모델 교체가 미치는 성능 개선을 경험했고, “검색 품질은 전처리(쿼리 · 문서)와 후처리(재랭킹)” 라는 교훈을 얻었습니다. 이번 경험을 바탕으로 더 깊이 있는 RAG 시스템을 설계해 보고자 합니다.

LangChain 기반 부트캠프 RAG봇 프로젝트 수행 후기

slowin — Thu, 10 Apr 2025 19:00:39 +0900

본 포스팅은 부트캠프 과정에서 수행한 LangChain 기반의 문서 검색 및 Q&A 자동화 시스템(RAG, Retrieval-Augmented Generation) 구축 프로젝트에 대한 기록입니다.

프로젝트 배경 및 목적

부트캠프 과정에서 제공되는 다양한 정보가 여러 채널에 분산되어 있어 사용자들이 필요한 정보를 신속하게 얻기 어려운 문제가 있었습니다. 복잡한 행정 절차와 교육 정보를 사용자가 쉽게 이해할 수 있도록 지원하기 위해, 사용자 질문에 즉각적이고 정확한 답변을 제공할 수 있는 RAG 기반의 챗봇을 구현하게 되었습니다.

프로젝트 기간: 2025.04.02 ~ 2025.04.08

비즈니스 문제 정의 및 KPI

문제 상황: 정보가 여러 곳에 흩어져 있어 검색의 불편함이 발생
목표: 내부 문서 정보를 빠르고 정확하게 전달하는 챗봇 개발
KPI 설정: 사용자 질문에 대한 응답 정확도와 활용성

주요 작업 내용

1. 데이터 수집 및 전처리

학원 내부의 다양한 자료(시간표, 강의 리스트, 법령, Notion 페이지 등)를 Selenium을 활용한 웹 크롤링을 통해 수집하였습니다.
문서의 일관된 형식을 위해 팀원별로 DocsLoader를 도메인 특화 방식으로 개발하고, Parsing 및 Chunking 처리를 진행했습니다.

2. 임베딩 및 벡터화

도메인별 특성에 따라 최적화된 Embedding 전략을 수립하여 일관된 임베딩 로직을 적용했습니다.
향후 확장성을 고려하여 Vector Store 구조를 설계하고, Embedding Vector를 저장하여 LLM의 Context로 활용할 수 있도록 하였습니다.

3. Router 설계 및 구현

사용자의 질문을 분석하여 강의, 문서, 일정 등 적절한 도메인으로 자동 분류할 수 있도록 Routing 로직을 구축했습니다.
"내일 시간표 어떻게 되나요?"와 같은 질문에서 발생할 수 있는 날짜 정보 이슈를 해결하기 위해 조회 대상 날짜를 명확히 하는 추가 프롬프팅을 도입했습니다.

Hallucination 현상을 방지하기 위해 반드시 컨텍스트에 현재 시간을 포함시키는 로직을 구현하였습니다.

4. 사용자 인터페이스

Streamlit을 사용하여 사용자가 쉽고 편리하게 질문을 입력하고 답변을 받을 수 있도록 사용자 친화적인 인터페이스를 구축했습니다.

한계점 및 개선 방안

멀티턴 대화 흐름 구현이 충분하지 않았으며, LangChain의 체이닝 기능 활용이 미흡했습니다.
테스트 및 평가가 다소 부족하여 응답 품질 개선의 여지가 있었습니다.
향후 데이터의 질적, 양적 확장이 반드시 필요하며, 특히 정확한 데이터 확보의 중요성을 깨닫게 되었습니다.

결론 및 향후 계획

본 프로젝트를 통해 LangChain과 RAG 기술의 가능성을 체감하였으며, 사용자 중심의 정보 제공 시스템 구축에 대한 경험을 쌓을 수 있었습니다. 앞으로의 프로젝트에서는 더욱 정교한 멀티턴 대화 기능과 체계적인 평가 프로세스를 도입하여 사용자 경험을 지속적으로 개선해 나갈 예정입니다.

업스테이지 NLP 경진대회

slowin — Wed, 26 Mar 2025 18:14:43 +0900

대회 개요

대회명

Dialogue Summarization | 일상 대화 요약

대회일정

2025.03.12 ~ 2025.03.24

팀

One Team 6th

대회 소개

주어진 데이터를 활용하여 일상 대화에 대한 요약을 효과적으로 생성하는 모델을 개발
제공되는 데이터셋은 오직 "대화문과 요약문"
https://github.com/cylnlp/dialogsum

평가지표

Rouge-1
- 모델 요약본과 참조 요약본 간에 겹치는 unigram의 수를 비교
Rouge-2
- 모델 요약본과 참조 요약본 간에 겹치는 bigram의 수를 비교
Rouge-L
- LCS 기법을 이용해 최장 길이로 매칭되는 문자열을 측정합니다. n-gram에서 n을 고정하지 않고, 단어의 등장 순서가 동일한 빈도수를 모두 세기 때문에 보다 유연한 성능 비교
ROUGE-F1
- ROUGE-Recall과 ROUGE-Precisioin의 조화 평균입니다
문장 토큰화
- 한국어 데이터 특성 상 정확한 ROUGE score 산출하기 위하여 문장 토큰화를 진행한 후 평가
- 한국어 형태소 분석기를 통해 의미를 갖는 최소한의 단위인 형태소 단위로 문장을 쪼갠 뒤 모델이 생성한 문장과 정답 문장을 비교하여 ROUGE score를 산출

문제 정의

Chat GPT

Claude

대회 훈련데이터

ChatGPT, Claude, 실제 훈련데이터의 요약 스타일은 각각 다름
서로 다른 요약 스타일로 요약 품질을 좋고 나쁨으로 판단하기 난해함
Rouge-1, Rouge-2, Rouge-L 같은 평가 지표 활용
그러나 여전히 근본적 질문 존재:
- 좋은 요약이란 무엇인가? 해결하고자 하는 포인트는?

좋은 요약이란 무엇인가?

정보 보존이 중요한가, 문장 유창성이 중요한가, 핵심만 압축하는 것이 더 나은가?
사용자의 목적에 따라 기준이 달라질 수 있음.

EDA

대화문 / 요약문 길이 분포

Train

max dialogue len : 606

max summary len : 99

Dev

max dialogue len : 337

max summary len : 52

Test

max dialogue len : 577

Train Set은 가장 긴 대화 데이터를 포함하며, 모델이 긴 문맥도 학습할 수 있도록 설계됨
Summary Length는 모두 100 이하로 비교적 짧고 간결한 요약을 요구함.
Test Set은 요약이 제공되지 않아, 생성된 요약의 품질 평가용으로 활용됨

요약비율

mean 0.200244

std 0.060514

min 0.038462

25% 0.161074

50% 0.192982

75% 0.229167

max 0.793103

전체 분포의 평균값은 약 0.200으로, 전반적으로 낮은 비율 분포를 보임
표준편차는 0.06 수준으로, 분포의 변동성이 크지 않음
최솟값은 0.038, 일부 케이스는 거의 요약이 되지 않았거나 비정상적으로 짧은 경우 존재
최댓값은 0.79로, 특정 케이스는 원문에 가까운 긴 요약도 존재

"극한으로 짧은 요약을 이상 데이터로 가져가야하는가?" 에 대한 고민

발화자 토큰

Train

['#Person1', '#Person2', '#Person3', '#Person4', '#Person5', '#Person6', '#Person7']

Dev

['#Person1', '#Person2', '#Person3', '#Person4']

Test

['#Person1', '#Person2', '#Person3']

전체적으로 Train 데이터가 가장 다양한 화자(Person)를 포함하고 있어, 모델이 다양한 대화 구조를 학습할 수 있음
Dev와 Test는 등장 인물 수가 줄어들며, 대화 구조가 단순화되어 있음 → 모델이 평가 구간에서는 더 제한된 화자 구성에 노출됨
이는 Train → Dev/Test 간 분포 차이(distribution shift)를 유발할 수 있으며, 특히 다중 화자 요약 성능에 영향을 줄 가능성 있음

포인트

다자간 대화(multi-party dialogue)에 강한 모델을 만들고자 한다면, → Train의 다양한 화자 구조를 충분히 활용한 학습 전략이 필요
평가(Dev/Test)에서는 단일/소수 화자 구조 중심이므로, → 모델의 요약 일반화 성능을 평가하기에 더 정제된 테스트 환경

스페션 토큰

Train :

['#Address#', '#CarNumber#', '#CardNumber#', '#DateOfBirth#', '#Email#', '#PassportNumber#', '#Person#', '#PhoneNumber#', '#SSN#']

Dev :

['#Address#', '#DateOfBirth#', '#PhoneNumber#']

Test :

['#Address#', '#PassportNumber#', '#PhoneNumber#']

#SSN#, #CardNumber#, #CarNumber# 등은 Train에만 존재 → Train-Test 간 도메인 불일치(possible domain gap) 발생 가능
Test에서는 일부 스페션 토큰 종류만 포함되므로, → 평가 지표가 모델의 전체 스페션 토큰 대응 능력을 완전히 반영하지 못할 수 있음

왜 스페셜 토큰을 토크나이저에 추가해야 할까요?

1. 토크나이저는 텍스트를 “조각”으로 나눔

text = "제 이름은 #Person#이고, 전화번호는 #PhoneNumber#입니다."

스페셜 토큰을 추가하지 않으면?

→ #Person#이 다음과 같이 쪼개질 수 있음

['#', 'Person', '#'] 또는 ['#Per', 'son#']

이렇게 되면 모델은 이 토큰을 하나의 의미 있는 단어로 인식하지 못함

자연어 처리(NLP)에서 **스페셜 토큰(Special Tokens)**은 모델이 입력 텍스트를 효과적으로 이해하고 처리할 수 있도록 돕는 특별한 기호입니다. 이러한 토큰은 문장의 구조를 명확히 하거나, 특정한 의미를 부여하는 데 사용됩니다.

스페셜 토큰의 역할과 필요성
1. 문장 경계 표시: 모델이 문장의 시작과 끝을 정확히 파악하도록 돕습니다. 예를 들어, BERT 모델에서는 [CLS] 토큰이 문장의 시작을, [SEP] 토큰이 문장의 구분을 나타냅니다.
2. 특정 태스크 지시: 모델에게 현재 수행 중인 작업의 종류를 알려줍니다. 예를 들어, [MASK] 토큰은 마스킹된 언어 모델링에서 가려진 단어를 나타내는 데 사용됩니다.
3. 특수한 의미 부여: 개인정보와 같은 특정 정보를 일반화하여 모델이 이를 한 단위로 인식하고 처리할 수 있도록 합니다. 예를 들어, #Person#, #PhoneNumber#와 같은 토큰을 사용하여 이름이나 전화번호를 일반화할 수 있습니다.

스페셜 토큰은 NLP 모델이 입력 텍스트를 보다 정확하게 이해하고 처리하는 데 중요한 역할을 합니다. 특히, 특정 태스크나 도메인에 맞게 모델을 조정할 때, 스페셜 토큰의 활용은 모델의 성능 향상에 큰 도움이 됩니다. 따라서, 토크나이저에 적절한 스페셜 토큰을 추가하고, 모델이 이를 인식하도록 조정하는 것은 효과적인 NLP 모델 구축을 위한 중요한 과정입니다.

대화분석

#Person1#: 속았어! ㅋㅋ.. 완전 속았어.
#Person1#: 곧 봐! 안녕! 휴.. 드디어 끝났네. . . 나는 그 여자나 그녀의 건방진 딸을 참을 수 없어.
#Person2#: 남편의 이름은 린이에요, L - I - N.
#Person2#: 저는 L. A.에 머물렀고, 주말 내내 날씨가 맑았습니다. 대부분의 시간을 집에서 보냈지만 크리스마스날에는 킹콩을 보러 갔습니다.
#Person1#: 알겠습니다. 그럼 22파운드입니다.
#Person1#: 트럭 하나에 대략 200 위안 정도야.
#Person1#: 와!

감정 표현 과다	‘ㅋㅋ’, ‘와!’, ‘휴…’ 등 감정적 표현 많음
언어 코드 혼용	영어 스펠링이나 단어(L-I-N, L.A.)가 한글과 함께 등장
단위 혼합	파운드, 위안 등 여러 화폐 단위가 혼재되어 있음
주제 다양성	일상 감정, 영화 관람, 위치 정보, 가격 협상 등 주제가 매우 다양함

데이터 전처리 예시

#Person1#: 속았어! ㅋㅋ.. 완전 속았어. -> 속았어! [웃음] . 완전 속았어.

실험

FP16

FP16은 16비트 부동소수점 형식으로, FP32(32비트 부동소수점)보다 낮은 비트 수를 사용하여 데이터를 표현
이는 메모리 사용량을 절감하고 연산 속도를 높이는 데 도움
그러나 정밀도가 낮아져 연산 오차가 발생할 수 있으므로, FP32와 FP16을 혼합하여 사용하는 혼합 정밀도를 활용 할 수 있음

Open Model

Gemma-3 모델을 활용한 요약 실험

프롬프트:

prompt:
당신은 한국어 대화 내용을 간결하게 요약하는 모델입니다.

#Person1#:더슨 씨, 받아쓰기 좀 해주세요.
#Person2#: 네, 실장님...
#Person1#: 이것은 오늘 오후까지 모든 직원에게 내부 메모로 전달되어야 합니다. 준비되셨나요?
#Person2#: 네, 실장님. 시작하셔도 됩니다.
#Person1#: 모든 직원들에게 주의하라... 즉시 효력을 발휘하여, 모든 사무실 통신은 이메일 통신과 공식 메모로 제한됩니다. 근무 시간 동안 직원들이 즉시 메시지 프로그램을 사용하는 것은 엄격히 금지됩니다.…
#Person1#: 그들은 그들의 의사소통 방법을 바꾸어야만 합니다. 이 사무실에서 누구도 즉시 메시지를 사용하지 않기를 원합니다. 너무 많은 시간을 낭비하게 됩니다! 이제, 메모를 계속해주세요. 우리가 어디까지 했나요?
#Person2#: 이것은 내부와 외부 통신에 적용됩니다.
#Person1#: 그렇습니다. 즉시 메시지를 계속 사용하는 어떤 직원이라도 먼저 경고를 받고 직무 정지에 처해질 것입니다. 두 번째 위반 시에는 직원은 해고에 처해질 것입니다. 이 새로운 정책에 대한 어떤 질문이라도 부서장에게 직접 문의하면 됩니다.
#Person2#: 그게 다신가요?
#Person1#: 네. 이 메모를 오후 4시 전에 모든 직원에게 타이핑하여 배포해 주세요.

출력:

실장이 모든 직원에게 내부 메모를 통해 사무실 내 모든 통신(내부 및 외부)에서 즉시 메시지 사용을 금지하는 새로운 정책을 발표했습니다. 이를 위반할 경우 경고, 직무 정지, 해고될 수 있습니다. 메모는 오후 4시까지 모든 직원에게 배포되어야 합니다.

특별하게 fine-tuning없이도 프롬프트 엔지니어링 만으로 요약이 가능한것을 확인
하지만, 원하는 스타일의 요약 출력에 한계점 존재

incontext-learning 진행

One-Shot

당신은 한국어 대화 내용을 간결하게 요약하는 모델입니다.
주어진 대화 전문을 읽고, 그 대화의 핵심 내용(주요 행동, 요청, 결정사항 등)을 한 문장으로 요약하세요.
반드시 JSON 형식으로 summary 키를 가진 JSON 형식으로 반환하세요.

요약예시:
대화:
...

요약:
...

대화:
#Person1#:더슨 씨, 받아쓰기 좀 해주세요.
#Person2#: 네, 실장님...
#Person1#: 이것은 오늘 오후까지 모든 직원에게 내부 메모로 전달되어야 합니다. 준비되셨나요?
#Person2#: 네, 실장님. 시작하셔도 됩니다.
...
요약:

출력:

#Person1#은 모든 사무실 통신을 이메일과 공식 메모로 제한하는 새로운 정책을 발표하고, 즉시 메시지 사용을 금지합니다. 위반 시 경고, 정지, 해고될 수 있습니다. #Person2#는 정책의 적용 범위에 대해 질문하고, #Person1#은 오후 4시까지 메모를 배포하도록 지시합니다.

원하는 스타일과 유사하게 출력되는 것을 확인

가정: 그렇다면, Few-Shot을 시도한다면 적합한 출력을 할것인가?

당신은 한국어 대화 내용을 간결하게 요약하는 모델입니다.
주어진 대화 전문을 읽고, 그 대화의 핵심 내용(주요 행동, 요청, 결정사항 등)을 한 문장으로 요약하세요.
반드시 JSON 형식으로 summary 키를 가진 JSON 형식으로 반환하세요.
요약예시:
대화1
…
요약1
…
대화2
…

출력:

더슨 씨는 모든 직원을 대상으로 즉시 메시지 사용을 금지하는 새로운 정책을 발표하고, 이를 위반하는 직원은 경고, 정직, 해고될 수 있다고 경고합니다.

좀 더 적합한 스타일로 출력 되는것을 확인

새로운 고민

비슷한 대화를 넣어주면 좋을까?
비슷한 대화는 어떻게 찾지?

Embedding

`jinaai/jina-embeddings-v3` 모델 활용

Embedding 된 값을 활용하여 코사인 유사도를 통해 비숫한 대화를 Few-Shot으로 활용
크게 성능에 도움되지 않는것을 확인

요약 스타일을 학습시키는 방법이 없을까?

DPO(Direct Preference Optimization)

요약은 단순히 문장을 짧게 줄이는 작업이 아닙니다. 어떤 내용을 강조할지, 어떤 어조를 쓸지, 문장의 구조를 어떻게 정리할지 등은 모두 사람마다 다른 스타일에 해당합니다.
DPO는 Direct Preference Optimization, 즉 직접적인 선호 최적화를 의미
기존의 RLHF(Reinforcement Learning with Human Feedback)와는 달리, 사람의 선호만으로 모델을 직접 fine-tuning할 수 있는 방법입니다.
- 보상 모델(reward model)이 필요 없음
- 쌍의 비교만으로 학습 가능
- 더 간단하고 안정적인 방식

DPO 학습코드 일부

문제발생

#Person1#은 아홉시 반 기차를 타야 한다. #Person2#는 #Person1#이 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지 늦게까지….

최대 토큰 길이까지 끝나지 않는 추론

decoder_input에 eos_token도 같이 붙이기 (훈련 시 학습 안정화 도움)

요약:
#Person1#은 #Person2#의 건강검진을 받고 담배를 끊도록 권했습니다.

시간적 여유가 없어 많은 데이터로 학습하지 못하였지만,
의미있는 시도정도로 마무리

한국어 모델 시도

데이터 증강

Solar Pro 활용

Embedding + 코사인 유사도 를 활용
비슷한 대화를 Few Shot 작용

최종 결론

좋은 요약이란 무엇인가? 무엇을 해결해야할까?

요약은 단순히 문장을 줄이는 작업이 아닙니다.
좋은 요약의 조건
- 핵심 주제가 명확해야 함 : 글에서 가장 중요한 내용을 빠짐없이 담아야 함
- 불필요한 정보는 제거 : 군더더기 없이 핵심만 간결하게 전달
- 문장 구조가 깔끔해야 함 : 독자가 쉽게 이해할 수 있도록 자연스럽게 정리
- 요약 스타일이 일관성 있게 유지 : 목적에 맞는 어조/형식으로 표현 (예: 논문, 블로그, 뉴스 등)

해결을 위한 방향

1. 스타일에 최적화된 학습 필요

동일한 내용도 요약 스타일에 따라 표현이 완전히 달라질 수 있음
따라서 원하는 스타일(간결한, 감성적인, 기술적인 등)에 맞는 DPO 학습 또는 SFT(Supervised Fine-tuning) 진행

2. 데이터 증강을 통한 다양성 확보

한 입력에 대해 여러 요약 버전을 생성 → 다양한 표현 학습
사람 피드백이 가능하다면 → DPO로 선호 스타일 반영

3. 정제된 전처리 및 토큰 설정

eos_token 처리 누락, 잘못된 padding 등으로 인한 무한 반복 방지
학습 시 시작/끝 토큰, attention mask 등을 신경 써야 함

업스테이지 CV 경진대회 정리

slowin — Sun, 2 Mar 2025 18:04:08 +0900

업스테이지 Computer Vision

대회 개요

대회명

문서 타입 분류를 위한 이미지 분류 대회

대회 일정 (Timeline)

프로젝트 전체 기간: 2월 14일 (금) ~ 2월 25일 (화)

팀:

팀명: 오합지존 Idle

대회 소개

Computer Vision에서 가장 중요한 태스크 중 하나인 이미지 분류 문제.
문서 타입 분류를 위한 이미지 분류 대회.
- 금융, 의료, 보험, 물류 등 다양한 산업에서 활용됨.
- 대량의 문서 이미지를 식별하고 자동화 가능.

데이터 개요

총 17종의 문서 클래스
입력 (Input): 3,140장의 이미지
출력 (Output): 각 이미지의 문서 클래스 예측 (CSV 파일 제출)

기술적 기대 효과

딥러닝 기반 이미지 분류 모델 구축
Backbone 모델 활용 및 성능 최적화
현업에서 사용하는 실 데이터 기반 학습
다양한 테크닉 적용 가능

나의 역할

팀장 / 이미지 전처리 / 모델링 / 환경구축

팀 규칙

대회성적보다는 개인의 성장 & 팀의 성장을 우선시한다.
상호간의 지식 & 인사이트를 공유하며 함께 발전해나가는 경험을 한다.
철저한 가설 검증을 프로세스를 반복하며 성장하는 경험을 한다.

지속 가능한 성장 환경 구축

회의시간 활용하기

학습 내용 공유
부족한 학습내용 보완하기
기록하기

TIL (Today I Learned)

매일 배운 내용을 정리하고 팀원간 인사이트 얻기

지속가능한 성장을 위한 기록에 대해 익숙해지기

철저한 가설 검증 단계를 통한 모델 개선 경험 해보기

실험 기록하기
1. Wandb 팀 프로젝트를 활용
2. 팀원간 실험 상황을 실시간으로 공유
3. 좋은 모델 & 파라미터를 실시간으로 시각화하고 인사이트를 얻음

Wandb 팀 프로젝트

EDA

1. Target 종류

0~16 종류의 17가지 문서가 존재

- 특이사항: Target 별로 40~100개의 분포를 가지는 데이터 불균형이 존재

2. 실제 이미지 형태

- 훈련이미지: 특별히 변형이 되어있지 않지않음

- 테스트 데이터: 회전, 컷믹스, 믹스업, 노이즈, 밝기조절, 재질 변형 등

훈련 데이터 & 테스트 이미지

Preprocessing

3개의 라이브러리를 활용해 전처리 진행

1. Albumentations

2. Augraphy

3. Open CV

다양한 메소드를 통한 전처리 진행

Mixup

믹스업은 유리재질, 반사재질의 경우 존재하므로 특정 target끼리 믹스업을 진행

이미지 사이즈 분포

- "443*591" 사이즈가 대부분

- 특이 사항으로 테스트 이미지는 회전으로 인해 가로로 긴 "591*443"사이즈가 많음.

가설 검증

가설1. Padding 처리를 일괄되게 처리한다면 학습추론시 도움이 될것이다.

- 기본 세로이미지가 대부분이기때문에 전체이미지를 세로로 변환 후 모델링 진행

왼쪽: 원본 가로 이미지 , 오른쪽: 세로 정렬 이미지

실험 파라미터

{
    epochs: 2,
    batch_size: 100,
    learnning_rate: 0.001,
    model: ResNet18
}

실험 결과

F1 Score
Valid: 0.926
Public: 0.3549

결론:

세로 변환후 padding 처리만으로 public f1 score 0.35는 의미있는 점수라고 판단.

입력을 일관되게 처리하는 전처리가 학습/추론시 도움이 된다.

가설2. 이미지 사이즈가 작아지면 정보손실로 성능에 악형향이 있을것이다.

실험: 원본이미지의 1/10사이즈로 학습/추론

결론:

- 0.3549 -> 0.0334 (-0.0209)하락

- 정보손실로 인해 예측 악영향 가능성 확인

가설3. 훈련 이미지에 회전 이미지를 추가하면 성능이 향상될 것이다.

실험A:

1. 훈련 이미지: 원본100%

2. 검증 이미지: 쉬프트 회전 3400개

실험B:

1. 훈련 이미지: 원본 100% + 회전이미지 1700개

2. 검증 이미지: 쉬프트 회전 3400개

결과:

- Valid : 0.33 -> 0.58( + 0.2524)

- Public: 0.35->0.78( + 0.4262)

- 추론하고자하는 이미지의 상태(노이즈, 회전 등)을 훈련시에 포함시키는 것이 중요하다.

새로운 발견 (1)
특정 Target에 대한 오탐률이 집중되어있다.
(비슷한 문서는 예측에 어려움이 있다.)

새로운 발견 (2)
Epoch마다 오탐 Target의 분포가 변한다
적절한 시점에 학습을 중단이 중요할수있다.
추론시 각 Epoch 모델 Voting 전략 가능성 확인

오탐의 Target이 집중

에폭마다 틀리는 Target이 변함

가설4. 더 많은 데이터를 학습하면 학습에 도움이 될 것이다.

실험:

- 회전이미지 1700-> 3400개 증강

결론: F1 Score 향상에 도움이 된다.

그렇다면, 데이터를 계속해서 증가시킨다면 F1 Score는 계속해서 향상될것인가?
실험: 회전이미지 3400 -> 6800개 증강
결과: 임계점이 존재한다.

임계점이 존재한다.

가설5. 모든 이미지 전처리 + 데이터 증강을 적용하면 성능 향상될것이다.

지금까지의 실험을 바탕으로 이미지 전처리 및 데이터 증강은 모델성능형능 향상에 도움이 된다는것을 알게되었습니다.

그렇다면, 다양한 이미지 전처리 와 이미지를 증강시킨다면 성능 향상될것이라고 생각했습니다.

실험 A

Train F1: 0.95

Valid F1: 0.78

실험 B

- 이미지 노이지 전체 적용

- 데이터 114610개 증강

결과:

Train F1: 0.99

Valid F1: 0.98

Public F1: 0.90

검증하고자 하는 이미지(테스트이미지)와 유사한 환경의 이미지가 필요하며 다양한 이미지 셋이 필요하다

가설6. 각 모델의 장점을 활용하여 모델앙상블을 한다면 성능향상될것이다.

실험: ResNet + Efficientnet 앙상블

결과:

- 성능향상 : 0.90 -> 0.94

- 각 모델의 장점을 활용한 앙상블은 효과가 있다.

- hard voting, soft voting 의 성능은 큰 차이가 있지 않다.

사람은 어떻게 문서를 인식할까?

사람 인식 추상화

AI 인식 추상화

가설7. 타이틀을 탐지 할 수 있다면 문서를 전체를 보지 않아도 문서 분류가 가능 할 것이다

모델: YOLOv12

데이터라벨링: Label Studio

1540개 훈련데이터에 대한 라벨링 진행

결과: 불규칙적이고 일관성이 부족한 라벨링으로 인해 성능에 큰 도움이 되지 않음

BBox라벨링 재처리가장많이 틀리는 문서들만 YOLO탐지로 변경
1. 입퇴원확인서
2. 진단서
3. 외래_진료확인서
4. 소견서_진료소견서

- 가장 많이 틀리는 4개의 Target만 객체탐지 진행

- ResNet + Efficientnet + YOLOv12 앙상블

결론: 전체를 보는 Stage_2 모델과 일부를 탐색하는 Stage_1 모델의 앙상블은 성능 향상에 도움이 된다.

성능 극대화 시도
TTA

- 테스트 데이터에서 가장 많이 틀리는 문서를 탐색해본결과,

- 회전되어있거나 반전된 이미지에 대한 오탐률이 높은것을 확인

- 90도 회전, 좌우반전, 상하반전 테스트 타임 증강을 시도

결과: 0.9617 -> 0.9691 로 소폭의 성능향상을 볼 수 있음

이슈,
YOLO학습시 Target 전체 데이터를 보지 않다보니, 비슷한 글자에 대한 오탐이 발생
오탐이 발생하는 Target에 대해 학습 데이터 추가

가설8. 처방전, 자동차등록증, 이력서를 학습에 포함시킨다면 분류성능 향상될것이다.

입퇴원확인서
진단서
외래_진료확인서
소견서_진료소견서
처방전 (추가)
자동차등록증 (추가)
이력서 (추가)

결론 :

- 많은 오탐이 줄어들었음을 확인

- 문서의 글자 패턴:

흰색 바탕 + 곡선 & 직선 조합이 많음
다양한 문서 유형 추가 및 균형 잡힌 데이터셋 필요

최종채택:

Efficientnet + ResNet + SWIN + YOLO 앙상블

최종회고

지난 대회 "아파트경진대회"에서의 최종 점수는 거의 최하위권이었으며, Base Codeline의 성능을 크게 벗어나지 못했습니다. 대회 종료 후 Submission 제출이 불가능해졌지만, 이후에도 혼자 실험을 지속하며 문제점을 회고했습니다.

주요 회고 내용

1. Base Codeline에 집착하여 새로운 접근을 시도하지 못함

기존 코드에 의존하다 보니 새로운 피처 엔지니어링 및 모델링 아이디어를 적용하지 못함
창의적인 접근보다는 기존 프레임워크를 개선하는 것에 초점을 맞춤

2. 기록 부족으로 실험 과정이 명확하지 않음

실험 결과를 정리하지 않아 어떤 시도가 효과적이었는지 분석하기 어려움
같은 실험을 반복하는 비효율적인 상황 발생

3. 가설 기반 검증 부족으로 지속적인 모델 성능 향상이 어려움

데이터 분석 및 가설 검증 과정 없이 여러 방법을 시도함
모델 성능 개선이 체계적이지 못하고, 랜덤한 시도에 의존

개선 방향

1. Base Codeline을 참고하되, 독자적인 모델 개선 시도
→ 다양한 피처 엔지니어링, 모델 구조 변경, 새로운 접근법 실험

2. 실험 기록을 철저히 관리
→ Weights & Biases(wandb) 활용하여 실험 로그를 체계적으로 기록

3. 가설 기반 실험 설계
→ 데이터 탐색 후 명확한 가설 수립 → 검증 → 피드백 반영 과정 수행

지난 대회를 바탕으로 한 이번 목표 & 결과

실험을 체계적으로 기록하고 분석하는 습관을 들여 재현 가능성을 높이기
다양한 모델링 기법을 적용하며 자신만의 최적화 전략 개발
다음 경진대회에서는 단순 점수 개선이 아닌, 문제 해결력 자체를 키우는 것에 집중

도전과 성장

운 좋게도 좋은 팀원분들을 만나게 되었고, 팀장을 맡아 협업을 주도
TIL(오늘 배운 것, Today I Learned) 공유 및 상호 피드백을 통해
- 개인의 성장뿐만 아니라 팀의 성장도 함께 이루는 경험
- 실험 과정과 문제 해결 방식에 대한 깊이 있는 논의 진행

결과: 전기수 최고 점수 달성

지난 대회에서는 최하위권이었지만, 이번에는 전기수 최고 점수로 마무리!
목표했던 문제 해결력 강화 및 협업을 통한 성과 창출을 달성할 수 있었습니다.

앞으로의 방향

이러한 경험을 바탕으로:
✅ 더 효율적인 협업 프로세스 구축
✅ 지속적인 실험 및 피드백을 통한 문제 해결력 강화
✅ 다음 대회에서도 성장을 이어나가며 한 단계 더 도약

점수만을 목표로 하지 않고, 문제 해결력을 기르는 과정 자체에 집중하는 자세를 유지!

tensor: dim 이해하기

slowin — Tue, 11 Feb 2025 12:20:47 +0900

dim이란?

Tensor에서 dim을 지정하는 이유는 데이터를 특정 차원(축, dimension) 기준으로 연산하기 위해서입니다.

머신러닝과 딥러닝에서는 다차원 데이터(Tensor)를 다룰 때 차원을 기준으로 합(sum), 평균(mean), 최대값(max) 등의 연산을 수행해야 합니다.

코드 예시


# 3x3 Tensor 생성
tensor = torch.tensor([[1, 2, 3], 
                       [4, 5, 6], 
                       [7, 8, 9]])

# 전체 합계
print(torch.sum(tensor))  # 45

# 열을 기준으로 합계 (dim=0) → 세로 방향 합
print(torch.sum(tensor, dim=0))  # tensor([12, 15, 18])

# 행을 기준으로 합계 (dim=1) → 가로 방향 합
print(torch.sum(tensor, dim=1))  # tensor([ 6, 15, 24])

# 최대값 구하기
print(torch.max(tensor, dim=1))  # (tensor([3, 6, 9]), tensor([2, 2, 2]))  (값, 인덱스)

# 출력
tensor(45)
tensor([12, 15, 18])
tensor([ 6, 15, 24])
torch.return_types.max(
values=tensor([3, 6, 9]),
indices=tensor([2, 2, 2]))

그림으로 이해하기

역전파

slowin — Mon, 10 Feb 2025 19:01:59 +0900

여러 층으로 구성된 뉴럴 네트워크(Neural Network)의 구조를 이해하기 쉽게 정리해봄

뉴럴 네트워크를 학생들이 여러 줄로 서 있는 구조로 이해하기

상황

4명의 학생(A, B, C, D)이 한 줄로만 서 있는 것이 아니라 여러 층(줄)으로 서 있음.
즉, 한 줄이 아니라 입력층(첫 번째 줄), 은닉층(중간 줄), 출력층(마지막 줄)으로 구성됨.
각 학생(뉴런)은 자신이 받은 정보를 가공해서 다음 층으로 전달함.

⏳ Step 1: 순전파 (Forward Propagation)

학생들이 여러 줄(층)로 서 있음

예제:
문제 = "5 + 3 = ?"을 풀어라

입력층 (Input Layer)	은닉층 (Hidden Layer)	출력층 (Output Layer)
A1: "5를 입력"	B1: "이걸 2배 해야겠어!"	C1: "이제 1을 빼야겠어!"
A2: "3을 입력"	B2: "이건 그냥 놔둘래!"	C2: "그대로 전달!"

1️⃣ A층(입력층)

A1: "나는 5를 입력할게!"
A2: "나는 3을 입력할게!"

2️⃣ B층(첫 번째 은닉층)

B1: "A1이 5라고 했으니까, 2배 해서 10으로 만들자!"
B2: "A2가 3이라고 했으니 그냥 놔둘래."

3️⃣ C층(출력층)

C1: "B1이 10이라고 했으니, 1을 빼서 9로 만들자!"
C2: "B2가 3이라고 했으니 그대로 전달!"

출력층의 최종 답: 9 (틀림)
→ 이제 역전파를 진행해서 고쳐야 함!

Step 2: 역전파 (Backward Propagation)

✅ 선생님(정답 제공자): "정답은 8인데, 너희가 9라고 했어! 어디서 틀렸는지 확인하자!"

1️⃣ C층(출력층) 피드백

C1: "아! 내가 1을 빼는 게 아니라 2를 빼야 했어!"
C2: "내가 준 정보는 문제 없네!"
→ C층이 값을 수정하고 B층에 피드백 전달

2️⃣ B층(은닉층) 피드백

B1: "아, 2배 하는 게 아니라 1.5배만 해야겠네!"
B2: "나는 잘했으니까 수정할 필요 없어."
→ B층이 값을 수정하고 A층에 피드백 전달

3️⃣ A층(입력층) 피드백

A1: "5를 입력할 때, 더 신경 써야겠다!"
A2: "나는 문제 없었네!"

Step 3: 수정된 데이터로 다시 학습

시간: 2초

모든 학생들이 피드백을 반영하여 다시 답을 만들어 봄.
반복할수록 점점 정답에 가까워짐!

뉴럴 네트워크 정리

뉴럴 네트워크는 여러 층이 존재하며, 각 층이 정보를 조금씩 변형해서 다음 층으로 전달하는 방식!

개념	설명	예시
입력층	문제의 입력 값을 받음	5와 3을 입력
은닉층	데이터를 변형해서 처리함	"2배 하기" → "빼기 1"
출력층	최종 답을 계산	9 (틀림)
역전파	틀린 값을 수정하면서 다시 전달	"2배가 아니라 1.5배!"

결론

뉴럴넷은 한 줄이 아니라 여러 줄(층)이 존재함.
순전파: 입력층 → 은닉층 → 출력층 순서로 정보 전달
역전파: 출력층 → 은닉층 → 입력층으로 틀린 부분을 수정
반복 학습: 여러 번 수정하면서 점점 정답을 찾아감

머신 러닝 발전 5단계

slowin — Mon, 10 Feb 2025 18:55:07 +0900