Database 24

결정 트리를 알아보자.

스무고개와 비슷한 결정 트리.   오늘은 머신러닝 모델 선정, 결정트리에 대해 알아보자.오늘의 배움결정트리 구성 요소중요 알고리즘 개념과적합 방지 기법 1. 결정 트리 구성 요소 결정 트리(Decision Tree)는 지도 학습 알고리즘으로, 데이터를 조건에 따라 분할하여 예측하는 데 사용된다.-> 결정 트리는 쉽게 말해서 '스무고개' 게임과 비슷하다. 내가 이해한 결정 트리의 핵심은 "조건에 따라 예측하는 지도 학습 알고리즘"이라는 것이다. 트리의 구성 요소 루트 노드 : 맨 위의 시작점 규칙 노드 : 조건이나 어떠한 규칙에 의해서 분할하는 것리프 노드 : 최종 결정값 (더이상 조건에 맞춰서 규칙 노드를 적용할 수 없는, 더이상 쪼갤 수 없는 것. 맨 마지막에 남는 것은 항상 리프노드)결정 트리 특징해..

Develop/ML·DL 2025.01.21

분류와 로지스틱 회귀를 알아보자.

비슷하지만, 점점 어려워지고 많아진다.   오늘은 분류와 로지스틱 회귀를 알아보자.오늘의 배움분류의 기본 개념 이해하기주요 분류 알고리즘 파악하기로지스틱 회귀의 원리 및 적용 이해하기모델 성능 측정 방법 익히기1. 분류분류(Classification)는 주어진 데이터를 특정 클래스(또는 레이블)로 나누는 머신러닝의 대표적인 지도 학습 문제 유형이다.분류의 특징출력 값이 연속적인 숫자가 아니라, 유한한 클래스 값으로 제한된다.학습 데이터에 각 데이터 포인트의 정답 레이블이 포함되어 있어야 한다.분류 문제의 유형이진 분류(Binary Classification)데이터가 두 개의 클래스 중 하나에 속한다.예: 이메일 분류(스팸/비스팸), 암 진단(양성/음성) 등다중 분류(Multi-class Classific..

Develop/ML·DL 2025.01.20

[SK캠프 9기] 1번째_전기차톡_250107~08 (발표까지 완료했다!)

[전기차톡] - Sprint 3 회고록기간: 2025.01.03 - 2025.01.08 1. 이번 주 목표데이터베이스 구축을 위한 웹 크롤링 구현각자의 페이지 개발 및 메인 인사이트 도출README 작성 및 발표 준비 2. 이슈 및 해결 방안문제 상황 데이터 수집 방식의 오류 - 웹 크롤링 및 API 활용 필요성초기 데이터 수집 방법의 오류영향도: 데이터베이스 구축 지연해결 방안: 웹 크롤링 방식으로 데이터 수집 결정(Selenium)의사결정 사항Selenium을 통한 웹 크롤링 방식으로 수정논의 과정: 선생님의 조언선택 이유: 효율적인 데이터 수집 및 프로젝트 방향성에 맞는 방식 선정 3. 팀 협업 현황1. 회의록1월 7일참석자: 팀원 전체주요 논의사항: 데이터 수집 방법 및 각자 테스크 확인결정사항:..

SKN_09_Project 2025.01.19

[SK캠프 9기] 1번째_전기차톡_250103 (첫 팀플 시작이다)

[웹크롤링 기반 전기차 검색 플랫폼] - Sprint 1 회고록기간: 2025.01.03 - 2025.01.08 1. 이번 주 목표프로젝트 주제 구체화 및 특화 포인트 도출데이터 수집 범위 설정페르소나 및 프로젝트 개요 수립 2. 진행 상황1. 완료된 작업프로젝트 주제 선정마인드맵을 통한 아이디어 도출전기차 관련 데이터 기반 검색 플랫폼으로 확정FAQ 기능 포함 결정2. 진행 중인 작업전기차 관련 데이터 수집현재 상태: 무료 데이터 소스 탐색 중예상 완료일: 2025.01.04해결해야 할 문제점: 무료도 허용 가능한 데이터 수집3. 다음 예정 작업수집된 데이터 기반 특정 주제 선정프로젝트 개요 작성타겟 페르소나 정의 3. 이슈 및 해결 방안문제 상황타 팀과의 주제 중복 가능성발생 원인: 전기차라는 보편적..

SKN_09_Project 2025.01.12

데이터 분석 도구 - numpy(2)를 알아보자.

numpy는 간단하면서도 강력하구나. 근데 나한테는 하나도 안 간단한 것 같아...   오늘은 Numpy의 또 다른 연산들을 알아보자.  오늘의 배움NumPy의 기본 배열 연산 방법들통계 기초 개념과 NumPy로의 구현배열의 정렬과 병합 테크닉성능 최적화와 대용량 데이터 처리 방법NumPy 배열 연산의 특징NumPy 배열은 벡터화된 연산으로 매우 빠른 속도를 제공하며, 특히 대규모 데이터 처리에 최적화되어 있다. 제가 이해한 바로는:일반 파이썬 리스트보다 훨씬 빠른 연산 속도메모리 효율적인 데이터 처리다양한 수학적/통계적 함수 제공 1. ndarray 연산기본 산술 연산NumPy는 배열 간의 산술 연산을 지원하며, 이는 벡터화되어 빠르게 수행된다.배열 간 연산은 기본적으로 원소별(element-wise)..

데이터 분석 도구 - numpy(1)를 알아보자.

streamlit 하면서 아주 간단하게만 사용해 본 numpy가 데이터 분석 도구였구나.   오늘은 데이터 분석 도구인 numpy를 알아보자.  오늘의 배움리스트와 데이터 분석 도구의 관계 이해NumPy의 개념과 특징ndarray의 생성과 활용 방법데이터 접근을 위한 다양한 인덱싱 방법1.리스트, 왜 다시 공부하는가?데이터 구조의 기초리스트는 NumPy와 Pandas를 이해하는 기초가 된다:NumPy의 ndarray와의 관계리스트를 확장한 다차원 배열 구조수치 계산에 최적화된 형태Pandas와의 관계Series(1차원)와 DataFrame(2차원)의 기본 구조인덱싱과 슬라이싱 개념이 동일하게 적용2. NumPy 살펴보기NumPy란?Numerical Python의 약자로, 대규모 다차원 배열과 행렬 연산을..

데이터 분석을 알아보자.

데이터 분석은 특별한 다른 걸 사용하려나 싶었으나, python은 계속 된다.   오늘은 드디어 데이터분석에 대해 알아보자.  오늘의 배움데이터의 정의와 종류데이터 과학과 데이터 분석의 차이데이터 분석의 중요성과 활용 분야CRISP-DM 프로세스의 이해1. 데이터란 무엇일까요?모델을 학습시키려면, 다량의/양질의 데이터가 필요하다. 그렇다면, 가장 기본이 되는 '데이터'의 의미부터 알아보자. 데이터는 이론을 세우는 데 기초가 되는 사실 또는 자료이며, 컴퓨터에서는 프로그램이 처리할 수 있는 형태로 변환된 정보를 의미한다.(출처 : Oxford Languages) 2. 데이터의 종류데이터는 크게 두 가지로 나눌 수 있다:정형 데이터엑셀 표처럼 깔끔하게 정리된 데이터데이터베이스나 스프레드시트에 저장비정형 데이..

[SK캠프] 3주차 WIL 241230_250105 (뭐가 지나갔는데..)

241230 ~ 250105 SK캠프 9기 3주 차 회고 일지 내용금주 주요 성과- DataBase 학습 및 실습- Web Crawling 학습 및 실습보완해야할 점데이터베이스 개념, 웹크롤링 사용법KPT Keep일단 따라가보자.​매일 그날 학습한 걸 정리하며 약간의 복습을 하고 있다. 수업시간에 잘 듣고 같이 따라해보려 노력하고 있다.그런데... 그걸 다 떼고 '시작해보세요.' 하면 생각이 멈춰서 얼어있는 나를 발견할 수 있었다.우선 계속 따라가보자.... 따라하고 추가적으로 복습하고 문제도 많이 풀고, 자격증 공부를 함께 병행하다보면 조금씩 개념이 서고 자유롭게 코드를 입력하고 분석하고 있지 않을까...?...​ Problem많은 개념들이 머릿속에 입력되지 않았다.​빠르게 몰아치는 수 많은 개념의 바..

크롤링 도구에 대해 알아보자.

크롤링 도구는 많고 여기서 뭐가 쉽게 접근할 수 있을까.   오늘은 크롤링 도구에 대해 공부해보자. 실제 프로젝트에서 어떤 도구를 선택해야 할지, 각 도구의 특징과 장단점에 대해 알아보자.오늘의 배움크롤링 도구 및 특징Beautiful Soup과 Selenium 차이점 크롤링 도구파이썬 크롤링 라이브러리 종류1. Requests특징 : HTTP 요청을 간단히 처리할 수 있는 라이브러리용도 :웹 페이지의 HTML 소스를 가져오기 위해 사용REST API 호출장점 :간단하고 빠른 HTTP 요청 지원쿠키, 세션, 인증 등 지원단점 :동적 콘텐츠(JavaScript로 렌더링되는 데이터)는 처리 불가예제 코드import requestsurl = 'https://example.com'response = reques..

Crawling 크롤링(2)을 알아보자

SQL과 Python 두군데서 모두 사용해보자.  오늘은 크롤링을 이용하여 데이터 저장 방식에 대해 알아보자.오늘의 배움웹의 기본 구조데이터 저장 방식데이터베이스의 역할과 중요성WEB의 구조웹은 수많은 웹 페이지들이 하이퍼링크로 연결된 거대한 네트워크로 구성되어 있으며, 이러한 연결성을 이용하여 크롤러는 웹 사이트를 탐색하고 필요한 데이터를 수집한다. 웹의 구조와 프로토콜, 그리고 표준화된 문서 형식은 크롤러가 효율적으로 웹을 탐색하고 정보를 추출할 수 있도록 한다. WEB 구조 기초1. 기본 구성 요소URL (Uniform Resource Locator)웹에서 자원의 위치를 나타내는 표준화된 주소 체계이다.프로토콜(http, https), 도메인 이름, 경로, 쿼리 스트링 등으로 구성된다.예시: "ht..

728x90