땡땡맹에서 땡땡맨되기

데이터 정제(Data Cleaning)와 데이터 전처리(Data Preprocessing)는 데이터 분석 및 머신러닝 프로젝트에서 중요한 단계입니다. 두 개념이 서로 밀접하게 연관되어 있지만, 목적과 작업 범위에서 차이가 있습니다. 각 개념을 구체적으로 살펴보면 다음과 같습니다. 1. 데이터 정제 (Data Cleaning)데이터 정제는 주로 "잘못된" 데이터의 문제를 해결하는 단계입니다. 데이터셋이 누락되거나, 부정확하거나, 중복되거나, 이상값(outliers)을 포함할 때 이를 찾아 수정하거나 제거하는 과정입니다. 이는 데이터 분석이나 모델 훈련의 신뢰성을 높이는 데 매우 중요한 단계입니다.데이터 정제 작업:누락값 처리: 결측 데이터(missing data)를 제거하거나 평균, 중앙값 또는 다른 방법..

이번 포스팅에서는 데이터 결측값(Data Missing Value)과 데이터 이상값(Data Outflier)에 대해서 설명하겠습니다. 데이터 분석을 위한 데이터 전처리 과정에서 여러 가지 요인으로 인해 발생한 데이터에 누락이나 기존 데이터 범위에서 크게 벗어난 데이터를 처리해 주어야 합니다. 처리하는 방법을 배우기 전에 데이터 결측값과 데이터 이상값이 무엇인지 알아보겠습니다. 데이터 결측값 개념(Data Missing Value) 데이터 결측값은 데이터 입력이 누락된 경우를 의미합니다. 결측값은 주로 NA, NaN,NULL 등 부호화하여 표시합니다. 0을 결측값으로 착각하지 않도록 주의하여야 합니다. 결측값 자체가 의미가 있는 경우도 있습니다. 데이터 결측값 종류 종류 설명 완전 무작위 결측 (MCAR..

2 빅데이터 탐색 데이터 전처리 - 데이터 정제(Data Cleansing) 데이터 정제의 개념 : 결측값, 이상값 등을 처리하여 데이터의 신뢰도를 높이는 작업 데이터 정제 절차 : 순서 데이터 정제 절차 설명 1 오류 원인 분석 원천 데이터의 오류, 빅데이터 플로우의 오류 등으로 발생 2 정제 대상 선정 모든 데이터를 대상으로 정제 진행 3 정제 방법 결정 오류 데이터를 삭제, 대체, 예측값으로 삽입 데이터 오류 원인 : 원인 설명 처리 방법 예시 결측값 ( Missing Value ) 데이터가 입력되지 않고 누락된 값 - 경향값 넣기 ( 전체 데이터의 평균값, 중앙값, 최빈값 등 ) - 확률 분포 기반 랜덤값 넣기 잡음 ( Noise ) 실제는 입력되지 않았지만 입력되었다고 잘못 판단된 값 - 일정 ..

안녕하세요. 아~~~~~~주 오랜만에 빅데이터 분석기사 관련한 포스팅을 올리게 되었습니다. 2021년에는 부득이하게 다른 일들로 바빠서 데이터 분석 자격증의 우선순위가 뒤로 밀리게 되었는데요! 🤜 포기할 수 는 없죠! 🤛 다가오는 새해에 마음을 다잡고 다시 시작해봅시다! 우선 새해가 시작되기 전에 빅데이터 분석기사 시험의 일정을 알아 보겠습니다. 2022년도 빅데이터분석기사 일정 회차 필기시험 원서접수 필기시험 필기합격 예정자 발표 증빙서류 제출기간 실기시험 원서접수 실기시험 최종합격자 발표 4회 3.7 (월) ~ 3.14 (월) 4.9 (토) 4.29 (금) 5.2 (월) ~ 5.12(화) 5.23 (월) ~ 5.27 (금) 6.25 (토) 7.15 (금) 5회 8.29 (월) ~ 9.2 (금) 10...

▶ (1) 빅데이터(Big Data) 개념 막데한 양의 정형&비정형 데이터 데이터로부터 가치를 추출하고 결과를 분석하는 기술의 의미로도 통용됨 데이터로부터 가치를 추출하는 과정을 Ackoff, R.L이 DIKW 피라미드*로 도식화 하였음 (아래에서부터, Data 부터 순서대로 읽으세요) - 지혜 (Wisdom) : 지식에 대한 깊은 이해를 바탕으로 도출되는 아이디어 예) 특정 이어폰이 A마트가 더 저렴하므로 다른 물건들도 B마드보다 저렴할 것이라 예상 - 지식 (Knowledge) : 획득된 정보를 유의미한 정보로 분류하고 일반화 시킨 결과물 예) A마트에서 특정 이어폰이 더 싸기 때문에 A마트에서 사기로 결정 - 정보 (Information) : 가공된 데이터간의 연관 관계와 함께 의미가 도출된 데이터..

빅데이터 분석기사 필기 과목을 알아보겠습니다. 총 4개의 과목입니다. 시험 문제는 앞 포스팅에서 설명해 드렸던 것과 마찬가지로 과목당 20문제 씩 출제되며, 과목당 최소 40점 이상, 전체 평균 60점 이상을 받으셔야 합격입니다. 시험 과목들의 나열만으로 알 수 있 듯이 상당히 광범위 합니다. 또한 '빅데이터의 탐색 - 빅데이터의 이해' 정도까지는 데이터를 다루시지 않던 분들에게도 친숙할 수 있는 상식적인 내용입니다만, 뒤로갈수록 점점 깊은 내용들이 나오더라구요. 시간이 많지 않지만 똘똘하게 공부하여 꼭 좋은 성과를 내보도록 하겠습니다. 1월도 막바지로 향하고 있고, 추운날이 지나 날씨도 따뜻해지고 있는데, 다들 새해 계획 세우 셨던것들 한 번 돌아보며 점검하는 시간 갖으시고, 화이팅 하셨으면 좋겠습니다!

빅데이터 분석기사는 국가기술자격이며 그 정의는 빅데이터 이해를 기반으로 빅데이터 분석 기획, 빅데이터 수집,저장,처리, 빅데이터 분석 및 시각화를 수행하는 실무자를 말합니다. 빅데이터 분석기사 자격시험은 2020년도부터 시행되었습니다. 2021년도에는 제 2회와 제 3회 시험이 진행될 예정입니다. !!! 올해는 코로나 상황에 따라서 시험 일정이 변경될 수 있으니 꼭 '한국데이터산업진흥원(K-Data)' 홈페이지에서 확인 하시길 바랍니다. (링크는 맨 아래에 남겨두었습니다) 시험을 준비하는 분이라면 일정도 중요하지만 응시자격도 중요합니다. 어떤 종류던지 대학교를 졸업한 사람이라면 응시 자격이 만족되며, 대학교를 졸업하지 않았더라도 4년이상의 직장경력이 있으신분 혹은 기사 등급 이상의 자격증을 보유하고 계시..