땡땡맹에서 땡땡맨되기

2 빅데이터 탐색 데이터 전처리 - 데이터 정제(Data Cleansing) 데이터 정제의 개념 : 결측값, 이상값 등을 처리하여 데이터의 신뢰도를 높이는 작업 데이터 정제 절차 : 순서 데이터 정제 절차 설명 1 오류 원인 분석 원천 데이터의 오류, 빅데이터 플로우의 오류 등으로 발생 2 정제 대상 선정 모든 데이터를 대상으로 정제 진행 3 정제 방법 결정 오류 데이터를 삭제, 대체, 예측값으로 삽입 데이터 오류 원인 : 원인 설명 처리 방법 예시 결측값 ( Missing Value ) 데이터가 입력되지 않고 누락된 값 - 경향값 넣기 ( 전체 데이터의 평균값, 중앙값, 최빈값 등 ) - 확률 분포 기반 랜덤값 넣기 잡음 ( Noise ) 실제는 입력되지 않았지만 입력되었다고 잘못 판단된 값 - 일정 ..

빅데이터 분석기사 필기 과목을 알아보겠습니다. 총 4개의 과목입니다. 시험 문제는 앞 포스팅에서 설명해 드렸던 것과 마찬가지로 과목당 20문제 씩 출제되며, 과목당 최소 40점 이상, 전체 평균 60점 이상을 받으셔야 합격입니다. 시험 과목들의 나열만으로 알 수 있 듯이 상당히 광범위 합니다. 또한 '빅데이터의 탐색 - 빅데이터의 이해' 정도까지는 데이터를 다루시지 않던 분들에게도 친숙할 수 있는 상식적인 내용입니다만, 뒤로갈수록 점점 깊은 내용들이 나오더라구요. 시간이 많지 않지만 똘똘하게 공부하여 꼭 좋은 성과를 내보도록 하겠습니다. 1월도 막바지로 향하고 있고, 추운날이 지나 날씨도 따뜻해지고 있는데, 다들 새해 계획 세우 셨던것들 한 번 돌아보며 점검하는 시간 갖으시고, 화이팅 하셨으면 좋겠습니다!

빅데이터 분석기사는 국가기술자격이며 그 정의는 빅데이터 이해를 기반으로 빅데이터 분석 기획, 빅데이터 수집,저장,처리, 빅데이터 분석 및 시각화를 수행하는 실무자를 말합니다. 빅데이터 분석기사 자격시험은 2020년도부터 시행되었습니다. 2021년도에는 제 2회와 제 3회 시험이 진행될 예정입니다. !!! 올해는 코로나 상황에 따라서 시험 일정이 변경될 수 있으니 꼭 '한국데이터산업진흥원(K-Data)' 홈페이지에서 확인 하시길 바랍니다. (링크는 맨 아래에 남겨두었습니다) 시험을 준비하는 분이라면 일정도 중요하지만 응시자격도 중요합니다. 어떤 종류던지 대학교를 졸업한 사람이라면 응시 자격이 만족되며, 대학교를 졸업하지 않았더라도 4년이상의 직장경력이 있으신분 혹은 기사 등급 이상의 자격증을 보유하고 계시..