한 밀레니얼의 일기

지난번 시험 후기를 남겼던 ADP 최종 합격했습니다! 합격률이 낮고 한 번 떨어졌던 어려운 시험이라 정말 기쁘네요 :) 시험장에서 왜인지 사이킷런에서 뉴럴네트워크가 안 돌아가서 못했는데 그 부분 감안하면 납득할만한 점수인 것 같네요 자세한 문제와 답은 지난번 글에 남겨두었으니 참고 부탁드리고 이 글에서는 제 공부 방법을 소개해드리겠습니다. 28회 ADP 실기 후기 / 기출문제 복원 / 가답안 2023년 3월 12일 ADP 실기 시험 보고 왔습니다. 기억이 사라지기 전에 바로 후기 남깁니다. 다음과 같은 문제가 나왔습니다. 기계학습 [1~3 모두 결석 데이터 사용, 변수는 모두 범주형이었음] 1-1. EDA, cestmavie.tistory.com 1. 사전 지식 아주 오래 전인 2019년에 ADsP를 취..

2023년 3월 12일 ADP 실기 시험 보고 왔습니다. 기억이 사라지기 전에 바로 후기 남깁니다. 다음과 같은 문제가 나왔습니다. 기계학습 [1~3 모두 결석 데이터 사용, 변수는 모두 범주형이었음] 1-1. EDA, 차원 축소 필요한지 확인, 기타 문제 확인 1-2. 1-1.에서 찾은 문제 처리 후 해결되었는지 재확인 1-3. 과적합 문제가 있다고 가정하고 해결하는 방법 2가지 이상 제시/수행/결과 비교 2-1. 랜덤포레스트, 인공신경망, lightGBM 모델링 # sklearn.ensemble.RandomForestClassifier # sklearn.neural_network.MLPClassifier # lightgbm.LGBMClassifier 2-2. 위 세 가지 모델로 하드 보팅, 소프트 보..

단순 기록용으로 답안 남깁니다. 문제: 카드 지출액 + 월별 요금 - 특정 금액 이상 지출한 월의 요금 select sum(amount) - 5*(12-min(counted_month)) from transactions origin cross join ( select count(*) as counted_month from (select date_trunc('month', date) as ym from transactions where amount 2 and sum(amount)

sql을 공부한 지 시간이 좀 지나 기억을 되살리고자 프로그래머스에서 sql 코딩테스트 문제를 쭉 풀어보았습니다. 필요하신 문제는 ctrl + F로 찾아보시고 제가 어려웠던 문제는 볼드 처리해 두었습니다. 1. 모든 레코드 조회하기 select * from ANIMAL_INS 2. 역순 정렬하기 select NAME, DATETIME from ANIMAL_INS order by ANIMAL_ID Desc 3. 아픈 동물 찾기 select ANIMAL_ID, NAME from ANIMAL_INS where INTAKE_CONDITION = 'Sick' order by ANIMAL_ID 4. 어린 동물 찾기 select ANIMAL_ID, NAME from ANIMAL_INS where INTAKE_COND..

안녕하세요 노션에 이전 빅데이터 분석기사 공부할 때 적었던 노트가 있어 공유합니다. 맨 처음 공부할 때 정리한거라 빠진 부분도 많지만 작업형 2유형의 전체적인 프로세스가 이런 식으로 흘러가는구나 하고 보시면 도움되는 부분이 있을 것 같습니다 :) 데이터 불러오기pd.read_csv() 데이터 EDAdf.info() df.describe() df.unique() 결측치 처리df.dropna() df.index_reset(drop = True, inplace = True) 범주형 변수 처리from sklearn.preprocessing import OneHotEncoder ohe = OneHotEncoder() X = pd.concat([X_train,X_test]) ohe.fit(X[COL_CAT]) X_..

공부 삼아 리그 오브 레전드 api를 활용해 데이터를 받아 이리저리 만져보았습니다. 여러 날에 걸쳐서 조금씩 진행한 터라 중간중간 정리가 안 된 코드도 있으니 혹시 안 되시는 부분이 있으면 레퍼런스 페이지를 참고해주세요. 이 페이지에서는 밀리고 있던 게임에서 승리한 팀은 어떤 전략을 사용했는지 확인해보았습니다. 전체적인 진행 순서는 다음과 같습니다. API key 발급 데이터 추출 JSON 내 필요한 데이터 데이터프레임화 timeline 로그 데이터 동일하게 작업 3, 4번 데이터 통합해서 PCA 및 분류분석 레퍼런스 1. API key 발급 api를 통해 데이터를 받아보기 위해서는 먼저 아래 페이지에서 로그인한 뒤 api key를 발급받아야 합니다. Riot Developer Portal About t..

2022년 6월 25일 오늘 제4회 빅데이터 분석기사 실기시험을 보고 왔습니다. 아직 회차가 많지 않은 시험이라 혹시 공부에 도움이 되실까 해서 후기 남깁니다. (7월 8일 예상 발표에서 합격으로 확인했습니다. 작업형은 두 유형 모두 만점이었어요!) 1. 사전 지식 파이썬과 R은 공부삼아 사용해 본 경험이 약간 있었는데 머신러닝 기법을 자유롭게 사용할 정도는 아니었습니다. 그나마 파이썬이 넘파이, 판다스, 사이킷런이 뭔지는 들어본 적이 있어서 조금 더 친숙하게 느껴져서 파이썬으로 시험을 치르기로 결정했습니다. 2. 공부 방법 및 기간 실기 교재는 필기 교재보다 아쉬운 후기가 많아 필기 교재로 사용했던 예문사의 2022 빅데이터분석기사 실기 한권완성 교재로 다시 한 번 공부하기로 하였습니다. 교재 구성은 ..

2022년 5월 21일 진행된 데이터 분석 전문가 필기시험을 보고 왔습니다. *6월 10일 조기발표된 결과로 합격 확인했습니다! 1. 사전 지식 올해 빅데이터 분석기사 필기 시험을 공부해서 합격한 상황이었고 3년 정도 전 ADsP를 따서 대략적인 내용은 알고 있는 상태였습니다. 2. 공부 방법 및 기간 데이터 분석 전문가는 여타 자격증보다는 합격선이 높은 70점 이상을 득점해야 합니다만 역시나 필기 시험의 왕도는 문제를 많이 푸는 것이라고 생각했습니다. 서점에서 여러가지 교재를 비교해 본 결과 상대적으로 내용이 눈에 잘 들어오고 문제가 많은 데이터에듀의 ADP 필기 올패키지 데이터 분석 전문가 교재로 공부를 시작했습니다. 공부는 4월 24일부터 시작했고 내용이 많은 4장을 제외하고는 하루에 한 장씩 살펴..

이번 챕터에서는 t test에 대해 배운다. 유형은 여럿이지만 사용하는 함수는 t.test 하나고 사용도 어렵지 않다. 다만 paired 여부와 사용할 데이터를 여러모로 살펴보고 전처리하는데 주의해야 한다. 통계적 유의성과 별도로 효과크기도 측정하는 것이 좋다. # 필요한 패키지 불러오기 library(ggplot2); library(pastecs); library(WRS);library(reshape) # 데이터 불러오기 spiderLong

1장 Cinematch는 넷플릭스의 영화 추천 시스템이다 빅데이터 활용의 3요소는 데이터, 기술, 인력이다 데이터베이스의 특징 : 통합된 데이터, 저장된 데이터, 공용 데이터, 운영 데이터 빅데이터 가치 패러다임의 변화 : 디지털화 > 연결 > 에이전시 2장 EAI는 CDC 매커니즘을 구현할 수 없다 Spark는 하둡과 관련이 없다 Staus on Rows는 타임 스탬프, 버전 넘버 기법에 대한 보완 용도로 활용된다 프레스토는 페이스북의 데이터 웨어 하우징 엔진이다 ESB는 미들웨어(bus)를 이용하여 서비스 중심으로 시스템을 유기적으로 연계한다 무공유 클러스터는 노드 확장에 제한이 없다 무공유 클러스터는 규모가 커지면 디스크 영역에서 병목현상이 발생한다 GFS를 설계할 때 낮은 응답 지연시간보다 높은 ..