데이터를 표로만 보면 한눈에 파악하기 어렵습니다. 그래서 그래프로 그려보면 숨어 있던 패턴이 눈에 보입니다.
아래 번호를 하나씩 눌러서 확인해 보세요.
실제로 놀이공원 데이터를 산점도로 그려보면, 기온이 20도 중반까지는 오를수록 입장객이 늘다가, 그 이후로는 오히려 줄어드는 재미있는 경향을 발견할 수 있습니다. (너무 더우면 놀이공원에 안 가겠죠?) 박스차트로는 월요일 중에 유난히 입장객이 많았던 특별한 날(이상치)도 찾을 수 있습니다.
분석해서 문제를 찾았다면, 이제 AI가 학습하기 좋은 상태로 데이터를 다듬어야 합니다.
엑셀에 빈 칸(값이 없는 셀)이 있으면 AI가 헷갈려 합니다. 빈 칸이 아주 많은 항목(열)은 통째로 지우고, 조금만 비어 있다면 평균값이나 예측 가능한 값(예: 날짜로 요일 채우기)으로 채워 넣습니다.
다른 값들과 동떨어진 이상한 값(예: 하루에 갑자기 10만 명이 왔다고 기록된 오류)은 AI 학습을 방해합니다. 지우거나, 평균으로 바꾸거나, AI가 자동으로 찾아 처리하는 방법이 있습니다.
100g과 1kg 중 뭐가 더 무거운지는 사람은 알지만, AI는 숫자만 보고 "100이 1보다 크다"고 착각할 수 있습니다. 그래서 습도(0~100)와 풍속(0~6)처럼 범위가 다른 숫자들을 같은 기준으로 맞춰주는 것이 스케일 조정입니다.
컴퓨터는 숫자만 이해합니다. "월, 화, 수..."처럼 글자로 된 요일 데이터는 컴퓨터가 계산할 수 있는 숫자로 바꿔줘야 하는데, 이 과정을 인코딩이라고 합니다. 요일처럼 순서가 없는 데이터는 각 항목을 0과 1로만 표시하는 방식(원-핫 인코딩)을 사용해 "월요일이 화요일보다 크다" 같은 잘못된 순서가 생기지 않게 합니다.
| 일시 | 평균기온(°C) | 평균 풍속(m/s) | 입장객수 | 요일 |
|---|---|---|---|---|
| 2018-01-01 | -1.3 | 1.4 | 2316 | 월 |