목록Machine Learning (12)

숭어 개발 블로그

[머신러닝] 한글 Text Mining <네이버 영화 리뷰 데이터 다루기>

한글 Text Mining pandas를 이용해 train, test 데이터를 불러온후 .dropna를 통해 결측치를 제거해준다. X ( 문제 ) 에는 'document' 컬럼 저장 y ( 답) 에는 'label' 컬럼저장 pipeline을 통해 데이터들을 학습해준다. score는 0.81438... 인것을 확인 학습된 모델을 임의로 입력한 리뷰로 예측 결과 [ 부정, 긍정, 부정, 부정 ] 적인 리뷰로 판별하였다. # 부정 : 0 , 긍정 : 1 긍정적인 리뷰 / 부정적인 리뷰 TOP30 알아보기 c_model ( CountVectorizer( ) ) 를 통해 key와 value 값을 DataFrame으로 만들어준다. l_model ( LogisticRegression( ) ) 을 통해 가중치 ( co..
Machine Learning/Text Mining 2022. 9. 23. 13:20
[머신러닝] 한글 Text Mining < konlpy_Okt / Kkma)

konlpy_한글 Text Mining - 한국어 정보처리를 위한 파이썬 패키지 - 한글 TextMining - konlpy 설치 - konply에서 Okt 라이브러리 가져오기 - .nouns를 통해 명사만 추출 - .pos 를통해 품사를 확인 - Kkma 생성 - .morphs 를 통해 형태소 추출 CountVectorizer를 이용해 단어장 생성 - myTokenizer 함수를 만들어 Kkma(꼬꼬마)를 이용해 명사만 추출 - CountVectorizer(tokenizer = myTokenizer) 를 이용해 명사만 추출된 단어장을 볼 수 있다.
Machine Learning/Text Mining 2022. 9. 23. 12:32
[머신러닝] 선형분류 실습 < 손글씨 데이터 예측(4)_모델저장하기 >

pickle pickle은 객체의 형태를 그대로 유지하면서 파일에 저장하고 불러올 수 있게 하는 모듈이다. 다음 예는 pickle 모듈의 dump 함수를 사용하여 딕셔너리 객체인 data를 그대로 파일에 저장하는 방법을 보여 준다.
Machine Learning/선형 분류 2022. 9. 22. 16:01
[머신러닝] 선형분류 실습 < 손글씨 데이터 예측(3)_분류평가지표 >

분류평가지표 정확도 ( Accuracy ) TN , TP 가 예측과 실제값이 같은 경우 100명중 100명모두 암환자가 아니라고 예측 했지만 실제 암환자는 5명 표면상 정확도는 95% 이지만 정말 안좋은 지표이다. 재현율 ( Recall ) 100명중 100명모두 암환자가 아니라고 예측 했지만 실제 암환자는 5명 암환자 5명중 한명도 예측하지 못했기 떄문에 재현율 ( Recall ) 은 0% 정밀도( Precision ) 예측 양성중에 실제 양성 비율 조화평균 ( F1 - score ) 정밀도와 재현율의 조화 평균
Machine Learning/선형 분류 2022. 9. 22. 15:43
[머신러닝] 텍스트 마이닝 분석 프로세스

# 텍스트 마이닝 분석 프로세스 정제 : - 말뭉치(코퍼스) 에서 하나하나 쪼개가는 과정 적은수의 문서에 있어야 중요한 단어 문서마다 포함 되어있는 단어는 중요하지 않다. ==> ex) 1년 데이터중 매 문서마다 "오늘" 이 있다면?
Machine Learning/Text Mining 2022. 9. 22. 09:45
이전 Prev 1 2 3 Next 다음