Skip to content

Instantly share code, notes, and snippets.

@reniew
Last active August 17, 2020 07:06
Show Gist options
  • Save reniew/12b15662e4059a7c24b87488e7ca1a87 to your computer and use it in GitHub Desktop.
Save reniew/12b15662e4059a7c24b87488e7ca1a87 to your computer and use it in GitHub Desktop.
- 7. 사전 학습 모델
- 7.1 버트
- 버트의 모델
- 버트의 미세 조정
- 7.2 버트를 활용한 텍스트 분석
- 버트 파일 불러오기
- 버트 문장 전처리 진행하기
- 버트를 활용한 텍스트 분류 미세 조정
- 네이버 영화 리뷰 데이터 전처리하기
- 네이버 영화 리뷰 학습 준비하기
- 네이버 영화 리뷰 학습
- 네이버 영화 리뷰 테스트
- 버트를 활용한 한국어 추론 분야 미세 조정 적용하기
- KorNLI 데이터 분석
- KorNLI 데이터 전처리하기
- KorNLI 학습 준비
- KorNLI 학습 진행
- KorNLI 테스트 진행
- 버트 한국어 개체명 분석 미세조정 적용하기
- 한국어 개체명 인식 데이터 (KorNER) 데이터 탐색
- 데이터 불러오기
- 한국어 개체명 텍스트 분석
- 한국어 개체명 인식 데이터 전처리하기
- 한국어 개체명 인식 학습 진행하기
- 한국어 개체명 인식 테스트 진행하기
- 버트 한국어 텍스트 유사도 분야 미세조정 적용하기
- KorSTS 데이터 분석
- KorSTS 데이터 전처리하기
- KorSTS 학습 진행하기
- KorSTS 테스트 진행하기
- 버트 한국어 기계독해 분야 미세조정 적용하기
- KorQuAD 1.0 데이터 분석
- 데이터 불러오기
- 지문 텍스트 분석
- 지문 텍스트 어절 단위 길이 분석
- 지문 텍스트 버트 토크나이저 토큰 길이 분석
- 지문 텍스트 어휘 빈도 분석
- 질문 텍스트 분석
- 질문 텍스트 어절 토큰 길이 분석
- 질문 텍스트 버트 토크나이저 토큰 길이 분석
- 질문 텍스트 어휘 빈도 분석
- 학습 데이터 만들고 모델 학습 하기
- 7.3 GPT
- GPT1
- 모델 구조
- 사전 학습
- GPT2
- 모델 구조
- 학습 데이터 및 모델 크기
- 모델 입력
- 7.4 GPT2를 활용한 미세 조정 학습
- 7.4.1 GPT2를 활용한 언어 생성
- 사전 학습 모델 문장 생성
- 소설 텍스트 데이터 전처리하기
- 모델 학습
- 미세 조정 학습 결과 확인
- 7.4.2 GPT2를 활용한 텍스트 분류 적용
- 데이터 준비
- 모델 학습
- 모델 테스트
- 7.4.3 GPT2를 활용한 자연어 추론 적용
- 데이터 준비
- 모델 학습
- 모델 테스트
- 7.4.4 GPT2를 활용한 텍스트 유사도
- 데이터 준비하기
- 모델 학습
- 모델 테스트
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment