Skip to content

Instantly share code, notes, and snippets.

@reniew
Created August 17, 2020 07:06
Show Gist options
  • Save reniew/20fa2ec6e1bdc5dde1c47af9efa7ed6f to your computer and use it in GitHub Desktop.
Save reniew/20fa2ec6e1bdc5dde1c47af9efa7ed6f to your computer and use it in GitHub Desktop.
- 7. 사전 학습 모델
- 7.1 버트
- 버트의 모델
- 버트의 미세 조정
- 7.2 버트를 활용한 미세 조정
- 버트 파일 불러오기
- 버트 문장 전처리 진행하기
- 7.2.1. 버트를 활용한 텍스트 분류 미세 조정
- 네이버 영화 리뷰 데이터 전처리
- 네이버 영화 리뷰 모델 학습
- 네이버 영화 리뷰 모델 테스트
- 7.2.2 버트를 활용한 한국어 자연어 추론 미세 조정
- KorNLI 데이터 분석
- KorNLI 데이터 전처리
- KorNLI 모델 학습
- KorNLI 모델 테스트
- 7.2.3 버트 한국어 개체명 분석 미세 조정
- KorNER 데이터 분석
- 데이터 불러오기
- 한국어 개체명 텍스트 분석
- KorNER 데이터 전처리
- KorNER 모델 학습
- KorNER 모델 테스트
- 7.2.4 버트 한국어 텍스트 유사도 미세 조정
- KorSTS 데이터 분석
- KorSTS 데이터 전처리
- KorSTS 모델 학습
- KorSTS 모델 테스트
- 7.2.5 버트 한국어 기계독해 미세 조정
- KorQuAD 1.0 데이터 분석
- 데이터 불러오기
- 지문 텍스트 분석
- 지문 텍스트 어절 단위 길이 분석
- 지문 텍스트 버트 토크나이저 토큰 길이 분석
- 지문 텍스트 어휘 빈도 분석
- 질문 텍스트 분석
- 질문 텍스트 어절 토큰 길이 분석
- 질문 텍스트 버트 토크나이저 토큰 길이 분석
- 질문 텍스트 어휘 빈도 분석
- KorQuAD 1.0 데이터 전처리하기
- KorQuAD 1.0 학습 진행하기
- KorQuAD 1.0 테스트 진행하기
- 7.3 GPT
- GPT1
- 모델 구조
- 사전 학습
- GPT2
- 모델 구조
- 학습 데이터 및 모델 크기
- 모델 입력
- 7.4 GPT2를 활용한 미세 조정
- 7.4.1 GPT2를 활용한 언어 생성
- 사전 학습 모델 문장 생성
- 소설 텍스트 데이터 전처리하기
- 모델 학습
- 미세 조정 학습 결과 확인
- 7.4.2 GPT2를 활용한 텍스트 분류 미세 조정
- 네이버 영화 리뷰 데이터 전처리
- 네이버 영화 리뷰 모델 학습
- 네이버 영화 리뷰 모델 테스트
- 7.4.3 GPT2를 활용한 한국어 자연어 추론 미세 조정
- KorNLI 데이터 전처리
- KorNLI 모델 학습
- KorNLI 모델 테스트
- 7.4.4 GPT2를 활용한 텍스트 유사도 미세 조정
- KorSTS 데이터 전처리
- KorSTS 모델 학습
- KorSTS 모델 테스트
@Taekyoon
Copy link

7.4.1에 모델학습 제목 소설 텍스트 미세 조정 모델 학습으로 변경하겠습니다.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment