[Data Processing] 동의어(유의어) 교체를 통한 데이터 증강(Data Augmentation) 스크립트 작성

🍙 동의어(유의어) 교체 기법을 사용한 데이터 증강 스크립트

1️⃣ 파이썬 패키지 관리자인 pip를 사용하여 konlpy 패키지 설치

!pip install konlpy

※ konlpy 란?

konlpy는 한국어 자연어 처리를 위한 패키지로 형태소 분석와 품사 태깅, 구문 분석 등의 기능을 제공한다.
konlpy를 설치하면 시 다양한 한국어 자연어 처리 작업에 유용한 클래스와 함수를 사용할 수 있다.

2️⃣ 파이썬 패키지 관리자인 pip를 사용하여 nltk 패키지 설치

!pip install nltk

※ NLTK 란?

NLTK는 Natural Language Toolkit의 약자로, 자연어 처리(Natural Language Processing, NLP) 작업에 사용되는 오픈 소스 파이썬 라이브러리이다.
NLTK를 사용하면 문장 토큰화나 형태소 분석, 구문 및 의미 분석 등 다양한 자연어 처리 관련 작업을 수행할 수 있다.

3️⃣ Konlpy 패키지에서 Komoran 클래스 import + nltk 패키지에서 wordnet 데이터 다운로드

from konlpy.tag import Komoran
from nltk.corpus import wordnet
import random

import nltk
nltk.download('wordnet')

Komoran 클래스	wordnet	random 모듈
한국어 형태소 분석 도구 제공	영어 동의어 사전	랜덤한 동작 수행을 위한 모듈

4️⃣ 주어진 단어의 동의어(유의어)를 가져오는 get_synonyms 함수 구현

def get_synonyms(word):
    # 주어진 단어의 동의어(유의어)를 가져오기
    synonyms = []
    for syn in wordnet.synsets(word):
        for lemma in syn.lemmas():
            synonyms.append(lemma.name())
    if word in synonyms:
        synonyms.remove(word)
    return list(set(synonyms))

ⓐ wordnet.synsets(word)를 사용하여 WordNet에서 주어진 단어의 동의어 집합인 "synset" 가져오기

-->  각각의 synset은 해당 단어의 의미와 관련된 단어 그룹을 나타냄

 

ⓑ 각 synset의 lemmas() 메서드를 사용하여 동의어(lemma)를 가져오기

-->  lemmas() 메서드는 synset에 속하는 단어들의 객체 반환

ⓒ 원본 단어가 동의어 리스트에 포함되어 있을 경우 제거

-->  중복 동의어 제거를 위해 list(set(synonyms)) 사용

5️⃣ 단어를 랜덤하게 동의어로 교체하는 replace_with_synonym 함수 구현

def replace_with_synonym(text, p=0.5):
    """
    주어진 텍스트에서 일부 단어를 랜덤하게 동의어로 교체
    """
    words = Komoran().morphs(text)
    new_words = []
    for word in words:
        if random.uniform(0, 1) < p:
            synonyms = get_synonyms(word)
            if synonyms:
                new_words.append(random.choice(synonyms))
            else:
                new_words.append(word)
        else:
            new_words.append(word)
    return ' '.join(new_words)

ⓐ 함수 내부에서 Komoran().morphs(text)를 통해 입력된 텍스트를 형태소 단위로 분할

-->  텍스트를 단어 단위로 처리

 

ⓑ 각 단어를 순회하며 random.uniform(0, 1)을 통해 확률 p와 비교

-->  p는 단어를 동의어로 교체할 확률을 지정하는 매개변수

ⓒ 확률 p보다 작은 값이 나온 경우, 해당 단어의 동의어 가져오기

-->  get_synonyms(word) 함수를 사용하여 주어진 단어의 동의어 리스트 확보

 

ⓓ 동의어 리스트 존재 여부에 따라 단어 처리

동의어 리스트 존재 O	동의어 리스트 존재 X
동의어 리스트에서 랜덤하게 하나의 동의어 선택	원래 단어 그대로 사용

6️⃣ 텍스트 데이터 증강 결과 출력

# 텍스트 데이터
text = "증강하고자 하는 데이터"

# 데이터 증강 적용
augmented_data = []

# 원본 데이터 추가
augmented_data.append(text)

# 동의어 교체
augmented_data.append(replace_with_synonym(text))

# 결과 출력
for data in augmented_data:
    print(data)

※ 영어 data 증강은 성공, 한국어 데이터 증강은 모듈 호환성 문제로 아직 시도 중!