[Data Processing] 문장 재구성을 통한 데이터 증강(Data Augmentation) 스크립트 작성

🌨️ 문장 재구성 기법을 사용한 데이터 증강 스크립트

1️⃣ random 모듈 가져오기 + 문장 재구성 함수 sentence_rearrangement 구현

import random

def sentence_rearrangement(sentence):
    words = sentence.split()  # 문장을 단어로 분리
    random.shuffle(words)  # 단어의 순서를 무작위로 섞음
    new_sentence = ' '.join(words)  # 단어들을 다시 문장으로 조합
    return new_sentence

※ random 모듈이란?

random 모듈은 파이썬에서 제공하는 내장 라이브러리로, 난수 생성 및 관리 기능을 제공한다.
이 모듈을 사용하면 다양한 난수 생성과 무작위 요소 선택, 시퀀스 섞기 등 다양한 무작위성 요소를 다룰 수 있다.

 

sentence_rearrangement() 함수

1. split() 함수를 통해 입력받은 문장을 단어 단위로 분리  -->  결과는 words 변수에 저장

2. random.shuffle() 함수를 사용하여 words 리스트 내의 단어들의 순서를 무작위로 재구성

3. join() 함수를 사용하여 재구성된 단어들을 다시 하나의 문장으로 조합  -->  조합된 문장은 new_sentence 변수에 저장

4. new_sentence 변수에 저장된 재구성 문장 반환

2️⃣ 증강할 텍스트 데이터 설정 후 데이터 증강 실행

# 증강할 문장
original_sentence = "저희 검찰로 오셔서 간단한 조사를 받으셔야 하는데 혹시 오시는데 시간이 얼마나 걸리시죠?"

# 문장 재구성을 통한 데이터 증강
augmented_sentences = []
for _ in range(5):  # 5개의 재구성된 문장 생성
    augmented_sentence = sentence_rearrangement(original_sentence)
    augmented_sentences.append(augmented_sentence)

 

original_sentence 변수	증강할 원본 텍스트 데이터(문장) 저장
augmented_sentences 리스트	증강된 문장들을 저장하기 위한 공백 리스트

 

for 루프

1. sentence_rearrangement() 함수 호출

2. original_sentence 재구성

3. 증강된 문장을 augmented_sentences 리스트에 추가

3️⃣ 증강 결과 출력

# 결과 출력
print("원본 문장:", original_sentence)
print("증강된 문장:")
for sentence in augmented_sentences:
    print(sentence)

 

---

 

🌨️ 데이터 증강 스크립트 코드 전문

import random

def sentence_rearrangement(sentence):
    words = sentence.split()  # 문장을 단어로 분리
    random.shuffle(words)  # 단어의 순서를 무작위로 섞음
    new_sentence = ' '.join(words)  # 단어들을 다시 문장으로 조합
    return new_sentence

# 증강할 문장
original_sentence = "저희 검찰로 오셔서 간단한 조사를 받으셔야 하는데 혹시 오시는데 시간이 얼마나 걸리시죠?"

# 문장 재구성을 통한 데이터 증강
augmented_sentences = []
for _ in range(5):  # 5개의 재구성된 문장 생성
    augmented_sentence = sentence_rearrangement(original_sentence)
    augmented_sentences.append(augmented_sentence)

# 결과 출력
print("원본 문장:", original_sentence)
print("증강된 문장:")
for sentence in augmented_sentences:
    print(sentence)

 

원본 문장: 저희 검찰로 오셔서 간단한 조사를 받으셔야 하는데 혹시 오시는데 시간이 얼마나 걸리시죠?
증강된 문장:
혹시 저희 시간이 조사를 얼마나 간단한 걸리시죠? 오시는데 받으셔야 오셔서 검찰로 하는데
받으셔야 검찰로 혹시 저희 오셔서 조사를 오시는데 간단한 시간이 하는데 얼마나 걸리시죠?
받으셔야 검찰로 간단한 혹시 조사를 오시는데 시간이 걸리시죠? 얼마나 오셔서 하는데 저희
걸리시죠? 오시는데 시간이 혹시 검찰로 간단한 얼마나 받으셔야 저희 오셔서 조사를 하는데
하는데 혹시 간단한 검찰로 시간이 얼마나 오시는데 받으셔야 오셔서 저희 조사를 걸리시죠?