[Data Processing] 1. 음성 데이터 수집을 위한 웹 크롤링 스크립트 작성

🥙 음성 데이터 수집을 위한 웹 크롤링 스크립트 작성

 

 

 머신 러닝을 위한 데이터셋을 확보하는 과정에서 다운받아야 할 파일의 수가 많아, 자동으로 음성 파일들을 다운로드할 수 있는 웹 크롤링 스크립트를 작성하였다. 생성한 스크립트는 아래 2가지의 요소를 반영하도록 작성되었다.

 

• 다운로드 시 다운될 파일의 이름을 지정할 수 있도록 함
• 파일을 다운로드 시 데이터가 저장될 위치를 설정할 수 있도록 함

 

 아래는 작성한 크롤링 스크립트와 작성한 코드에 대한 설명이다.

 

Download_VoiceFiles.py

0.00MB

 

from selenium import webdriver 
from selenium.webdriver import ActionChains
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
import time
import requests
from bs4 import BeautifulSoup

 

1. selenium 패키지에서 필요한 모듈들을 import

 

webdriver	웹 브라우저 제어를 위한 클래스
ActionChains	마우스 및 키보드 동작 모방을 위한 클래스
Keys	특수 키 제어를 위한 클래스
By0	웹 요소를 찾기 위한 방법 지정을 위한 클래스

 

 

2. 일시적인 딜레이를 주기 위한 time 모듈 import

 

 

3. 웹 페이지의 내용을 가져오기 위한 requests 모듈 import

 

 

4. HTML & XML 문서 파싱과 검색을 위한 BeautifulSoup 라이브러리 가져오기

browser = webdriver.Chrome('./chromedriver.exe')
url = 'https://www.fss.or.kr/fss/bbs/B0000207/
       list.do?menuNo=200691&bbsId=&cl1Cd=&pageIndex=16&sdate=
       &edate=&searchCnd=1&searchWrd='
browser.get(url)

 

5. webdriver 모듈에서 Chrome 클래스를 사용하여 Chrome 브라우저를 제어하기 위한 드라이버를 생성

 

 

6. ./chromedriver.exe는 Chrome 드라이버의 파일 경로

-->  해당 파일은 Chrome 브라우저와 Selenium이 상호 작용할 수 있도록 해주는 역할을 함

 

 

7. url 변수에 스크래핑하고자 하는 웹 페이지의 URL값 저장

 

 

8. browser 객체의 get 메서드를 사용하여 브라우저를 해당 URL로 이동

-->  이를 통해 Selenium이 브라우저를 제어하고, 지정된 URL에 접속할 수 있게 됨

 

 

+ 8번까지의 코드를 실행하면 Selenium을 통해 Chrome 브라우저가 열리고, 지정된 URL로 이동하게 된다.

위 글자가 출력되어야 함

 

 

+ 위 코드를 실행 시 아래와 같은 경고가 발생할 수 있는데, 이는 무시해도 무관하다.

act = ActionChains(browser)
lst = []

 

9. ActionChains 클래스의 browser 객체를 이용하여 act 객체 생성

--> ActionChains Class

: 브라우저에서 수행할 동작들을 정의하고 제어하기 위한 클래스

 

 

10. 음성 파일의 URL을 저장할 리스트인 lst 생성

from selenium.webdriver.common.by import By

for i in range(1, 10):
    try:
        element = browser.find_element(By.CSS_SELECTOR, 
                                       f'#content > div.bd-list > table > tbody
                                       > tr:nth-child({i}) > td.title > a')
        act.click(element).perform()
        time.sleep(2)
        target_element = browser.find_element(By.CSS_SELECTOR,
                                              '#content > div.bd-view > div > video')
        audio_url = target_element.get_attribute("src")
        lst.append(audio_url)
    except NoSuchElementException:
        print(f"Element not found for row {i}. Skipping...")
    finally:
        browser.back()
        time.sleep(2)

 

11. for 루프를 사용하여 특정 범위의 행에 대해 아래 행위를 반복

 

• find_element 메서드를 통해 CSS 선택자로 웹 요소 탐색
• act.click(element).perform() 을 통해 찾은 요소 클릭
• time.sleep(2) 를 통해 2초 동안 대기
• target_element.get_attribute("src")를 사용하여 동영상 요소의 속성에서 음성 파일 URL 가져오기
• 가져온 URL을 lst 리스트에 추가
• browser.back()을 통해 이전 페이지로 되돌아가기
• time.sleep(2) 를 통해 2초 동안 대기

 

+ 만약 NoSuchElementException 예외가 발생할 경우, 해당 행이 없다는 메시지를 출력하고 해당 순서를 스킵함

+ 11번 코드까지 실행했을 경우, 아래와 같이 브라우저가 지속적으로 제어된다.

수사기관 사칭형(검찰, 경찰 등)(상세) _ 그놈 목소리 _ 보이스피싱 체험관 _ 보이스피싱 사전예방 _ 보이스피싱지킴이 _ 민원·신고 _ - Chrome 2023-05-24 16-11-02.mp4

15.48MB

 

print(lst)

import os
import requests

# 저장할 경로 설정
save_directory = "./Voice_FIles_Stored_Here"

# 저장할 디렉토리가 없다면 생성
if not os.path.exists(save_directory):
    os.makedirs(save_directory)

i = 10
for url in lst:
    response = requests.get(url)
    file_path = os.path.join(save_directory, f'{i}.mp3')
    with open(file_path, 'wb') as file:
        file.write(response.content)
        i += 1


browser.quit()

 

12. print(lst)를 통해 수집한 음성 파일의 URL 출력

 

 

13. save_directory 변수에 음성 파일을 저장할 경로를 지정

+ 만일 경로가 존재하지 않을 경우 path 생성

 

 

14. for 루프를 사용하여 lst에 저장된 음성 피일의 URL에 대해 아래 과정 반복

 

• requests.get(url)을 사용하여 해당 URL로 GET 요청 전송
• 수령한 응답을 response 변수에 저장
• file_path 변수에 저장할 파일명과 저장 경로를 지정
• os.path.join() 함수를 이용하여 save_directory 와 파일명(변수 i 의 값)을 결합
• open(file_path, 'wb')를 사용하여 파일을 쓰기 모드로 Open  -->   'wb'은 파일을 이진 모드로 열기 위한 플래그
• file.write(response.content)를 사용하여 응답의 내용을 파일에 작성

 

 

15. 모든 작업이 끝나면 browser.quit() 메서드를 통해 Selenium WebDriver 종료

 

 

 

위 코드를 모두 수행하면, 파일의 저장 경로인 Voice_FIles_Stored_Here 파일에 데이터들이 정상적으로 저장되었음을 확인할 수 있다.