반응형
데이터 추출
-
데이터 추출과 삽질,,, 과정 기록 / python multi-threadingProgramming/Python 2023. 5. 1. 16:20
너무너무 무식한 과정들을 거쳐서 부끄럽지만,,그래도 기록 멀티 프로세싱, 멀티 스레딩은 더 공부해보기 1️⃣ 개요 회사에서 진행 중인 프로젝트 과정 중에 성능시험을 위해 20만개 정도의 데이터를 추출해야 할 일이 생겼다. 정확히 말하면 계정을 생성하고, 각 계정에 해당하는 토큰을 발급 받아 두어야 하는 과정이 있었다. 계정 발급은 API를 통해서만 만들 수 있었기 때문에 계정을 발급하는 과정을 script를 이용해 만들어 두었었다. 2️⃣ 첫 번째 시도 맨 처음에는 정말 단순 무식하게 20만개를 차근차근 하나씩 돌렸다 ㅋㅋ….. 스크립트 자체를 0 ~ 20만까지 for 문을 돌려서 만들려고 시도를 했다. 정말 미친짓이었고 이렇게 돌리다가는 이틀 밤을 새도 다 안돌아갈 지경이었다. 3️⃣ 두 번째 시도 휴..