여러 파이썬 프로세스가 경합하지 않고 결과를 올리면 모아두는 간단한 방법
조회수 380회
제법 큰 테이블 데이터를 대상으로 하는 작업이 있고, 10여개의 컬럼이 있는데, 이 중 5개씩 콤비네이션 해서 뽑아내고 거기에 대한 작업을 수행하고 있습니다.
이 결과물은
( 콤비네이션 조합 : 결과값(플로팅포인트 하나) )
( ("A","B","C","D","E" ) : 0.123 )
의 간단한 형태입니다.
프로세스를 나눠서 돌리는 것은 좋은데, 이 나뉜 프로세스의 결과값들을 한 곳에 모으려면 어떤 방법이 간단할까요? 순서는 무관합니다.
DB 띄우면 되나? 싶었는데 이건 간단하지 않군요.
쉬운 방법 추천 좀 부탁 드립니다.
1 답변
-
하나의 프로세스에서 여러 프로세스를 생성하여 처리하신다면, multiprocessing.Queue 사용해보시면 어떨까요?
https://docs.python.org/ko/3/library/multiprocessing.html#exchanging-objects-between-processes
댓글 입력