흔들리는 꽃들 속에서

https://rl-shampoo.tistory.com/9 에서 멀티프로세싱 프로그램을 만들었는데 subprocess 를 실행하는 부분이 syncronous 라 느렸다. async 하게 subprocess 를 실행할 방법이 없나 찾아봤더니 공식홈페이지에 내가 원하는 기능이 있는 듯해서 적용해보려한다. import asyncio async def run(cmd): proc = await asyncio.create_subprocess_shell( cmd, stdout=asyncio.subprocess.PIPE, stderr=asyncio.subprocess.PIPE) stdout, stderr = await proc.communicate() print(f'[{cmd!r} exited with {proc.re..

시나리오 모델 N 개를 train 한 뒤 모델의 best_metric 을 결과로 얻고 싶다. 방법1로 모델 N개를 만들고 방법2로 모델 N개를 만든다. => Process 를 2개 띄우고 각 process 마다 subprocess 를 N개 띄운다. 각각의 process 는 {model_name: metric, model_name2: metric} 형식으로 된 dict 를 반환한다. 또 각 모델의 latency 도 알고 싶다. mp.Process 2개에 Queue 를 하나씩 주고 각 process는 subprocess N개 를 실행하는 방식으로 구현했다. 코드는 아래와 같다. experiment.py 가 entrypoint 이다. experiment.py import multiprocessing as mp..

Pytorch 기준으로 EncoderLayer 는 src_mask, src_key_padding_mask 를 요구한다. DecoderLayer 는 tgt_mask, memory_mask, tgt_key_padding_mask, memory_key_padding_mask 를 요구한다. def forward(self, src: Tensor, src_mask: Optional[Tensor] = None, src_key_padding_mask: Optional[Tensor] = None) -> Tensor: Args: src: the sequence to the encoder layer (required). src_mask: the mask for the src sequence (optional). src_ke..

https://adsp.ai/articles/ Articles | Applied Data Science Partners Keep up to date with the latest tools and technologies through the ADSP blog. adsp.ai 알게 된 경로 - 알파제로 github 검색하다가(https://github.com/KerasKorea/KEKOxTutorial/blob/master/04_%ED%8C%8C%EC%9D%B4%EC%8D%AC%EA%B3%BC_%EC%BC%80%EB%9D%BC%EC%8A%A4%EB%A5%BC_%EC%9D%B4%EC%9A%A9%ED%95%9C_%EC%95%8C%ED%8C%8C%EC%A0%9C%EB%A1%9C_%EB%A7%8C%EB%93%A4%..

import argparse parser = argparse.ArgumentParser() parser.add_argument('--sample_flag', type=str, default=None) args = parser.parse_args() print(args.sample_flag)