AI&ML/부스트캠프 기록

[Pytorch] RuntimeError: DataLoader worker is killed by signal: Bus error.

오류 RuntimeError: DataLoader worker (pid 26847) is killed by signal: Bus error. It is possible that dataloader's workers are out of shared memory. Please try to raise your shared memory limit. Dataloader에서 num_workers > 1일 때 multi-process를 사용해서 데이터를 로딩한다. 이때 shared memory 위에서 데이터 로딩이 진행되는데 num_workers가 많을수록 더 많은 메모리가 필요하다. 위 오류는 필요한 메모리에 비해 shared memory가 적을 때 발생한다. 해결방법 가장 쉬운 방법은 shared memory를 ..