我训练的时候需要读取的是一个个1.7M小的数据,这样就会使得IO成为我训练时间的瓶颈,在pytorch有没有办法向TF.record一样先将小文件组成一个类似数据库文件的形式进行读取?
或者还有没有什么好的解决方案?请各位大佬指教!
-
Pytorch上碰到的IO问题(多卡)
-
刘看山 |
@18845635368 你这个可以直接用dataloader多开几个线程啊,本身几万张图片不就是这样读的吗?
Pytorch上碰到的IO问题(多卡)
我训练的时候需要读取的是一个个1.7M小的数据,这样就会使得IO成为我训练时间的瓶颈,在pytorch有没有办法向TF.record一样先将小文件组成一个类似数据库文件的形式进行读取?
或者还有没有什么好的解决方案?请各位大佬指教!
@18845635368 你这个可以直接用dataloader多开几个线程啊,本身几万张图片不就是这样读的吗?