-
18845635368
我训练的时候需要读取的是一个个1.7M小的数据,这样就会使得IO成为我训练时间的瓶颈,在pytorch有没有办法向TF.record一样先将小文件组成一个类似数据库文件的形式进行读取?
或者还有没有什么好的解决方案?请各位大佬指教!
我训练的时候需要读取的是一个个1.7M小的数据,这样就会使得IO成为我训练时间的瓶颈,在pytorch有没有办法向TF.record一样先将小文件组成一个类似数据库文件的形式进行读取?
或者还有没有什么好的解决方案?请各位大佬指教!