DockerでtensorflowGPUのプログラムを動かしてたらある時期からエラーとなってしまいました。
ログを見るとnvidiaのドライバーのバージョン違いらしきログが・・・。
1 2 3 4 5 6 7 8 9 |
E tensorflow/stream_executor/cuda/cuda_driver.cc:491] failed call to cuInit: CUDA_ERROR_NO_DEVICE I tensorflow/stream_executor/cuda/cuda_diagnostics.cc:153] retrieving CUDA diagnostic information for host: xxxxxxxxxxxx I tensorflow/stream_executor/cuda/cuda_diagnostics.cc:160] hostname: xxxxxxxxxxxx I tensorflow/stream_executor/cuda/cuda_diagnostics.cc:185] libcuda reported version is: 367.57.0 I tensorflow/stream_executor/cuda/cuda_diagnostics.cc:356] driver version file contents: """NVRM version: NVIDIA UNIX x86_64 Kernel Module 375.39 Tue Jan 31 20:47:00 PST 2017 GCC version: gcc version 5.4.0 20160609 (Ubuntu 5.4.0-6ubuntu1~16.04.4) """ I tensorflow/stream_executor/cuda/cuda_diagnostics.cc:189] kernel reported version is: 375.39.0 E tensorflow/stream_executor/cuda/cuda_diagnostics.cc:296] kernel version 375.39.0 does not match DSO version 367.57.0 -- cannot find working devices in this configuration |
nvidiaのドライバーとcudaを再インストールしてみたけど、事象は同じです。
このままでもCPUをしようしてtensorflowが動くけど遅い・・・・。
時間を見つけて解決せねば。