diff --git a/esphome/components/esp_adf/esp_adf.cpp b/esphome/components/esp_adf/esp_adf.cpp
index 97c4181410..d6f3a1cc64 100644
--- a/esphome/components/esp_adf/esp_adf.cpp
+++ b/esphome/components/esp_adf/esp_adf.cpp
@@ -3,7 +3,9 @@
 
 #ifdef USE_ESP_IDF
 
+#ifdef USE_ESP_ADF_BOARD
 #include <board.h>
+#endif
 
 #include "esphome/core/log.h"