Warum sagen wir "auf dem Holzweg"?

Ein schönes Sprichwort ist "auf dem Holzweg". Aber woher kommt es? Im Mittelalter waren in großen Städten zumindest die Hauptverkehrswege oft aus Holz. Da könnte es einen Zusammenhang geben - gibt es aber nicht.