Myślę, że warto od czasu do czasu wykasować cache, ale z umiarem. No i chyba warto zostawić niektóre z plików. Na przykład CSS-y. Ja osobiście czyszczę przeglądarkę, kiedy pamięć podręczna zrobi się zbyt przeładowana. Dajmy na to, po przekroczeniu 1 GB.