Whaley house juga merupakan rumah paling angker di Amerika. Bangunan itu dibangun pada 1857, di atas lokasi bekas kuburan dan tiang gantungan. Selama bertahun-tahun rumah angker itu ditinggali oleh berbagai penghuni seperti keluarga, dijadikan toko gandum, gedung pengadilan San Diego County, teater komersial pertama kota itu, tempat dansa, aula biliar, dan sekolah.
Konon, penghuni tertua rumah berhantu tersebut adalah seorang pencuri Yankee Jim Robinson, yang tewas digantung pada 1852. Tiang gantungan tersebut berdiri di atas lahan itu sebelum rumah tersebut dibangun.
Robinson tewas dengan mengerikan. Dia bersikeras bertahan di atas sebuah gerobak yang perlahan-lahan bergerak, sebelum akhirnya mengayun dan dicekik tali perlahan-lahan hingga tewas.
Setelah bertahun-tahun, lokasi tiang gantungan itu dibeli oleh seorang saudagar bernama Thomas Whaley. Whaley tetap membeli lahan tersebut meskipun dia ikut menyaksikan Yankee Jim tewas di tempat itu.
Namun, setelah beberapa minggu tinggal di lokasi tersebut keluarganya menyatakan mendengarkan suara langkah kaki, seakan berasal dari sepatu boot seorang pria besar. Selama lebih dari 100 tahun, suara langkah kaki misterius itu terus menggema di dalam rumah itu. Putri bungsu Whaley, yang menetap di bangunan itu hingga 1953 meyakini bahwa suara itu merupakan hantu Yankee Jim.
Setelah rumah tersebut dijadikan museum, pengunjung melaporkan sering mendengarkan suara hantu berjalan. Sementara yang lainnya mengatakan mereka melihat hantu keluarga Whaley dan hantu seorang wanita mengenakan rok panjang.
Penampakan lainnya di rumah hantu itu juga dilaporkan. Seperti seorang parapsikolog yang mengaku melihat sosok anjing berjalan di dalam rumah. Jenis anjing yang dipelihara Whaley.