http://www.apachefriends.org/jp/xampp-windows.html
ここからインストーラー付きのをダウンロードするのが一番楽。ただし普段は起動したくないのであればzipアーカイブをダウンロードするのがおすすめ。
http://www.apachefriends.org/jp/xampp-windows.html#2605
公式サイトに「セットアップせずにXAMPPを起動したい」との丁寧な説明がある。この指示に従いドライブの直下(c:\xamppなど)に配置すればOK