Nazwa wsi Rajbrot pochodzi prawdopodobnie z języka niemieckiego i oznacza rumiany chleb. Parafia w wiosce powstała w roku 1260, dzięki księciu Bolesławowi Wstydliwemu i to właśnie on ufundował również modrzewiowy kościół.

Spichlerz, który pochodzi z przełomu XVIII i XIX wieku, znajdował się w kompleksie  przy kościele. Powstał z inicjatywy księdza referendarza Andrzeja Szymczakiewicza wraz z innymi budynkami. Przebudowano go w latach 50 - tych XX wieku. Usunięto go spod kościoła i przestawiono na obecne miejsce,  ustawiony jest za szkołą wybudowaną obok drewnianego kościoła.

Jest to budynek o konstrukcji zrębowej, parterowy, nakryty dwuspadowym dachem. Wzniesiony został na planie prostokąta i posadowiony na tak zwanych „peckach”, czyli kamieniach odgrywających rolę prymitywnej podmurówki. Jedyne pomieszczenie wewnątrz nakryte jest belkowym, otwartym stropem. Podłogę wykonano z desek położonych na grubych belkach – tak zwanych legarach.

Spichlerz w Rajbrocie znajduje się na Szlak Architektury Drewnianej w Małopolsce.