Počiatky tejto modlitby siahajú do 11. storočia, keď sa mnísi v kláštoroch modlili breviár, ktorého súčasťou bolo 150 žalmov. Nie všetci mnísi však vedeli čítať, preto sa ako náhradu modlili 150 otčenášov. Táto modlitba sa rozšírila z kláštorov aj medzi veriacich laikov a stala sa veľmi obľúbenou. Dokazuje to aj skutočnosť, že jedna ulica v Londýne sa v tom období volala Pater Noster Row. Už v 12. storočí v nej bývali ľudia, ktorí vyrábali pomôcku na túto modlitbu – zrnká spojené niťou do jedného celku.
V 12. storočí sa medzi rehoľníkmi a mníchmi objavujú veľkí mariánski ctitelia, medzi nimi najmä Bernard z Clairvaux. V tom čase boli otčenáše nahradené modlitbou Zdravas, Mária. Táto modlitba sa začala nazývať žaltárom Panny Márie, keďže sa skladala zo 150 zdravasov. Treba dodať, že v tomto storočí Zdravas pozostával len z prvej, biblickej časti. Až v 16. storočí pápež Pius V. schválil aj nám známu druhú časť.
Koncom 12. storočia a v priebehu ďalších dvoch storočí sa modlitba žaltára Panny Márie dostala trochu do úzadia. Ľudí trápili morové epidémie a aj v cirkvi bolo viacero problémov ako trojpápežstvo, avignonské zajatie a podobne.