あの魔法に名前はないようです。
リリーは何かの呪文を唱えたわけではありません。
「自分は死んでもいいから息子は助かってほしい」という一念が魔法として働き、アバダケダブラを跳ね返しました。
無意識にかけた魔法ですから、「どうすればその魔法を使えるか」という質問への答えはありません。強いて言えば、あの時のリリーと同じ気持ちになれば同じ魔法を使えるでしょう。
ヴォルデモート一派に殺された人はたくさんいますが、幼子を目の前で殺されるという体験をした親はほかにいなかったのだろうと思います。
一家皆殺しの場合でも、まず抵抗する大人を殺してから、こどもも片付けたことでしょう。
しかしハリーの場合は、ヴォルデモートの狙いはハリーでした。ハリーを狙った時のヴォルデモートはリリーに、「どけ、バカな女め、さあ、どくんだ」と言っています(「アズカバンの囚人」9章)。つまり、リリーまで殺すつもりはなかったんですね。でも抵抗され、結局はリリーを先に殺しました。この時、息子を思うリリーの愛情が無意識の魔法となってヴォルデモートの呪文をはね返し、その後もハリーを守り続けていたのです。
もしヴォルデモートがまずネビルを狙っていたら、ネビルの母アリスも、やはり同じ魔法でネビルを守ったことでしょう。