彼に断られた。
He said no.
「断る」は「say no」が一番よく使われます。「refuse」、「reject」そして「turn 人 down」よりもずっと一般的です。
たとえば
What if he says no?
（彼に断られたらどうしよう！）
Just say no.
（断っちゃえばいいじゃん）
そして、日本語が「断られた」と受動態だからといって「英語も受動態にしなきゃ」ということはまずありません。「I was told no by him.」なんて言わずに
「He said no.」と言います。
シンプル・イズ・ベストです！
