彼氏に「結婚願望がない」と言われたらどうしますか？

29歳女です。10歳年上の彼氏のことで悩んでいます。
彼は5年前に前妻と離婚し、子なしのバツイチです。元奥さんがかなり束縛のきつい人だったらしく、それが原因で結婚に良いイメージを持てないようです。私とお付き合いを始めるときも「僕は結婚願望がないからそれでもいいなら」といわれました。
交際を始めた当初はあまり深く考えていなかったのですが、私も年齢的にそろそろ結婚や出産のことが気になり始め、このまま彼とお付き合いを続けてもいいのか悩んでいます。
この前彼に「友達の赤ちゃんがすごくかわいかった！子どもっていいよねぇ」という話をした際も、「僕も子どもは好きだけど、結婚はもうしたくないから」といわれ、「そうだよね、わかってるよ」と答えたものの、内心ショックでした。
結婚願望のない彼を変えるのは難しいでしょうか。。まだ彼と一緒にいてもいいのか、次に行くべきなのか、答えが出ず悩んでいます。