По мне эт как в той поговорке...на вкус и цвет товарищей нет....Все индивидуально и зависит от наших характеров, восприятия и т.п.
У нас разница с супругой 5 с небольшим лет...так вот она ушла к более старшему мужчине... 
ну, тут еще в чем дело... ведь можно судить с точки зрения жизни здесь и сейчас. Тогда действительно похрен на разницу в возрасте, если вам обоим хорошо.
А если как-то задумываться о будущем, а к чему это вас обоих приведет и не будет ли кто-то потом сожалеть об этом... то уже не так все однозначно, и я бы лично за себя уверенности не дал, что не разочаруюсь в таких отношениях через N-ное количество лет.
Более того скажу, многие люди разочаровываются в отношениях через N-ное количество лет и безо всякой разницы в возрасте, и по большому счету ни за какие отношения поручиться нельзя заранее, неизвестно каким боком жизнь повернется. А здесь по сути дела, ввязываясь в такие отношения, ты заранее сознательно себе в будущем создаешь дополнительный огромный фактор риска. И хорошо, если еще не вляпался по уши в эти отношения и осталась какая-то возможность об этом подумать и сделать выбор.