Доброй ночи,у меня такой вопрос,скажите если отослать письмо(форму)обратной связи с vds,то в заголовках писем будет имя моего сайта с какого было отправлено письмо?Или будет указан у кого арендован vds?

вашего VPS. плюс хорошо бы прописать реверс зону для ай-пи адреса VPS.

Не понятно формулировка вашего vps?Тоесть допустим мой_логин.rustelekom.ru?Или будут в письмах только мои заголовки?Например moysait.ru?

поскольку это ваш впс - что он будет показывать зависит от вас. например он может прикидываться my.microsoft.com
что от вас не зависит, а зависит от вашего провайдера это то, что будет показываться при трейсроуте до вашего ай-пи - например tracert 124.12.12.12 может показать youlogin.yourhost.com - это и есть реверс зоны и его надо изменять соответсвенно чтобы он соовтетствовал hostname вашего ВПС (то есть в данном случае my.microsoft.com)

Касательно почты стоит еще добавить, что в поле "От" ("From") может быть указан абсолютно любой адрес - это можно задать в заголовках при отправке писем из скриптов, или, например, с помощью ключа -f в sendmail.
Кроме этого поля естественно в заголовках будет и IP-адрес сервера-отправителя - это уже и будет адрес Вашего vps, вот для него уже, как правильно заметил rustelekom, необходимо прописать свой собственный обратный ДНС, а по-умолчанию, как правило, это имя выдается в виде какого-то поддомена хостера, у которого взят vps.