Возможно ли ограничение в родительских правах?

Здравствуйте,мы с супругом в разводе с января этого года я ушла к другому мужчине,у нас маленькая дочь(2года) она живет со мной на алименты я не подала.Первое время бывший супруг брал ее на день,два и она пугалась не шла к нему на руки плакала когда ее увозили от меня,по возвращению она тоже вела себя необычно,много плакала и словно пугалась всего.Сейчас он уехал работать в другой город все наладилось,но я переживаю что он вернувшись через 3мес будет требовать ее или забирать без предупреждения с сада,вымещать на нее злобу из-за меня.Он уже долгое время курит траву и играет в компьютерные игры(танки)у него неуровнавешенная психика он разбивал два компьютера и бил меня последние месяцы до разрыва.Что мне делать?как его ограничить а лучше оградиться от этого человека?я даже на алименты не подаю лишь бы не трогал нас