Фразеологический словарь русского литературного языка. Фёдоров А. И.
Фиг с ним (с тобой и т. п.)
Грубо-прост. Полностью, совершенно утрачен интерес к кому-либо или чему-либо. — А я и не говорю ничего. Что теперь говорить-то? Главное, чтобы совесть была чиста. Но в данном случае совесть вообще ни при чём. Кто он тебе? Брат? Сват? Никто. Чужой мужик, да и слепой ещё, фиг с ним (Н. Евдокимов. Сёстры).