Гой если хочешь можно отождествовать с термином кавказец. Т.е. совершенно нейтральный термин. Другое дело, что я слышал пренебрежительные высказывания типа - ну он гой что с него взять? В этом случае это просто характеризует этого человека и ничего более