Primeiramente verifique o Index na imagem da ISO da instalação do modo grafico.
Get-WindowsImage -ImagePath d:\sources\install.wim
Agora nos Vamos instalar a Feature com o comando
Install-WindowsFeature Server-Gui-Mgmt-Infra,Server-Gui-Shell -Source wim:d:\sources\install.wim
Aguarde até finalizar a instalaçaodepois reinicie o server core e a instalação esta finalizada.
Para remover o modo gráfico digite o comando abaixo
Uninstall-WindowsFeature Server-Gui-Mgmt-Infra,Server-Gui-Shell