В русских источниках словом "грек" именовался именно обитатель того, что мы сейчас именуем Византийской империей. Соответственно греческий язык и даже гречневая каша. Еще их называли ромеями или римлянами, но никак и никогда не византийцами.
Это уж когда в 19 в. утвердилась современная традиция называть жителей Рима Италийского не италиками, а римлянами, пришлось как-то выкручиваться и сооружать "византийцев".