Насчет операционки - у linux каждый socket это open file. По умолчанию concurrent open file limit небольшой (1024 вроде как). Но можно отконфигурить и на больше.

У windows - в регистри зашит предел открытых портов с одного IP. Тоже конфигурится.