Как настроить локальную сеть когда wifi уже есть?

На самом деле все просто.
У вас и так уже есть сеть, т.к. вы выходите в инет через одно сетевое устройство, просто надо правильно назначить доступ к ресурсам.
Сделайте ваш принтер сетевым, на компе к которому он подключен в свойствах принтера выберите "Общий доступ" и включите его и сконфигурируйте.
В XP доступ из сети осуществлять или гостям или по реальным аккаунтам (одно из свойств в локальной политике безопасности). Т.е. если по гостевому, то учетная запись Гость должна быть активна и ей надо разрешть пользоваться принтером, но с точки зрения безопасности лучше использовать реальные аккаунты, и соответственно аккаунту с которым вы через сеть входите в комп должны стоять соответствующие разрешения на пользование принтером.
Все аналогично с разрешением доступа к папкам.
По поводу не соответствия вашего роутера - попробуйте поискать новую прошивку для него в которой данная проблема устранена, хотя все это ерудна, т.к. роутер всего лишь перенаправляет протоколы с ТиСиПи на ЮСБ, а они стандартные и от оборудования не зависят.