зачем программам нужна оптимизация под многоядерные процессоры ?

Ну так все правильно, за оптимизацию потоков и процессов отвечает операционная система. А программы нужно оптимизировать чтоб они работали в этом самом многопоточном режиме. К примеру если программа создает 20 потоков то система сама с ними разбирается в каком порядке из запускать и выполнять, а если программа работает на одном потоке то ни о какой оптимизации речи не идет.

А как ты заставишь программу которая работает в единственном цикле работать на всех ядрах? Перекидывать с процессора на процессор - так там выигрыша около нуля.

Раньше производители увеличивали частоту процессора, и написав однажды программу, программист мог спокойно попивать кофе и смотреть как с каждым новым процессором она работает все быстрее и быстрее.
Сейчас же разработчики микропроцессоров достигли верхнего предела на увеличения частоты ядра процессора (это связано с некорректной работай полупроводников при высоком тепловыделении процессора) и теперь увеличивать частоту уже не получается. Ученые почесали затылки и придумали: а зачем нам гнаться за частотами, давайте в одном процессоре делать несколько ядер и таким образом мы будем увеличивать производительность процессора. Так и стали делать.
И теперь если программе не хватает "мощности" одного ядра, то программист больше не может рассчитывать, но то, что "мощность" этого ядра будет выше у следующей модели процессора (так не будет), но зато он может рассчитывать на то, что в новом процессоре будет больше ядер. И теперь, чтоб ускорить свою программу он просто вынужден уметь использовать многоядерную архитектуру.