Что в первую очередь стоит улучшить в компе для работы в After Effects

Лучше и память и проц. Хотя у Вас есть еще запас по мощности проца, а оперативки ну впритык вообще. Ее нарастить надо бы.

В первую очередь нужно было брать процессор серии i7. Это тот же кристалл, что и ваш i5, но в нём разблокирован HyperThreading (виртуальное удвоение ядер!). Для игрушек это бесполезно, но при видеомонтаже, рендеринге и особенно кодировке видео, это ускоряет процесс В ДВА РАЗА при прочих равных!
Сейчас лучшее, что можно воткнуть в вашу материнку, это Core-i7 2600(K)
Буква К на конце маркировки - это возможность разгона. Но тогда материнка должна быть обязательно из серии Z (чипсет Z68 в вашем случае).

>Оператива 4 (2 планки по 2)
Для серьёзного проекта в AE не хватит. Нужно 8-16гб. Обязательно ставить пару ОДИНАКОВЫХ планок. А вот для кодирования видео при финальном рендеринге память особо и не при делах. Тут узкое место - сам видеокодек. А ему важна только скорость процессора + скорость памяти (объём памяти по боку)!
Для скорости вычислений нужна БЫСТРАЯ память. У меня вместе с процессором i7-2600 стоит 16гб оперативки на 1866мгц при таймингах 9-9-9-27
Это нормальная память для такой машинки.
Для современных процессоров Haswell материнки на чипсете Z87 поддерживают память до 3000мгц. Её ещё даже в продаже нет.
Короче, чем быстрее, тем лучше!