Я не так много программиста ATI / OpenCL, но я сделал немного программирования CUDA (см мой CUDA фрактал зритель), И есть много сходства между тем, как эти чипы хранения и доступ к памяти.  

Я не слишком хорошо знаком с кэшем L1-L3 на чипах - они, как правило, работают с каким-то глобальной памятью (числа, которое видит на коробке видеокарты), а затем в различных банках общей памяти и графических кэша. На большинстве аппаратных средств CUDA, есть 16-48kB совместно используемой памяти разделены между 256 потоков. Это быстро, как ад, но это не очень много памяти. Так как много программ потребуется больше общей памяти, чем, они должны использовать глобальную память в любом случае, и они до сих пор очень хорошо получать 5-100x ускорить над процессорами. С другой стороны, требующей GPU для хранения памяти в оперативной памяти, будет иметь катастрофические последствия. Он принимает как более 1000x время доступа к оперативной памяти, чем он делает свою собственную глобальную память (не цитируйте меня на это число).

Поэтому для того, чтобы разоружить графические процессоры от их доминирования, я считаю, что вам действительно нужно, чтобы заставить их превысить их глобальную емкость памяти. Вот что вы найдете в высоком классе машине с хорошим процессором и твердым GPU (взять 6970 для точности)

Процессор: 4 ядра, 8 Гб оперативной памяти (2 гигабайт/ Сердцевина)
ГПУ: 1600 ядер, 2 Гб оперативной памяти (1-2 мегабайт/ Сердцевина)

Проблема с хэширования является то, что она требует только пару кБ оперативной памяти, так что ничто не мешает ГПУ от удара полной занятости (максимум распараллеливания). Однако, если хеширование было заменено на операции, которая требуется 100 МБ ОЗУ для каждого потока, ГПУ будет только иметь возможность использовать 20/1600 ядра. Он никогда бы, вероятно, будет не лучше, чем процессор. Там же способы сделать это: вы можете заменить SHA256 (sha256 (а)) с того, чтобы последовательно окрошка строку 3000000 раз и сцепить все хэши в одну строку (требуется 100 МБ для хранения), а затем выполнить некоторые операции на этой строке что требует нити хранить все это в памяти сразу (хэширование может быть сделано в части, но есть и другие варианты, которые потребуют его).  

Каждый GPU поток должен был бы использовать глобальную память, и только 20 будет соответствовать. Вы можете также использовать ваш процессор (который, чьи четыре ядра, вероятно, быстрее, чем GPU, 20). 100 MB это хорошо, потому что много компьютеров может сэкономить 400 МБ оперативной памяти, не нанося вред компьютеру.