В ответ на ваш вопрос, GCC под Linux будет отличным началом.

В то же время, если вы должны спросить, что вы могли бы хотеть серьезно переосмыслить то, что вы делаете. Crypto это одна из тех вещей, где даже люди с большим опытом может сделать безопасный криптосистема совершенно небезопасно, делая то, что кажется совершенно незначительным изменением. Для примера, проверьте историю DES, и как АНБ предположил, что некоторые из случайно выбранных коэффициентов изменить, не говоря почему; 15 лет спустя выясняется, что без внесения изменений DES был бы уязвим для определенного класса атак, которые просто не было известно о публично в то время.