Контекстно-свободная грамматика тривиальна, просто стечение лексических элементов (алфавит символов). Все выразительная сила содержится в контексте (в данном случае, содержимое стеков). Это эквивалентно простой RPN (обратная польская нотация) калькулятор, она даже не использовать круглые скобки для неоднозначности порядка операций.

Так как вы уже упоминали "университетский курс": Формальные языки не являются хорошим инструментом для анализа простых стеков машин, как в Bitcoin. Вы бы просто тратить время, пытаясь проанализировать его на этом уровне. Поиск другой, более производительный, с учетом вашего курса.