把每一个变量的系数写在对齐的一列中，矩阵

称为方程组的系数矩阵，而

称为它的增广矩阵。方程组的增广矩阵是把它的系数矩阵添上增广列所得，这一列是由方程组等号右边的常数组成的。通过将系数矩阵和增广矩阵结合起来，我们可以使用矩阵运算的方法来解决线性方程组，例如高斯消元法或矩阵的逆运算。

矩阵的大小（或者叫维数。严格来讲矩阵不讲维数，维数是线性空间的性质。在数学中，矩阵的维数说法不一，并没有定义矩阵的维数，线性空间才有维数。但是口头语当中经常这样用）说明它包含的行数和列数。上面的增广矩阵有 3 行 4 列，称为 （读作 3 行 4 列）矩阵。若 是正整数， 矩阵是一个有 行 列的数的矩形阵列。（行数写在前面）矩阵记号为解方程组带来方便。

（在线性代数中，矩阵有秩（rank）的概念，秩的定义和维数有关，因此很容易搞混，但是口头所说的矩阵的维数和秩是不同的）

对于含有 个未知数 的 个线性方程的方程组：

其增广矩阵为：


最右列增广列用 分割开，该矩阵有 行 列，因此它是 矩阵。