设矩 阵 $A$ $=$ $\begin{pmatrix}0 & 1 & a \\ 1 & 0 & 1\end{pmatrix}$, $B$ $=$ $\begin{pmatrix}1 & 1 \\ 1 & 1 \\ b & 2\end{pmatrix}$, 二次型 $f\left(x_{1}, x_{2}, x_{3}\right)$ $=$ $x^{T} B A x$. 已知方程组 $A x$ $=$ $0$ 的解均是 $B^{\top} x$ $=$ $0$ 的解，但这两个方程组不同解.
(1) 求 $a$, $b$ 的值;
(2) 求正交变换 $x$ $=$ $Q y$ 将 $f\left(x_{1}, x_{2}, x_{3}\right)$ 化为标准形.
第 (1) 问 | 解法二
该解法通过直接求解方程组 $A x$ $=$ $0$ 的解，以及方程组 $B^{\top} x$ $=$ $0$ 的解，通过对这两个解形式的分析，在满足 $A x$ $=$ $0$ 的解均是 $B^{\top} x$ $=$ $0$ 的解的条件下，确定未知量 $a$ 和 $b$ 的取值。
首先，对矩阵 $A$ 进行初等【行】变换，有：
$$
A = \begin{pmatrix}
0 & 1 & a \\
1 & 0 & 1
\end{pmatrix} \rightarrow \begin{pmatrix}
1 & 0 & 1 \\
0 & 1 & a
\end{pmatrix}
$$
得 $A x=0$ 的解为 $x$ $=$ $k(-1,-a, 1)^{\top}$, 其中 $k$ 为任意常数。
注意：对线性方程组系数矩阵的化简一般只能使用初等行变换，详细说明可以参考荒原之梦考研数学的这篇文章《化简列向量组只能使用初等行变换吗？不是的，但最好只使用初等行变换》
接着，对矩阵 $B^{\top}$ 进行初等【行】变换，有：
$$
B^{\top} = \begin{pmatrix}
1 & 1 & b \\
1 & 1 & 2
\end{pmatrix} \rightarrow \begin{pmatrix}
1 & 1 & b \\
0 & 0 & 2-b
\end{pmatrix}
$$
对于 $b$ 的取值以及方程组对应的解，我们需要分情况讨论：
*若 $b$ $=$ $2$, 则 $B^{\top} x=0$ 的解为 $x$ $=$ $k_{1}(-1,1,0)^{\top}$ $+$ $k_{2}(-2,0,1)^{\top}$, 其中 $k_{1}$, $k_{2}$ 为任意常数；
**若 $b$ $\neq$ $2$, 则 $B^{\top} x$ $=$ $0$ 的解为 $x$ $=$ $k_{3}(1,-1,0)^{\top}$, 其中 $k_{3}$ 为任意常数.
分析可知，当 $b$ $\neq$ $2$ 时，$A x=0$ 的解为 $x$ $=$ $k(-1,-a, 1)^{\top}$ 一定和 $B^{\top} x$ $=$ $0$ 的解 $x$ $=$ $k_{3}(1,-1,0)^{\top}$ 不相等。
所以，只能有：
$$
b = 2
$$
此时：
$$
B^{\top} \rightarrow \begin{pmatrix}1 & 1 & 2 \\ 0 & 0 & 0\end{pmatrix}
$$
接着，将 $x$ $=$ $(-1,-a, 1)^{\top}$ 代入 $B^{\top} x$ $=$ $0$, 得：
$$
\begin{pmatrix}1 & 1 & 2 \\ 0 & 0 & 0\end{pmatrix}
\begin{pmatrix}
-1 \\ -a \\ 1
\end{pmatrix} \Rightarrow
$$
$$
-1-a+2 = 0 \Rightarrow
$$
$$
a=1
$$
综上：
$$
\begin{cases}
a=1 \\
b=2
\end{cases}
$$