!注意!:この解答は個人的なメモであり正当性は保証されません. 自己責任での参照を願います.
$1 \leqq x \leqq 2$ より $\displaystyle \frac{1}{x} \leqq 1 \leqq \frac{2}{x}$ なので $\displaystyle \log \frac{1}{x} \leqq 0 \leqq \log\frac{2}{x}$. よって
$\displaystyle {\int~}_{1/x}^{2/x} |\log y| f(xy) ~dy = {\int~}^{1/x}_{1} f(xy)\log y ~dy + {\int~}_{1}^{2/x} f(xy)\log y ~dy$.
$t=xy$ と変数変換すれば $\displaystyle \frac{1}{x} dt=dy$ となり, 上式は
$\displaystyle -\frac{1}{x} {\int~}_1^x f(t)\log t ~ dt +\frac{\log x}{x}{\int~}_1^x f(t) ~ dt-\frac{1}{x} {\int~}_2^x f(t)\log t ~ dt +\frac{\log x}{x}{\int~}_2^x f(t) ~ dt $
と変形される(*式と呼ぶことにする). これは $\displaystyle 3x(\log x-1)+A+\frac{B}{x}$ に等しい. これら両辺に $x$ を掛けると,
$\displaystyle -{\int~}_1^x f(t)\log t ~ dt -{\int~}_2^x f(t)\log t ~ dt + \log x \left( {\int~}_1^x f(t) ~ dt+{\int~}_2^x f(t) ~ dt \right)$$\displaystyle = 3x^2(\log x-1)+Ax+B$.
微分積分学の基本定理に注意して両辺を $x$ で微分したのち, 両辺に $x$ を掛けると,
$\displaystyle {\int~}_1^x f(t) ~ dt+{\int~}_2^x f(t) ~ dt=6x^2\log x-3x^2+Ax$.
再び微分積分学の基本定理に注意して両辺を微分することにより
$\displaystyle f(x)=6x\log x - 3x + \frac{A}{2}$.
さて2つ上の式に $x=1$ を代入すると
$\displaystyle -{\int~}_1^2 f(t) ~dt=-3+A$,
$x=2$ を代入すると
$\displaystyle {\int~}_1^2 f(t) ~dt=24\log 2-12+2A$.
これらの辺々を足すことで積分は消え, $A=5-8\log2$ と求まる. よって
$\displaystyle {\int~}_1^2 f(t) ~dt=3-A=8\log2-2$
と求まる. *式に $x=1$ を代入すると
$\displaystyle {\int~}_1^2 f(t)\log t ~dt=-3+A+B$,
$x=2$ を代入すると
$\displaystyle -\frac{1}{2}{\int~}_1^2 f(t)\log t ~dt+\frac{\log 2}{2}{\int~}_1^2 f(t) ~dt=6(\log 2-1)+A+\frac{B}{2}$.
$x=2$ を代入した式を $2$ 倍して $x=1$ を代入した式と辺々を足せば ${\int~}_1^2 f(t)\log t ~dt$ が消え, ${\int~}_1^2 f(t) ~dt$ の値は求まっているので, 地道に計算することで
$\displaystyle B=5\log 2-4(\log 2)^2$
と分かる.