谁能说你的房屋是违法建筑？

违法建筑的认定需法律规定的有权机关进行认定，其他机关是没有权力去认定当事人房屋是违建的。由于违法建筑表现形式多样，对违建享有行政执法权的行政主体也具有多样性。根据不同的法律规定，实践中，对违建行使行政执法权的权力机关主要有以下几类：

1.规划行政主管部门。依据《城乡规划法》的规定，城市规划范围内的违法建筑，由违法建筑物所在地县级以上地方人民政府城乡规划主管部门依法作出处理。

2.土地行政主管部门。根据《土地管理法》规定，对非法占用集体土地修建建筑物等情形的，由县级以上人民政府土地行政主管部门依法作出处理。

3.港口行政管理部门。对违反《港口法》相关规定的，由县级以上人民政府或者港口行政管理部门依法作出处理。

4.县级以上地方人民政府。

总体而言，违法建筑认定的行政主体分别依据相关单行法确立。没有相关法律赋予行政机关违法建筑认定职权的，该行政机关是没有权力说你的房屋是违法建筑的。