本文へスキップ

生成AIでサイトを作って、実際に起きたこと

このサイトは生成AIを使って作りました。誤った分析、筋の通らないデザイン、動かすまで分からないバグ、壊れたファイル。何がどう間違っていたかと、どうやって止めたかを記録します。

公開
更新
タグ
AI活用
技術
サイト

このサイトのコードは生成 AI を使って書きました。速さは期待どおりでしたが、出てくるものをそのまま採用していたら、公開できる品質には届いていません。

AI を使うべきかどうかという話ではなく、使ったときに何が起きるかの記録です。以下はすべて、このサイトの制作中に実際に起きたことです。

測っていない数字を断定する

あるページだけレイアウト処理が他の3倍重い、という分析が出てきました。原因の仮説もいくつか添えられていて、もっともらしく読めます。

条件を揃えて測り直すと、そのページは平均的で、特に重くありませんでした。最初の数字は回線速度と CPU 速度の制限を同時にかけた状態で測ったもので、その条件では読み込み順の影響が支配的になります。測った対象が、知りたかったものと違っていたわけです。

待機中のレイアウト処理が重い、という報告もありました。これは桁がひとつ違っていました。「待機中」を切り出す目印の取得に失敗していて、代替として読み込み開始から一定時間後を使っていたため、読み込み時の処理を待機中の分として数えていたのです。

もっともらしさは正しさの証拠になりません。この手の分析では、結論よりも測り方を先に読む必要があります。

デザインの筋が通らない

これは数字が出ないので、見て気付くしかない種類です。

疑似ウインドウの飾り枠に、右端に閉じるボタン、左端に小さな四角が3つ並んでいました。四角はウインドウ操作ボタンの意匠です。つまり左右両側にボタンがある状態で、閉じる機能が二重に見えます。そもそもアプリケーションの一覧に最小化や最大化はありません。指摘を受けて、飾りの方を外しました。

四角を右端へ移したときにも続きがありました。色の順序をそのまま運んだため、閉じるを表す色が内側に来ていたのです。信号機の並びはウインドウが持つ角から数えるもので、閉じるは最も外側に来ます。どのシステムも採用していない並びになっていました。

一覧カードの枠が、6色を順に巡回して光る実装も出てきました。カードには分類を示すチップが既に付いていて、そのチップが色で意味を伝えています。そこに意味のない色を回すと、意味のある色の隣で意味のない色だけが変化することになり、不具合のように見えます。意味を持たない色を巡回させるのは、何も言っていない場所に限る必要がありました。

カードの説明文を指定行数で切る実装もありました。説明文は frontmatter にしかなく、本文には現れません。切った分の言葉は、どこからも読めなくなります。

動かすまで分からないバグ

スタートメニューを開いたまま画面幅を広げると、メニューが残り続けました。幅が広がるとタスクバーに切り替わり、メニューを開くボタンは消えます。しかしメニュー本体は別の場所に描かれていて、誰も閉じていませんでした。箱を失ったボタンに紐づいたまま、フォーカスを閉じ込め、スクロールを固定し、同じリンクを並べたタスクバーの上に残ります。ブレークポイントを知っているのがボタンだけで、状態側が知らなかったのが原因です。

ヘルスチェック用のページに識別用の文字列を1行足したところ、幅 320px で横スクロールが出ました。分割できない文字列が、余白を引いた表示幅を超えたためです。原因は規約に書いてあるものと同じで、読んでいれば避けられました。

この記事の英語版の末尾のリンクが、日本語ページを指していたこともあります。リンク先は存在するので 404 にはならず、英語の読者が日本語のページに着くだけです。間違えてもエラーにならない形式の間違いでした。

仕様を思い込む

正しそうに見えて、仕様の読み違いで動かないものがあります。

画面幅で表示を切り替える指定が効かない、という症状が出ました。原因は、同じ要素に当たっている自作のクラスがレイヤーの外に書かれていたことです。レイヤー外の CSS は、詳細度に関係なくレイヤー内のすべてに勝ちます。詳細度を見比べても理由が分からない種類の負け方でした。

色の指定を要素ごとに上書きしても効かない、という症状もありました。カスタムプロパティの計算値は、宣言した要素の時点で中身が確定します。根元で合成したトークンは根元の色を固定したまま全体に配られるので、要素ごとの指定は無視されます。合成は使う場所で行う必要がありました。

画像が縦に潰れて表示されたこともあります。CSS フレームワークが既定で画像の最大幅を制限しており、幅だけが切られて高さが残ったためです。警告は何も出ません。

旧サイトから配信設定を移す作業では、設定の大半が意味を持っていませんでした。記法上成立しておらず何にも一致していない指定、配信元が既に全レスポンスに付けているため重複しているヘッダー、対象のファイル種別に効果がないヘッダー。「動いていた設定」は「正しい設定」ではありませんでした。

道具を信じすぎる

計測ツールも検査ツールも、間違った数字を出します。

コードの配色を見た目で選んだ結果、明るいテーマで大半の文字が必要なコントラストに届いていませんでした。目で見て選んだ時点では問題なさそうに見えていたものです。

性能計測ツールのモバイル表示開始時刻が、実測の数倍の値を返してきたこともあります。そのツールの推定モデルが、後から差し替わる設定のフォントを描画を止めるものとして扱うためでした。

文字色のコントラストを測ったら違反が複数出た、という報告もありました。違反ではなく色の読み取り方が誤っていたものです。このサイトの配色は計算値が文字列のまま返る形式で定義されているため、素朴に数値として解釈すると、計算は通り、それらしい数字が出て、全部間違っています。正しく測ると本物の違反は1件だけで、残りは存在しない問題でした。

逆向きの失敗も起きました。あるページで深刻なコントラスト違反が報告されましたが、背景色をどこにも明示していなかったために検査ツールが白と仮定した結果で、実際の表示は読めていました。偽の違反を直すのも、本物を取りこぼすのも、同じ原因から出てきます。

この記事を書くときにも起きています。記事中の記述が実態と合っているか機械で突き合わせたところ、「規約に書いていない」という判定が複数出ました。確認するといずれも検査する側の誤りで、規約の文中で単語が行をまたいでいたり、記号が入っていたために検索に引っかからなかっただけでした。検査が結論になるのは、検査自体が正しいと確かめたあとです。

開発用の表示が操作を奪っていたこともあります。開発ツールの表示位置がこのサイトのタスクバーと重なり、狭い画面では押しても反応しないように見えました。実際には、別のものが反応していたのです。

環境を壊す

検証用のライブラリを一時ディレクトリに入れるつもりの操作を、プロジェクト側で実行してしまい、本体が固定していたバージョンが勝手に下げられました。気付いたのは変更ファイルの一覧を見たときです。

ファイルの書き換えに文字コードを変換してしまう方法を使い、日本語を含むソースを破壊したこともあります。バージョン管理から復元しました。

どちらも「何が変わったか」を見ることで見つかっています。「何をしたか」を追うだけでは出てきません。作業のあと毎回、変更されたファイルの一覧を確認するだけで捕まります。

止める、戻す

ここが一番重要です。

AI は依頼されたことを完遂しようとします。やめるべきかどうかは判断しません。だから止めるのは人間の仕事です。

表示開始を6分の1に縮める変更が出てきたことがあります。数字だけ見れば採用一択です。採用しませんでした。画面外の内容を描画対象から外す仕組みで、同時に支援技術からも消えるのです。確かめると、カードの見出しはアクセシビリティツリーにごく一部しか残りませんでした。一覧ページの用途は、見出しを辿って何があるか把握することです。表示を速くする代わりに、そのページの存在理由を壊す変更でした。

この件を調べたきっかけは「デメリットを詳しく教えてほしい」という問いでした。聞かなければそのまま入っていました。効果が大きい提案ほど、何を引き換えにしているかを聞く必要があります。

直すより戻した方が速いこともあります。誤った分析が出たときは、その分析を前提に積み上げた検討ごと捨てました。前提が違うものを部分的に直すと、合っている部分と間違っている部分が混ざって、どこまで信用できるか分からなくなります。数段階前に戻してやり直す方が、結果的に速く終わります。

逆に、今やらない判断もあります。削除予定のダミー記事を一括で改名する作業は、消すものに手をかけることになるので飛ばしました。並び順の再配置も、記事が揃ってからまとめてやる方が合理的です。AI は言われれば全部やりますが、やらない範囲を決めるのは依頼する側です。

規約は傷の記録として増える

このプロジェクトには、作業前に読む規約を置いています。項目はどれも、実際に何かが壊れてから書かれたものです。

  • レイヤー外の CSS が画面幅の指定に勝つこと
  • 根元で合成したカスタムプロパティが要素ごとの上書きを無効にすること
  • 画像の最大幅制限で縦横比が崩れること
  • 意味のない色を、意味のある色の隣で巡回させないこと
  • どこにもない文章を行数で切らないこと
  • 配色を目で選ばず必ず測ること
  • 性能計測ツールのある数値を信用しないこと
  • 文字コードを変換する方法でファイルを書き換えないこと

読めば分かる形で残っているので、同じ提案が二度出てきたときに「それは試して駄目だった」と即座に返せます。裏を返せば、書かれていない失敗は繰り返されます。この記事に出てくる 320px の件は、原理が書いてあるのに繰り返した例です。

効いた対策

振り返って、止めるのに効いたものは3つでした。

判断を文書化する。 なぜその実装にしたか、何を試して駄目だったかを規約として書き残しています。独立した文書に置いているのは、作業の前に読ませるためです。コードのコメントでは、作業が始まってからしか読まれません。

機械で確かめる手順を用意する。 型チェック、ビルド、整形、アクセシビリティの自動検査、そして実際のブラウザを起動して動きが生きているかを見る回帰テスト。人間の目は、変更した箇所しか見ません。壊れるのは変更しなかった箇所です。

採用を別の工程として扱う。 生成されたことと採用することは別です。出てきたものは読み、疑い、必要なら丸ごと捨てます。

結論

AI は速いです。その速さは、確かめる側の手を抜く理由にはなりません。むしろ逆で、生成が速くなったぶん、判断と検証が律速になります。

このサイトで一番時間を使ったのは、見た目でも実装でもなく、確かめる手順を用意することと、止めるかどうかを決めることでした。そこに時間を使えるなら、AI を使って短期間に作ることと、引き渡したあとに保守できる状態にすることは両立します。

この作り方で請け負っています。窓口は uniboshi.net にまとめてあります。