TL;DR LLMガードレールはLLMの入出力を監視・制御する技術であり、LLMアプリケーションにおける様々な脅威への対抗策になります。しかし、あくまで役割は脅威の緩和・低減であるため、それぞれの脅威に対する根本的な対策をした上で、万が一の事故に備え文字通りガードレールとして導入する必要があります。 本文中では、RAGアプリケーションの利用する外部データベースにプロンプトインジェクションを引き起こすデータが存在し、LLMに対する入力として利用された場合、LLMガードレールで検知する例を紹介しています。しかし、根本的には外部データベースに悪意あるデータが登録されないよう対策すべきです。 このブロ…

はじめに こんにちは。GMO Flatt Security株式会社でコーポレートセキュリティエンジニアをしています、hamayanhamayanです。 様々な企業で生成AIの活用が進んでいることと思います。その流れは当社も例外ではなく、今年に入ってから、生成AIの全社的な利用、生成AIを利用した診断業務の効率化、生成AIを活用した製品開発と、怒涛のように生成AIの利活用が進んでいます。 そんな中でコーポレートエンジニアは、ビジネスの前進に必要な生成AIの利活用は止めたくない、しかし、企業の責任としてセキュリティやガバナンスは疎かにできないという板挟みの中にいると思います。私も例外ではなく様々な…

本稿では、Amazon Bedrock を活用して生成 AI アプリケーションを開発する際に気をつけるべきセキュリティリスクや対策について紹介します。

はじめに こんにちは、GMO Flatt Security株式会社セキュリティエンジニアの松井（@ryotaromosao）です。 近年、LLM（大規模言語モデル）が目覚ましい進化を遂げており、それを利用したLLMアプリケーションが急速に増加しています。特に、AIチャット機能やエージェント機能が既存のサービスに搭載されるのを目にする機会も多いと思います。 しかしながら、LLM APIを用いたアプリケーションを提供する事業者にとって、「高額なAPIの利用料金を請求されたらどうしよう」という不安は大きいのではないでしょうか。 私も自社開発のセキュリティ診断AIエージェントのTakumiを使って脆弱…

はじめに こんにちは、GMO Flatt Security株式会社セキュリティエンジニアの石川(@ryusei_ishika)です。 近年、ChatGPT や Gemini などの大規模言語モデル（LLM）をはじめとする生成 AI の活用が急速に進んでいます。その一方で、これらの AI モデルに対する新たな攻撃手法である「プロンプトインジェクション」が注目を集めており、そのセキュリティリスクが問題視されています。 この記事では、プロンプトインジェクションが実際にどのような脅威となり得るのか、具体的な事例を交えながらそのリアルなセキュリティリスクを解説します。さらに、開発者や経営者が取るべき具体…

はじめに こんにちは。GMO Flatt Security株式会社 ソフトウェアエンジニアの梅内(@Sz4rny)です。 一つ前の記事である「MCPにおけるセキュリティ考慮事項と実装における観点（前編）」では、MCP Server / Client のリスクについて紹介しました。本記事では、すこし観点を変えて「AI と認可制御」について検討します。 LLM を組み込んだサービスを実装している人も、LLM が組み込まれた開発支援ツールを使っている人も、おそらく一度は「AI にどの程度権限を与えてよいのか」という疑問に頭を悩ませたことがあるのではないでしょうか。本記事では、このテーマについて深堀り…

MCP logo ©︎ 2024–2025 Anthropic, PBC and contributors | MIT license はじめに 本記事は、セキュリティエンジニアのAzaraこと齋藤とコーポレートセキュリティエンジニアのhamayanhamayanが、社内で行ったディスカッションを元に記述した記事です。 本記事は、MCP の利活用の際に考えるべき、セキュリティに関する考慮事項や、脅威の想定、実装時気にすべき観点などについてまとめたシリーズの前編になります。前編では、MCPに関する基本的な事項を扱いながら、利用者側の目線でMCPに対するセキュリティを考えていきます。社内での利活用…

はじめに こんにちは。GMO Flatt Security株式会社 セキュリティエンジニアの山川(@dai_shopper3)です。 LLMはテキスト生成、要約、質問応答といった多様な用途に高い能力を発揮しますが、単体での活用にはいくつかの制約があります。そもそもモデル単体には、ただ入力された自然言語に対して文字列を生成するだけの機能しかありませんから、LLMをもとに自律的に行動するAIを作るには、外部と情報をやり取りし、具体的なアクションを実行するための手段が必要です。 また、モデルの知識は訓練データの収集時点で停止しており、それ以降の最新情報や特定の非公開情報も知りません（ナレッジカットオ…

はじめに こんにちは。GMO Flatt Security株式会社セキュリティエンジニアの森(@ei01241)です。 近年、大規模言語モデル（LLM）の進化により、チャットボット、データ分析・要約、自律型エージェントなど、多岐にわたるAIアプリケーション開発が進んでいます。LangChainやLlamaIndexのようなLLMフレームワークは、LLM連携や外部データ接続などを抽象化し開発効率を向上させる一方、その利便性の背後には新たなセキュリティリスクも存在します。 本稿では、LLMフレームワークを利用・開発する際に発生しやすい脆弱性を具体的なCVEを交えて解説し、それぞれ脆弱性から教訓を学…

はじめに こんにちは、GMO Flatt Security株式会社セキュリティエンジニアの佐藤(@Nick_nick310)です。 近年、大規模言語モデル(LLM、 Large Language Models)の進化と普及は目覚ましく、多くのサービスや業務プロセスで生成AIとして活用されています。LLMは多大なメリットをもたらす一方で、その特性に起因する新たなセキュリティリスクも指摘されており、安全な活用のためには十分な理解と対策が不可欠です。LLMを自社のサービスや業務に組み込む際、どのようなセキュリティ上の課題に直面する可能性があるでしょうか。 本稿では、LLMを活用したアプリケーションを…

こんにちは。GMO Flatt Securityの@toyojuniです。 昨年に引き続き、今年もGMO Flatt Securityは3月1日(土)に池袋サンシャインシティにて開催されたJAWS DAYS 2025にPlatinum Supporterとして協賛し、ブースを出展させていただきました！ JAWS DAYSとは 日本全国に60以上の支部をもつAWSのユーザーグループ「JAWS-UG」が主催するもので、参加は有料でありながら1000人以上が参加者として登録している非常に大規模なものです。今年も大盛況でした。 クラウドセキュリティのサービスも提供する我々にとって、日々AWSを用いてプ…

GMO Flatt Securityの大崎です。RubyKaigi 2025の弊社ブースで「バグバウンティクイズ」に回答いただいた皆様ありがとうございました。 私はブースには立ちませんでしたが、今回作問を担当しました。各脆弱性の解説ブログとして本記事を執筆させていただきます。 ブースでも主に紹介させていただいたセキュリティ診断AIエージェント「Takumi」に関しては以下のバナーより詳細をご覧ください。 バグバウンティクイズ in RubyKaigi 2025とは？ 言わずと知れたRuby製アプリケーション・GitLabはバグバウンティプログラムを運用していて、その中で2024年に報告された脆…

はじめに こんにちは、GMO Flatt Security の小島です。 先週、GMO Flatt Securityでは日本初のセキュリティ診断AIエージェントである「Takumi」をリリースしました。Takumiは高度なセキュリティレビューを自律的に行えるAIです。 今回はこのリリースに関連し、機能開発におけるロジックの脆弱性を防ぐためのセキュリティ観点をまとめたスライドを公開しました。 AIエージェントである Takumi は、ソースコードを元にセキュリティ診断を行いますが、脆弱なスニペットのパターンマッチに留まらず、アプリケーション固有のロジックを理解し、ロジックに潜む脆弱性まで発見しま…

はじめに GMO Flatt Security は2025年3月5日「認可制御不備を検知できる自動診断機能」をリリースしました。 「Shisho Cloud byGMO」の認可制御診断でできること ロールベースアクセス制御も、マルチテナントアプリケーションの認可制御も、Shisho Cloudで自動診断 認可制御診断のセットアップはShisho AIで一瞬 Shisho AIがアプリケーションの仕様を把握し、権限ごとに可能な操作を一覧化した権限マトリクスを自動で作成 認可制御不備にすぐ気付ける 見つかった認可制御不備がダッシュボードで一目で分かる 新規アラートのSlack通知も可能 開発サイク…

はじめに こんにちは。GMO Flatt Security株式会社の @toyojuni です。 弊社は "エンジニアの背中を預かる" をミッションにさまざまな開発組織のセキュリティをサポートしていますが、その主たるサービスがWebアプリケーション・Web APIの脆弱性診断です。今回、この脆弱性診断サービスの中でお客様に報告した1000個以上の脆弱性データをもとに、検出数ランキングの形でそのリスクの実態を分析しました。 同様にWebアプリの脆弱性を分析したものとしてはOWASP Top 10が世界的に有名ですが、グローバルでの分析結果となると日本企業の実態にそのまま当てはまるとは限りませんし…

はじめに こんにちは、GMO Flatt Security の小島です。弊社では、KENRO byGMO（ケンロー）という脆弱性への攻撃と修正で学ぶハンズオン演習に特化した、開発者向けのセキュアコーディング学習サービスを開発しています。 flatt.tech 本日はこのサービスに関連して、セキュアコーディング研修を始める上でどのような項目を検討すべきか、そしてその中で最も悩みのタネである外部の学習コンテンツの活用方法についてまとめたスライドを公開しました。 スライドは下記のSpeakerdeckのURLより無料・登録不要で閲覧・ダウンロードいただけます。 https://speakerdeck…

※本記事は筆者RyotaKが英語で執筆した記事を、弊社セキュリティエンジニアryotaromosaoが日本語に翻訳したものになります。 はじめに こんにちは、Flatt SecurityでセキュリティエンジニアをしているRyotaK (@ryotkak)です。 数日前、自宅のネットワークをアップグレードする際に、ルーターのOpenWrtを更新することにしました1。OpenWrtのWebインターフェースであるLuCIにアクセスしたところ、Attended Sysupgradeというセクションがあることに気付き、これを使ってファームウェアをアップグレードしてみることにしました。 機能説明を読んでみ…

はじめに こんにちは、セキュリティエンジニアの@okazu_dm です。 突然ですが、皆さんは以下のクイズに自信を持って回答できるでしょうか。これはSRE NEXT 2023で弊社が出題したクイズなのですが、それぞれのポリシーに存在するAllow, Denyのうちどれが優先されるかがポイントになります。 クイズの答えはここをクリック クイズの正解は......「④なし」でした。AWSのIAMポリシーは拒否(Deny)優先です。しかし、それは他のクラウドサービスでも果たして同じでしょうか？ 今回の記事では、各種クラウドサービスにおけるアクセス制御について焦点を当てます。具体的には「それぞれのアク…

※本記事は筆者RyotaKが英語で執筆した記事を、弊社セキュリティエンジニアShion1305が日本語に翻訳したものになります。 はじめに こんにちは、Flatt SecurityでセキュリティエンジニアをしているRyotaK(@ryotkak)です。 2023年にPortSwigger社のJames Kettle氏は、同社の記事でSingle-packet attackという新しい攻撃手法を提案しました。これはネットワークのジッター値に関係なくレースコンディションを悪用できるというものです。 Smashing the state machine: the true potential of …

はじめに Flatt Security セキュリティエンジニアの Tsubasa、lambdasawa、Osaki です。本ブログでは、2024年8月に開催された Bsides Las Vegas、Black Hat USA 2024、DEF CON 32 に弊社メンバーが参加した際の記録、および、特に興味深かったセッションの詳細についてお伝えします！ なお、本稿の作成にあたっては各セッションの発表内容について可能な限り誤りがないように注意を払って記述しましたが、誤りを含む可能性があります。また、各セッションの内容については、筆者独自の考えや解釈を含む場合があります。本稿を通して気になったセッ…

週末をCTFに費やし、平日の余暇時間をその復習に費やしている @hamayanhamayan です。去年2023年はCTFtime1調べでは66本のCTFに出ていて、自身のブログでは解説記事を40本ほど書いています。 自分はCTFプレイヤーですが、一方で、Flatt Securityはお仕事でプロダクトセキュリティを扱っている会社です。CTFで出題される問題と、プロダクトセキュリティにおける課題の間にはどのような違いがあるのでしょうか？ CTFのヘビープレイヤーの視点から、共通している部分、また、どちらか一方でよく見られる部分について紹介していきたいと思います。色々な形でセキュリティに関わる人…

はじめに Flatt SecurityでエンジニアをしているAzaraとei01241です。本ブログは、2024年の8月初旬に開催された、BSides Las Vegasに弊社2名のエンジニアが登壇した際の記録です。 🌏 海外登壇のお知らせ 🌏米国ラスベガスで8月6日（火）〜7日（水）に開催される BSides Las Vegas にセキュリティエンジニア @ei01241 @a_zara_n が登壇します！Content-Typeを利用した攻撃の独自研究について発表予定です。Black Hat/DEF CONとあわせてぜひご覧ください！https://t.co/rCTsBc4ezW— 株式会…

はじめに こんにちは、@okazu_dm です。 今回自分がぴざきゃっとさんが2022年4月に書いた以下の記事を更新したため、本記事ではその差分について簡単にまとめました。 Firebase Authentication利用上の注意点に関して生じた差分とは、すなわち「この2年強の間にどのような仕様変更があったか」と同義だと言えます。IDaaSに限らず認証のセキュリティに興味のある方には参考になるコンテンツだと思います。 更新した記事につきましては、以下をご覧ください。 差分について Firebase Authenticationの落とし穴と、その対策を7種類紹介する、というのがオリジナルの記事…

※本記事は筆者RyotaKが英語で執筆した記事を、弊社セキュリティエンジニアkoyuriが日本語に翻訳したものになります。 はじめに こんにちは、Flatt SecurityでセキュリティエンジニアをしているRyotaK( @ryotkak )です。 先日、特定の条件を満たした場合に攻撃者がWindows上でコマンドインジェクションを実行できる、いくつかのプログラミング言語に対する複数の脆弱性を報告しました。 本日(2024/04/09(訳者注: これは英語版記事の公開日です))、影響を受けるベンダーがこれらの脆弱性に関するアドバイザリーを公表しました。 その影響は限定的なもののCVSSスコア…

はじめに セキュリティエンジニアの齋藤ことazaraです。今回は、不可思議なContent-Typeの値と、クラウド時代でのセキュリティリスクについてお話しします。 本ブログは、2024 年 3 月 30 日に開催された BSides Tokyo で登壇した際の発表について、まとめたものです。 また、ブログ資料化にあたり、Content-Type の動作や仕様にフォーカスした形で再編を行い、登壇時に口頭で補足した内容の追記、必要に応じた補足を行なっています。 また、本ブログで解説をする BSides Tokyoでの発表のもう一つの題である、オブジェクトストレージについては、以下のブログから確認…

今年もRubyKaigiに協賛させていただきました！ Flatt Security 執行役員CCO / プロフェッショナルサービス事業部長の @toyojuni です。先日沖縄県那覇市で開催されたRubyKaigi 2024の振り返りと皆様への感謝の気持ちを込めて本記事を執筆します。 昨年に引き続いて、Flatt SecurityはRubyKaigiにPlatinum Sponsorとして協賛し、ブースを出展させていただきました。ありがたいことに、3日間でのブース訪問の延べ人数は500人を超え、様々なRubyistの方との接点を持てたと感じています。 そんな今回のブース出展の軸と言える企画が「…

はじめに セキュリティエンジニアの齋藤ことazaraです。今回は、オブジェクトストレージに対する書き込みに関連するセキュリティリスクの理解と対策についてお話しします。 本ブログは、2024年3月30日に開催された BSides Tokyo で登壇した際の発表について、まとめたものです。 また、ブログ資料化にあたりオブジェクトストレージを主題とした内容の再編と、登壇時に口頭で補足した内容の追記、必要に応じた補足を行なっています。 なぜ今、この問題を取り上げるのか？ 近年のクラウドリフト、クラウドシフトにより、クラウドを活用する場面が多くなってきていると思います。その中で、多くの場面で利用されるオ…

こんにちは、 @okazu_dm です。 前回の記事 に引き続きCookie関連のセキュリティに関する記事となります。 今回は、Cookieの仕様を定めたRFC6265(https://datatracker.ietf.org/doc/html/rfc6265)自体に含まれるSecure属性の問題点と、その対策について紹介していきます。 CookieのSecure属性自体は前回紹介したSameSite属性と比較してわかりやすいのもあり、かなり知名度が高いと思われますが、Secure属性単体で守れる範囲というのは実は限定的である、という点を本記事では実験も交えて示していきます。 なお、本記事はセ…

初めまして、Flatt Security社のブログに寄稿させていただくことになりました、西川と申します。 普段は、SaaS企業でプロダクトセキュリティをメインの仕事としていますが、一般社団法人鹿児島県サイバーセキュリティ協議会の代表理事として活動しております。 さて、今回はプロダクトセキュリティを生業としている私が、脆弱性診断を外注することと内製化すること、それからバグバウンティについてそれぞれの役割を記していきたいと思います。 本記事の目的 脆弱性診断を外注した方が良い、あるいは、内製化した方が良い、という話ではなく、それぞれ役割が異なると考えています。つまりそれは、それぞれが補い合う形で存…

こんにちは、@hamayanhamayan です。 本稿ではWebセキュリティに対する有用な文書として広く参照されているOWASP Top 10の1つ「インジェクション」について考えていきます。色々なインジェクションを例に挙げながら、どのようにインジェクションが起こるのかという発生原理から、どのようにインジェクションを捉え、より広くインジェクションの考え方を自身のプロダクト開発に適用していくかについて扱っていきます。 SQLインジェクションやコマンドインジェクション、XSSのようなインジェクションに関わる有名な手法について横断的に解説をしながら、インジェクションの概念を説明していきます。初めて…