docker-compose.ymlの対象サービスに以下を追記すればOK。
    restart: always例えば、MySQLを自動起動したい場合。
  db:
    image: mysql:8.0.14
    command: --default-authentication-plugin=mysql_native_password
    restart: always
    ports:
      - "3306:3306"自動起動させない場合は、restartの行を削除するか、noを設定すればOK。
    restart: no